PyDA Course
📖 درس 15 متوسط ⏱ 22 دقيقة ⚡ +10 XP ColabKagglenbviewerBinderDeepnoteGitHub سير-العمل · جودة-البيانات · القيم-الشاذة · الإبلاغ

قراءة مجموعة بيانات بصدق

سير عمل يلتقط الأخطاء التي تصفها الدروس السابقة: انظر أولًا، ثم جمّع، ثم لخّص.

🎯 ماذا ستتعلم:
  • تنفيذ تسلسل ثابت من الفحوصات على مجموعة بيانات غير مألوفة
  • مقارنة المتوسط والوسيط واستخدام الفجوة تشخيصيًا
  • كشف القيم المريبة بالأسوار وفحصها قبل إزالة أي شيء
  • الإبلاغ عن ملخص يذكر قيوده الخاصة

ماذا يعني

هذا الدرس قائمة تحقق لا كمية جديدة. كل مقياس في هذا المقرر سهل الحساب وسهل إساءة الاستخدام، وإساءة الاستخدام دائمًا تقريبًا خطوة متروكة لا صيغة خاطئة.

التسلسل الذي يمنع معظم ذلك:

  1. انظر إلى البيانات قبل تلخيصها: التعدادات والقيم المفقودة والأنواع ومدرج تكراري.
  2. احسب المركز بطريقتين وقارنهما؛ فالفجوة الكبيرة معلومة عن الشكل.
  3. قس التشتت بطريقتين وقارنهما؛ تظهر الفجوة نفسها.
  4. علّم القيم المريبة وافحص كل واحدة بدلًا من حذفها.
  5. جمّع قبل الدمج عندما تكون البيانات وصلت في دفعات أو فئات.
  6. أبلغ عن الملخص مع عدم يقينه وقيوده.

لماذا يضيف شيئًا

التحليل الذي يتخطى الخطوة 1 حساب لا تحليل. تحوّل قائمة التحقق الدروس الفردية إلى عادة، والعادة هي ما يلتقط مفارقة سيمبسون، وقيمة شاذة كانت خطأً مطبعيًا، ومتوسطًا لا يصف أحدًا.

مثال محسوب

مجموعة بيانات من 12 تذكرة دعم، وأزمنة الحل بالساعات:

1,  2,  2,  3,  3,  4,  5,  6,  8,  12,  20,  961,\;2,\;2,\;3,\;3,\;4,\;5,\;6,\;8,\;12,\;20,\;96

الخطوة 1 — انظر. اثنتا عشرة قيمة، كلها رقمية، بلا إدخالات مفقودة ظاهرة. والقيمة العظمى بعيدة عن كل ما عداها.

الخطوة 2 — المركز بطريقتين. المتوسط: المجموع 162، إذن 13.5. الوسيط: (4+5)/2=4.5(4+5)/2 = 4.5. فجوة مقدارها 9 ساعات: للبيانات ذيل أيمن طويل.

الخطوة 3 — التشتت بطريقتين. الانحراف المعياري نحو 27.6؛ والمدى الربيعي: Q1=2.75Q_1 = 2.75 وQ3=11Q_3 = 11، إذن 8.25. الانحراف المعياري أكثر من ثلاثة أضعاف المدى الربيعي، وهذه طريقة أخرى للقول إن الذيل يهيمن عليه.

الخطوة 4 — علّم وافحص. السياج الأعلى: 11+1.5(8.25)≈23.411 + 1.5(8.25) \approx 23.4. تُعلَّم القيمة 96. افحصها: إذا كانت تذكرة أُعيد فتحها بعد شهر، فقد تكون حالة حقيقية لكنها تنتمي إلى عملية مختلفة؛ وإذا كانت خطأ إدخال بيانات (96 دقيقة سُجلت ساعات)، فأصلحه. لا تحذفها بصمت.

الخطوة 5 — جمّع. هل هذه التذاكر من فريق واحد أم عدة فرق؟ مزيج من طوابير سهلة وأخرى صعبة سينتج هذا الشكل بالضبط.

الخطوة 6 — أبلغ. شيء مثل: “كان وسيط زمن الحل 4.5 ساعة (المدى الربيعي 2.75–11). والمتوسط، 13.5 ساعة، تسحبه تذكرة واحدة استغرقت 96 ساعة؛ وهو لا يصف تذكرة نموذجية. باستثناء تلك الحالة، يبقى الوسيط على حاله ويهبط المتوسط إلى 6.0.”

🧩 تحدٍّ، فكّر أولًا ثم أظهر

يبلغ زميل عن “متوسط زمن استجابة 13.5 ساعة” لهذه التذاكر. ما الرقم الإضافي الواحد الذي تطلبه أولًا، ولماذا؟

💡 الجواب: الوسيط. إنه 4.5 ساعة هنا مقابل متوسط 13.5، وتلك الفجوة تخبر القارئ عن مجموعة البيانات أكثر مما يخبره المتوسط وحده. وهل حالة الـ96 ساعة حقيقية هو السؤال الثاني.

الشيء نفسه في بايثون

python
from statistics import mean, median, stdev, quantiles

hours = [1, 2, 2, 3, 3, 4, 5, 6, 8, 12, 20, 96]

q1, _, q3 = quantiles(hours, n=4)
iqr = q3 - q1
print('n', len(hours))
print('mean', round(mean(hours), 2), 'median', median(hours))
print('sd', round(stdev(hours), 2), 'iqr', iqr)
print('fences', round(q1 - 1.5*iqr, 2), round(q3 + 1.5*iqr, 2))
print('flagged', [h for h in hours if h < q1 - 1.5*iqr or h > q3 + 1.5*iqr])

تعطي pandas الملخص نفسه في استدعاء واحد وتجعل فحص القيم المفقودة تافهًا:

python
import pandas as pd

s = pd.Series(hours)
print(s.describe())
print(s.isna().sum())

قالب للإبلاغ

شكل ملخص ينجو من المراجعة:

  • ما قيس، مع الوحدات وحجم العينة؛
  • المركز، مع تقديم الوسيط عندما تكون البيانات ملتوية؛
  • التشتت، باختيار المدى الربيعي أو الانحراف المعياري بما يطابق المركز؛
  • ما استُبعد ولماذا، دون حذف صامت أبدًا؛
  • ما لا يستطيع إخبارك به، في جملة واحدة.

متى تستخدمه

كل مرة. تكون قائمة التحقق أثمن ما تكون على بيانات لم تجمعها أنت، ومعظم البيانات كذلك.

القيود

  • لا تعوّض قائمة التحقق معرفة المجال. هل تذكرة استغرقت 96 ساعة معقولة يعتمد على ماهية التذكرة.
  • تلتقط مشاكل المتغير الواحد أفضل. تحتاج العلاقات إلى مخطط انتشار، ويحتاج التجميع إلى بيانات كافية لكل مجموعة لتكون ذات معنى.
  • إنها نقطة بداية لا تحليلًا كاملًا. أسئلة التغير عبر الزمن، أو ادعاء سببي محدد، تحتاج تصميماتها الخاصة.

أخطاء شائعة

  • حذف القيم الشاذة قبل فحصها. غالبًا هي الحالات الأكثر إفادة، والحذف يحيّز كل رقم يليه.
  • الإبلاغ عن المتوسط فقط، مما يخفي الشكل تمامًا.
  • دمج المجموعات قبل التحقق من اختلافها.
  • الإبلاغ بمنزلتين عشريتين عن قياس سُجل إلى أقرب ساعة.

🧩 تحديات

🧩 تحدٍّ، فكّر أولًا ثم أظهر

صمم الملخص المكوّن من ثلاثة أسطر الذي سترسله إلى مدير لم يسمع بالوسيط قط، باستخدام بيانات تذاكر الدعم، دون أي مصطلح إحصائي.

💡 الجواب: "أُغلقت نصف التذاكر خلال 4.5 ساعة، واستغرقت النصف الآخر وقتًا أطول. وتقع التذكرة النموذجية بين نحو 3 و11 ساعة. واستغرقت تذكرة واحدة 96 ساعة، وهي ما يسحب المتوسط إلى 13.5؛ وتلك الحالة تستحق الفحص قبل أن نذكر المتوسط للعملاء." لا مصطلحات، وكل رقم يحمل معناه.

🤔 أسئلة سقراطية

  • لماذا تعد مقارنة المتوسط والوسيط تشخيصًا رخيصًا لشكل البيانات؟
  • متى يكون الانحراف المعياري رفيقًا أفضل للمتوسط من المدى الربيعي؟
  • ما الفرق بين الخطأ والقيمة الشاذة؟
  • إذا اضطررت إلى الإبلاغ عن رقم واحد لمجموعة بيانات ملتوية، فأيهما تختار، وماذا تضيف إليه؟

✅ فحص سريع

1. المتوسط 40 والوسيط 25. ماذا توحي الفجوة؟

2. وجدت قيمة فوق سياج 1.5 × المدى الربيعي. ماذا تفعل أولًا؟

سير-العملجودة-البياناتالقيم-الشاذةالإبلاغ