من أين تأتي البيانات
الاستطلاعات والمستشعرات والسجلات والتجارب: كيف تحدد طريقة الجمع ما تستطيع البيانات الإجابة عنه وما لا تستطيع.
- تسمية الطرق الرئيسية لجمع البيانات وما يصلح له كل منها
- شرح تحيز المعاينة مع مثالين ملموسين
- التمييز بين الدراسة الرصدية والتجربة
- طرح الأسئلة الأربعة التي ينبغي أن تسبق أي تحليل
ماذا يعني
لكل مجموعة بيانات مصدر (provenance): من أو ما أنتج كل صف، ومتى، وفي أي ظروف. ويحدد المصدر ما تستطيع البيانات الإجابة عنه، ولا يستطيع أي قدر من التحليل إضافة معلومة لم تلتقطها خطوة الجمع أصلًا.
أهم المصادر التي ستلتقيها:
| المصدر | ما يقدمه | ما يفتقده عادةً |
|---|---|---|
| استطلاع | آراءً ووقائع يبلّغ عنها الشخص | الصدق، والأشخاص الذين لم يجيبوا |
| مستشعر أو سجل | توقيتات وأعدادًا دقيقة | السياق — لماذا حدثت القيمة |
| سجلات إدارية | تغطية كاملة لعملية ما | أي شيء خارج تلك العملية |
| تجربة | دليلًا على السببية | الواقعية — السياق مصطنع |
| تحليلات الويب | سلوكًا على نطاق واسع | الهوية، وسبب النقرة |
تحيز المعاينة (sampling bias) هو ما يحدث عندما تختلف الحالات المرصودة اختلافًا منهجيًا عن المجتمع. مثالان يجعلانه ملموسًا:
- استطلاع رضا إلكتروني لا يجيب عنه إلا من لم يغادر الموقع — فالمغادرون هم بالضبط غير الراضين، وهم مفقودون؛
- دراسة لاستخدام تطبيق من السجلات، حيث لا يظهر فيها أصلًا من لم يثبّت التطبيق قط.
في كلتا الحالتين تكون العينة كبيرة ونظيفة ومقيسة بدقة، وتجيب عن سؤال مختلف عن السؤال المطروح.
لماذا يضيف شيئًا
يضع سقفًا لما يمكن لأي تحليل لاحق أن يدّعيه. تخبرك فترة الثقة بمدى دقة قياسك لـمجتمع العينة؛ ولا تستطيع إخبارك هل ذلك المجتمع هو الذي يهمك. ومعرفة المصدر تخبرك أي تحفظ تلحقه قبل أن تحسب متوسطًا أصلًا.
التمييز الآخر المهم هو الرصدي مقابل التجريبي:
- في دراسة رصدية تراقب ما يحدث: بعض الناس اختاروا ممارسة الرياضة وبعضهم لا، وتقارن بينهم؛
- في تجربة تسند العلاج: أنت تقرر من يمارس الرياضة ومن لا يمارسها.
الثانية وحدها تستطيع إسناد ادعاء سببي بنفسها، لأن الإسناد العشوائي يقطع الصلة بين العلاج وكل شيء آخر عن الشخص.
مثال محسوب
تريد شركة معرفة هل تزيد مسار دفع جديد من المشتريات.
- إذا قارنوا العملاء الذين صادف أن رأوا المسار الجديد بمن لم يره، فلديهم مقارنة رصدية. تختلف المجموعتان في أمور مهمة: فقد أُطلق المسار الجديد على جهاز معين أو لحسابات أحدث، وتلك الفروق متشابكة مع النتيجة. وأي فرق هو مزيج من المسار ومن طريقة الإطلاق.
- إذا أسندوا الزوار عشوائيًا إلى المسار القديم أو الجديد، فلديهم تجربة. تختلف المجموعتان بالمصادفة وحدها، فالفرق في معدل الشراء يُنسب إلى المسار — ضمن نطاق خطأ المعاينة.
الحساب بعد ذلك متطابق. والفرق كله في خطوة الجمع، وهو الفرق بين تلميح ودليل.
🧩 تحدٍّ، فكّر أولًا ثم أظهر
تقيس مدينة جودة الهواء بعشرة مستشعرات، كلها قرب المدارس. هل تستطيع البيانات الإجابة عن “ما متوسط جودة الهواء في المدينة”؟
💡 الجواب: لا دون تحفظ. المستشعرات عينة متحيزة: فقد تقع المدارس بعيدًا عن المناطق الصناعية أو، على العكس، بجانب طرق إنزال مزدحمة. تصف البيانات جودة الهواء قرب المدارس وصفًا جيدًا، وتعمم على المدينة فقط إذا كان موضع المستشعر غير مرتبط بمستويات التلوث — وهو بوضوح ليس كذلك. أبلغ عنها كـ"جودة الهواء قرب المدارس" ما لم تُستخدم خطة معاينة مستقلة عن الموضع.
الأسئلة الأربعة قبل أي تحليل
- ما الذي يمثله الصف الواحد؟ توصيل، أم شخص، أم جلسة، أم يوم؟ الخطأ هنا يجعل كل تعداد خاطئًا.
- من الغائب عن هذه البيانات؟ غير المستجيبين، ومن لم يثبّتوا التطبيق، والمعاملات الفاشلة قبل التسجيل.
- كيف اختيرت الحالات؟ عشوائيًا، أم بالسهولة، أم بحسب من كان مسجلًا؟
- هل أُسند شيء، أم رصد فقط؟ هذا يحدد هل ادعاء السببية متاح أصلًا.
الشيء نفسه في بايثون
المصدر نادرًا ما يكون في الملف، فسجّله بجانب البيانات. عادة بسيطة:
meta = {
'source': 'checkout-log',
'one_row': 'one completed checkout attempt',
'window': '2026-10-01 to 2026-10-31',
'missing': 'abandoned carts before payment are not logged',
'assignment': 'observational — flow determined by device',
}
for k, v in meta.items():
print(f'{k}: {v}')عشرة أسطر تمنع أغلى صنف من الأخطاء: تحليل عمود لا يعني ما ظنه الجميع.
متى تستخدمه
كل مرة تفتح مجموعة بيانات غير مألوفة، وكلما كانت نتيجة على وشك أن ترشد قرارًا. فحص المصدر رخيص، وهو الخطوة الوحيدة التي لا يمكن استدراكها لاحقًا.
القيود
- المصدر غير موثق غالبًا. حينها تعيد بناءه، أو تعامل الاستنتاجات كمؤقتة.
- حتى العينة النظيفة لا تصلح متغيرًا مفقودًا. إذا لم يسجل الرضا للإلغاءات قط، فلا تحليل يستعيده.
- العشوائية ليست أخلاقية أو ممكنة دائمًا. حينها تكون الطرق الرصدية بتعديل حذر البديل الصادق، مع ذكر حدودها.
أخطاء شائعة
- الخلط بين عينة كبيرة وعينة ممثلة. مليون صف متحيز يبقى متحيزًا.
- افتراض أن السجلات كاملة. تفشل التسجيلات، وتوجد مانعات الإعلانات، وحركة الروبوتات حقيقية.
- قراءة سببية من مقارنة رصدية لأن الحساب كان متطورًا.
- تجاهل غير المستجيبين، وهم عادةً المجموعة الأكثر إفادة في الاستطلاع.
🧩 تحديات
🧩 تحدٍّ، فكّر أولًا ثم أظهر
تجد خدمة بث أن المستخدمين الذين يشاهدون أكثر من 10 ساعات أسبوعيًا يقيمونها بأعلى الدرجات، وتستنتج أن تشجيع المشاهدة الأكثر سيحسّن الرضا. ما الخطأ في الاستدلال؟
💡 الجواب: المقارنة رصدية، والاتجاه معكوس على الأرجح: من يحب الخدمة أصلًا يشاهد أكثر. فقد يسبب الرضا المشاهدة لا العكس، وربما يحركهما معًا عامل ثالث مثل وجود وقت فراغ. لاختبار الادعاء تحتاج إلى تشجيع المشاهدة في مجموعة عشوائية ومقارنة الرضا.
🤔 أسئلة سقراطية
- لماذا لا تعوّض العينة الكبيرة عن كونها متحيزة؟
- ماذا تستطيع التجربة إخبارك به مما لا تستطيعه الدراسة الرصدية، وماذا لا تستطيع؟
- إذا اختلف غير المستجيبين عن المستجيبين، فماذا يقدر الاستطلاع فعلًا؟
- لماذا يكون افتراض “صف واحد = شخص واحد” خاطئًا أحيانًا، حتى عندما تكون البيانات عن أشخاص؟
✅ فحص سريع
1. ماذا يعني تحيز المعاينة؟
2. أي تصميم يستطيع إسناد ادعاء سببي بنفسه؟