09. ​วิทยาศาสตร์​และ​ข้อมูล​ทาง​คลินิก — ​การคัด​กรอง​ความสมบูรณ์

​การประยุกต์ใช้​การทด​สอบ​การแจกแจง

​การทด​สอบ​การแจกแจง​ของ​ตัวเลข​เป็น​เครื่องมือ​วินิจฉัย ​นักวิจัย​ใช้​มัน​ตรวจ​ว่า​งาน​วิทยาศาสตร์​ที่​ตีพิมพ์​แล้ว​มี​ข้อมูล​สมบูรณ์​จริง​หรือไม่ Andreas Diekmann ​เขียน​ไว้​ใน​การศึกษา​ปี 2007 ​เรื่อง "Not the First Digit! Using Benford's Law to Detect Fraudulent Scientific Data" ​ว่า​วิธี​นี้​ให้​มุมมอง​เฉพาะตัว​ใน​การจับ​ข้อมูล​ปลอม ​ประเด็น​ของ​เขา​คือ ​เลข​นำ​ที่​ปลอม​ขึ้น​อาจ​เลียนแบบ​การลดลง​ตาม​กฎ​ของ Benford ​ได้ ​แต่​ตัวเลข​หลัก​ที่สอง ​สาม ​และ​สี่ ​มัก​เผย​ความเบี่ยงเบน​อย่าง​มีนัย​สำคัญ ​การคัด​กรอง​จึง​ต้อง​มอง​ไกล​กว่า​ตัวเลข​ที่​เด่นชัด​ที่สุด ​ถึง​จะ​เห็น​โครงสร้าง​ตัวเลข​ที่ซ่อน​อยู่​ข้างใต้​ชัด​ขึ้น ​เมื่อ​ดู​รูปแบบ​การแจกแจง​ใน​หลัก​ที่​ลึก​ลง​ไป​เหล่านี้ ​นักวิทยาศาสตร์​จะ​ประเมิน​ได้ดี​ขึ้น​ว่า​ข้อมูล​ที่​รายงาน​มาส​อด​คล้อง​กับ​ความคาดหวัง​ทาง​สถิติ​ของ​ปรากฏการณ์ธรรมชาติ​หรือไม่ ​ประโยชน์​ของ​เครื่องมือ​นี้​อยู่​ตรง​ที่​มัน​ชี้​ความผิดปกติ​ที่​สมควร​ให้​ชุมชน​วิทยาศาสตร์​ใน​วงกว้าง​เข้าไป​ตรวจ​อย่าง​ละเอียด​กว่า​เดิม

​การคัด​กรอง​ผล​การทดลอง​ทาง​คลินิก

​ตัวแปร 28 ​จาก 33 ​ตัว​ที่​ทดสอบ ​คิด​เป็น 85% ​ของ​ข้อมูล ​มี​การแจกแจง​ที่​ไม่​สอดคล้อง​ทาง​สถิติ​กับ​รูปแบบ​ที่​คาด​ไว้ ​นั่น​คือ​ผล​จาก​บทความ​ปี 2012 ​ของ John B. Carlisle ​เรื่อง "The Analysis of 168 Randomised Controlled Trials to Test Data Integrity" ​ที่​สาธิต​หลักการ​เหล่านี้​อย่าง​เข้มงวด ​เขา​ตรวจการ​ทดลอง​แบบ​สุ่ม​และ​มี​กลุ่ม​ควบคุม 168 ​รายการ​ที่​ผู้เขียน​คนเดียว​ตีพิมพ์​ระหว่าง​ปี 1991 ​ถึง 2011 ​เพื่อ​ตัดสิน​ว่า​สถิติ​ที่​รายงาน​มาส​อด​คล้อง​กับ​ความบังเอิญ​หรือไม่ ​ผล​ออกมา​ชัด ​การคัด​กรอง​ทาง​สถิติ​หลาย​วิธี​ชุด​นี้​มี​การทด​สอบ​ด้วย​ตัวเลข​รวม​อยู่​ด้วย ​และ​มัน​คือ​ตัว​จุดชนวน​หลัก​ให้​ตรวจงาน​ของ​ผู้เขียน​คน​นั้น​ลึก​ลง​ไป ​การสอบสวน​ที่​ตามมา​จบ​ลง​ที่​กรณี​เพิกถอน​ผลงานวิจัย​จำนวนมาก​ครั้ง​สำคัญ ​และ​พิสูจน์​ว่า​เครื่องมือ​คัด​กรอง​แบบนี้​รักษา​มาตรฐาน​ของ​การวิจัย​ทาง​คลินิก​ได้​จริง ​ระเบียบวิธี​นี้​เป็น​คำเตือน​ว่า​ข้อมูล​ที่​รวบรวม​มา​ควร​มี​พฤติกรรม​ที่​คาดการณ์​ได้ ​และ​เมื่อ​มัน​เบี่ยง​จาก​บรรทัดฐาน​นั้น ​ก็​เป็น​สัญญาณ​ว่า​อาจ​ต้อง​ให้​สถาบัน​เข้ามา​ตรวจสอบ

​ขอบเขต​ของ​ข้อสงสัย​ทาง​สถิติ

​ข้อ​ค้นพบ​ใน​บทความ​ของ Andreas Diekmann ​และ​ของ John B. Carlisle ​ไม่​พบ​ว่า​มี​ใคร​โต้แย้ง​อย่าง​จริงจัง ​ทั้งสอง​คน​บอก​ชัด​ว่า​ผล​ทาง​สถิติ​ของ​ตน​เป็นตัว​จุดชนวน​ให้​ตรวจ​ต่อ ​ไม่​ใช่​คำตัดสิน​ขั้นสุดท้าย​ว่า​มี​การฉ้อโกง ​อันตราย​ยังอยู่​ตรงนี้: ​สถิติ​ที่​แรง​พอ​จะ​ทำให้​ผู้อ่าน​เชื่อ​ว่า​มีความผิด​ปกติ ​ก็​แรง​พอ​จะ​ตัดสิน​คนบริสุทธิ์​อย่าง​ไม่​เป็นธรรม​ได้​เท่ากัน

​ตัวอย่าง: ​เครื่อง​ตรวจจับ​ควัน​บอก​ได้​ว่า​มี​ไฟไหม้ ​แต่​บอก​ไม่​ได้​ว่าความ​ร้อน​มาจาก​แหล่ง​ไหน ​หรือ​คน​ที่​จุด​ไม้ขีดไฟ​นั้น​ตั้งใจ​อะไร

​คำตัดสิน. ​ผลบวก​จาก​การคัด​กรอง​ด้วย​กฎ​ของ Benford ​คือ​คำสั่ง​ให้​คน​ลงมือ​ตรวจสอบ​เอง ​ไม่​ใช่​คำพิพากษา​ขั้นสุดท้าย​ว่า​ประพฤติผิด​ทางวิชาการ

​จะ​พลิก​คำตัดสิน​ได้​เมื่อ: ​ทำซ้ำ​ข้อมูล​การทดลอง​ทาง​คลินิก​แล้ว​พบ​ว่า ​การแจกแจง​ที่​รายงาน​ไว้​สอดคล้อง​กับ​การออกแบบ​การทดลอง​และ​ตัวแปร​ที่อยู่​เบื้องหลัง​จริง

​แหล่ง​อ้างอิง. 2007 · Andreas Diekmann, "Not the First Digit! Using Benford's Law to Detect Fraudulent Scientific Data" — Journal of Applied Statistics 34(3) · 2012 · John B. Carlisle, "The Analysis of 168 Randomised Controlled Trials to Test Data Integrity" — Anaesthesia, Wiley