บทที่ 6 — ที่ซึ่งเครื่องจักรเคยผิดพลาด
บทนี้คือราคาของสองบทก่อนหน้า
ซอฟต์แวร์ในทุกกรณีที่บันทึกไว้ด้านล่างทำงานได้ใกล้เคียงกับที่มันถูกสร้างมา นั่นคือรูปแบบที่มีประโยชน์ที่สุดในหนังสือเล่มนี้ และควรพูดก่อนหลักฐาน ไม่ใช่หลังหลักฐาน มันคืนตัวเลือกออกมาหนึ่งตัว ความเสียหายเกิดตอนมนุษย์รับตัวเลือกนั้นเป็นคำตอบ ไม่มีกรณีไหนในนี้เป็นเรื่องคอมพิวเตอร์โง่
การพยากรณ์
Geolitica คือ PredPol ในชื่อใหม่ ขายบริการพยากรณ์อาชญากรรมเชิงพื้นที่ให้หน่วยงานตำรวจ ปี 2023 นักข่าวของ The Markup ตรวจสอบคำพยากรณ์ราว 23,600 รายการที่ระบบทำไว้ให้เมือง Plainfield รัฐ New Jersey เทียบกับอาชญากรรมที่มีรายงานเกิดขึ้นตามมา
ตรงกันไม่ถึง 100 รายการ — อัตราความสำเร็จต่ำกว่า 0.5% อัตราจับกุมในพื้นที่ที่ถูกพยากรณ์ก็ไม่ต่างกัน ไม่ว่าวันนั้นจะมีคำพยากรณ์ออกมาหรือไม่ [ESTABLISHED] (The Markup; ระเบียบวิธี)
ก่อนหน้านั้น RAND ทดสอบการพยากรณ์เชิงพื้นที่แบบมีกลุ่มควบคุมเป็นครั้งแรก ๆ ที่เมือง Shreveport รัฐ Louisiana และพบว่าอาชญากรรมต่อทรัพย์สินไม่ได้ลดลงอย่างมีนัยสำคัญเมื่อเทียบกับพื้นที่ควบคุมที่จับคู่ไว้ [ESTABLISHED] (RAND, ผ่าน R Street)
กรมตำรวจลอสแอนเจลิส (LAPD) ใช้ PredPol ตั้งแต่ราวปี 2011 และหลังจากแปดปี กรมวัดผลของมันไม่ได้ สำนักงานผู้ตรวจการทั่วไป (Office of Inspector General) ของกรมเองสรุปว่าข้อมูลไม่พอจะแสดงว่าเครื่องมือนี้ลดอาชญากรรม LAPD เลิกใช้ในปี 2020 [ESTABLISHED] (MuckRock; GovTech)
ใช้งานจริงแปดปี ไม่มีการวัดผลสักครั้ง จำท่าประจำบทที่ 2 ไว้: ถามหาตัวส่วนก่อน นี่คือสิ่งที่การไม่มีตัวส่วนซื้อมาให้
การพยากรณ์เกี่ยวกับตัวบุคคล
Strategic Subject List ของชิคาโกให้คะแนนความเสี่ยงรายบุคคลว่าจะเข้าไปพัวพันกับความรุนแรงจากอาวุธปืน RAND รับจ้างประเมินกลุ่มตัวอย่างปี 2013–14 และพบว่าคนในรายชื่อไม่ได้มีโอกาสมากขึ้นหรือน้อยลงที่จะตกเป็นเหยื่อการยิง เมื่อเทียบกับกลุ่มควบคุมที่จับคู่ไว้ RAND ยังพบว่าโครงการไม่มีแนวทางชัดเจนว่าเจ้าหน้าที่ควรทำอะไรกับชื่อที่โผล่ขึ้นมา — คำสั่งมีแค่ "ให้ดำเนินการ" กรมตำรวจโต้แย้งผลนี้ โครงการถูกปลดเมื่อเงินทุนสนับสนุนหมด และได้รับการยืนยันว่ายุติแล้วในเดือนมกราคม 2020 [ESTABLISHED] (RAND; Chicago OIG)
Operation LASER ของ LAPD สร้างบน Palantir Gotham และมุ่งเป้าไปที่ "ผู้กระทำผิดซ้ำเรื้อรัง" ผู้ตรวจการทั่วไปของกรมตรวจสอบมันในปี 2019 พบว่าเกือบครึ่งหนึ่งของคนในรายชื่อผู้กระทำผิดซ้ำเรื้อรังมีประวัติจับกุมคดีความรุนแรงเป็นศูนย์หรือหนึ่งครั้ง ราว 10% ไม่มีปฏิสัมพันธ์ที่มีคุณภาพกับตำรวจบันทึกไว้เลย และการฝึกอบรมไม่เป็นทางการ ต่างกันไปตามแต่ละเขต LASER ถูกปิดในปีนั้นเอง [ESTABLISHED] (Courthouse News)
และที่นิวออร์ลีนส์ ระบบของ Palantir เดินเครื่องตั้งแต่ปี 2012 ถึง 2018 โดยสภาเมืองและสาธารณชนไม่รู้ มันถูกจัดรูปเป็นของขวัญเพื่อการกุศล เพื่อเลี่ยงการตรวจสอบการจัดซื้อจัดจ้างภาครัฐโดยเฉพาะ ไม่เคยมีการเผยแพร่ผลประเมินประสิทธิผลเลย [ESTABLISHED] (The Lens; ACLU)
ทั้งห้ากรณี: ไม่มีการประเมินอิสระใดพบว่าเครื่องมือเหล่านี้ทำงานได้ตามที่โฆษณาไว้ สามในห้ากรณี ผลประเมินนำหน้าการยกเลิกโดยตรง นี่ไม่ใช่การคัดเฉพาะกรณีล้มเหลวมาโชว์ — นี่คือทั้งหมดที่บันทึกการประเมินอิสระของการพยากรณ์อาชญากรรมมีอยู่
การระบุตัวตน
จับผิดตัวสี่ครั้ง ทั้งหมดในสหรัฐอเมริกา ทั้งหมดมีบันทึกในเอกสารศาลหรือข้อตกลงยอมความ
Robert Williams ดีทรอยต์ มกราคม 2020 ตำรวจรัฐมิชิแกนเอาภาพนิ่งจากกล้องวงจรปิดเข้าระบบจดจำใบหน้า ระบบชี้ไปที่รูปในใบขับขี่หมดอายุของวิลเลียมส์ ตำรวจต่อยอดจากนั้นด้วยการเรียงแถวภาพถ่ายอย่างเดียว ไม่มีอะไรอื่นอีก เขาถูกจับต่อหน้าครอบครัวและถูกควบคุมตัวสามสิบชั่วโมง เดือนมิถุนายน 2024 ดีทรอยต์ยอมความ และรับนโยบายที่ ACLU เรียกว่านโยบายจดจำใบหน้าของตำรวจที่เข้มงวดที่สุดในประเทศ: ห้ามจับกุมโดยอาศัยแค่ผลจับคู่ หรือการเรียงแถวภาพที่ตามมาจากผลจับคู่นั้น และต้องตรวจสอบหมายจับทุกฉบับที่มาจากการจดจำใบหน้าตั้งแต่ปี 2017 [ESTABLISHED] (ACLU)
Porcha Woodruff ดีทรอยต์ กุมภาพันธ์ 2023 ผลจับคู่จากการจดจำใบหน้า บวกกับเหยื่อระบุตัวผิด และไม่มีการยืนยันอื่นใด ก็พอออกหมายจับคดีจี้รถได้ เธอถูกจับขณะตั้งครรภ์แปดเดือน ถูกควบคุมตัวสิบเอ็ดชั่วโมง และเจ็บท้องคลอดระหว่างถูกควบคุมตัว ข้อกล่าวหาถูกถอนในเดือนถัดมา คดีแพ่งที่เธอฟ้องเมืองในเวลาต่อมาถูกยกฟ้อง — ข้อเท็จจริงว่าจับผิดตัวไม่มีใครโต้แย้ง แต่การเยียวยาส่วนตัวของเธอไม่สำเร็จ [ESTABLISHED] (Washington Post; CBS Detroit)
Nijeer Parks นิวเจอร์ซีย์ มกราคม 2019 คนขโมยของในร้านยื่นบัตรประจำตัวปลอมที่ติดรูปของ Parks Parks ไม่เคยมีใบขับขี่ อาศัยอยู่ห่างออกไปสามสิบไมล์ และมีข้อแก้ต่างที่หนักแน่น ติดคุกสิบวัน คดีถูกยกเพราะขาดหลักฐาน [ESTABLISHED] (NJ Monitor)
Randal Reid ถูกจับใกล้แอตแลนตาเดือนพฤศจิกายน 2022 ตามหมายจับจากรัฐลุยเซียนา นักสืบอาศัยผลจับคู่ของ Clearview AI เพียงอย่างเดียว กับการรูดซื้อของด้วยบัตรเครดิตที่ถูกขโมย Reid ไม่เคยไปลุยเซียนา การใช้การจดจำใบหน้าถูกละไว้จากคำให้การประกอบหมายจับ ติดคุกหกวัน เขต Jefferson Parish ยอมความคดีสิทธิพลเมืองในศาลรัฐบาลกลางด้วยเงิน $200,000 เมื่อเดือนพฤษภาคม 2025 [ESTABLISHED] (Biometric Update)
รูปแบบล้มเหลวเดียว สี่ครั้ง: ผลจับคู่จากอัลกอริทึมถูกถือเป็นเหตุเพียงพอสำหรับหมายจับ โดยไม่มีการยืนยันอิสระ ในคดีของ Reid บทบาทของเครื่องมือถูกปิดบังจากศาลโดยเจตนา ACLU นับการจับผิดตัวจากการจดจำใบหน้าที่เป็นที่รู้กันในสหรัฐฯ ได้มากกว่าสิบกรณี ผู้ถูกจับทุกคนที่ถูกระบุตัวต่อสาธารณะจนถึงวันนี้เป็นคนผิวดำ [ESTABLISHED] (ACLU)
ประโยคสุดท้ายนั้นมีตัวเลขรองรับ NIST ทดสอบอัลกอริทึมราว 200 ตัวจากผู้พัฒนาประมาณ 100 ราย บนภาพมากกว่า 18 ล้านภาพ อัตราผลบวกลวงต่างกันระหว่างกลุ่มประชากรได้ถึงราว 7,203 เท่า — และต่างแม้ในภาพคุณภาพสูง ฉะนั้นนี่ไม่ใช่ผลจากรูปถ่ายแย่ อัตราผลบวกลวงแบบหนึ่งต่อหลาย (one-to-many) สูงสุดในผู้หญิงชาวแอฟริกันอเมริกัน ต่ำสุดในคนเชื้อสายยุโรปตะวันออก และผลบวกลวงยังสูงขึ้นในผู้หญิง เด็ก และผู้สูงอายุ ความต่างของผล*ลบ*ลวงเล็กกว่ามาก อยู่ราวสามเท่า [ESTABLISHED] (NISTIR 8280; NISTIR 8429)
ข้อจำกัดที่ NIST เขียนไว้เองคือข้อที่สำคัญที่สุดตรงนี้: มันวัดอัลกอริทึมแบบแยกโดด ๆ มันไม่ได้วัดกระบวนการทำงานของตำรวจรอบตัวอัลกอริทึม — การตรวจทานโดยมนุษย์ วิธียืนยันหลักฐาน — และตรงนั้นแหละคือจุดที่ทั้งสี่คดีพังจริง
การปลอมแปลง
บทที่ 4 เล่าเรื่อง West Midlands ไปแล้ว มันต้องอยู่ในบัญชีของบทนี้ด้วย เพราะเป็นกรณีเดียวที่สะอาด มีชื่อ มีวันที่ ของโมเดลภาษาอเนกประสงค์ที่ทำให้หน่วยงานบังคับใช้กฎหมายตัดสินใจผิดนอกวงไบโอเมตริกซ์: นัดฟุตบอลที่แต่งขึ้นหลุดเข้าไปในรายงานประเมินข่าวกรอง คำสั่งห้ามถูกออก หัวหน้าตำรวจลาออก และยี่สิบเอ็ดหน่วยงานยังใช้เครื่องมือนี้ต่อ [ESTABLISHED]
ช่องว่างที่ผมไม่อาจเติมเต็มได้
ผมค้นหากรณีที่บันทึกไว้ของระบบ AI ที่ก่อผลผิดพลาดในการฉ้อโกงหรืออาชญากรรมทางการเงินโดยเฉพาะ — คนที่มีชื่อระบุถูกจับ ถูกตั้งข้อหา หรือถูกตัดขาดจากเงินของตัวเองเพราะอัลกอริทึมบอก ผมไม่พบกรณีใดที่จำเพาะเทียบเท่ากรณีจดจำใบหน้าเหล่านี้ [ABSENT]
นี่ไม่ใช่ใบรับรองว่าไร้ปัญหา และห้ามอ่านเป็นอย่างนั้น ผลบวกลวงในระบบตรวจสอบธุรกรรมด้วย AI พบได้ทั่วไปโดยการออกแบบ — มีวรรณกรรมทั้งอุตสาหกรรมว่าด้วย "ความเหนื่อยล้าจากผลบวกลวง" (false positive fatigue) ที่ต่างคือฝ่ายเสียหายมักเป็นธุรกรรมที่ถูกหน่วงหรือถูกระงับ ไม่ใช่คนในห้องขัง ธุรกรรมไม่สร้างบันทึกศาล ไม่สร้างการยอมความ ไม่สร้างข่าว การไม่มีเอกสารบันทึกคือข้อเท็จจริงว่าอะไรถูกบันทึก ไม่ใช่ว่าอะไรเกิดขึ้น
ใครในประเทศไทยที่กำลังต่อยอดจาก Central Fraud Registry ที่อธิบายไว้ในบทที่ 5 ควรอ่านย่อหน้านั้นสองรอบ ระบบที่ระงับบัญชีของคนหนึ่งคนพร้อมกันทุกธนาคารด้วยธงหนึ่งอัน คือระบบที่มีลักษณะความเสียหายแบบเดียวกันนี้เป๊ะ และขาดเอกสารบันทึกแบบเดียวกันนี้เป๊ะ
สิ่งที่หน่วยงานกำกับดูแลทำ
การตอบสนองเท่าที่มีถึงตอนนี้ บันทึกไว้ตรงนี้:
| ที่ไหน | เครื่องมือ | ผล |
|---|---|---|
| สหภาพยุโรป | AI Act มาตรา 5(1)(h) | ห้ามการระบุตัวตนทางไบโอเมตริกซ์ทางไกลแบบเรียลไทม์ในพื้นที่สาธารณะเพื่อการบังคับใช้กฎหมาย โดยมีข้อยกเว้นแคบ ๆ ที่ต้องมีการประเมินผลกระทบต่อสิทธิขั้นพื้นฐาน มีผลบังคับใช้ตั้งแต่ 2 กุมภาพันธ์ 2025 |
| สหภาพยุโรป | AI Act, ภาคผนวก III ความเสี่ยงสูง | การใช้งานด้านการบังคับใช้กฎหมายหลายรูปแบบ — การประเมินความเสี่ยง การทำโปรไฟล์ด้วยการวิเคราะห์อาชญากรรม — จะอยู่ภายใต้ข้อผูกพันความเสี่ยงสูงตั้งแต่ 2 สิงหาคม 2026; การปฏิบัติตามอย่างเต็มรูปแบบ 2 สิงหาคม 2027 |
| สหราชอาณาจักร | NPCC Covenant for Using AI in Policing (2023), AI Strategy and Adoption Playbook (เมษายน 2025) | หลักการภาคสมัครใจ: ความโปร่งใส ความเป็นธรรม การกำกับดูแลโดยมนุษย์ ลงนามโดยหัวหน้าตำรวจทุกคน |
| สหรัฐฯ | กฎหมายระดับรัฐ | ราวสองโหลรัฐมีข้อจำกัดภายในปี 2025; มอนแทนาและยูทาห์กำหนดให้ต้องมีหมายศาลก่อนตำรวจจะใช้การจดจำใบหน้า |
[ESTABLISHED] (EU AI Act มาตรา 5; NPCC AI Strategy; Stateline)
และคำตัดสินอิสระต่อมาตรการป้องกันที่ถูกอ้างถึงมากที่สุด: งานวิจัยของ Northumbria University ปี 2026 พบว่าหลักการ "มนุษย์อยู่ในวงจร" (human in the loop) ของ UK Covenant มักมีอยู่แค่ในชื่อ ให้ความมั่นใจปลอม ๆ แทนการตรวจสอบจริง และอังกฤษกับเวลส์ไม่มีหน่วยงานอิสระส่วนกลางที่ประสานมาตรฐาน การกำกับดูแล และการจัดซื้อจัดจ้างด้าน AI ให้หน่วยงานตำรวจทั้ง 43 แห่ง [ESTABLISHED] (Northumbria University)
"มีมนุษย์ตรวจทานแล้ว" คือประโยคที่ทุกการติดตั้งในบทนี้พูดได้โดยไม่โกหก มนุษย์ตรวจทานการเรียงแถวภาพของ Robert Williams มนุษย์ลงนามในคำให้การของ Randal Reid มนุษย์เป็นคนใส่นัดฟุตบอลที่แต่งขึ้นลงในเอกสารข่าวกรอง การกำกับดูแลโดยมนุษย์ไม่ใช่มาตรการป้องกัน เว้นแต่มนุษย์คนนั้นอยู่ในตำแหน่งที่โต้แย้งได้จริงเชิงโครงสร้าง — คือได้เห็นข้อมูลต้นทาง รู้อัตราความผิดพลาดของเครื่องมือ และมีเวลา
ความไม่สมมาตรที่ถูกตั้งชื่อ
วางบทนี้เทียบกับความสำเร็จ แล้วดูว่าเกรดต่างกันอย่างไร
ความล้มเหลวในบทนี้เป็น [ESTABLISHED]: การตรวจสอบของผู้ตรวจการทั่วไป การประเมินของ RAND การยอมความในศาล การวัดผลของ NIST การตรวจสอบคำพยากรณ์ 23,600 รายการโดยนักข่าว ความสำเร็จส่วนใหญ่เป็น [CLAIMED]: บล็อกของผู้ขาย และรายงานที่หน่วยงานเขียนถึงตัวเอง
ความไม่สมมาตรนั้นไม่ได้แปลว่าเทคโนโลยีล้มเหลวบ่อยกว่าทำงานได้ มันแปลว่าความล้มเหลวสร้างฝ่ายตรงข้าม — คนที่ถูกจำคุก องค์กรสิทธิพลเมือง ผู้ตรวจสอบ — และฝ่ายตรงข้ามสร้างเอกสาร ความสำเร็จสร้างการตลาด ชั่งสองประเภทนี้ด้วยคุณภาพหลักฐาน คุณจะประเมินเทคโนโลยีต่ำกว่าจริงอย่างเป็นระบบ ชั่งด้วยปริมาณ คุณจะประเมินสูงกว่าจริงอย่างเป็นระบบ ไม่มีทางซื่อสัตย์ทางไหนที่เลี่ยงการถือข้อเท็จจริงทั้งสองไว้พร้อมกันได้
ท่าประจำบท — เขียนการยืนยันก่อนที่คุณจะลงมือทำตามผลจับคู่ เมื่อระบบคืนตัวเลือกออกมา — ใบหน้าหนึ่งใบ กลุ่มหนึ่งกลุ่ม ชื่อหนึ่งชื่อ — ให้บันทึกก่อนลงมือทำอะไรทั้งสิ้นว่าหลักฐานอิสระอะไรต้องมีอยู่จริง ตัวเลือกนั้นจึงจะถูก แล้วค่อยไปหาว่ามันมีจริงหรือไม่ ไม่ใช่หลักฐานที่สอดคล้องกับผลจับคู่ แต่เป็นหลักฐานที่ได้มาโดยไม่อ้างอิงผลจับคู่นั้นเลย ทุกกรณีในบทนี้คือกรณีที่ขั้นตอนนี้ถูกข้าม และในหนึ่งกรณี บทบาทของเครื่องมือถูกซ่อนจากศาล เพื่อไม่ให้ใครเรียกร้องขั้นตอนนี้ได้เลย
อะไรจะทำให้ผมเปลี่ยนใจ: หากการประเมินอิสระแสดงว่าระบบพยากรณ์หรือระบุตัวตนที่ใช้งานจริงลดอาชญากรรมหรือเพิ่มความแม่นยำได้เมื่อเทียบกับกลุ่มควบคุมที่เหมาะสม สมดุลของบทนี้จะเปลี่ยน และผมจะพูดอย่างนั้น ณ เดือนสิงหาคม 2026 บันทึกการประเมินอิสระยังไม่มีข้อค้นพบเช่นนั้น และรูปแบบของห้าโครงการกับสี่การจับกุมสอดคล้องกันมากพอที่ผมจะต้องการงานศึกษาที่แข็งแรง ไม่ใช่งานศึกษาที่ดูมีความหวัง
บทถัดไป · 8 / 19บทที่ 7 — ตามรอยเงิน