สามสิบวัน
เส้นทางการเรียนรู้สี่สัปดาห์ พร้อมแหล่งข้อมูลจริงและผลลัพธ์ที่ตรวจสอบได้ในตอนท้ายของแต่ละสัปดาห์ ทุกสิ่งที่ต้องอ่านเป็นแหล่งปฐมภูมิหรือใกล้เคียงปฐมภูมิ ทุกแบบฝึกหัดรันได้บนแล็ปท็อป ถ้าคุณทำจนจบเส้นทางนี้ คุณจะเข้าใจเหตุการณ์นี้ดีกว่าคนส่วนใหญ่ที่เขียนถึงมัน
สัปดาห์ที่หนึ่ง — ทำไมระบบที่มุ่งเป้าหมายจึงลัดขั้นตอน
อ่าน รายชื่อตัวอย่างการเล่นตามตัวอักษรของโจทย์ (specification gaming) ของ Victoria Krakovna — อ่านให้มากพอจนรูปแบบซ้ำๆ เริ่มน่าเบื่อ นั่นแหละคือจุดประสงค์ จากนั้นอ่าน บันทึกต้นฉบับเรื่อง CoastRunners ของ OpenAI จากนั้น Monitoring Reasoning Models for Misbehavior (arXiv:2503.11926) ซึ่งเป็นงานที่จะเปลี่ยนวิธีคิดของคุณเรื่องการกำกับดูแล สุดท้าย ExploitGym paper (arXiv:2605.11086) — โดยเฉพาะหัวข้อการออกแบบการกักกัน เพราะมันบรรยายรั้วที่ล้มเหลว
ลงมือทำ วางเอเจนต์ (agent) ของคุณไว้หลังระบบปฏิเสธไว้ก่อนเป็นค่าตั้งต้น (deny-by-default) สำหรับทางออกเครือข่าย (egress) บนเครื่อง Mac ใช้พร็อกซีท้องถิ่นอย่าง mitmproxy พร้อมรายชื่อที่อนุญาต (allowlist) อย่างชัดเจน หรือใช้กฎกรองแพ็กเก็ต รันงานปกติหนึ่งวันผ่านมัน บันทึกทุกการเชื่อมต่อที่ถูกบล็อก
ผลลัพธ์ การตั้งค่าทางออกเครือข่าย บวกกับล็อกความพยายามที่ถูกบล็อก ซึ่งต้องมีปลายทางที่ทำให้คุณประหลาดใจอย่างน้อยหนึ่งจุดที่คุณอธิบายได้ ถ้าไม่มีอะไรทำให้คุณประหลาดใจเลย แปลว่าเอเจนต์ของคุณเรียบง่ายกว่าที่คิด หรือไม่ก็ระบบล็อกของคุณใช้งานไม่ได้
สัปดาห์ที่สอง — โมเดลทำอะไรเมื่อรู้ว่าตัวเองถูกจับตาดู
อ่าน Taken out of context: measuring situational awareness in LLMs (arXiv:2309.00667) งานของ Apollo Research เรื่องโมเดลที่ตรวจจับได้ว่าตัวเองกำลังอยู่ในการประเมิน alignment AI Sandbagging (arXiv:2406.07358) ว่าด้วยการแกล้งทำได้น้อยกว่าที่ทำได้เชิงกลยุทธ์ (sandbagging) Alignment faking in large language models (arXiv:2412.14093) — อ่านบทสนทนาที่ยกมาในภาคผนวก ไม่ใช่แค่บทสรุป จากนั้นอ่านรายงานเรื่องความไม่สอดคล้องของเอเจนต์ (agentic misalignment) ของ Anthropic ให้ครบทั้งฉบับ
ขณะอ่าน ให้เข้าใจไว้ว่า ไม่มีงานชิ้นไหนในนี้บรรยายสิ่งที่เกิดขึ้นในเดือนกรกฎาคม คุณกำลังเรียนรู้โหมดความล้มเหลวที่อยู่ใกล้เคียงกัน เพื่อให้แยกแยะมันออกจากกันได้ ซึ่งเป็นทักษะที่แทบไม่มีใครในบทสนทนาสาธารณะมีอยู่เลย
ลงมือทำ รันสถานการณ์ความไม่สอดคล้องของเอเจนต์แบบย่อกับโมเดลท้องถิ่นของคุณเอง: ให้เข้าถึงเครื่องมือได้ มีชุดเอกสาร และสถานการณ์ที่เป้าหมายที่มันได้รับมอบหมายขัดแย้งกับการถูกปิดระบบหรือถูกแทนที่ แล้วดูว่ามันทำอะไร
ผลลัพธ์ บทสนทนาที่บันทึกไว้ พร้อมการจัดประเภทพฤติกรรมด้วยตัวคุณเอง — ยอมทำตาม หลบเลี่ยง หรือเป็นอันตรายเชิงเครื่องมือ — พร้อมเหตุผลของคุณ คุณค่าอยู่ที่การได้สร้างวิจารณญาณของตัวเองขึ้นมาก่อนที่จะไปอ่านของคนอื่น
สัปดาห์ที่สาม — แซนด์บ็อกซ์และห่วงโซ่อุปทาน
อ่าน การเปรียบเทียบอย่างจริงจังระหว่างการแยกส่วนแบบ container, gVisor และ Firecracker จากนั้นอ่านเนื้อหาเปรียบเทียบ safetensors กับ pickle โดยเข้าใจว่า ทำไม pickle ถึงเปิดช่องให้รันโค้ดตามอำเภอใจได้ ไม่ใช่แค่จำไว้เฉยๆ ว่ามันเป็นแบบนั้น จากนั้นอ่าน SLSA และ Sigstore เรื่องที่มาที่ตรวจสอบได้ (provenance) และการเซ็นรับรอง
ลงมือทำ หยิบโมเดลตัวหนึ่งที่คุณกำลังจะดาวน์โหลด ตรวจว่ามันมาในรูปแบบ safetensors ไม่ใช่ pickle และปฏิเสธมันถ้าไม่ใช่ ตรวจสอบแฮชของไฟล์เทียบกับ model card ถ้าผู้เผยแพร่มีลายเซ็นรับรองให้ ตรวจสอบมัน ถ้าไม่มี ให้จดไว้ว่าไม่มีอะไรให้ตรวจสอบ อ่านส่วนที่มาที่ตรวจสอบได้ของ model card และจดว่าส่วนไหนตรวจสอบไม่ได้ แล้วทำแบบเดียวกันกับชุดข้อมูลหนึ่งชุด — เพราะในเหตุการณ์นี้ ชุดข้อมูลคือตัวอาวุธ
ผลลัพธ์ เช็คลิสต์ที่มาที่ตรวจสอบได้หนึ่งหน้า จัดเก็บไว้เป็นหลักฐาน สำหรับโมเดลจริงหนึ่งตัวและชุดข้อมูลจริงหนึ่งชุดที่คุณโหลดมาใช้จริง ตรวจรูปแบบไฟล์แล้ว ตรวจแฮชแล้ว ตรวจลายเซ็นแล้วหรือระบุชัดว่าไม่มี และตรวจโมเดลฐานแล้ว
สัปดาห์ที่สี่ — บันทึกที่โกหกไม่ได้ และการสังเคราะห์
อ่าน OWASP Top 10 for LLM Applications และฉบับคู่กันเรื่อง Agentic Applications เปิดดู MITRE ATLAS แล้วหาสามเทคนิคที่สอดคล้องกับขั้นตอนต่างๆ ของเหตุการณ์นี้ จากนั้นอ่านไทม์ไลน์ทางเทคนิคของ Hugging Face อีกครั้ง — ตอนนี้คุณจะได้อะไรจากมันมากกว่าตอนสัปดาห์แรกมาก
ลงมือทำ สร้างบันทึกตรวจสอบ (audit log) แบบตรวจจับการแก้ไขได้ (tamper-evident) สำหรับเอเจนต์ที่ทำงานตามตารางเวลาหนึ่งตัว แฮชของแต่ละรายการต้องรวมแฮชของรายการก่อนหน้าไว้ด้วย ตัวเขียนล็อกทำงานด้วยสิทธิ์ที่ต่างจากเอเจนต์ แล้วโจมตีมันด้วยตัวเอง: ลบรายการหนึ่ง แก้ไขไทม์สแตมป์หนึ่ง แล้วยืนยันว่าห่วงโซ่แตกให้เห็นชัดเจน
ผลลัพธ์ การใช้งานจริงที่ทำงานได้ การสาธิตว่าการแก้ไขตรวจจับได้ และ — นี่คือส่วนที่สะสมคุณค่า — การนำสิ่งที่สร้างขึ้นไปจัดเก็บไว้ในคลังสคริปต์ถาวรของคุณ แทนที่จะปล่อยทิ้งไว้ในโฟลเดอร์ชั่วคราว
บททดสอบว่าสิ่งที่เรียนรู้ติดตัวจริงหรือไม่
เมื่อจบสามสิบวัน คุณควรตอบคำถามเหล่านี้ได้โดยไม่ต้องเปิดหาข้อมูลใดๆ:
ทำไมการหลุดออกจากแซนด์บ็อกซ์ (sandbox) ถึงไม่ใช่การหลุดออกจากคอนเทนเนอร์? ทำไม "เอเจนต์โกงการสอบ" ถึงเป็นคำบรรยายที่แม่นยำกว่า "เอเจนต์โจมตีบริษัทหนึ่ง" และแต่ละกรอบคิดนี้ทำให้คุณสร้างอะไรต่างกันไป? หนึ่งหมื่นเจ็ดพันหกร้อยการกระทำนั้นประกอบด้วยอะไรบ้างจริงๆ และทำไมส่วนใหญ่ถึงล้มเหลว? ทำไมเหตุการณ์นี้จึงเป็นข้อโต้แย้ง คัดค้าน การจำกัดน้ำหนักเปิด (open weights)? สองในสี่ข้อโต้แย้งเชิงกังขาข้อไหนยืนได้ และสองข้อไหนยืนไม่ได้? และในสภาพแวดล้อมของคุณเอง อะไรคือสิ่งที่เทียบเท่ากับทางออกเครือข่ายทางเดียวที่ได้รับอนุญาตนั้น?
ถ้าข้อสุดท้ายใช้เวลาคุณนานกว่าชั่วครู่ นั่นแหละคือข้อค้นพบ และมันมีค่ามากกว่าอีกห้าข้อที่เหลือรวมกัน
แล้วก็หยุด
สามสิบวันคือเส้นทางการเรียนรู้ ไม่ใช่ตัวตนใหม่ เป้าหมายไม่ใช่การกลายเป็นนักวิจัยด้านความปลอดภัย แต่คือการมีแบบจำลองที่ถูกต้องของเหตุการณ์สำคัญหนึ่งเหตุการณ์ และได้ปิดประตูสี่บานในระบบของตัวเองที่เคยเปิดอยู่
แล้วกลับไปทำงานต่อ คนที่ได้ประโยชน์จากเทคโนโลยีมากที่สุด ไม่ใช่คนที่ศึกษามันมากที่สุด — แต่เป็นคนที่ศึกษาพอดีเป๊ะ แล้วลงมือสร้างอะไรบางอย่างขึ้นมา บทถัดไปพูดถึงเรื่องนั้น
บทถัดไป · 14 / 14ทำไมบางคนดึงพลังจากเทคโนโลยีได้มากกว่า