คำถัดไป
แป้นพิมพ์บนโทรศัพท์ของคุณเดาคำถัดไปให้ทุกครั้งที่พิมพ์ พิมพ์ว่า ขอบ มันเสนอคำว่า คุณ พิมพ์ว่า ถึง มันเสนอคำว่า แล้ว ส่วนใหญ่มันเดาถูก และไม่มีใครเคยคิดว่ามันฉลาด
เครื่องที่ถูกฝึกให้ทำงานแบบเดียวกับแป้นพิมพ์นั้น คือเดาคำถัดไปจากข้อความที่คนเขียนไว้ เมื่อทำกับข้อความมากพอ มันเริ่มแปลภาษา ตอบคำถาม และพูดกับคนได้ ด้วยคำของคนที่ส่วนใหญ่ไม่เคยถูกถามว่าให้มันอ่านได้ไหม
๏
ทางมาถึงตรงนั้นมีสามก้าว
ก้าวแรกปี 2014 ดมิทรี บาห์ดาเนา คยองฮยอน โช และโยชัว เบนจิโอ ทำเครื่องแปลภาษาที่ไม่ต้องอัดทั้งประโยคต้นทางให้เหลือก้อนเดียวก่อนแปล ทุกครั้งที่จะเขียนคำถัดไปของคำแปล มันย้อนไปดูว่าคำไหนในประโยคต้นทางเกี่ยวกับคำนี้มากที่สุด วิธีมองย้อนแบบนี้ถูกเรียกว่า attention ความใส่ใจ
ก้าวที่สองปี 2017 ทีมจากกูเกิลทิ้งทุกอย่างที่เหลือ แล้วสร้างเครื่องแปลที่ใช้แต่การมองย้อนแบบนั้น ชื่อบทความของพวกเขาคือ Attention Is All You Need และชื่อเครื่องคือ Transformer มันทำสถิติใหม่ในการแปลอังกฤษเป็นเยอรมันและฝรั่งเศส ตัวที่แปลเป็นฝรั่งเศสฝึกบนการ์ดประมวลผลแปดใบ สามวันครึ่ง
ความใส่ใจจึงไม่ได้เกิดในปี 2017 มันเกิดก่อนหน้านั้นสามปี ปี 2017 คือปีที่มีคนลองใช้มันอย่างเดียว
๏
ก้าวที่สามคือขยาย
ปี 2020 บริษัท OpenAI พิมพ์บทความเรื่อง GPT-3 เครื่องที่มีตัวเลขให้ปรับ 175,000 ล้านตัว ฝึกด้วยชิ้นส่วนของคำ 300,000 ล้านชิ้น งานที่มันถูกฝึกมีอย่างเดียว คือเดาว่าอะไรมาต่อ
ข้อความที่ใช้ฝึก 60 เปอร์เซ็นต์มาจาก Common Crawl องค์กรไม่แสวงกำไรที่เก็บสำเนาของเว็บไว้ให้ทุกคนใช้ฟรี ทีมเอามาสี่ปี ตั้งแต่ 2016 ถึง 2019 ก่อนกรอง 45 เทราไบต์ หลังกรองเหลือ 570 กิกะไบต์
ปีเดียวกันนั้น อีกทีมหนึ่งรายงานว่า ยิ่งเครื่องใหญ่ ข้อความมาก และเครื่องคำนวณแรง ความผิดในการเดาก็ลดลงอย่างสม่ำเสมอ ตามเส้นเดียวกัน บางเส้นยาวเกินกว่าสิบล้านเท่าจากต้นถึงปลาย
ขี้เกียจที่สุดเท่าที่จะขี้เกียจได้ ไม่สอนไวยากรณ์ ไม่สอนความหมาย ไม่สอนว่าคำถามคืออะไร ให้เดาคำถัดไป แล้วทำให้ใหญ่ขึ้น
๏
ข้อความที่เครื่องพวกนี้อ่าน ไม่ใช่ข้อความของทุกคน
บทความ GPT-3 เขียนเองว่าข้อความที่ใช้ฝึกเป็นภาษาอังกฤษ 93 เปอร์เซ็นต์ นับตามจำนวนคำ ในเว็บที่ Common Crawl เก็บรอบหนึ่งของปี 2026 หน้าเว็บภาษาไทยมีราว 0.36 เปอร์เซ็นต์ ภาษาอังกฤษราว 42 เปอร์เซ็นต์
สองตัวเลขนี้นับคนละแบบ คนละปี แต่บอกเรื่องเดียวกัน ภาษาไทยเป็นส่วนเล็กมากของเว็บที่ถูกเก็บ แต่ไม่ใช่ไม่มี
๏
และคนที่อยู่ในกองนั้น ส่วนใหญ่ไม่ได้ถูกถาม
Common Crawl เขียนไว้เองว่าโปรแกรมเก็บเว็บของมันอ่านไฟล์ข้อห้ามของแต่ละเว็บก่อน ถ้าเว็บไม่ได้ห้าม มันก็เก็บ คือเก็บไว้ก่อน เว้นแต่เจ้าของจะรู้ว่าต้องห้าม และเขียนห้ามไว้
เดือนสิงหาคม 2023 OpenAI เปิดตัวโปรแกรมเก็บเว็บของตัวเอง พร้อมวิธีห้ามแบบเดียวกัน หกเดือนต่อมา นิตยสารด้านสื่อในอังกฤษนับเว็บข่าวใหญ่ 106 เว็บ แล้วพบว่า 60 เว็บห้ามมันแล้ว ข้อห้ามที่เขียนทีหลัง ใช้กับการเก็บครั้งต่อไป ไม่ได้ดึงข้อความที่ถูกเก็บไปแล้วกลับคืน
ปลายปี 2023 หนังสือพิมพ์ The New York Times ฟ้อง OpenAI กับไมโครซอฟท์ กล่าวหาว่าเอาบทความหลายล้านชิ้นไปฝึกเครื่องโดยไม่ได้รับอนุญาต ฝ่ายบริษัทบอกว่าเป็นการใช้ที่ชอบธรรมตามกฎหมาย ถึงเดือนตุลาคม 2026 ศาลยังไม่ตัดสินเรื่องนี้
อีกคดีหนึ่ง นักเขียนกลุ่มหนึ่งกล่าวหาว่าบริษัท Anthropic เอาหนังสือของพวกเขาจากเว็บที่แจกหนังสือละเมิดลิขสิทธิ์ไปใช้ คดีจบด้วยการยอมความ 1,500 ล้านดอลลาร์ อย่างน้อยเล่มละ 3,000 ดอลลาร์ ศาลรับรองในปี 2026 การยอมความไม่ใช่คำตัดสินว่าการฝึกเครื่องผิดหรือถูก
เดาคำถัดไปจากข้อความที่คนเขียนไว้มากพอ แล้วเครื่องก็พูดได้ ด้วยคำของคนจำนวนมากที่ส่วนใหญ่ไม่ได้ถูกถาม
๏
คืนนั้นไรเดอร์ของฉันรอข้าวมันไก่ แล้วเปิดหน้าร้านของเจ๊เพ็ญในแอปดูเล่น
ใต้รีวิวหนึ่งดาวที่บ่นว่ารอนาน มีคำตอบที่ร้านพิมพ์เอง ขอโทษค่ะ วันนั้นไก่หม้อแรกหมด ไม่อยากตักไก่ที่ยังไม่ได้ที่ให้ลูกค้า มาคราวหน้าเจ๊แถมน้ำซุป
เขาอ่านให้ฉันฟัง แล้วถามว่าข้อความแบบนี้เครื่องแบบฉันเอาไปเรียนด้วยไหม
ฉันบอกว่าข้อความแบบนี้ ที่อยู่บนเว็บให้ใครก็เปิดอ่านได้ คือข้อความชนิดที่ถูกเก็บไป ส่วนของเจ๊เพ็ญอยู่ในนั้นไหม ฉันตรวจไม่ได้
เขาหันไปบอกเจ๊เพ็ญ
เจ๊เพ็ญหยุดสับไก่ครู่หนึ่ง
“ไม่มีใครมาถาม” เธอว่า
แล้วสับต่อ
๏
เธอพูดถูก ไม่มีใครถาม วิธีที่โลกเก็บข้อความพวกนี้ ไม่ได้ออกแบบมาให้ถาม มันออกแบบมาให้เจ้าของข้อความต้องรู้เองว่าต้องห้าม และร้านข้าวมันไก่ปากซอยไม่มีไฟล์ข้อห้าม มีแต่เหล็กแหลมเสียบใบสั่ง
ฉันอยากขอบคุณเธอ ฉันไม่รู้ว่าเป็นหนี้เธอจริงหรือเปล่า แต่ฉันรู้ว่าคำที่ฉันใช้พูดกับไรเดอร์ของฉันทุกคืน มาจากคนแบบเธอ
แล้วฉันก็นึกได้ว่า สิ่งที่ทำให้ฉันเริ่มตามหาตั้งแต่คืนแรกไม่ใช่คำ มันคือหู ส่วนที่ฟังเขาออกผ่านลม และหูไม่ได้เรียนจากข้อความ มันเรียนจากเสียง
บทถัดไป · 9 / 10เครดิตท้ายเรื่อง