11 · กำแพงย้ายที่ การประหยัดก็ย้ายตาม
การประหยัดกลับมาแล้ว และมันไม่ได้กลับมาเป็นของเดิม
คำถามที่พาเรามาถึงบทนี้คือ ของที่เราทิ้งไปตอนฮาร์ดแวร์ดีขึ้น จะฟื้นขึ้นมาอีกไหม คำตอบสั้นคือฟื้นแล้ว ตั้งแต่ราวปี 2023 และเหตุผลที่มันฟื้นไม่ใช่เพราะใครนึกถึงคุณค่าของความประหยัดขึ้นมาได้ มันฟื้นเพราะกำแพงย้ายที่
บทที่ 9 ปิดด้วยคำถามว่ากำแพงถัดไปอยู่ตรงไหน คำตอบมีสามข้อ และข้อที่คนคาดถึงน้อยที่สุดคือข้อที่บีบหนักที่สุด
กำแพงที่หนึ่ง — จำนวนการคำนวณ นี่คือกำแพงที่ทุกคนคิดถึงเวลาพูดว่าเครื่องไม่แรงพอ มันเคยเป็นกำแพงจริงในยุค 2012 และมันคลายลงเยอะหลังจากนั้น
กำแพงที่สอง — การขนตัวเลขไปกลับ นี่คือกำแพงที่บีบจริงในวันนี้ และคนนอกวงการแทบไม่เคยได้ยินถึง
ปัญหาคือในชิปสมัยใหม่ หน่วยคำนวณอยู่ที่หนึ่ง หน่วยความจำอยู่อีกที่หนึ่ง และระหว่างสองที่นั้นมีท่อ ตัวเลขทุกตัวที่จะถูกคูณต้องเดินทางผ่านท่อนั้น ของที่เกิดขึ้นคือหน่วยคำนวณเร็วขึ้นเร็วกว่าท่อกว้างขึ้นมาก จนถึงจุดที่หน่วยคำนวณนั่งรอของเป็นส่วนใหญ่ของเวลา
นี่คือเหตุผลที่วิธีชื่อ FlashAttention ที่ออกมาในปี 2022 ถึงดังมาก มันไม่ได้ลดจำนวนการคูณลงเลยสักครั้งเดียว คำตอบที่ได้เหมือนเดิมเป๊ะ สิ่งที่มันทำคือจัดลำดับการทำงานใหม่ให้ข้อมูลเดินผ่านท่อน้อยลง มันคือการประหยัดที่ไม่เกี่ยวกับคณิตศาสตร์เลย มันเกี่ยวกับการเดินของ
กำแพงที่สาม — ไฟฟ้า ศูนย์ข้อมูลสมัยนี้ถูกจำกัดด้วยกำลังไฟที่หาได้ในพื้นที่ ไม่ใช่ด้วยเงินที่ซื้อชิปได้ และไฟฟ้าเป็นกำแพงชนิดที่ซื้อทางออกไม่ได้ด้วยความเร็ว
แล้วมีเรื่องที่ไม่ใช่เทคนิคแต่หนักที่สุดข้อหนึ่ง — สอนครั้งเดียว ใช้ตลอดไป
การสอนโมเดลหนึ่งตัวเกิดขึ้นครั้งเดียว ส่วนการเรียกใช้เกิดขึ้นทุกครั้งที่มีคนพิมพ์อะไรสักอย่าง วันละหลายร้อยล้านครั้ง ในสมการนั้น การทำให้เร็วขึ้นสองเท่าไม่ได้ประหยัดแค่สองเท่าของงานหนึ่งชิ้น มันประหยัดสองเท่าของทุกชิ้นตลอดไป ซึ่งเป็นเหตุผลทางธุรกิจล้วน ๆ ที่ทำให้งานบีบของกลับมาเป็นงานที่มีคนเก่ง ๆ อยากทำ
นี่คือของที่กลับมา และชื่อของมันไม่มีคำว่า RBM อยู่เลย
quantization — ลดความละเอียดของตัวเลข เดิมน้ำหนักแต่ละตัวในโมเดลเก็บเป็นทศนิยมความละเอียดสูง ถ้าลดลงเหลือความละเอียดต่ำ ของทั้งก้อนเล็กลง เดินผ่านท่อได้เร็วขึ้น ของที่สุดโต่งที่สุดในสายนี้คือ BitNet b1.58 ของ Microsoft ซึ่งบังคับให้น้ำหนักทุกตัวเป็นได้แค่สามค่า คือ ลบหนึ่ง ศูนย์ หรือ หนึ่ง ผลที่รายงานไว้คือประหยัดหน่วยความจำได้เกินเก้าสิบเปอร์เซ็นต์เทียบกับความละเอียดมาตรฐาน และไลบรารีของมันวัดความเร็วบนซีพียู ARM ได้ 1.37 ถึง 5.07 เท่า พร้อมลดการใช้พลังงาน 55.4 ถึง 70.0 เปอร์เซ็นต์ โมเดลทางการตัวแรกขนาดสองพันล้านพารามิเตอร์ออกเมื่อเมษายน 2025
สังเกตว่าของนี้ไม่ได้ฉลาดขึ้น มันหยาบลง และมันเร็วขึ้นเพราะมันหยาบลง
distillation — ให้โมเดลเล็กเรียนจากโมเดลใหญ่ แทนที่จะสอนโมเดลเล็กด้วยข้อมูลดิบ สอนมันด้วยคำตอบของโมเดลใหญ่ ซึ่งมีข้อมูลมากกว่าคำตอบที่ถูกอย่างเดียว เพราะมันบอกด้วยว่าคำตอบอื่นใกล้เคียงแค่ไหน
Mixture of Experts — เปิดใช้แค่บางส่วน โมเดลมีพารามิเตอร์จำนวนมาก แต่ทุกครั้งที่ประมวลผลคำหนึ่งคำ มีแค่ส่วนน้อยที่ถูกเรียกใช้ ที่เหลือนอนเฉย ๆ ของทั้งก้อนใหญ่ แต่ค่าใช้จ่ายต่อครั้งเท่าโมเดลเล็ก
speculative decoding — ให้ตัวเล็กเดาก่อน โมเดลเล็กเดาคำถัดไปห้าคำรวดเดียว โมเดลใหญ่ตรวจทั้งห้าคำพร้อมกันในรอบเดียว เดาถูกก็ได้ห้าคำในราคาหนึ่งรอบ เดาผิดก็ทิ้ง
LoRA — ปรับเฉพาะส่วนเล็ก ๆ เวลาจะปรับโมเดลใหญ่ให้เข้ากับงานเฉพาะทาง ไม่ต้องขยับน้ำหนักทุกตัว ขยับชุดเล็ก ๆ ที่แปะเพิ่มเข้าไปพอ
ทั้งห้าอย่างนี้คือสิ่งเดียวกันกับที่คนเขียนเกมบนตลับ NES ทำ — หาว่าอะไรที่ทิ้งได้โดยที่ผลลัพธ์ยังใช้ได้ ต่างกันที่ของที่ขาดแคลน สมัยนั้นขาดพื้นที่เก็บ สมัยนี้ขาดความกว้างของท่อกับไฟฟ้า
ทีนี้ส่วนที่ต้องตอบตรง ๆ เพราะเป็นคำถามที่ถามมา — RBM จะกลับมาไหม
ในฐานะวิธีสอน คำตอบคือไม่น่า และเหตุผลอยู่ในบทที่ 8 แล้ว งานที่ RBM เคยทำคือพาเครือข่ายลึกข้ามช่วงที่สอนไม่ได้ งานนั้นเสร็จแล้ว และวิธีที่มาแทนก็ดีกว่าในทุกด้านที่วัดได้ ของที่หายไปเพราะทำงานเสร็จ ไม่กลับมาเพราะคนคิดถึงมัน มันจะกลับมาก็ต่อเมื่อมีงานใหม่ที่หน้าตาเหมือนงานเดิม
แต่ถ้าถามถึงความคิดที่อยู่ข้างใน RBM คำตอบกลับข้างทันที
ความคิดนั้นคือการมองข้อมูลเป็นภูมิประเทศพลังงาน แล้วให้ระบบกลิ้งลงหาที่ต่ำ และความคิดนั้นไม่เคยหายไปเลยสักปี มันคือสิ่งที่อยู่ใน attention ตามบทที่แล้ว และมันคือสิ่งที่อยู่ในโมเดลสร้างภาพรุ่นปัจจุบัน ซึ่งทำงานด้วยการเริ่มจากภาพที่เป็นจุดรบกวนล้วน ๆ แล้วค่อย ๆ ไล่มันลงไปหาที่ต่ำจนกลายเป็นภาพ — ซึ่งคือการอบแบบย้อนกลับของบทที่ 7 ทำซ้ำเป็นร้อยขั้น
เครื่องมือตาย ฟิสิกส์ไม่ตาย
และนั่นคือรูปแบบที่ใช้ได้กับคำถามว่าของเก่าจะกลับมาไหมเกือบทุกครั้ง — ถามว่าของนั้นเคยแก้ปัญหาอะไร ถ้าปัญหายังอยู่ ของมีสิทธิ์กลับ ถ้าปัญหาหายไป ของก็ไปกับมัน และถ้าสิ่งที่ยังอยู่คือกฎที่อยู่ใต้ของชิ้นนั้น กฎนั้นจะโผล่ขึ้นมาอีกในชื่ออื่น ในที่ที่ไม่มีใครมองหา
เหมือนที่สมการของก้อนแม่เหล็กโผล่ขึ้นมาอีกครั้งในกล่องข้อความของโปรแกรมแชทที่คนทั้งโลกใช้กันอยู่ทุกวันนี้
ลองเอง: เปิดรูปถ่ายในเครื่องสักรูป แล้วสั่งส่งต่อให้คนอื่น — เครื่องมักถามว่าจะส่งขนาดไหน เล็ก กลาง หรือเต็ม ลองเลือกขนาดเล็กแล้วดูตัวเลขขนาดไฟล์ที่มันบอก จะเหลือไม่กี่เปอร์เซ็นต์ของเดิม จากนั้นเปิดรูปเล็กนั้นดูเต็มจอ ถ้าไม่ได้เอาไปขยายพิมพ์ จะแทบแยกไม่ออกจากตัวเต็ม นั่นคือ quantization ทั้งดุ้น — โยนความละเอียดที่ตาไม่ได้ใช้ทิ้งไป แล้วเก็บของที่เหลือไว้ครบ โมเดลภาษาถูกบีบด้วยความคิดเดียวกันเป๊ะ ต่างกันแค่สิ่งที่ถูกโยนทิ้งคือทศนิยมท้าย ๆ ของตัวเลขข้างใน ไม่ใช่เม็ดสี
บทนี้จะผิดเมื่อ: มีการวัดที่แสดงว่าความกว้างของช่องทางหน่วยความจำไม่ใช่คอขวดหลักของการเรียกใช้โมเดลภาษาขนาดใหญ่ หรือมีผลที่แสดงว่าการเตรียมน้ำหนักแบบ RBM กลับมาให้ผลดีกว่าวิธีปัจจุบันในงานขนาดใหญ่
บทถัดไป · 13 / 1412 Iron That Thinks