8 · บันไดที่ถูกถอดออก
บันไดที่ดีที่สุดคือบันไดที่ถอดออกแล้วตึกไม่ล้ม
RBM คือบันไดแบบนั้น และเรื่องของมันถูกเล่าผิดบ่อยว่าเป็นเทคโนโลยีที่ล้าสมัย ความจริงตรงข้าม มันหายไปเพราะมันทำงานสำเร็จ
ย้อนไปที่ปัญหาค้างจากบทที่แล้วก่อน Boltzmann machine สอนช้าเกินกว่าจะใช้งานจริง เหตุผลคือทุกหน่วยต่ออยู่กับทุกหน่วย รวมถึงหน่วยที่อยู่ชั้นเดียวกัน แปลว่าเวลาจะคำนวณว่าหน่วยไหนควรติดหรือดับ ต้องรอดูหน่วยอื่นในชั้นเดียวกันด้วย ซึ่งหน่วยอื่นนั้นก็รอดูหน่วยนี้อยู่เหมือนกัน ทุกอย่างพึ่งพากันเป็นวง ทางเดียวที่จะหาคำตอบคือปล่อยให้มันเขย่าตัวเองไปเรื่อย ๆ จนนิ่ง แล้วค่อยวัด
ทางแก้คือการตัดสายออก ไม่ใช่เพิ่มอะไร
Restricted Boltzmann Machine ตัดเส้นเชื่อมภายในชั้นเดียวกันทิ้งทั้งหมด หน่วยที่มองเห็นต่อกับหน่วยที่ซ่อนอยู่เท่านั้น ไม่มีหน่วยไหนในชั้นเดียวกันคุยกันเอง คำว่า restricted มาจากตรงนี้ — มันคือ Boltzmann machine ที่ถูกจำกัด
ผลของการตัดสายชุดนั้นเปลี่ยนทุกอย่าง เพราะพอไม่มีใครในชั้นเดียวกันรอกันอยู่ หน่วยทั้งชั้นก็คำนวณพร้อมกันได้ในทีเดียว จากการรอให้ระบบนิ่ง กลายเป็นการคำนวณสองรอบ ขึ้นแล้วลง
Hinton เขียนวิธีสอนมันในปี 2002 ชื่อ contrastive divergence และความคิดของมันหน้าด้านอย่างน่าชื่นชม — ทฤษฎีบอกว่าต้องปล่อยให้ระบบเขย่าจนเข้าที่ก่อนวัด เขาถามว่าถ้าไม่รอล่ะ ถ้าเขย่าแค่ก้าวเดียวแล้ววัดเลยล่ะ คำตอบทางทฤษฎีคือค่าที่ได้จะไม่ถูกต้อง คำตอบทางปฏิบัติคือมันผิดในทิศทางที่ไม่ทำลายอะไร และมันเร็วขึ้นหลายร้อยเท่า
ปี 2006 คือปีที่บันไดนี้ถูกใช้
Hinton กับ Simon Osindero และ Yee Whye Teh ตีพิมพ์วิธีที่เรียกว่า greedy layer-wise pretraining ความคิดคือแทนที่จะพยายามสอนเครือข่ายลึก ๆ ทั้งก้อนพร้อมกัน — ซึ่งตอนนั้นยังทำไม่สำเร็จ เพราะสัญญาณความผิดที่ส่งย้อนกลับจากบทที่ 4 จางลงจนแทบเป็นศูนย์ก่อนถึงชั้นล่าง — ให้สอนทีละชั้น
สอนชั้นล่างสุดด้วย RBM ตัวเดียวจนมันเจอรูปแบบง่าย ๆ ในข้อมูลดิบ แล้วแช่แข็งชั้นนั้นไว้ เอาสิ่งที่ชั้นล่างเห็นเป็นข้อมูลเข้าของชั้นถัดไป สอนชั้นนั้นด้วย RBM อีกตัว ทำอย่างนี้ขึ้นไปทีละชั้น แต่ละชั้นเรียนของที่เป็นนามธรรมขึ้นกว่าชั้นใต้มัน เสร็จแล้วค่อยเอา backpropagation มาจูนทั้งก้อนอีกที
ที่มันได้ผลเพราะการสอนแบบนี้ไม่ได้เริ่มจากน้ำหนักมั่ว ๆ มันเริ่มจากน้ำหนักที่ผ่านการจัดระเบียบตามโครงสร้างของข้อมูลมาแล้ว ลูกบอลไม่ได้ถูกปล่อยลงมาจากที่ไหนก็ไม่รู้ มันถูกวางไว้ใกล้หุบที่ถูกตั้งแต่แรก
ปีเดียวกันนั้น Hinton กับ Ruslan Salakhutdinov ตีพิมพ์ใน Science แสดงว่าเครือข่ายลึกที่สอนวิธีนี้บีบข้อมูลได้ดีกว่าวิธีมาตรฐานที่ใช้กันมาสามสิบปี
นั่นคือช่วงที่คำว่า deep learning เริ่มมีน้ำหนัก และคณะกรรมการโนเบลอ้างถึงงานปี 2006 ชุดนี้โดยตรงในคำประกาศรางวัลปี 2024
ทีนี้ส่วนที่ต้องเล่าให้ครบ
ประมาณปี 2010 ถึง 2012 มีของสามอย่างมาพร้อมกัน
อย่างแรก มีคนพบว่าถ้าเลือกวิธีตั้งน้ำหนักเริ่มต้นให้ถูกขนาด สัญญาณความผิดจะเดินทางลงไปถึงชั้นล่างได้โดยไม่จางหายไปก่อน
อย่างที่สอง มีการเปลี่ยนฟังก์ชันที่นิวรอนใช้ตัดสินว่าจะติดหรือดับ จากเส้นโค้งรูปตัว S มาเป็นเส้นหักมุมง่าย ๆ ที่เรียกว่า ReLU ซึ่งไม่ทำให้สัญญาณจางลงเวลาเดินย้อนกลับ
อย่างที่สาม GPU ราคาผู้บริโภคแรงพอที่จะสอนเครือข่ายใหญ่ ๆ ได้ในเวลาไม่กี่วัน
ปี 2012 AlexNet ชนะการแข่งขัน ImageNet ด้วยความผิดพลาดที่ต่ำกว่าอันดับสองอย่างมาก มันถูกสอนบนการ์ดจอสำหรับเล่นเกมสองใบ
และมันไม่ได้ใช้ RBM pretraining เลย
ข้อสรุปที่วงการลงตัวในช่วงหลังจากนั้นคือ การเตรียมน้ำหนักแบบไม่มีเฉลยไม่ใช่สิ่งจำเป็นสำหรับการสอนเครือข่ายลึก มันช่วยได้จริงในยุคที่ยังไม่มีของสามอย่างข้างบน และเมื่อของสามอย่างนั้นมาครบ การสอนแบบมีเฉลยตรง ๆ ทำได้ดีกว่า
ตรงนี้ขอชี้ให้ชัด เพราะมันคือสิ่งที่คนเล่าผิดบ่อยที่สุดเกี่ยวกับ RBM
RBM ไม่ได้แพ้ มันชนะจนตัวเองไม่จำเป็น
งานของมันคือพาเครือข่ายลึกข้ามช่วงที่ยังไม่มีใครสอนมันได้ มันทำงานนั้นสำเร็จ คนจึงกล้าลงทุนกับเครือข่ายลึกต่อ แล้วของที่ดีกว่าก็ถูกสร้างขึ้นมาในช่วงที่ได้เวลานั้นมา บันไดถูกถอดออกเพราะตึกยืนได้แล้ว ไม่ใช่เพราะบันไดหัก
นี่คือรูปแบบที่จะเจออีกครั้งในบทที่ 11 และเป็นเหตุผลที่คำถามว่า "ของเก่าจะกลับมาไหม" มักถูกถามผิดข้อ ของที่หายไปเพราะพ่ายแพ้อาจกลับมาได้ถ้าเงื่อนไขเปลี่ยน ส่วนของที่หายไปเพราะทำงานเสร็จ จะกลับมาก็ต่อเมื่อมีงานใหม่ที่หน้าตาเหมือนงานเดิม
และหุบเขากับลูกบอลก็ยังไม่ได้หายไปไหนเลย มันกำลังจะกลับมาในบทที่ 10 ในรูปที่ไม่มีใครคาดคิด
ลองเอง: เปิดแอปรูปภาพในมือถือ แล้วดูว่ามันจัดกลุ่มหน้าคนให้คุณเอง — ไม่มีใครสอนเครื่องว่าใบหน้าคนนี้ชื่ออะไรก่อนที่มันจะรวมรูปเป็นกอง มันรวมเพราะรูปพวกนั้นเหมือนกันในแบบที่มันหาเจอเอง แล้วรอให้คุณมาติดชื่อทีหลัง นั่นคือรูปเดียวกันกับที่ hidden units ทำในบทที่แล้ว ต่างกันที่เครื่องมือข้างใน ไม่ใช่ที่ความคิด
บทนี้จะผิดเมื่อ: พบว่า AlexNet ปี 2012 ใช้การเตรียมน้ำหนักแบบไม่มีเฉลย หรือพบผลการทดลองยืนยันว่าการเตรียมน้ำหนักด้วย RBM ยังให้ผลดีกว่าการสอนแบบมีเฉลยตรง ๆ อย่างสม่ำเสมอในเครือข่ายขนาดใหญ่ยุคปัจจุบัน
บทถัดไป · 10 / 1409 When We Stopped Saving