07. The Mathematics of Disappointment
07. คณิตศาสตร์แห่งความผิดหวัง
A monkey sits in a primate chair with a thin electrode lowered into the middle of its brain, into a cluster of cells in the ventral tegmental area, a walnut-sized structure buried near the top of the brainstem. A tone sounds. A few hundred milliseconds later, a drop of apple juice arrives on the monkey's tongue. The electrode is listening to a single neuron, and that neuron does something odd. It does not fire when the juice hits the tongue. It fires when the tone sounds — before the juice has arrived at all. This was the observation, published on 14 March 1997 by Wolfram Schultz, a neurophysiologist at Cambridge, together with the computational theorists Peter Dayan and P. Read Montague, that rewired how neuroscience understood one of the brain's central chemical messengers.
เซลล์ประสาทเซลล์นั้นไม่ยิงสัญญาณตอนน้ำผลไม้แตะลิ้น มันยิงตอนเสียงสัญญาณดังขึ้น ก่อนน้ำผลไม้จะมาถึงด้วยซ้ำ ฉากคือลิงตัวหนึ่งบนเก้าอี้สำหรับไพรเมต ขั้วไฟฟ้าเส้นเล็กหยั่งลงกลางสมอง เข้าไปในกลุ่มเซลล์ที่ ventral tegmental area โครงสร้างขนาดเท่าลูกวอลนัทฝังอยู่ใกล้ยอดก้านสมอง เสียงสัญญาณดัง อีกไม่กี่ร้อยมิลลิวินาทีต่อมา หยดน้ำแอปเปิลตกลงบนลิ้นลิง ขั้วไฟฟ้าฟังเซลล์ประสาทอยู่เซลล์เดียว และสิ่งที่มันได้ยินนั้นแปลก ข้อสังเกตนี้ Wolfram Schultz นักสรีรวิทยาประสาทแห่ง Cambridge ตีพิมพ์เมื่อวันที่ 14 มีนาคม 1997 ร่วมกับนักทฤษฎีการคำนวณ Peter Dayan และ P. Read Montague งานชิ้นนี้รื้อความเข้าใจของประสาทวิทยาศาสตร์ที่มีต่อสารสื่อประสาทหลักตัวหนึ่งของสมองใหม่ทั้งหมด
The old story about dopamine was simple and, it turns out, wrong in an interesting way. Dopamine was cast as the brain's pleasure chemical: reward comes in, dopamine goes up, pleasure is felt. Schultz's recordings, taken directly from single dopamine-producing cells in macaque monkeys performing juice-reward tasks, told a different and more precise story. A dopamine neuron does not report how good something feels. It reports how wrong the brain's prior guess was. Neuroscientists call this quantity reward prediction error, RPE for short — a signed number, calculated instant to instant, that says whether the world just delivered more, less, or exactly as much reward as was expected.
เซลล์ประสาทโดปามีนไม่ได้รายงานว่าสิ่งหนึ่งให้ความรู้สึกดีแค่ไหน มันรายงานว่าการคาดเดาก่อนหน้าของสมองผิดไปมากแค่ไหน เรื่องเล่าดั้งเดิมเรียบง่ายกว่านั้น และกลายเป็นว่าผิด แต่ผิดในแบบที่น่าสนใจ โดปามีนเคยถูกวางไว้เป็นสารเคมีแห่งความสุขของสมอง รางวัลเข้ามา โดปามีนพุ่งขึ้น ความสุขเกิดขึ้น ข้อมูลที่ Schultz บันทึกตรงจากเซลล์สร้างโดปามีนเซลล์เดี่ยวในลิงแสมระหว่างทำภารกิจรับรางวัลเป็นน้ำผลไม้ เล่าเรื่องคนละเรื่องและแม่นยำกว่า นักประสาทวิทยาเรียกปริมาณนี้ว่า ความคลาดเคลื่อนในการทำนายรางวัล (reward prediction error) ย่อว่า RPE เป็นค่าตัวเลขที่มีทั้งบวกและลบ คำนวณทุกขณะ บอกว่าโลกเพิ่งให้รางวัลมามากกว่า น้อยกว่า หรือพอดีกับที่คาดไว้
The pattern has three settings, and each one matters. When a reward arrives that was not predicted at all — juice with no warning tone — the dopamine neuron fires a burst above its resting rate. This is a positive prediction error: better than expected. When the tone reliably predicts the juice, and after enough trials the animal has learned that link, the neuron's response to the juice itself disappears. It fires normally at rest, because the juice was exactly as expected — zero error, nothing to report. And when the tone sounds and the juice is withheld, the neuron's firing rate drops below baseline, sometimes to a dead stop, precisely at the moment the juice should have appeared. This is a negative prediction error, the neural signature of the exact instant a specific expectation fails to be met. A neuron that stayed silent through the reward but suddenly dips at the missing reward is, in a very literal sense, coding for disappointment.
รูปแบบนี้มีสามลักษณะ และทุกลักษณะมีความหมาย รางวัลที่มาถึงโดยไม่มีการบอกล่วงหน้าเลย เช่น น้ำผลไม้ที่ไม่มีเสียงสัญญาณเตือน ทำให้เซลล์ประสาทโดปามีนยิงกระชากขึ้นเหนืออัตราปกติขณะพัก นั่นคือความคลาดเคลื่อนเชิงบวก ดีกว่าที่คาดไว้ พอเสียงสัญญาณทำนายน้ำผลไม้ได้แม่นยำ และสัตว์ผ่านการทดลองมากพอจนเรียนรู้ความเชื่อมโยงนั้นแล้ว การตอบสนองต่อน้ำผลไม้เองหายไป เซลล์ยิงตามปกติขณะพักเท่านั้น เพราะน้ำผลไม้เป็นไปตามคาดพอดี ความคลาดเคลื่อนเป็นศูนย์ ไม่มีอะไรต้องรายงาน และเมื่อเสียงสัญญาณดังขึ้นแต่น้ำผลไม้ไม่มา อัตราการยิงดิ่งลงต่ำกว่าระดับพื้นฐาน บางครั้งหยุดสนิท พอดีในจังหวะที่น้ำผลไม้ควรปรากฏ นั่นคือความคลาดเคลื่อนเชิงลบ ร่องรอยทางประสาทของเสี้ยววินาทีที่ความคาดหวังเฉพาะเจาะจงหนึ่งไม่เป็นจริง เซลล์ประสาทที่นิ่งเงียบตลอดช่วงได้รางวัล แต่ดิ่งลงทันทีเมื่อรางวัลหายไป กำลังเข้ารหัสความผิดหวังในความหมายที่ตรงตัวที่สุด
What made the 1997 paper more than a curious anatomical fact was that this three-part pattern matched, almost exactly, a mathematical object that already existed in a completely different field: reinforcement learning, a branch of computer science built around how a system should update its behavior when outcomes don't match predictions. The relevant algorithm is called temporal-difference learning, and its central term is defined the same way the dopamine signal behaves — the difference between reward received and reward predicted, calculated at each step and used to update the prediction for next time. Schultz, Dayan and Montague showed that dopamine firing did not just resemble this term loosely. It tracked it, including a subtler feature: as an animal learns that a tone predicts juice, the dopamine burst does not stay locked to the juice. Trial by trial, it migrates backward in time, away from the reward and onto the earliest reliable cue that predicts it. The brain is not rewarding the outcome. It is updating a forecast, and dopamine is the chemical trace of that update happening.
รูปแบบสามส่วนนี้ตรงกันเกือบเป๊ะกับวัตถุทางคณิตศาสตร์ที่มีอยู่ก่อนแล้วในสาขาที่ไม่เกี่ยวข้องกันเลย และนั่นคือสิ่งที่ทำให้บทความปี 1997 เป็นมากกว่าข้อเท็จจริงทางกายวิภาคที่น่าสนใจเฉยๆ สาขานั้นคือ reinforcement learning แขนงหนึ่งของวิทยาการคอมพิวเตอร์ที่ศึกษาว่าระบบควรปรับพฤติกรรมอย่างไรเมื่อผลลัพธ์ไม่ตรงกับที่ทำนายไว้ อัลกอริทึมที่เกี่ยวข้องชื่อ temporal-difference learning ตัวแปรหลักของมันถูกนิยามแบบเดียวกับที่สัญญาณโดปามีนทำตัวเป๊ะ คือผลต่างระหว่างรางวัลที่ได้รับจริงกับรางวัลที่คาดไว้ คำนวณทุกขั้นตอน แล้วเอาไปปรับการทำนายครั้งถัดไป Schultz, Dayan และ Montague แสดงให้เห็นว่าการยิงสัญญาณของโดปามีนไม่ได้แค่คล้ายตัวแปรนี้อย่างหลวมๆ มันติดตามตัวแปรนั้นจริง รวมถึงรายละเอียดที่ละเอียดอ่อนกว่า พอสัตว์เรียนรู้ว่าเสียงสัญญาณทำนายน้ำผลไม้ สัญญาณโดปามีนไม่ค้างอยู่ที่จังหวะได้รางวัลอีก มันเคลื่อนถอยหลังไปตามเวลา ทีละการทดลอง ห่างจากรางวัล ไปเกาะที่สัญญาณบ่งชี้แรกสุดที่ทำนายรางวัลได้อย่างเชื่อถือได้ สมองไม่ได้ให้รางวัลแก่ผลลัพธ์ สมองกำลังแก้พยากรณ์ และโดปามีนคือร่องรอยทางเคมีของการแก้นั้นขณะกำลังเกิดขึ้น
This reframes what dopamine is doing during hope. Hope, described this way, is not a mood sitting somewhere in the chest. It is a live prediction about a future reward, held by neural populations that are constantly comparing what is expected against what actually shows up, and it is testable at the level of single cells firing in milliseconds. Disappointment is the same computation with the sign flipped: not an emotion imposed from outside the calculation, but the calculation itself, when the number comes out negative. A person who says "I got my hopes up" is describing, more literally than the phrase suggests, a real prediction that was carried forward by a population of midbrain neurons and then had to be corrected against experience.
ความหวังเมื่อมองแบบนี้ไม่ใช่อารมณ์ที่ลอยอยู่แถวอก มันคือการคาดการณ์สดๆ เกี่ยวกับรางวัลในอนาคต ที่กลุ่มเซลล์ประสาทประคองไว้ด้วยการเทียบสิ่งที่คาดไว้กับสิ่งที่โผล่มาจริงอยู่ตลอดเวลา และตรวจสอบได้ถึงระดับการยิงสัญญาณของเซลล์เดี่ยวในหน่วยมิลลิวินาที นี่คือสิ่งที่โดปามีนกำลังทำในช่วงเวลาแห่งความหวัง ความผิดหวังคือการคำนวณเดียวกัน กลับเครื่องหมาย ไม่ใช่อารมณ์ที่แปะเข้ามาจากนอกการคำนวณ แต่คือตัวการคำนวณเองตอนที่ผลออกมาเป็นลบ คนที่พูดว่า "ฉันตั้งความหวังไว้สูงไปหน่อย" กำลังบรรยายอะไรที่ตรงตัวยิ่งกว่าที่วลีนั้นฟังดู คือการคาดการณ์จริงๆ ที่กลุ่มเซลล์ประสาทกลางสมองแบกมาข้างหน้า แล้วต้องถูกแก้ให้ตรงกับประสบการณ์
It would be tidy to end there, but the neuroscience is not fully settled, and the tidiness would be dishonest. A second research program, led by Kent Berridge and Terry Robinson at the University of Michigan, has spent decades making the case that dopamine's primary job is something else: not learning, and not pleasure either, but what they call incentive salience — colloquially, "wanting." In their experiments, drugs that manipulate dopamine change how hard an animal will work to get a reward, without changing the animal's facial and postural signs of enjoying the reward once it arrives — the orofacial equivalent of a grimace or a satisfied lip-smack, which is used as a proxy for hedonic "liking." Wanting and liking can be pulled apart pharmacologically. Neither one, on this account, is quite the same thing as the prediction-error signal Schultz recorded. The field currently holds three candidate roles for the same molecule — liking, learning, wanting — in active, unresolved tension, rather than a single settled story. Anyone who tells the dopamine story as fully closed is skipping a genuine scientific argument still being fought out in labs on both sides of the Atlantic.
ประสาทวิทยาศาสตร์ยังไปไม่ถึงข้อสรุปที่แน่ชัด และการจบเรื่องตรงนี้ให้เรียบร้อยคงไม่ซื่อตรงนัก งานวิจัยสายที่สอง นำโดย Kent Berridge และ Terry Robinson แห่ง University of Michigan ใช้เวลาหลายสิบปีเสนอว่าหน้าที่หลักของโดปามีนเป็นอย่างอื่น ไม่ใช่การเรียนรู้ และไม่ใช่ความสุขด้วย แต่เป็นสิ่งที่พวกเขาเรียกว่า incentive salience หรือพูดง่ายๆ ว่า "ความอยาก" (wanting) ในการทดลองของพวกเขา ยาที่เข้าไปจัดการโดปามีนเปลี่ยนได้ว่าสัตว์จะพยายามหนักแค่ไหนเพื่อให้ได้รางวัล โดยไม่เปลี่ยนสัญญาณทางสีหน้าและท่าทางที่บ่งบอกความเพลิดเพลินเมื่อได้รางวัลนั้นมาแล้ว เทียบได้กับสีหน้าย่นจมูกหรือเลียริมฝีปากด้วยความพอใจ ที่ใช้เป็นตัวแทนของ "ความชอบ" (liking) ในเชิงสุขนิยม ความอยากกับความชอบแยกออกจากกันได้ด้วยวิธีทางเภสัชวิทยา และตามมุมมองนี้ ทั้งสองอย่างต่างก็ไม่ใช่สิ่งเดียวกับสัญญาณความคลาดเคลื่อนในการทำนายรางวัลที่ Schultz บันทึกไว้ วงการจึงถือบทบาทที่เป็นไปได้สามแบบสำหรับโมเลกุลตัวเดียวกันไว้พร้อมกัน ความชอบ การเรียนรู้ ความอยาก ตึงกันอยู่และยังหาข้อยุติไม่ได้ ไม่ใช่เรื่องเล่าเดียวที่ปิดจบแล้ว ใครก็ตามที่เล่าเรื่องโดปามีนราวกับมันจบสมบูรณ์ กำลังข้ามข้อโต้แย้งทางวิทยาศาสตร์จริงๆ ที่ยังถกกันอยู่ในห้องแล็บทั้งสองฝั่งแอตแลนติก
When the Prediction Stops Updating
เมื่อการคาดการณ์หยุดอัปเดต
The clinical stakes of this argument became sharper in 2018, when Kumar and colleagues put people with major depressive disorder into an fMRI scanner and had them perform a reinforcement-learning task while a computed prediction-error signal was tracked in the striatum, a reward-processing region that receives heavy dopaminergic input from the midbrain, and in the connection between the striatum and the ventral tegmental area itself. In depressed participants, that signal was blunted — smaller, flatter, less responsive to the difference between what was expected and what occurred — compared with healthy controls. The blunting was not fixed; it scaled with the number of depressive episodes a person had already had, worse in those with a longer history, and weaker RPE signaling was associated with a poorer subsequent response to cognitive behavioral therapy, a form of talk therapy that depends on a person's capacity to notice and update predictions about the world.
ในกลุ่มผู้ป่วยซึมเศร้า สัญญาณความคลาดเคลื่อนในการทำนายรางวัลทื่อลง เล็กลง แบนราบกว่า และตอบสนองต่อช่องว่างระหว่างสิ่งที่คาดไว้กับสิ่งที่เกิดขึ้นจริงน้อยลง เมื่อเทียบกับกลุ่มควบคุมสุขภาพดี เดิมพันทางคลินิกของข้อถกเถียงนี้คมขึ้นในปี 2018 เมื่อ Kumar และคณะนำผู้ป่วยโรคซึมเศร้าชนิดรุนแรงเข้าเครื่องสแกน fMRI ให้ทำภารกิจการเรียนรู้แบบเสริมแรง พร้อมติดตามสัญญาณที่คำนวณได้ ทั้งใน striatum บริเวณประมวลผลรางวัลที่รับสัญญาณโดปามีนจำนวนมากจากสมองส่วนกลาง และในเส้นทางเชื่อมระหว่าง striatum กับ ventral tegmental area เอง ความทื่อนี้ไม่คงที่ มันแปรตามจำนวนครั้งของอาการซึมเศร้าที่แต่ละคนเคยเป็นมา ยิ่งประวัติยาวยิ่งแย่ และสัญญาณ RPE ที่อ่อนกว่ายังสัมพันธ์กับการตอบสนองที่แย่กว่าต่อการบำบัดความคิดและพฤติกรรม (cognitive behavioral therapy) ในเวลาต่อมา ซึ่งเป็นการบำบัดด้วยการพูดคุยที่ต้องอาศัยความสามารถของผู้ป่วยในการสังเกตและปรับปรุงการคาดการณ์ที่มีต่อโลก
Read plainly, this suggests something specific and mechanistic about the flatness that people in depression often describe: not merely a low mood layered on top of ordinary thinking, but a change in the rate at which the brain's core forecasting signal updates itself when good things happen or fail to happen. If the neuron that should burst at unexpected good news barely moves, then the felt experience of "nothing feels different, nothing feels like it matters" is not a failure of willpower or a distortion of judgment. It is a measurable dampening in a system that, in a non-depressed brain, is built to jolt awake at exactly this kind of update. This blunted signal is not unique to depression — related disruptions in reward-prediction-error processing have also been reported in schizophrenia, and a 2019 meta-analysis in Translational Psychiatry situates the striatal finding within a broader, only partly specific pattern of reward-circuit abnormality across mood and psychotic disorders. The finding is real and replicated at the group level; it is not yet a diagnostic fingerprint for depression alone.
อ่านตรงๆ ความรู้สึกราบเรียบที่คนเป็นซึมเศร้ามักบรรยายถึงจึงมีคำอธิบายเชิงกลไกที่เฉพาะเจาะจง ไม่ใช่แค่อารมณ์หม่นที่ซ้อนทับอยู่บนความคิดปกติ แต่เป็นการเปลี่ยนแปลงในอัตราที่สัญญาณพยากรณ์หลักของสมองปรับตัวเอง เมื่อเรื่องดีเกิดขึ้นหรือไม่เกิดขึ้น ถ้าเซลล์ประสาทที่ควรกระชากขึ้นเมื่อเจอข่าวดีที่ไม่คาดคิดแทบไม่ขยับ ความรู้สึกที่ว่า "ไม่มีอะไรต่างไปจากเดิม ไม่มีอะไรรู้สึกว่าสำคัญ" ก็ไม่ใช่ความล้มเหลวของกำลังใจหรือการบิดเบือนการตัดสินใจ มันคือการหรี่ลงที่วัดได้ในระบบซึ่งในสมองที่ไม่ซึมเศร้าถูกสร้างมาให้สะดุ้งตื่นกับการปรับข้อมูลแบบนี้พอดี สัญญาณที่ทื่อลงนี้ไม่ได้พบเฉพาะในโรคซึมเศร้า ความผิดปกติที่เกี่ยวข้องกันในการประมวลผลความคลาดเคลื่อนในการทำนายรางวัลถูกรายงานในโรคจิตเภทด้วย และการวิเคราะห์อภิมานปี 2019 ใน Translational Psychiatry วางข้อค้นพบใน striatum นี้ไว้ในภาพที่กว้างกว่า เป็นรูปแบบความผิดปกติของวงจรรางวัลที่จำเพาะเพียงบางส่วน ครอบคลุมทั้งกลุ่มโรคทางอารมณ์และโรคจิต ข้อค้นพบนี้จริงและทำซ้ำได้ในระดับกลุ่ม แต่ยังไม่ใช่ลายนิ้วมือสำหรับวินิจฉัยโรคซึมเศร้าเพียงอย่างเดียว
None of this reduces hope to a chemical, and none of it reduces disappointment to a malfunction. It locates both inside a system that can be measured, that updates according to describable rules, and that in some people, for some stretch of time, updates less than it should.
ไม่มีอะไรในนี้ลดทอนความหวังให้เหลือแค่สารเคมี และไม่มีอะไรลดทอนความผิดหวังให้เหลือแค่ความผิดปกติ มันวางทั้งสองอย่างไว้ในระบบที่วัดได้ ที่ปรับตัวตามกฎซึ่งเขียนออกมาได้ และในบางคน ในบางช่วงเวลา ระบบนี้ปรับตัวน้อยกว่าที่ควร
It also explains something about why disappointment can feel disproportionate to its trigger. The size of a prediction-error signal depends not on how bad an outcome is in some absolute sense, but on the gap between what was expected and what arrived. A small setback following a confidently held expectation can generate a larger negative signal than a genuinely large loss that was already anticipated. This is not irrationality layered on top of the computation — it is the computation working exactly as designed, on a scale calibrated to expectation rather than to any external measure of severity. A missed message from someone whose reply felt certain can register, in this system, as a sharper event than a setback that was seen coming from a distance and priced in long before it happened.
ขนาดของสัญญาณความคลาดเคลื่อนในการทำนายไม่ได้ขึ้นกับว่าผลลัพธ์แย่แค่ไหนในเชิงสัมบูรณ์ แต่ขึ้นกับช่องว่างระหว่างสิ่งที่คาดไว้กับสิ่งที่มาถึงจริง นั่นคือเหตุผลที่ความผิดหวังบางครั้งรู้สึกไม่ได้สัดส่วนกับสิ่งที่ก่อมันขึ้น ความสะดุดเล็กๆ ที่ตามหลังความคาดหวังอันเชื่อมั่นเต็มที่ สร้างสัญญาณลบได้ใหญ่กว่าความสูญเสียก้อนโตที่เตรียมใจไว้แล้วเสียอีก นี่ไม่ใช่ความไร้เหตุผลที่แปะทับการคำนวณ มันคือการคำนวณที่ทำงานตรงตามที่ออกแบบไว้ บนมาตราส่วนที่ปรับเทียบตามความคาดหวัง ไม่ใช่ตามความรุนแรงที่วัดจากภายนอก ข้อความที่เงียบหายไปจากคนที่เรามั่นใจว่าเขาต้องตอบ จึงลงทะเบียนในระบบนี้เป็นเหตุการณ์ที่แหลมคมกว่าความสูญเสียที่มองเห็นมาแต่ไกลและทำใจไว้นานแล้วก่อนมันจะเกิด
Overturned if: a well-powered, independently replicated study finds that striatal or midbrain reward-prediction-error signaling in major depressive disorder is statistically indistinguishable from healthy controls once episode count, medication status, and task design are properly matched — showing the blunted-RPE finding was an artifact of confounds rather than a real feature of the depressed state.
พลิกกลับได้หาก: การศึกษาที่มีกำลังทางสถิติเพียงพอและได้รับการทำซ้ำโดยอิสระ พบว่าสัญญาณความคลาดเคลื่อนในการทำนายรางวัลใน striatum หรือ midbrain ของผู้ป่วยโรคซึมเศร้าชนิดรุนแรง ไม่ต่างจากกลุ่มควบคุมสุขภาพดีอย่างมีนัยสำคัญทางสถิติ เมื่อจับคู่จำนวนครั้งของอาการ สถานะการใช้ยา และการออกแบบภารกิจให้ตรงกันอย่างเหมาะสมแล้ว อันจะแสดงว่าข้อค้นพบเรื่อง RPE ที่ทื่อลงเป็นผลจากปัจจัยกวน ไม่ใช่คุณลักษณะจริงของภาวะซึมเศร้า
Sources
แหล่งข้อมูล
- 1997 · Schultz, Dayan & Montague, "A Neural Substrate of Prediction and Reward" — Science
- 2016 · Schultz, "Dopamine reward prediction error coding" — Dialogues in Clinical Neuroscience
- 2018 · Kumar et al., "Impaired reward prediction error encoding and striatal-midbrain connectivity in depression" — Neuropsychopharmacology / Nature
- 2018 · "Neural correlates of weighted reward prediction error during reinforcement learning classify response to cognitive behavioral therapy in depression" — Science Advances
- 2019 · "Meta-analysis of reward processing in major depressive disorder reveals distinct abnormalities within the reward circuit" — Translational Psychiatry
- 1997 · Schultz, Dayan & Montague, "A Neural Substrate of Prediction and Reward" — Science
- 2016 · Schultz, "Dopamine reward prediction error coding" — Dialogues in Clinical Neuroscience
- 2018 · Kumar et al., "Impaired reward prediction error encoding and striatal-midbrain connectivity in depression" — Neuropsychopharmacology / Nature
- 2018 · "Neural correlates of weighted reward prediction error during reinforcement learning classify response to cognitive behavioral therapy in depression" — Science Advances
- 2019 · "Meta-analysis of reward processing in major depressive disorder reveals distinct abnormalities within the reward circuit" — Translational Psychiatry