生体の科学64巻4号

2013年08月発行

特集 予測と意思決定の神経科学

報酬構造学習―ドーパミン神経細胞をめぐる新仮説

著者： 中原裕之¹

所属機関： ¹理化学研究所 脳科学総合研究センター 理論統合脳科学研究チーム

ページ範囲：P.323 - P.328

　われわれの日常生活は，朝食に何を食べるか，職場で上司に何を報告するかなど，意思決定の連続である。意思決定は未来に影響を与える。逆に言えば未来予測が意思決定の際には働く。このように未来予測の学習は意思決定において本質的な役割を果たすことになる。経験から予測を修正，つまり学習することが適応的な意思決定を可能にするのである。予測の中でも，報酬の予測はヒトや動物にとって原初的な部類に属する。報酬予測は動機づけ行動の土台ともなる^1-4）。そのため，報酬予測の学習とその意思決定“価値に基づく意思決定；value-based decision making”（以下，価値意思決定）における脳機能の解明は神経科学の重要なテーマとなっている。近年，この価値意思決定に関する脳研究が報酬予測の脳計算理論“強化学習；reinforcement learning theory”に支えられ発展してきた。そこでは，いわゆるドーパミン報酬予測誤差仮説が大きな役割を演じている^5）。本稿では，われわれが先ごろ新たに提唱した“ドーパミン報酬構造学習仮説”を紹介する。

参考文献

95（2）：567-584, 2006

29：417-448, 2006

9（7）：545-556, 2008

80：1-27, 1998

275（5306）：1593-1599, 1997

6）Sutton R, Barto AG：Reinforcement Learning：An Introduction. Adaptive Computation and Machine Learning series. MIT Press, 1998

7）Barto A：Adaptive Critics and the Basal Ganglia, in Models of Information Processing in the Basal Ganglia. JC Houk, JL Davis DG Beiser Ed. MIT Press, pp12-31, 1994

8）Houk JC, Adams JL, Barto AG：A Model of How the Basal Ganglia Generate and Use Neural Signals That Predict Reinforcement, in Models of Information Processing in the Basal Ganglia. JC Houk, JL Davis, DG Beiser, Eds. The MIT Press, pp 249-252, 1995

16（5）：1936-1947, 1996

10）中原裕之：意思決定とその学習理論．脳の計算論：甘利俊一・深井朋樹（編），東京大学出版会，pp 159-221，2009

41：269-280, 2004

12）中原裕之：脳が意思決定をするとき．RIKEN NEWS 2013　［380；2-5］．入手先：http://www.itn.brain.riken.jp/pdf/RN2013_02.pdf．

13）独立行政法人理化学研究所：記憶を使った脳の報酬予測のメカニズムの一端を解明．プレスリリース2004/Jan/22；入手先：http://www.riken.jp/~/media/riken/pr/press/2004/20040122_1/20040122_1.pdf．

47（1）：129-141, 2005

67（3）：499-510, 2010

16）Enomoto K, Matsumoto N, Nakai S et al：Proceedings of the National Academy of Sciences of the United States of America, 2011

23（30）：9913-9923, 2003

74（3-4）：177-183, 2012

23：229-238, 2013

14：933-939, 2011

336（6077）：95-98, 2012

412（6842）：79-83, 2001

17（2）：148-153, 2007

23（12）：4057-4066, 2011

299：1898-1902, 2003

63（1）：119-126, 2009

459（7248）：837-841, 2009

21：579-586, 2011

8（12）：1704-1711, 2005

9（8）：1057-1063, 2006

10（12）：1615-1624, 2007

57（5）：760-773, 2008

No. 13-01，2013