Deep Q-Network（略称:DQN）とは、Googleの子会社DeepMindが2015年に発表した、電子ゲームをプレーする、Q学習と畳み込みニューラルネットワークを組み合わせた強化学習のエージェントである。Atari 2600の49個中29ゲームにおいて人間以上のスコアを獲得できた。
概要 深層学習（畳み込みニューラルネットワーク）と強化学習（Q学習）を組み合わせたアルゴリズムであるDQNで学習したエージェントは、ゲームのルールを教えていない場合でも、どのように操作すれば高得点を目指すことができるのかを判断することができる。この際に、今までの経験をもとにトレーニングを行う「experience replay」と呼ばれるアルゴリズムが大きく貢献していることが分かった。
あるプログラムはAtari 2600の49種類のゲーム中43種類で従来の人工知能による得点を上回り、29のゲームではプロゲーマーと同等またはそれ以上のパフォーマンスを見せた。特にブロック崩しでは、400回プレイするとボールの取りこぼしがなくなり、600回のプレイの後には次々と攻略法を生み出し、高得点を取るようになった。またもっとも上達したピンボールでは人間の25倍のスコアを取った。
これらの研究成果は、Nature電子版に、2015年2月26日付で掲載された。また、翌年の2016年2月4日にAsynchronous Advantage Actor-Critic (A3C)を発表し、学習効率が改善した。更にその翌年の2017年10月6日に、2015年～2017年に発表されたDQNに対する改善手法6手法を組み合わせたRainbowを発表し、更に学習効率が改善した。
なお、2008年の時点で、日本の別のグループが、実ロボット (AIBO)の行動学習タスクにおいて、画像入力の5層全結合ニューラルネットワークを用いた強化学習 (Q学習)をすでに使っているKatsunari Shibata and Tomohiko Kawano (2009) “Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network”, Advances in Neuro-Information Processing (Proc. of ICONIP’08), Lecture Notes in Computer Science, Vol. 5506, pp. 755-762, 200。また、2001年の時点には、画像入力の多層全結合ニューラルネットワークを用いた強化学習 (Actor Critic)を使って、シミュレーション上でロボットの行動学習をさせている柴田克成, 岡部洋一, 伊藤宏司 (2001) “ニューラルネットワークを用いたDirect-Vision-Based強化学習 －センサからモータまで－”, 計測自動制御学会論文集, Vol.37, No.2, pp.168-177。
開発 開発元のDeepMind社は2011年に設立され、2014年にGoogleによって5億ドルで買収された人工知能 (AI)関連のベンチャー企業で、買収後Google傘下でAtari 2600のゲームをプレイさせ、AI開発を続けた。
弱点 DQNを用いて学習したプログラムは、従来の人工知能とは違い、ゲームのルールをあらかじめ教わることなく全てランダムで操作を行った。そのため、パックマン風のゲーム（ミズ・パックマン）ではスコアを伸ばせず、数秒先の事でも考えることができないというDQNの弱点が示されている。これは、ランダムな操作では得点を得ることが難しいので、システムが学習できなかったため。
関連項目 Google AlphaGo - DeepMindが開発した人工知能。 人工知能 DQN（ドキュン） - 粗暴な若者を指す日本のインターネットスラング。日本語圏ではこの人工知能に対して「すごく頭悪そう」「命名事故？」などのコメントが寄せられた。なお、人工知能「DQN」の開発者の一人であるデミス・ハサビスは日本で使われる「DQN」（ドキュン）という語を知っている模様羽生善治、NHKスペシャル取材班『人工知能の核心』NHK出版、2017年、51頁。。。
脚注・出典
外部リンク Natureに掲載された論文（英語）