テンミニッツTV|有識者による1話10分のオンライン講義
ログイン 会員登録 テンミニッツTVとは
テンミニッツTVは、有識者の生の声を10分間で伝える新しい教養動画メディアです。
すでにご登録済みの方は
Facebookでシェア Xでポスト このエントリーをはてなブックマークに追加

強化学習とディープラーニングでロボットが自動的に習熟

人工知能のディープな可能性(2)自ら学習するロボット

松尾豊
東京大学大学院工学系研究科 人工物工学研究センター/技術経営戦略学専攻長 教授
概要・テキスト
画像認識の精度を飛躍的に向上させたディープラーニングは、「強化学習」と組み合わせることで、自ら学習するロボットを生み出した。この技術を使えば、ルールややり方すら教えなくても、ロボットは自動的にゲームに習熟し、おもちゃを組み立てられようになる。東京大学大学院工学系研究科准教授・松尾豊氏が、最新事例を解説する。(全4話中第2話) ※テキストの文中に参考動画(YouTube)へのリンクがありますので、併せてご覧ください。
時間:12:39
収録日:2016/01/15
追加日:2016/05/12
タグ:
≪全文≫

●「強化学習」にディープラーニングを組み込む


 画像認識の精度は、今すごく上がっていますが、それと同時に、すごく面白いことが起こっています。画像認識と強化学習、ディープラーニングと強化学習を組み合わせるという技術が出てきています。

 強化学習とは、大雑把に言うと「行動を学習する仕組み」です。これはもう100年ぐらい前から研究されています。例えば人間は、サッカーボールを蹴っているうちに、だんだん上手に蹴ることができるようになります。なぜ上手に蹴ることができるようになるかというと、たまたま上手く蹴ることができたら、「今のは上手く蹴ることができた」と思って、その蹴り方を繰り返すからですね。

 このように「上手く蹴らることができたな」と思えることを、「報酬」と言います。報酬が与えられると、その前にやった行動を強化する。こういう仕組みによって、行動がだんだん上手になってくるのです。犬にお手を教えるというときにどうやるかというと、たまたま犬がお手をしたらエサをあげるということを繰り返していく。すると、お手をするようになるわけです。これは犬から見ると、エサという報酬がもらえた前にやった行動を強化しているわけですね。

 これが強化学習の仕組みです。犬も、いつもお手をしていればいいわけではなく、ご主人さまが「お手をしなさい」と言ったときにお手をするといいわけですね。ですから、どういう状況でどういう行動をすると良かったか、あるいは悪かったか、すなわち「状況」と「行動」、そして「良かったか/悪かったか」、これらをセットにして、コンピュータに学習させていくわけです。


●ブロック崩しのテクニックを「学ぶ」人工知能


 今までの強化学習では、「どういう状況で」という「状況」の記述をするのに、人間が定義した変数を使っていたのです。ところが、このディープラーニングと組み合わせる方法では、「状況」の記述にディープラーニングで画像認識をして出てきた特徴量を使うことで、その変数を人間がつくらなくてよくなります。後の部分は、今までの強化学習と一緒です。違いはそこにしかないのですが、それによって非常に大きな変化が起こります。

 動画をお見せします。まず2013年後半の研究です。ディープマインドという会社がありまして、これは2014年初頭にGoogleに買収された会社です。この会社がどういうことをやった...
テキスト全文を読む
(1カ月無料で登録)
会員登録すると資料をご覧いただくことができます。