WEBVTT

00:00.580 --> 00:01.330
こんにちは､ 皆さん｡ 

00:01.330 --> 00:03.410
Breakoutの最終チュートリアルへようこそ｡ 

00:03.430 --> 00:08.380
やあ､ みんな､ ここに来られてとても興奮しているし､ 『破滅』の後にまたみんなと会えてとても嬉しいよ｡ 

00:08.620 --> 00:13.990
そこで今回は､ 「Doom」よりもはるかに難易度が高かったと記憶している「Breakout」の結果を見ることにする｡

00:14.200 --> 00:15.860
だから､ いい結果が出ることを期待しよう｡ 

00:16.040 --> 00:17.330
さて､ それでどうする？

00:17.350 --> 00:19.410
では､ メインのコードを紹介します｡ 

00:19.420 --> 00:21.100
そこで､ いくつかのコードを用意しました｡ 

00:21.310 --> 00:23.650
すべてのコードはこちら､ メインコードはこちらです｡ 

00:23.650 --> 00:26.670
つまり､ 他のすべてのコードを実行するためのコードです｡ 

00:26.680 --> 00:30.700
そこで､ ニューラルネットワークを構築し､ クリテックのエージェントを訓練します｡ 

00:31.240 --> 00:37.270
基本的には様子を見ながら実行するのですが､ 実際には数時間かかるので､

00:37.270 --> 00:39.850
結果は待ちません｡

00:39.870 --> 00:40.210
そうですね｡ 

00:40.480 --> 00:43.270
そこで､ このテストフォルダに結果を用意しました｡ 

00:43.270 --> 00:46.840
すでに映像がありますので､ この後すぐにお見せします｡ 

00:46.880 --> 00:47.390
なるほど｡ 

00:48.220 --> 00:53.440
ですから､ 実行するには､ 基本的には､ ここにあるコード全体を選択すればよいのです｡ 

00:56.960 --> 00:57.440
わかりました｡ 

00:57.770 --> 01:00.670
そして､ ご覧のように動画はポップな仕上がりになっています｡ 

01:00.680 --> 01:01.040
なるほど｡ 

01:01.070 --> 01:01.550
わかりました｡ 

01:01.550 --> 01:08.480
だから今､ すでに2つのビデオがあり､ それから代理店がトレーニングをしているのですが､ 長い時間がかかりそうです｡

01:08.480 --> 01:12.650
さて､ これからどうするかというと､ まだ見ていない結果を見守ることになります｡ 

01:12.650 --> 01:13.760
まだ見ていないんですね｡ 

01:13.820 --> 01:14.260
わかりました｡ 

01:14.260 --> 01:14.590
わかりました｡ 

01:14.810 --> 01:24.080
そこで､ SESのウェブサイトにあるテンプレートフォルダの中に､ コメント無しのコードとコメント付きのコードの2つのフォルダがあります｡

01:24.080 --> 01:28.490
だから､ たとえ細部を見逃したとしても､ このコードを見てもらうことができるのです｡ 

01:28.490 --> 01:30.530
すべてのコメントをうまく説明していますね｡ 

01:30.530 --> 01:33.830
だから､ 一行一行はわかるように入力してください｡ 

01:33.950 --> 01:40.580
そして､ このフォルダの中にtestフォルダがあり､ このフォルダに動画が配置されることになります｡

01:40.580 --> 01:40.880
なるほど｡ 

01:40.940 --> 01:42.650
そこに動画があるわけです｡ 

01:42.650 --> 01:46.370
これが､ 前回のトレーニングのビデオです｡ 

01:46.610 --> 01:50.300
数時間かけてモデルを学習させ､ このような映像が得られました｡ 

01:50.480 --> 01:53.240
そこで､ 1枚目から順番に見ていくことにします｡ 

01:53.420 --> 02:00.480
そして､ 人工知能のプレイが勃発するかどうか､ そして､ なんとか解決できるかどうかを見ていきたいと思います｡

02:00.620 --> 02:01.520
よし､ 見てみよう｡ 

02:01.580 --> 02:03.110
それでは､ 最初の動画をご覧ください｡ 

02:03.110 --> 02:06.260
この最初の動画はですね､ 実際にやることなんです｡ 

02:06.260 --> 02:10.190
そうだ､ トレーニングを中止しよう｡ 今､ 私のコンピュータが遅くなっているんだ｡ 

02:10.190 --> 02:10.610
だから

02:10.610 --> 02:13.790
さて､ そんなこんなで中断してしまいましたが､ すべて順調です｡ 

02:13.790 --> 02:14.160
そうですね｡ 

02:14.210 --> 02:15.560
それでは､ 最初の動画をご覧ください｡ 

02:16.780 --> 02:19.930
本当に1作目なので､ 本当にやばいことになりそうです｡ 

02:19.930 --> 02:21.620
ペダルが動かなくなることもある｡ 

02:21.640 --> 02:22.090
これでよしとしよう｡ 

02:22.330 --> 02:22.840
動かないんです｡ 

02:22.870 --> 02:23.890
なぜ､ まったく動かないのでしょうか？

02:23.980 --> 02:25.960
だって､ 一番最初なんですもの｡ 

02:26.050 --> 02:27.640
あいつはどうしたらいいのかわからないんだ｡ 

02:27.820 --> 02:30.370
そして､ やはり画像の前処理ですね｡ 

02:30.370 --> 02:31.780
だから､ そう､ 何もない｡ 

02:31.900 --> 02:34.750
そしてそれは､ 2つ目のビデオにも言えることかもしれません｡ 

02:34.780 --> 02:37.930
2つ目を見ると､ パネルはそうではないかもしれません｡ 

02:38.350 --> 02:39.460
まだ動かないかもしれない｡ 

02:41.890 --> 02:42.320
なるほど｡ 

02:42.370 --> 02:45.250
では､ この人工知能をここまで見てきて､ どう思われますか？

02:46.070 --> 02:46.070
そうですね｡ 

02:47.140 --> 02:49.870
それは､ 地球のために多くのエネルギーを使っていたわけです｡ 

02:51.920 --> 02:54.310
では､ 次のビデオでは､ 何かあるかもしれませんね｡ 

02:54.310 --> 02:56.140
よし､ 少しはマシになったかな

02:56.140 --> 02:59.260
ちょっと人工知能が与えすぎ｡ 

03:05.060 --> 03:08.150
無駄でもない｡ 

03:08.180 --> 03:09.560
ブレイクアウトするのか､ それとも｡ 

03:09.920 --> 03:11.120
いいえ､ 違います｡ 

03:11.270 --> 03:11.510
わかりました｡ 

03:11.510 --> 03:11.830
さあ

03:11.840 --> 03:13.490
何かカッコいいことしようよ｡ 

03:13.520 --> 03:13.880
そうしよう｡ 

03:14.000 --> 03:16.430
次回作に期待しましょう｡ 

03:18.100 --> 03:18.400
そうですね｡ 

03:18.400 --> 03:21.760
11秒になったので､ 何かを得ることができたと思います｡ 

03:22.870 --> 03:23.710
これでよしとしよう｡ 

03:25.000 --> 03:25.660
より良くなりました｡ 

03:25.690 --> 03:27.520
なるほど､ これで目に目がつきましたね｡ 

03:27.520 --> 03:28.750
見ることができます｡ 

03:29.020 --> 03:30.310
何をやっているのかがわかる｡ 

03:30.310 --> 03:30.760
そうですね｡ 

03:32.240 --> 03:33.620
でも､ まだあまり速くはないんです｡ 

03:33.710 --> 03:34.460
スマートじゃないんです｡ 

03:34.460 --> 03:36.310
了解しました｡ 

03:36.320 --> 03:37.130
でも､ もっといい｡ 

03:37.400 --> 03:38.140
だから4つ｡ 

03:38.180 --> 03:38.690
4つです｡ 

03:39.710 --> 03:40.880
では､ 次の動画です｡ 

03:42.810 --> 03:44.300
おお､ ずいぶん良くなったようですね｡ 

03:44.330 --> 03:44.720
そうですね｡ 

03:45.400 --> 03:46.180
もっと時間をかけて

03:46.180 --> 03:46.600
そうですね｡ 

03:46.930 --> 03:47.420
準備はいいですか？

03:47.440 --> 03:47.770
そうですね｡ 

03:47.800 --> 03:48.470
見てみよう｡ 

03:48.490 --> 03:48.910
そうですね｡ 

03:48.940 --> 03:49.900
なるほど｡ 

03:49.930 --> 03:50.680
了解です｡ 

03:50.960 --> 03:51.250
了解です｡ 

03:51.250 --> 03:52.150
もう一枚ありますか？

03:53.140 --> 03:53.970
いや､ 失ったのだ｡ 

03:53.980 --> 03:54.330
そうですね｡ 

03:54.370 --> 03:56.110
まだ完璧ではないけれど､ 間違いなく｡ 

03:56.110 --> 03:59.110
人間が演奏しているようなものです｡ 

03:59.320 --> 04:01.480
壊れるのは苦手だけど､ それでも､ みたいな｡ 

04:02.280 --> 04:02.490
ようなものです｡ 

04:02.630 --> 04:04.090
人間が遊ぶように｡ 

04:04.240 --> 04:06.220
5歳､ 2歳の人間が遊んでいるような｡ 

04:08.170 --> 04:08.780
なるほど｡ 

04:08.890 --> 04:09.300
すごい｡ 

04:09.310 --> 04:10.290
実際に手に入れているのです｡ 

04:10.300 --> 04:10.870
そうですね｡ 

04:11.000 --> 04:11.910
今､ 皆さんにお会いできてうれしいです｡ 

04:11.920 --> 04:12.310
そうですね｡ 

04:14.520 --> 04:21.070
でも､ なんか､ 変な戦術でボートを捕まえようとしてるみたいなんですよね｡ 

04:21.090 --> 04:21.660
そうですね｡ 

04:22.290 --> 04:25.680
ボールの行方を完璧に予測するようなものではありません｡ 

04:26.010 --> 04:26.520
なるほど｡ 

04:26.790 --> 04:27.410
良くなってほしいですね｡ 

04:27.600 --> 04:28.980
27でだいぶ良くなりましたね｡ 

04:29.370 --> 04:31.350
では､ 次の方｡ 

04:33.400 --> 04:34.210
37をもう一度｡ 

04:35.500 --> 04:36.400
それが27歳｡ 

04:36.400 --> 04:36.820
これは30です｡ 

04:36.820 --> 04:37.090
だから

04:37.420 --> 04:37.810
なるほど｡ 

04:38.260 --> 04:39.970
いや､ その時のことです｡ 

04:40.190 --> 04:40.510
なるほど｡ 

04:41.110 --> 04:41.770
あ､ そうか｡ 

04:43.050 --> 04:44.490
今で言えば､ 5歳児ですね｡ 

04:50.470 --> 04:51.290
なるほど｡ 

04:51.820 --> 04:52.150
うーん｡ 

04:52.210 --> 04:52.690
なかなかいいでしょ？

04:52.720 --> 04:53.170
そうですね｡ 

04:53.800 --> 04:56.620
そして今､ 少女は､ 牛はより速く進んでいる｡ 

04:56.770 --> 05:00.790
だから､ もちろん､ もっと大変なんですが､ それでも､ よくやってくれています｡ 

05:02.690 --> 05:05.510
では､ 今回は27に勝てるかどうか｡ 

05:06.200 --> 05:06.770
23.

05:06.770 --> 05:07.730
24.

05:08.620 --> 05:09.160
28.

05:09.460 --> 05:10.120
さあ､ どうぞ｡ 

05:10.150 --> 05:10.480
ほらね｡ 

05:10.480 --> 05:11.590
どんどん良くなっていますね｡ 

05:11.620 --> 05:12.460
それはいい兆候だ｡ 

05:13.920 --> 05:18.870
OC cool 93 lives next one.

05:20.170 --> 05:21.350
おっとっと､ おっとっと｡ 

05:21.820 --> 05:22.960
1分10秒

05:24.070 --> 05:24.640
見てみよう｡ 

05:28.440 --> 05:29.550
そこに直行する｡ 

05:29.760 --> 05:30.410
かっこいいですね｡ 

05:30.570 --> 05:32.520
これって絶対代名詞ですよね？

05:32.550 --> 05:32.820
そうですね｡ 

05:32.820 --> 05:37.710
しかも､ 超高速で散発的に動いているような感じなので､ 人機ではないことがわかる｡ 

05:37.710 --> 05:38.250
はい｡ 

05:38.700 --> 05:42.780
そして､ 無駄な動きを省くことにも力を入れていますが､ まだまだこれからです｡ 

05:43.080 --> 05:45.420
ボールのスピードが速いときはどうなのか､ 見てみましょう｡ 

05:46.210 --> 05:48.420
さて､ ブルスピンは何に依存しているのでしょうか？

05:51.300 --> 05:51.780
どうだろう｡ 

05:51.780 --> 05:52.470
だと思うんです｡ 

05:52.930 --> 05:55.260
破壊するブロックの色に依存するのでしょうか？

05:55.500 --> 05:56.130
そうかもしれませんね｡ 

05:56.610 --> 05:57.900
それとも､ 適当に？

05:58.770 --> 06:02.190
ランダムみたいだけど､ えーと､ 脱獄のルールを確認したほうがいい｡ 

06:02.500 --> 06:05.130
ええ､ でも､ 今は本当に絶好調です｡ 

06:05.130 --> 06:05.670
そうですね｡ 

06:05.700 --> 06:06.540
34.

06:06.540 --> 06:06.990
34.

06:06.990 --> 06:07.470
スコア

06:07.500 --> 06:08.100
いいですね｡ 

06:08.320 --> 06:08.730
まあね｡ 

06:09.530 --> 06:10.880
本当に､ 本当によくやってくれています｡ 

06:11.240 --> 06:15.320
そうそう､ 今､ 間違いなくa3cのプレイがブレイクしていますね｡ 

06:15.350 --> 06:15.790
いいですね｡ 

06:18.630 --> 06:19.320
ムービングリスト

06:19.810 --> 06:20.770
うん､ これは良かった｡ 

06:21.060 --> 06:22.650
つまり､ 私たちは記憶を持った脳を持っているようなものなのです｡ 

06:22.750 --> 06:22.910
そうですね｡ 

06:23.010 --> 06:24.150
目だけでなく

06:24.660 --> 06:25.260
目がいいんです｡ 

06:25.260 --> 06:27.630
素早く､ かなり素早くボールをキャッチすることができるんだ｡ 

06:28.140 --> 06:30.000
しかし､ また､ それはいくつかのメモリを持っていますが､ ｡ 

06:32.270 --> 06:32.750
どうだろう｡ 

06:32.780 --> 06:34.850
自分の記憶力を使って､ 自分でブレイクアウトをプレイするか？

06:34.880 --> 06:35.510
もちろんです｡ 

06:35.990 --> 06:36.380
そうですね｡ 

06:36.710 --> 06:37.270
なるほど｡ 

06:37.490 --> 06:38.900
とてもよくできています｡ 

06:38.900 --> 06:39.350
よくやった｡ 

06:39.350 --> 06:40.550
さんへ｡ 

06:41.570 --> 06:42.500
最後の1枚は？

06:42.800 --> 06:43.880
最後の1枚です｡ 

06:45.940 --> 06:46.360
ああ｡ 

06:46.810 --> 06:47.700
55秒

06:47.700 --> 06:48.520
だから少し少なめ｡ 

06:48.730 --> 06:51.550
前作のスコアを覚えていますか？

06:51.700 --> 06:54.340
少しでも改善されるかどうか､ 振ってみたのです｡ 

06:54.340 --> 06:56.170
改善されないかもしれませんね｡ 

06:56.170 --> 06:56.820
すべての動画

06:56.830 --> 06:57.020
そうですね｡ 

06:57.020 --> 06:57.310
そうですね｡ 

06:58.450 --> 06:59.200
それが78歳｡ 

06:59.310 --> 06:59.680
なるほど｡ 

07:00.470 --> 07:00.850
そうですね｡ 

07:00.860 --> 07:02.660
それは､ おっしゃる通り､ 探究心によるものです｡ 

07:06.380 --> 07:06.890
なるほど｡ 

07:07.010 --> 07:07.640
これでよしとしよう｡ 

07:09.730 --> 07:09.940
のために｡ 

07:16.600 --> 07:17.010
なるほど｡ 

07:17.290 --> 07:22.360
催眠術をかけるときは､ 音楽をかけたほうがいいと思うんだ｡

07:27.480 --> 07:28.920
あなたならできる｡ 

07:39.010 --> 07:40.120
彼女はステロイドのようなものです｡ 

07:40.930 --> 07:42.790
左右にずっとクリックすること｡ 

07:45.650 --> 07:46.610
しかし､ それは良いことをしているのでしょうか？

07:46.640 --> 07:54.840
ええ､ でも､ ブレイクアウトというゲーム全体を解決するのではなく､ もっと訓練させればいいだけかもしれません｡ 

07:54.870 --> 07:55.240
そうですね｡ 

07:56.910 --> 07:57.990
それは､ 本当に､ いいことです｡ 

07:58.020 --> 07:58.560
本当にいいんです｡ 

08:01.130 --> 08:01.670
まあ､ いいや｡ 

08:02.720 --> 08:03.370
ああ､ そうなんだ｡ 

08:03.380 --> 08:04.320
ちょっと速すぎたかな｡ 

08:04.340 --> 08:04.820
60.

08:04.820 --> 08:06.230
だから､ もう一度スコアを叩き出してください｡ 

08:06.620 --> 08:07.910
78があったんですね｡ 

08:07.960 --> 08:08.180
そうですね｡ 

08:09.380 --> 08:11.600
そうしたら､ 止まらなくなったんです｡ 

08:11.660 --> 08:13.240
間違いなく､ いくつかのプレイブレイクアウトがあります｡ 

08:13.260 --> 08:13.490
そうですね｡ 

08:13.550 --> 08:13.820
いいですね｡ 

08:13.820 --> 08:14.330
とても素晴らしい｡ 

08:14.330 --> 08:15.020
とても素晴らしい｡ 

08:15.050 --> 08:15.530
すごい｡ 

08:15.530 --> 08:16.970
というわけで､ 気に入っていただけたでしょうか？

08:16.970 --> 08:27.870
そして何より､ このa3cのパワフルな実装を気に入っていただけたらと思います｡

08:27.920 --> 08:29.720
M ええ､ その通りです｡ 

08:29.720 --> 08:37.520
論文の最後には､ さまざまなアルゴリズムを比較して､ このアルゴリズムが圧倒的に優れているというようなことが書かれています｡

08:37.550 --> 08:43.100
これらのモデルの他の比較が一番良いだけでなく､ 私はいくつかのモデルを経験したので､

08:43.280 --> 08:46.970
STMなしのものを経験し､ 一緒に行きました｡

08:46.970 --> 08:49.850
そして間違いなくシステムはアルゴリズムを向上させます｡ 

08:49.850 --> 08:51.080
どれくらい良くなったのでしょうか？

08:52.010 --> 08:52.670
ずっといい｡ 

08:52.670 --> 08:54.070
私のように｡ 

08:54.080 --> 09:04.430
ブレイクアウトをプレイする前にかろうじて人工知能があったのですが､ それは15秒か20秒くらいで､ 今回のように1分以上ということはありませんでした｡

09:04.430 --> 09:05.450
うん､ うん､ いい感じ｡ 

09:05.480 --> 09:06.050
それはいいことだ｡ 

09:06.410 --> 09:07.280
なるほど､ クールだ｡ 

09:07.310 --> 09:07.850
かっこいい｡ 

09:07.850 --> 09:08.990
ありがとう､ みんな｡ 

09:09.110 --> 09:09.920
ありがとうございました｡ 

09:09.920 --> 09:12.920
それが3つ目のモジュールの終わりであり､ したがってコースの終わりでもあった｡ 

09:12.920 --> 09:20.150
だから､ 3つのモジュールとほとんどa3cを完了したことを祝福します､ かなり大きな､ かなり大きな｡

09:20.150 --> 09:20.620
そうですね｡ 

09:20.750 --> 09:26.780
そして､ a3cに存在するさまざまなモディフィケーションを探求してください｡ もしかしたら､ あなたがこれを見ているとき､

09:26.780 --> 09:36.110
3Cには本当にクールな新しい進化があり､ a3cよりもさらに優れた新しいモデルを持つことができるかもしれません｡

09:36.110 --> 09:37.130
ええ､ 確かに｡ 

09:37.340 --> 09:39.080
2018年はどうなるかな｡ 

09:39.080 --> 09:39.650
なるほど｡ 

09:39.980 --> 09:40.170
わかりました｡ 

09:40.180 --> 09:40.350
わかりました｡ 

09:40.370 --> 09:41.090
皆さん､ ありがとうございます｡ 

09:41.090 --> 09:41.510
ありがとうございます｡ 

09:41.510 --> 09:42.080
さようなら｡