深層強化学習の一問一答

DeepMindが発表したDQN（Deep Q-Network）の説明として、最も適切なものを1つ選びなさい。

• ①Q学習の行動価値をディープラーニングで近似し、ゲームの画面から直接よい行動を学習した。
• ②人間のプレイの記録を正解として、ゲームの操作を教師あり学習でうまくまねるように学習した。
• ③盤面を入力とし、モンテカルロ木探索と組み合わせて囲碁の次の一手を選ぶように学習した。
• ④方策をニューラルネットワークで直接表し、行動の確率を勾配で少しずつ更新して学習した。

DQNで用いられる「Experience Replay（体験再生）」の説明として、最も適切なものを1つ選びなさい。

• ①直前に経験した行動だけを何度も繰り返し学習し、同じ行動を確実に覚えさせるようにする。
• ②過去の経験を保存し、ランダムに取り出して学習に使うことで、データの偏りを減らす。
• ③人間が対局した棋譜を再生し、その手を正解として教師あり学習を行うようにする。
• ④学習した行動を実際の環境で再生し、その様子を人間が評価して報酬を与えるようにする。

DQNを改良した手法のうち、行動価値を「状態の価値」と「その状態で各行動をとることの優位性（アドバンテージ）」に分けて学習するネットワーク構造として、最も適切なものを1つ選びなさい。

• ①Double DQN
• ②Rainbow
• ③Dueling Network
• ④Actor-Critic

DQNの行動価値の過大評価の問題を抑えるため、行動の選択と、その行動の価値の評価に、別々のネットワークを用いるようにした手法として、最も適切なものを1つ選びなさい。

• ①Dueling Network
• ②Experience Replay
• ③AlphaGo Zero
• ④Double DQN

人間の棋譜を一切使わず、自分自身との対局（自己対局）による強化学習だけで、それまでのAlphaGoを上回る強さに達した囲碁のAIとして、最も適切なものを1つ選びなさい。

• ①AlphaGo Zero
• ②ディープブルー
• ③AlphaGo Lee
• ④ELIZA

ロボットの制御を強化学習で学ぶ際に、シミュレーションで学習した方策を現実のロボットに適用すると性能が下がる問題に対処するため、シミュレーションの物理条件や見た目などをランダムに変えながら学習させる手法として、最も適切なものを1つ選びなさい。

• ①ドメイン適応
• ②ドメインランダマイゼーション
• ③Teacher Forcing
• ④勾配クリッピング

あらかじめ集めておいた過去のデータだけを使い、学習中に環境と新たにやり取りをせずに方策を学習する強化学習として、最も適切なものを1つ選びなさい。

• ①オンライン学習
• ②多腕バンディット
• ③オフライン強化学習
• ④モンテカルロ木探索

DeepMindが開発し、リアルタイム戦略ゲーム「StarCraft II」でトップクラスのプレイヤーに匹敵する強さを示した深層強化学習のAIとして、最も適切なものを1つ選びなさい。

• ①AlphaFold
• ②OpenAI Five
• ③ワトソン
• ④AlphaStar

深層強化学習のうち、Actor-Criticの考え方を用い、複数のエージェントを並列に動かして非同期に学習することで、学習を速く安定させた手法として、最も適切なものを1つ選びなさい。

• ①A3C
• ②DQN
• ③Double DQN
• ④Dueling Network

深層強化学習の応用や課題についての説明として、最も不適切なものを1つ選びなさい。

• ①ロボットの制御では、シミュレーションで学習した方策を現実に移す際に性能が下がることがある。
• ②深層強化学習は報酬の設計を必要としないため、どのような課題でも目的に沿った行動を必ず学べる。
• ③強化学習では、報酬の与え方によって、設計者の意図しない行動が学習されてしまうことがある。
• ④ゲームだけでなく、ロボットの制御や、大規模言語モデルの調整（RLHF）などにも応用されている。