2027年試験新シラバス対応・2-3

生成AIの学習プロセス（事前学習・RLHF・スケーリング則）の一問一答

生成AIパスポート試験「生成AI」から、生成AIの学習プロセス（事前学習・RLHF・スケーリング則）に関する4択問題を10問。「答えと解説を見る」を開くと、正解とその理由がその場で読めます。会員登録は不要です。

この分野の演習

全10問／解説つき・基本無料

アプリ形式で解く（全410問）生成AIの要点解説を読む

問題

上から順に解いてみてください。答えは各問の下で確認できます。本試験は四肢択一式（一部複数選択を含む）で出題されます。ここでは全て4択（正解は1つ）で出題しています。

問12-3

一般的なLLMの学習の流れとして、最も適切なものを1つ選びなさい。

①ファインチューニング → RLHF → 事前学習
②RLHF → 事前学習 → ファインチューニング
③事前学習 → ファインチューニング → RLHF
④事前学習 → RLHF → 推論 → 事前学習

答えと解説を見る

正解 ③事前学習 → ファインチューニング → RLHF

解説
LLMの学習は、一般に次の3段階で説明されます。
①事前学習：大量の文章で「次のトークンを予測する」ことを学び、言葉と知識の土台を作る。
②ファインチューニング（教師ありファインチューニング・指示チューニング）：指示と望ましい回答の例を使って、指示に従って答えられるように調整する。
③RLHF（人間のフィードバックによる強化学習）：人間の評価をもとに、より役に立ち安全な回答になるよう調整する（アライメント）。
新シラバスでも、LLMの学習がこの3段階で行われることが学習目標に挙げられています。

他の選択肢が不適切な理由
・RLHFが最初：RLHFは、事前学習とファインチューニングを経たモデルを、人間の評価で仕上げる段階です。
・ファインチューニングが最初：ファインチューニングは、事前学習済みのモデルに対して行うものです。
・推論のあとに再び事前学習：推論は学習済みモデルを使って答えを出す段階で、学習の流れの一部ではありません。

覚え方のポイント
①基礎づくり（事前学習）→ ②指示に従う練習（ファインチューニング）→ ③人の好みに合わせる仕上げ（RLHF）。

問22-3

LLMの事前学習で行われる主な課題として、最も適切なものを1つ選びなさい。

①利用者の質問に対して、検索結果をもとに回答すること
②人間が比べた回答のどちらが良いかを、点数で予測すること
③画像に写っている物体の種類を、正解ラベルから学ぶこと
④大量の文章をもとに、次に続くトークンを予測すること

答えと解説を見る

正解 ④大量の文章をもとに、次に続くトークンを予測すること

解説
LLMの事前学習では、インターネット上の文章や書籍などの大量のテキストを使い、それまでの文脈から次に続くトークンを予測するという課題を繰り返し解かせます（次トークン予測）。
文章そのものから「次に来る語」という正解を自動的に作れるため、人が1つずつ正解ラベルを付ける必要がありません。この単純な課題を膨大なデータで繰り返すことで、文法・言葉の意味・世界についての知識などが、モデルのパラメータに蓄えられていきます。

他の選択肢が不適切な理由
・回答の良し悪しを点数で予測：RLHFで使う報酬モデルの学習の説明です。
・画像の物体を正解ラベルから学ぶ：画像分類の教師あり学習の説明です。
・検索結果をもとに回答：RAG（検索拡張生成）の説明で、学習の段階の話ではありません。

覚え方のポイント
事前学習＝「大量の文章で、ひたすら次の言葉を当てる練習」。正解は文章そのものから作れるので、人がラベルを付ける必要がありません。

問32-3

指示チューニング（Instruction Tuning）の説明として、最も適切なものを1つ選びなさい。

①「指示」とそれに対する望ましい回答の組を大量に学習させ、指示に従って答えられるようにする調整
②利用者がプロンプトの書き方を練習して、生成AIへの指示をうまく出せるようになるための研修のこと
③モデルの指示に従って、人間が学習データに正解ラベルを1件ずつ付けていくという作業のこと
④生成AIが出した回答を、人間の指示に従って自動的に別の言語へと翻訳し直すための調整のこと

答えと解説を見る

正解 ①「指示」とそれに対する望ましい回答の組を大量に学習させ、指示に従って答えられるようにする調整

解説
指示チューニング（Instruction Tuning）は、ファインチューニングの一種で、「〇〇を要約してください」「〇〇について説明してください」のような指示と、それに対する望ましい回答の組を大量に学習させ、モデルが指示に従って適切に答えられるようにする調整です。
事前学習を終えただけのモデルは、文章の続きを書くことは得意でも、質問に答える・指示に従うといった振る舞いは得意ではありません。指示チューニングによって、対話型のAIとして使いやすくなります。

他の選択肢が不適切な理由
・利用者のプロンプトの研修：人間側の練習の話で、モデルの調整ではありません。
・人間がラベルを付ける作業：データ作りの作業の話で、指示チューニングそのものではありません。
・回答を別の言語に翻訳し直す調整：指示チューニングの説明ではありません。

覚え方のポイント
指示チューニング＝「お願い（指示）と模範解答のセット」でしつけて、言うことを聞けるようにする。

問42-3

RLHF（人間のフィードバックによる強化学習）に関する記述として、適切でないものを1つ選びなさい。

①人間が複数の回答を比べて評価し、その評価をもとにして、報酬モデルを作っている。
②RLHFでは人間の評価を使わず、学習データの文章だけで回答の良し悪しを決める。
③報酬モデルの点数が高くなるよう、強化学習の手法でモデルを調整している。
④回答を、より役に立ち安全なものに近づけるために使われている手法である。

答えと解説を見る

正解 ②RLHFでは人間の評価を使わず、学習データの文章だけで回答の良し悪しを決める。

解説
RLHF（Reinforcement Learning from Human Feedback）は、人間のフィードバック（評価）を使ってモデルを調整する手法です。人間がモデルの複数の回答を比べて評価し、その評価をもとに、回答の望ましさを点数で推定する報酬モデルを作ります。そして、報酬モデルの点数が高くなるように、強化学習の手法でモデルを調整します。
名前のとおり人間の評価を使う手法であり、「人間の評価を使わず、学習データの文章だけで良し悪しを決める」という記述は適切ではありません。RLHFは、回答をより役に立ち安全なものに近づける（アライメント）ために使われています。

他の選択肢（適切な記述）について
・人間の評価から報酬モデルを作る：RLHFの最初の段階です。
・報酬モデルの点数が高くなるよう強化学習で調整する：RLHFの中心となる段階です。
・役に立ち安全な回答に近づける：RLHFの目的で、アライメントの代表的な手法です。

覚え方のポイント
RLHF＝人間（H）の評価（F）を報酬にした強化学習（RL）。

問52-3

アライメント（Alignment）の説明として、最も適切なものを1つ選びなさい。

①出力の多様さを、生成のたびに一定の範囲にそろえるために設定する値のこと
②汎用のモデルを、特定の分野のデータで追加学習させて、その分野に合わせること
③モデルの規模を大きくするほど、性能が規則的に向上していくという経験則のこと
④AIの振る舞いを、人間の意図や価値観に沿った、役に立ち安全なものにすること

答えと解説を見る

正解 ④AIの振る舞いを、人間の意図や価値観に沿った、役に立ち安全なものにすること

解説
アライメント（Alignment）とは、AIの振る舞いを、人間の意図や価値観に沿ったもの、つまり役に立ち、正直で、有害な内容を避けるものに合わせることです。
事前学習を終えただけのLLMは、学習データに含まれていた不適切な内容まで出力してしまうことがあります。RLHFは、このアライメントを実現するための代表的な手法の一つで、ChatGPTのもとになったInstructGPT（2022年）で用いられたことで広く知られるようになりました。

他の選択肢が不適切な理由
・特定の分野のデータで追加学習させる：ドメイン適応の説明です。
・規模を大きくするほど性能が向上する経験則：スケーリング則の説明です。
・出力の多様さをそろえる設定の値：Temperatureなどの生成パラメータの説明です。

覚え方のポイント
アライメント＝「AIの向きを、人間の望む方向にそろえる」。RLHFはその代表的な手段です。

問62-3

スケーリング則（Scaling Laws）の説明として、最も適切なものを1つ選びなさい。

①どのような問題にも、常に最も優れている万能の学習手法は存在しないということを示した定理
②モデルのパラメータ数・データ量・計算量を増やすほど、性能が規則的に向上するという経験則
③モデルの規模をいくら大きくしても、性能は一定のところでまったく向上しなくなるという法則
④学習データの量を減らすほど、過学習が起こりにくくなって性能が高まっていくという経験則

答えと解説を見る

正解 ②モデルのパラメータ数・データ量・計算量を増やすほど、性能が規則的に向上するという経験則

解説
スケーリング則（Scaling Laws）は、LLMの性能が、モデルのパラメータ数・学習データの量・学習に使う計算量を大きくするほど、べき乗則に従って規則的に向上していくという経験則です。2020年にOpenAIの研究者らが発表した研究で広く知られるようになりました。
この法則が、各社がモデルを大規模化させる大きな根拠になりました。また、ある規模を超えると、それまでできなかった能力が急に現れる「創発的能力」が見られることも報告されています。

他の選択肢が不適切な理由
・万能の手法は存在しないという定理：ノーフリーランチ定理の説明です。
・大きくしても性能は向上しない：スケーリング則の内容とは逆です。
・データを減らすほど性能が高まる：スケーリング則では、データ量を増やすほど性能が向上するとされます。

覚え方のポイント
スケーリング則＝「大きくすれば（規模・データ・計算）、規則的に賢くなる」。モデル大規模化の根拠です。

問72-3

スケーリング則と創発的能力に関する記述として、適切でないものを1つ選びなさい。

①スケーリング則は、モデルを大規模化するための投資の根拠の一つとして注目された。
②創発的能力とは、モデルの規模が一定を超えたときに、新たな能力が急に現れることをいう。
③スケーリング則とは、パラメータ数だけを増やせば性能が上がり続けるという法則である。
④大規模化には、膨大な計算資源や電力が必要になるという課題も指摘されている。

答えと解説を見る

正解 ③スケーリング則とは、パラメータ数だけを増やせば性能が上がり続けるという法則である。

解説
スケーリング則は、モデルのパラメータ数・学習データの量・計算量をバランスよく増やすほど、性能が規則的に向上するという経験則です。パラメータ数だけを増やせばよいというものではなく、データ量や計算量も合わせて増やす必要があるため、この記述は適切ではありません。
スケーリング則は、モデルを大規模化するための投資の根拠の一つとして注目されました。また、モデルの規模が一定を超えたときに、小さいモデルにはなかった能力が現れることを創発的能力といいます。一方で、大規模化には膨大な計算資源や電力が必要になるという課題も指摘されています。

他の選択肢（適切な記述）について
・創発的能力：規模が一定を超えたときに新しい能力が現れることです。
・大規模化への投資の根拠：性能の伸びが予測できることが、大規模化を後押ししました。
・計算資源や電力の課題：大規模化にともなう費用や環境への負荷が指摘されています。

覚え方のポイント
スケーリング則＝「パラメータ・データ・計算量」の3つをそろえて増やすと性能が伸びる。

問82-3

LLMの学習データに関する課題として、適切でないものを1つ選びなさい。

①学習データが大量であれば、偏りや誤りは平均されて出力には一切表れない。
②学習データの偏りは、出力に表れる偏見や差別的な内容の原因になる。
③学習データに含まれる誤った情報は、もっともらしい誤りの原因の一つになる。
④学習データの収集や利用では、著作権や個人情報の扱いが課題になる。

答えと解説を見る

正解 ①学習データが大量であれば、偏りや誤りは平均されて出力には一切表れない。

解説
LLMは膨大な学習データからパターンを学ぶため、データの量だけでなく質が重要です。データが大量でも、偏りや誤りが含まれていれば出力に表れることがあり、「一切表れない」という記述は適切ではありません。
新シラバスでも「学習データの規模と課題」として、データの品質、偏り（バイアス）、著作権などが学習項目に挙げられています。こうした課題があるため、出力の確認や、AI事業者ガイドラインに沿った適切な開発・利用が求められます。

他の選択肢（適切な記述）について
・偏りが偏見や差別的な出力の原因になる：学習データの偏りが出力に表れる、代表的な課題です。
・誤った情報がもっともらしい誤りの原因になる：学習データの誤りは、ハルシネーションの原因の一つです。
・著作権や個人情報の扱いが課題：学習データの収集と利用では、権利や個人情報への配慮が必要です。

覚え方のポイント
データは「量」だけでなく「質（偏り・誤り・権利）」も大切。「大量なら問題ない」は誤りです。

問92-3

生成AIの学習プロセスに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．LLMの事前学習には、人が正解を付けた少量のデータだけが使われる。
b．RLHFを行えば、生成AIのハルシネーションは完全になくなる。
c．医療など特定の分野のデータで追加学習し、その分野に合わせることをドメイン適応という。
d．アライメントは、AIの振る舞いを、人間の意図や価値観に沿わせることを目指す。

①a・b
②c・d
③a・c
④b・d

答えと解説を見る

正解 ②c・d

解説
cとdが適切です。
c：医療や法律など、特定の分野のデータで追加学習し、その分野の用語や文章に合ったモデルにすることを、ドメイン適応といいます。
d：アライメントは、AIの振る舞いを人間の意図や価値観に沿った、役に立ち安全なものにすることを目指す取組みです。

誤っている記述
・a：LLMの事前学習には、インターネット上の文章などの大量のデータが使われます。人が正解を付けた少量のデータを使うのは、指示チューニングなどの調整の段階です。
・b：RLHFは回答を望ましいものに近づける手法ですが、ハルシネーションを完全になくすことはできません。重要な内容は、人が一次情報で確認する必要があります。

覚え方のポイント
事前学習＝大量の文章、調整（指示チューニング・RLHF）＝人が用意したデータ。

問102-3

LLMの学習プロセスに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．事前学習では、大量の文章で次のトークンを予測する学習を行う。
b．スケーリング則は、規模を大きくすると性能が規則的に向上する経験則である。
c．RLHFは、事前学習よりも前に行う最初の学習の段階である。
d．ファインチューニングを行うと、事前学習で得た知識はすべて失われる。

①a・c
②c・d
③a・b
④b・d

答えと解説を見る

正解 ③a・b

解説
aとbが適切です。
a：事前学習では、大量の文章をもとに、次に続くトークンを予測する学習を繰り返し行います。
b：スケーリング則は、パラメータ数・データ量・計算量を大きくするほど、性能が規則的に向上していくという経験則です。

誤っている記述
・c：RLHFは、事前学習とファインチューニングを終えたモデルを、人間の評価をもとに仕上げる段階です。
・d：ファインチューニングは、事前学習で得た知識を活かしながら、特定の用途に合わせて調整するものです。知識がすべて失われるわけではありません。

覚え方のポイント
「事前学習 → ファインチューニング → RLHF」の順番と、それぞれの目的をセットで覚えましょう。

「生成AIパスポート」は一般社団法人生成AI活用普及協会の登録商標です。本ページは一般社団法人生成AI活用普及協会（GUGA）とは一切関係がなく、公認・認定を受けた教材ではありません。

生成AIパスポートの対策問題（全410問）に戻る

非公式の資格試験対策サイトです。一般社団法人生成AI活用普及協会（GUGA）とは一切関係がなく、GUGAの公認・認定を受けた教材ではありません。

※本ページでは、アクセス解析（Googleアナリティクス）と、広告の配信・成果の計測（A8.net）のためにCookie等を利用し、閲覧に関する情報をGoogle LLC・株式会社ファンコミュニケーションズへ送信しています。詳しくはプライバシーポリシーをご覧ください。

※本ページの問題・解説は、生成AI（人工知能）を活用して作成しています。