2027年試験新シラバス対応・2-1

Transformerと拡散モデルの一問一答

生成AIパスポート試験「生成AI」から、Transformerと拡散モデルに関する4択問題を10問。「答えと解説を見る」を開くと、正解とその理由がその場で読めます。会員登録は不要です。

この分野の演習

全10問／解説つき・基本無料

アプリ形式で解く（全410問）生成AIの要点解説を読む

問題

上から順に解いてみてください。答えは各問の下で確認できます。本試験は四肢択一式（一部複数選択を含む）で出題されます。ここでは全て4択（正解は1つ）で出題しています。

問12-1

Transformerについての説明として、最も適切なものを1つ選びなさい。

①2017年に発表された、自己注意機構を中心に組み立てられたニューラルネットワークの構造
②1997年に発表された、ゲートの仕組みで長い系列の情報を扱えるようにした再帰型ネットワーク
③2014年に発表された、生成器と識別器を競わせて学習させるという画像生成の代表的なモデル
④1956年に発表された、探索と推論によって迷路やパズルを解くためのAIのプログラム

答えと解説を見る

正解 ①2017年に発表された、自己注意機構を中心に組み立てられたニューラルネットワークの構造

解説
Transformerは、2017年にGoogleの研究者らが論文「Attention Is All You Need」で発表したニューラルネットワークの構造です。RNNのように単語を1つずつ順番に処理するのではなく、自己注意機構（Self-Attention）を中心に、文章中のすべての単語どうしの関係を一度に計算します。
これにより、計算を並列に進められて大規模な学習が容易になり、文中の離れた単語どうしの関係（長距離依存）もとらえやすくなりました。GPTやBERT、現在のLLMの多くがTransformerをもとにしています。

他の選択肢が不適切な理由
・1997年のゲート付き再帰型ネットワーク：LSTMの説明です。
・2014年の生成器と識別器のモデル：GAN（敵対的生成ネットワーク）の説明です。
・1956年の探索と推論のプログラム：第一次AIブームの頃のAIの説明で、Transformerとは関係ありません。

覚え方のポイント
Transformer＝2017年・Google・「Attention Is All You Need」。現在のLLMの共通の土台です。

問22-1

Transformerに関する記述として、適切でないものを1つ選びなさい。

①2017年に発表された論文で提案され、自己注意機構を中心に組み立てられている。
②Transformerは単語を順に1つずつ処理するため、並列計算ができない。
③単語の並び順の情報は、位置エンコーディングという仕組みで補われている。
④並列に計算しやすいため、大量のデータを使った大規模な学習に向いている。

答えと解説を見る

正解 ②Transformerは単語を順に1つずつ処理するため、並列計算ができない。

解説
Transformerは、2017年に発表された論文「Attention Is All You Need」で提案されたモデルで、自己注意機構を中心に組み立てられています。
RNNのように単語を1つずつ順番に処理するのではなく、文章中の単語をまとめて並列に計算できるため、大量のデータを使った大規模な学習に向いています。したがって「並列計算はできない」という記述は適切ではありません。
なお、まとめて処理すると単語の順番の情報が失われるため、位置エンコーディングという仕組みで並び順の情報を補っています。

他の選択肢（適切な記述）について
・2017年の論文で提案され、自己注意機構が中心：Transformerの基本的な説明です。
・位置エンコーディングで並び順を補う：並列に処理するTransformerに必要な工夫です。
・大規模な学習に向いている：並列計算のしやすさが、LLMの大規模化を可能にしました。

覚え方のポイント
RNN＝順番に1語ずつ、Transformer＝まとめて並列に。並び順は位置エンコーディングで補います。

問32-1

自己注意機構（Self-Attention）の説明として、最も適切なものを1つ選びなさい。

①画像の局所的な領域にフィルタを当てて、輪郭や模様などの特徴を取り出す仕組み
②前の時点の状態を次の時点に引き継ぎながら、文章を1語ずつ順番に処理していく仕組み
③文章中の各単語が、同じ文章の他のどの単語とどれだけ関係が深いかを計算する仕組み
④単語の並び順の情報を数値で表して、各単語の埋め込みに加えることで順番を補う仕組み

答えと解説を見る

正解 ③文章中の各単語が、同じ文章の他のどの単語とどれだけ関係が深いかを計算する仕組み

解説
自己注意機構（Self-Attention）は、文章中の各単語が、同じ文章の中の他のどの単語とどれだけ関係が深いかを計算し、その関係の強さに応じて情報を取り込む仕組みです。
たとえば「彼はリンゴを食べた。それはとても甘かった。」という文で、「それ」が「リンゴ」を指していることを、関係の強さとしてとらえられます。計算には、各単語から作るQuery（問い合わせ）・Key（見出し）・Value（中身）という3種類のベクトルが使われます。

他の選択肢が不適切な理由
・前の時点の状態を引き継いで1語ずつ処理する：RNNの仕組みです。自己注意機構は、すべての単語の組の関係を一度に計算します。
・局所的な領域にフィルタを当てる：CNNの畳み込みの仕組みです。
・並び順の情報を数値で表して加える：位置エンコーディングの説明です。自己注意機構と組み合わせて使われますが、別の仕組みです。

覚え方のポイント
Self（自分自身の文の中で）＋Attention（注目）＝「同じ文の中で、どの語とどの語が強く関係しているか」を計算します。

問42-1

自己注意機構の計算で使われる3種類のベクトルの組合せとして、最も適切なものを1つ選びなさい。

①Generator・Discriminator・Noise
②Input・Hidden・Output
③Encoder・Decoder・Latent
④Query・Key・Value

答えと解説を見る

正解 ④Query・Key・Value

解説
自己注意機構では、各単語のベクトルから、Query（クエリ：問い合わせ）、Key（キー：照合用の見出し）、Value（バリュー：取り出す中身）という3種類のベクトルを作ります。
ある単語のQueryと、各単語のKeyとの近さ（関連度）を計算し、その関連度に応じて各単語のValueを重み付けして足し合わせることで、文脈を反映した表現を作ります。図書館で「調べたいこと（Query）」を「本の見出し（Key）」と照らし合わせ、合う本の「中身（Value）」を読む流れにたとえられます。

他の選択肢が不適切な理由
・Input・Hidden・Output：ニューラルネットワークの入力層・隠れ層・出力層を連想させる語の組合せです。
・Encoder・Decoder・Latent：VAEなどで使われるエンコーダ・デコーダ・潜在ベクトルを連想させる組合せです。
・Generator・Discriminator・Noise：GANの生成器・識別器と、生成に使うノイズの組合せです。

覚え方のポイント
Q（何を探す？）・K（見出しと照合）・V（中身を取り出す）。検索の流れで覚えましょう。

問52-1

Transformerから派生したモデルに関する記述として、適切でないものを1つ選びなさい。

①GPTは、デコーダ部分を使い、次に来るトークンを予測して文章を作るモデルである。
②BERTは、文章を左から右へ1語ずつ生成することに特化して作られたモデルである。
③BERTは、文中の隠した単語を、前後の文脈から当てる方法で事前学習されている。
④Vision Transformerは、画像を小さな区画に分けて処理する。

答えと解説を見る

正解 ②BERTは、文章を左から右へ1語ずつ生成することに特化して作られたモデルである。

解説
Transformerからは、さまざまなモデルが派生しています。
BERTは、Transformerのエンコーダ部分を使い、文中の一部の単語を隠して前後の文脈から当てる方法で事前学習したモデルで、文章の理解や分類などに強みがあります。文章を左から右へ1語ずつ生成することに特化しているのはGPTの特徴であり、この記述は適切ではありません。
GPTはデコーダ部分を使い、次に来るトークンを予測して文章を生成します。Vision Transformer（ViT）は、画像を小さな区画（パッチ）に分けて単語のように並べ、Transformerで処理するモデルです。

他の選択肢（適切な記述）について
・GPTはデコーダ部分を使い次のトークンを予測する：文章の生成に強いモデルです。
・BERTは隠した単語を前後の文脈から当てる：文章の理解に強いモデルです。
・Vision Transformerは画像を区画に分けて処理する：Transformerを画像に応用したモデルです。

覚え方のポイント
BERT＝前後を見て「理解」（エンコーダ）、GPT＝前から順に「生成」（デコーダ）。

問62-1

拡散モデル（Diffusion Model）の仕組みとして、最も適切なものを1つ選びなさい。

①大量の画像を検索して、利用者の指示に最も近い画像をそのまま選び出して表示する。
②生成器と識別器を競わせて、識別器が見破れないほど本物そっくりの画像を作り出す。
③画像の一部分ずつにフィルタを当てて、写っている物体が何かを判定して名前を付ける。
④画像にノイズを少しずつ加える過程を学び、その逆にノイズを除いて画像を作り出す。

答えと解説を見る

正解 ④画像にノイズを少しずつ加える過程を学び、その逆にノイズを除いて画像を作り出す。

解説
拡散モデルは、画像に少しずつノイズを加えていき、最後には完全なノイズにしてしまう過程（拡散過程）を考え、その逆に、ノイズを少しずつ取り除いて元の画像に戻していく過程（逆拡散過程）をモデルに学習させます。
学習後は、ランダムなノイズから出発して逆拡散過程をたどることで、新しい画像を作り出せます。文章の指示に沿った画像を作る画像生成AIの多くが、この拡散モデルを使っています。

他の選択肢が不適切な理由
・生成器と識別器を競わせる：GAN（敵対的生成ネットワーク）の説明です。
・フィルタを当てて物体を判定する：CNNによる画像認識（識別）の説明です。
・画像を検索して選び出す：これは画像検索で、新しい画像を生成していません。

覚え方のポイント
拡散モデル＝「砂嵐（ノイズ）から少しずつ絵を浮かび上がらせる」。ノイズを足す→引く、の逆再生です。

問72-1

潜在拡散モデル（Latent Diffusion Model）の特徴として、最も適切なものを1つ選びなさい。

①画像を直接扱わず、圧縮した潜在空間でノイズの除去を行うため、計算量を抑えられる。
②ノイズを一切使わずに、生成器と識別器の競い合いだけで画像を作り出すことができる。
③画像を画素の単位のまま直接扱い、高い解像度でノイズの除去を何度も繰り返していく。
④文章の指示は使えず、ランダムな画像を作ることだけを目的とした生成の仕組みである。

答えと解説を見る

正解 ①画像を直接扱わず、圧縮した潜在空間でノイズの除去を行うため、計算量を抑えられる。

解説
潜在拡散モデル（Latent Diffusion Model）は、画像を直接扱うのではなく、エンコーダで画像を小さく圧縮した「潜在空間」の中で、ノイズを加える・取り除くという拡散モデルの処理を行い、最後にデコーダで画像に戻す方式です。
画素の数がそのままの画像で計算するよりも、計算量やメモリを大幅に抑えられます。2022年に公開された画像生成AIのStable Diffusionは、この潜在拡散モデルを使っています。

他の選択肢が不適切な理由
・生成器と識別器の競い合い：GANの仕組みです。潜在拡散モデルは、ノイズの除去によって画像を作ります。
・画素の単位のまま直接扱う：従来の拡散モデルの扱い方で、計算量が大きくなります。潜在拡散モデルは、圧縮した潜在空間で計算します。
・文章の指示は使えない：潜在拡散モデルを使ったStable Diffusionなどは、文章の指示に沿った画像を作れます。

覚え方のポイント
潜在（Latent）＝「ぎゅっと圧縮した世界」。そこで拡散モデルを動かすので軽くて速い、と覚えましょう。

問82-1

Transformerと拡散モデルに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．自己注意機構では、隣り合う単語どうしの関係しか計算することができない。
b．Transformerでは、単語の並び順の情報を、位置エンコーディングで補っている。
c．拡散モデルは、1回の計算だけで、ノイズのない画像を一気に作り出す仕組みである。
d．マルチヘッドアテンションでは、複数の観点から単語どうしの関係を並行して計算する。

①a・b
②a・c
③b・d
④c・d

答えと解説を見る

正解 ③b・d

解説
bとdが適切です。
b：Transformerは単語をまとめて並列に処理するため、そのままでは並び順の情報が失われます。そこで、位置エンコーディングで並び順の情報を補っています。
d：マルチヘッドアテンションは、自己注意の計算を複数並べて、文法的な関係や意味的な関係など、複数の観点から単語どうしの関係をとらえる仕組みです。

誤っている記述
・a：自己注意機構は、文章中のすべての単語の組について関係の深さを計算するため、離れた位置にある単語どうしの関係もとらえることができます。
・c：拡散モデルは、ノイズを少しずつ取り除く処理を何段階も繰り返して画像を作ります。1回の計算で一気に作るわけではありません。

覚え方のポイント
自己注意＝全部の単語の組を見る、マルチヘッド＝その見方を複数持つ。

問92-1

拡散モデルに関する記述として、適切でないものを1つ選びなさい。

①文章の指示（プロンプト）に沿った画像の生成に、広く使われている技術である。
②Stable Diffusionは、潜在拡散モデルの考え方を使った画像生成AIである。
③ノイズを除く処理を何段階も繰り返すため、生成に時間がかかりやすい面がある。
④拡散モデルは、生成器と識別器を互いに競わせることで学習を進めるモデルである。

答えと解説を見る

正解 ④拡散モデルは、生成器と識別器を互いに競わせることで学習を進めるモデルである。

解説
拡散モデルは、画像にノイズを少しずつ加えていく過程を学習し、その逆に、ノイズからノイズを少しずつ取り除いていくことで画像を作り出すモデルです。生成器と識別器を互いに競わせて学習するのはGAN（敵対的生成ネットワーク）の特徴であり、この記述は適切ではありません。
拡散モデルは、文章の指示に沿った画像の生成に広く使われており、Stable Diffusionは、圧縮した潜在空間でノイズを除く潜在拡散モデルの考え方を使っています。ノイズを除く処理を何段階も繰り返すため、生成に時間がかかりやすいという面もあります。

他の選択肢（適切な記述）について
・Stable Diffusionは潜在拡散モデルの考え方を使う：計算量を抑えて高品質な画像を作れます。
・生成に時間がかかりやすい：ノイズの除去を何段階も繰り返すためです。
・文章の指示に沿った画像の生成に使われる：現在の画像生成AIの多くが拡散モデルを使っています。

覚え方のポイント
拡散モデル＝ノイズを足す→引く。生成器と識別器の競争はGANです。

問102-1

Transformerと拡散モデルに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．Transformerは、自己注意機構を中心に組み立てられた構造である。
b．拡散モデルは、ノイズを使わずに画像を作り出す方式である。
c．Transformerは、単語を必ず1つずつ順番にしか処理できない。
d．潜在拡散モデルは、圧縮した潜在空間で拡散の処理を行う。

①a・d
②b・c
③a・b
④c・d

答えと解説を見る

正解 ①a・d

解説
aとdが適切です。
a：Transformerは、自己注意機構（Self-Attention）を中心に組み立てられた構造です。
d：潜在拡散モデルは、画像を圧縮した潜在空間の中で、ノイズを加える・取り除くという拡散の処理を行うことで、計算量を抑えています。

誤っている記述
・b：拡散モデルは、ノイズを加える過程とその逆にノイズを取り除く過程を使って画像を作り出します。
・c：単語を1つずつ順番に処理するのはRNNの特徴です。Transformerは文中の単語の関係をまとめて計算でき、並列処理に向いています。

覚え方のポイント
「Transformer＝並列・自己注意」「拡散モデル＝ノイズを足して引く」の2つを軸に整理しましょう。

「生成AIパスポート」は一般社団法人生成AI活用普及協会の登録商標です。本ページは一般社団法人生成AI活用普及協会（GUGA）とは一切関係がなく、公認・認定を受けた教材ではありません。

生成AIパスポートの対策問題（全410問）に戻る

非公式の資格試験対策サイトです。一般社団法人生成AI活用普及協会（GUGA）とは一切関係がなく、GUGAの公認・認定を受けた教材ではありません。

※本ページでは、アクセス解析（Googleアナリティクス）と、広告の配信・成果の計測（A8.net）のためにCookie等を利用し、閲覧に関する情報をGoogle LLC・株式会社ファンコミュニケーションズへ送信しています。詳しくはプライバシーポリシーをご覧ください。

※本ページの問題・解説は、生成AI（人工知能）を活用して作成しています。