AIの運用・評価と開発体制の一問一答

機械学習のモデルを実際のサービスで継続的に運用するために、開発と運用を連携させ、学習・デプロイ・監視・再学習などを効率よく回す考え方や仕組みとして、最も適切なものを1つ選びなさい。

• ①MLOps
• ②CRISP-DM
• ③PoC
• ④BPR

運用を始めたAIのモデルの精度が、時間の経過とともに低下してきた。その原因として考えられる「コンセプトドリフト」の説明と対応として、最も適切なものを1つ選びなさい。

• ①過学習が原因なので、正則化を強めたうえで、以前と同じ学習データを使って学習し直す。
• ②予測の対象となる現実の関係が変わったため、性能を監視し、新しいデータで学び直す。
• ③入力データの分布の変化であり、入力と正解の関係は変わらないので再学習は不要。
• ④推論用のサーバーの負荷が高まったことが原因なので、計算資源を増やせば精度は元に戻る。

新しいモデルが本当に効果を上げるかを確かめるため、利用者を無作為に2つのグループに分け、一方には従来のモデル、もう一方には新しいモデルを使って結果を比較する方法として、最も適切なものを1つ選びなさい。

• ①k分割交差検証
• ②ホールドアウト法
• ③A/Bテスト
• ④グリッドサーチ

AIのモデルの運用で、どのデータとどの設定でどのモデルを作ったかを記録し、バージョンを管理しておく主な理由として、最も適切なものを1つ選びなさい。

• ①バージョンの番号が大きいほど、そのモデルの精度が必ず高いことを利用者に示すため
• ②記録を残しておけば、学習データの利用条件を確認しなくてもよくなるため
• ③版を記録しておけば、運用中にモデルの性能を監視する必要がなくなるため
• ④同じ結果を再現したり、問題が起きたときに以前の版へ戻したりできるようにするため

AIのモデルによる予測を、利用者からの要求のたびにすぐ計算して返す運用の形態として、最も適切なものを1つ選びなさい。

• ①リアルタイム推論（オンライン推論）
• ②バッチ推論
• ③事前学習
• ④アノテーション

AIの予測にもとづく行動が、次に集まるデータに影響を与え、その偏りをさらに強めてしまう現象の例として、最も適切なものを1つ選びなさい。

• ①晴れの日と雨の日で来店者数が異なるため、天気予報をもとに来店者数を予測して、仕入れの量を調整する。
• ②犯罪が多いと予測された地域に警察官を増やした結果、そこで見つかる犯罪が増え、予測がさらに偏る。
• ③画像の分類モデルを、新しく撮影した写真で定期的に評価し、精度が落ちていないかを確かめる。
• ④複数のモデルの予測を多数決でまとめることで、1つのモデルだけよりも安定した予測を得る。

AIを組み込んだ製品・サービスを提供する事業者の、運用段階での取り組みとして、最も不適切なものを1つ選びなさい。

• ①運用中の出力を監視し、想定外の振る舞いや性能の低下がないかを確認する。
• ②AIを使っていることや、その限界・注意点を、利用者に分かりやすく伝える。
• ③リリース前に評価を終えたので、運用中の出力は監視せず利用者の報告を待つ。
• ④問題が起きたときに備えて、原因の調査や停止、修正の手順を定めておく。

学習済みのモデルを実際のシステムに組み込み、利用者が使える状態にすることを何というか。最も適切なものを1つ選びなさい。

• ①アノテーション
• ②ファインチューニング
• ③正則化
• ④デプロイ

AIシステムの開発や運用で、関係者（ステークホルダー）とのコミュニケーションについての考え方として、最も適切なものを1つ選びなさい。

• ①AIの精度や限界、想定されるリスクを関係者と共有し、期待値を適切にそろえる。
• ②AIの精度が低い可能性は関係者の不安を招くため、できるだけ伝えないようにする。
• ③関係者への説明は開発がすべて終わってから行えばよく、途中で共有する必要はない。
• ④技術的な内容は難しいため、関係者には結果の数字だけを伝え、前提は説明しない。

運用中のAIのモデルの精度が低下してきたときの対応として、最も不適切なものを1つ選びなさい。

• ①入力データの傾向が学習時から変化していないかを調べる。
• ②精度の低下は一時的と決めつけ、原因を調べずに使い続ける。
• ③最近のデータを加えて再学習し、性能が回復するかを確かめる。
• ④必要に応じて、人による確認を増やすなど業務の運用を見直す。