2012年のILSVRCで優勝したAlexNetで用いられた工夫として、最も適切なものを1つ選びなさい。
- ①活性化関数にReLUを使い、全結合層にドロップアウトを入れて過学習を抑えた。
- ②異なる大きさのフィルタを並列に使うInceptionモジュールを何段も積み重ねた。
- ③入力を数層先の出力に足し合わせるスキップ結合で、150層を超える深さにした。
- ④3×3の小さなフィルタだけを重ねた単純な構造で、16層や19層の深さにした。
答えと解説を見る
AlexNetは、5層の畳み込み層と3層の全結合層からなるCNNで、2012年のILSVRCで従来の手法を大きく上回る精度で優勝しました。
主な工夫として、活性化関数に計算が軽く勾配が消えにくいReLUを使ったこと、全結合層でドロップアウトを使って過学習を抑えたこと、画像の切り抜きや左右反転によるデータ拡張、2台のGPUを使った並列の学習などが挙げられます。
他の選択肢が不適切な理由
・Inceptionモジュールを積み重ねた:これは2014年のILSVRCで優勝したGoogLeNetの特徴です。
・スキップ結合で150層を超える深さにした:これは2015年のILSVRCで優勝したResNet(152層)の特徴です。
・3×3のフィルタだけで16層や19層にした:これは2014年のILSVRCで上位に入ったVGGの特徴です。
覚え方のポイント
ILSVRCの主なモデルは「2012年AlexNet(ReLU・ドロップアウト)→2014年GoogLeNet(Inception)・VGG(3×3の積み重ね)→2015年ResNet(スキップ結合)→2017年SENet(チャネルの重み付け)」の順に整理しましょう。