WideResNetを試してみた - mao9o9の技術メモ

はじめに

ディープラーニングについて学習する上で、WideResNetを実装して試行毎の損失、正解率をグラフ化してみた。

従来ではResNetの層の深さに対するアプローチが行われていたが、層の幅を広くすることで、浅い層でも高い精度を実現した手法[1]。モデルの作成において[2][3][4]を参考にした。

バージョン情報

訓練データはCIFAR-100を利用した。

Network widthが10の時、初期学習率が0.1だと損失が発散してしまったため、0.01とした。ネットワークの深さは28層とし、100 epochで確かめた。

精度は式(1)に示す正解率である。

$\displaystyle \rm{Accuracy} = \frac{\rm{TP + NF}}{\rm{TP + NP + TF + NF}} \ \ \ \ (1)$

wrn-28-2では実行時間は1時間ほどで、60 epochで学習率を0.2倍した際に精度は上昇した。50層のResNetと比較すると、50 epochまでであるため、1/4の時間でほぼ同様の精度となった。

wrn-28-10では3時間ほどであったが、精度はwrn-28-2よりも高くなった。また、wrn-28-10では30 epochからTrainよりもValの損失が大きくなり、過学習の傾向が見られた。

ネットワークが広くなるほど（チャンネル数が大きくなるほど）実行時間は増加するが、精度は高くなり、ネットワークの深さだけでなく広さに対しても実行時間と精度はトレードオフの関係にあることが確認できた。

学習が進むほど損失は小さくなるため、損失に応じた学習率の設定が精度向上に有効？ → 次回