Resnetを試してみた - mao9o9の技術メモ

はじめに

ディープラーニングについて学習する上で、Resnet、Resnet-RSを実装して試行毎の損失、正解率を比較してみた。

ColaboratoryでのコードをGithubに載せました。

図1に示す残差ブロックの導入により、層を深くすると生じる勾配消失を防ぎ、従来のモデルよりも高い精度を実現した手法。モデルの作成において[2][3]を参考にした。

Resnetのネットワーク構造をResnet-D [5]に変更し、SEブロック [6]を追加したモデル。モデルの作成において[7][8]を参考にした。

バージョン情報

訓練データはCIFAR-100を利用した。

両者とも入力サイズ、バッチサイズなどをResnet-RS [4]に準拠。

Resnetの学習率を0.0078125とすると学習が進まなかったため0.001とした。また、ResnetのFC層の前にドロップアウトを追加しても学習が進まなかったため、除外した。

ネットワークの深さは50層とし、論文の通り350 epochも行うと時間がかかりすぎるため、50 epochで確かめた。

精度は式(1)に示す正解率である。ResnetよりもResnet-RSの方が学習が進み、精度も高くなっている傾向がある。SEブロックおよびドロップアウトの影響が大きいと考えられる。

$\displaystyle \rm{Accuracy} = \frac{\rm{TP + NF}}{\rm{TP + NP + TF + NF}} \ \ \ \ (1)$

50 epochで精度が収束してるように見えるけど試行回数を増やすとあがるのかな。