はじめに 前回の記事で、勾配と学習率の関係において一度最小値に達した後、再び勾配は大きくなったため、勾配と学習率の関係に着目して何故このような減少が生じるのか調べた。 SGDのアルゴリズムの違いによる影響 ます、SGDのアルゴリズムの違いが原因であ…

はじめに 前回の記事において、epochの途中で学習率を変更すると精度が上昇する現象が確認できたため、エポックごとに学習率を変化させた時の損失と精度を調べてみた。 https://github.com/9mao9/changing-learning-rate 実装環境 Google Colaboratory GPU: …

はじめに ディープラーニングについて学習する上で、WideResNetを実装して試行毎の損失、正解率をグラフ化してみた。 github.com WideResNetについて 従来ではResNetの層の深さに対するアプローチが行われていたが、層の幅を広くすることで、浅い層でも高い…

はじめに [1]を読むとバッチノルム層がある場合、畳み込み層のバイアスは必要ないっぽい？ なので、前回のプログラムを修正してResnet-RSのみバイアスあり・なしで実行してみました。 あと、細々したところも修正... Githubに載せたコードも修正しました。 g…

はじめに ディープラーニングについて学習する上で、Resnet、Resnet-RSを実装して試行毎の損失、正解率を比較してみた。 ColaboratoryでのコードをGithubに載せました。 Resnet: https://github.com/9mao9/Resnet-RS_CIFAR100 Resnet-RS: https://github.com…