はじめに SGD(Stochastic gradient decession)について、設定した目的関数に対してどのようにパラメータを更新しているのかシミュレーションを行い調べた。 実装環境 Google Colaboratory ついでにPytorchでのSGDの挙動を調べるためPytorch版とnumpy版を作成…

はじめに 前回の記事において、epochの途中で学習率を変更すると精度が上昇する現象が確認できたため、エポックごとに学習率を変化させた時の損失と精度を調べてみた。 https://github.com/9mao9/changing-learning-rate 実装環境 Google Colaboratory GPU: …

はじめに ディープラーニングについて学習する上で、WideResNetを実装して試行毎の損失、正解率をグラフ化してみた。 github.com WideResNetについて 従来ではResNetの層の深さに対するアプローチが行われていたが、層の幅を広くすることで、浅い層でも高い…