バッチ正規化の実験（勾配確認）がうまくいったので、実際にMNIST（数字認識の実験のためのデータセット）を使って認識率がどうなるか試してみました。なお、バッチ正規化では正規化（標準化）の式として前回の記事の通りのもの（γ・(ｘ－μ)／ｓ＋β）を用い…

バッチ正規化の話です。前回書いたとおり、画像認識のネットワークでデータを処理するとき、「各層で、特定のいくつかのユニットだけが値が大きくなる」という現象が起こります（「アクティべーションの分布が偏る」）。出力層でも「2」ばかりが出力されたり…