ニューラルネットワーク(NN)の性能と活性化関数の関係にまつわる2つの研究の流れがあります.1つは,記憶容量の問題の統計力学的解析です.記憶容量とは,二値分類モデルが記憶できるランダムなデータの最大数(パラメータあたり)で,モデルの表現能力の指標の一つです.もう1つは,無限幅NNとGauss過程の関連に関するものです.この研究の流れは,NNの高い性能に対してより深い洞察を与える理論として注目されています.これらの研究は独立に発展してきましたが,両者には深いつながりがあることを指摘します.
read