T-QARD Harbor

組合せ最適化問題の中には制約を持つ組合せ最適化問題が多く存在します。そのような制約付き最適化問題の解法として大関法と呼ばれる手法が知られています。大関法は、量子アニーリングやマルコフ連鎖モンテカルロ法のようなボルツマン分布からのサンプラーと勾配法を組み合わせた手法であり、サンプリングと勾配法によるボルツマン分布の更新を反復的に繰り返すアルゴリズムです。大関法によって得られる解の精度は、分布の更新の際に用いられるステップサイズと呼ばれるパラメータに大きく依存する一方、反復ごとのステップサイズの適切な調整は困難です。その問題に対処するために、本論文では深層展開と呼ばれる深層学習技術を大関法に適用しています。

本記事ではボルツマンマシンを用いて手書き数字画像を生成し，ボルツマンマシンを評価します。
評価方法として、先行研究の評価指標と対数尤度を比較していきます．

本論文では、ボルツマンマシンの学習内のサンプリングにD-Waveマシンを用いることで、その画像生成の品質向上を目的としています。
分類器としてニューラルネットワークを予め学習しておき、特定の数字の画像を生成したときに、その画像の分類結果を測ることで直接的な評価を行います。

本記事は、こちらの論文の再現実験を行ったものです。具体的には、D-Waveマシンを用いて、ランダムなイジング模型(SK模型)を学習出来るか検証します。前の記事では、D-Waveマシンを用いた手書き数字の生成・復元を行っています。

ボルツマン機械学習では対数尤度関数を最大化するために、ギブス・ボルツマン分布からのサンプリングによる平均値を計算する必要があります。その方法の一つとして、マルコフ連鎖モンテカルロ法 (MCMC) が使われています。しかし、MCMCは初期状態から平衡状態への緩和に長時間の計算を要する場合があります。また、緩和した後も平均値を精度良く求めるための十分なサンプリング数の確保に時間がかかるといった課題もあります[1]。そこで本論文では、D-Waveマシンから得られる出力の分布がギブス・ボルツマン分布に近いことを利用して、平均値の計算にD-Waveマシンを用います。本手法により、手書き数字画像の生成・復元が可能であることに加え、ランダムなイジング模型も学習可能であることを示します。