信念伝播

因子グラフの部分的な表現。

信念伝播法（Belief Propagation）は、和積メッセージパッシングとも呼ばれ、ベイジアンネットワークやマルコフ確率場などのグラフィカルモデル上で推論を行うためのメッセージパッシングアルゴリズムです。これは、観測されたノード（または変数）を条件として、観測されていないノード（または変数）ごとに周辺分布を計算します。信念伝播法は人工知能や情報理論で広く用いられており、低密度パリティ検査符号、ターボ符号、自由エネルギー近似、充足可能性など、数多くの応用において実証的な成功を収めています。^{[ 1 ]}

このアルゴリズムは1982年にジュデア・パールによって初めて提案され、^{[ 2 ]}木構造上の正確な推論アルゴリズムとして定式化され、後に多木構造に拡張されました。^{[ 3 ]}このアルゴリズムは一般的なグラフでは正確ではありませんが、有用な近似アルゴリズムであることが示されています。^{[ 4 ]}

モチベーション

結合確率質量関数を持つ離散確率変数の有限集合が与えられた場合、の周辺分布を計算することが一般的な課題である。単一の の周辺分布は次のように定義される 。${\displaystyle X_{1},\ldots,X_{n}}$ ${\displaystyle p}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$

${\displaystyle p_{X_{i}}(x_{i})=\sum _{\mathbf {x} ':x'_{i}=x_{i}}p(\mathbf {x} ')}$

ここで、 は の可能な値のベクトルであり、 という表記は、番目の座標が に等しい値の合計が取られることを意味します。 ${\displaystyle \mathbf {x} '=(x'_{1},\ldots ,x'_{n})}$ ${\displaystyle X_{i}}$ ${\displaystyle \mathbf {x} ':x'_{i}=x_{i}}$ ${\displaystyle \mathbf {x} '}$ ${\displaystyle i}$ ${\displaystyle x_{i}}$

この式を用いて周辺分布を計算すると、変数の数が増えるにつれて計算量が急速に膨大になります。例えば、100個の2値変数 が与えられた場合、と上記の式を用いて単一の周辺分布を計算するには、の可能な値をすべて合計する計算が必要になります。確率質量関数が都合の良い方法で因数分解されることが分かっている場合、確率伝播法を用いることで周辺分布をより効率的に計算できます。 ${\displaystyle X_{1},\ldots ,X_{100}}$ ${\displaystyle X_{i}}$ ${\displaystyle p}$ ${\displaystyle 2^{99}\approx 6.34\times 10^{29}}$ ${\displaystyle \mathbf {x} '}$ ${\displaystyle p}$

積和アルゴリズムの説明

信念伝播アルゴリズムの変種は、いくつかの種類のグラフィカルモデル（特にベイジアンネットワークとマルコフ確率場^{[ 5 ]} ）に対して存在します。ここでは、因子グラフ上で動作する変種について説明します。因子グラフとは、変数と因子に対応するノードと、変数とそれらが出現する因子の間にエッジを持つ二部グラフです。結合質量関数は次のように記述できます。 ${\displaystyle V}$ ${\displaystyle F}$

${\displaystyle p(\mathbf {x} )=\prod _{a\in F}f_{a}(\mathbf {x} _{a})}$

ここで、 は因子ノードに隣接する変数ノードのベクトルです。任意のベイジアンネットワークまたはマルコフ確率場は、各ノードとその親、または各ノードとその近傍の因子を用いて因子グラフとして表現できます。^{[ 6 ]}${\displaystyle \mathbf {x} _{a}}$ ${\displaystyle a}$

このアルゴリズムは、ノード間のエッジに沿ってメッセージと呼ばれる実数値関数を渡すことで機能します。より正確には、が変数ノードで、 が因子グラフでに接続された因子ノードである場合、からへのメッセージとからへのメッセージは実数値関数 であり、その定義域は に関連付けられたランダム変数が取り得る値の集合（ と表記）です。これらのメッセージには、ある変数が別の変数に及ぼす「影響」が含まれます。メッセージの計算方法は、メッセージを受信するノードが変数ノードか因子ノードかによって異なります。表記を同じにすると、次のようになります。 ${\displaystyle v}$ ${\displaystyle a}$ ${\displaystyle v}$ ${\displaystyle \mu _{v\to a}}$ ${\displaystyle v}$ ${\displaystyle a}$ ${\displaystyle \mu _{a\to v}}$ ${\displaystyle a}$ ${\displaystyle v}$ ${\displaystyle \mu _{v\to a},\mu _{a\to v}:\operatorname {Dom} (v)\to \mathbb {R} }$ ${\displaystyle v}$ ${\displaystyle \operatorname {Dom} (v)}$

• 変数ノードから因子ノードへのメッセージは、に対してによって定義されます。ここで、は の隣接する因子ノードの集合です。が空の場合、 は上の均一分布に設定されます。${\displaystyle \mu _{v\to a}:\operatorname {Dom} (v)\to \mathbb {R} }$ ${\displaystyle v}$ ${\displaystyle a}$ $${\displaystyle \mu _{v\to a}(x_{v})=\prod _{a^{*}\in N(v)\setminus \{a\}}\mu _{a^{*}\to v}(x_{v})}$$ ${\displaystyle x_{v}\in \operatorname {Dom} (v)}$ ${\displaystyle N(v)}$ ${\displaystyle v}$ ${\displaystyle N(v)\setminus \{a\}}$ ${\displaystyle \mu _{v\to a}(x_{v})}$ ${\displaystyle \operatorname {Dom} (v)}$

• 因子ノードから変数ノードへのメッセージは、 に関連付けられた変数を除くすべての変数について周辺化された、因子と他のすべてのノードからのメッセージの積として定義されます（ ）。ただし、 はに隣接する（変数）ノードの集合です。が空の場合、 となります。これは、この場合は であるためです。${\displaystyle \mu _{a\to v}:\operatorname {Dom} (v)\to \mathbb {R} }$ ${\displaystyle a}$ ${\displaystyle v}$ ${\displaystyle v}$ $${\displaystyle \mu _{a\to v}(x_{v})=\sum _{\mathbf {x} '_{a}:x'_{v}=x_{v}}\left(f_{a}(\mathbf {x} '_{a})\prod _{v^{*}\in N(a)\setminus \{v\}}\mu _{v^{*}\to a}(x'_{v^{*}})\right)}$$ ${\displaystyle x_{v}\in \operatorname {Dom} (v)}$ ${\displaystyle N(a)}$ ${\displaystyle a}$ ${\displaystyle N(a)\setminus \{v\}}$ ${\displaystyle \mu _{a\to v}(x_{v})=f_{a}(x_{v})}$ ${\displaystyle x_{v}=x_{a}}$

前の式が示すように、完全な周辺化は、完全な結合分布に現れる項よりも単純な項の積の和に簡約されます。これが、信念伝播法が和積メッセージパッシング、または和積アルゴリズムと呼ばれる理由です。

通常の実行では、各メッセージは隣接するメッセージの前回の値に基づいて反復的に更新されます。メッセージの更新には、異なるスケジューリングを使用できます。グラフィカルモデルがツリーの場合、最適なスケジューリングは各メッセージを正確に1回計算した後に収束します（次のサブセクションを参照）。因子グラフにサイクルがある場合、そのような最適なスケジューリングは存在しないため、通常は各反復ですべてのメッセージを同時に更新することが選択されます。

収束すると（収束が発生した場合）、各ノードの推定周辺分布は、隣接する要因からのすべてのメッセージの積に比例します（正規化定数は除きます）。

${\displaystyle p_{X_{v}}(x_{v})\propto \prod _{a\in N(v)}\mu _{a\to v}(x_{v}).}$

同様に、1つの因子に属する変数の集合の推定結合周辺分布は、因子と変数からのメッセージの積に比例します。

${\displaystyle p_{X_{a}}(\mathbf {x} _{a})\propto f_{a}(\mathbf {x} _{a})\prod _{v\in N(a)}\mu _{v\to a}(x_{v}).}$

因子グラフが非巡回的（つまり木または森）な場合、これらの推定周辺分布は有限回の反復で真の周辺分布に収束します。これは数学的帰納法によって証明できます。

木の正確なアルゴリズム

因子グラフが木の場合、信念伝播アルゴリズムは正確な周辺分布を計算します。さらに、メッセージ更新を適切にスケジューリングすれば、木を2回完全に通過した後に終了します。この最適なスケジューリングは次のように記述できます。

開始する前に、 1 つのノードをルートとして指定することでグラフの方向を決定します。他の 1 つのノードにのみ接続されるルート以外のノードは、リーフと呼ばれます。

最初のステップでは、メッセージは内側へ渡されます。つまり、リーフノードから始まり、各ノードは（一意の）エッジに沿ってルートノードに向かってメッセージを渡します。ツリー構造により、メッセージを渡す前に、隣接するすべてのノードからメッセージを取得できることが保証されます。これは、ルートが隣接するすべてのノードからメッセージを取得するまで続きます。

2番目のステップでは、メッセージを返送します。ルートから始めて、メッセージを逆方向に渡します。すべてのリーフがメッセージを受信した時点でアルゴリズムは完了します。

一般グラフの近似アルゴリズム

信念伝搬アルゴリズムは元々は非巡回グラフィカル モデル用に設計されたものですが、一般的なグラフでも使用できます。グラフには通常サイクル、つまりループが含まれるため、このアルゴリズムはループ信念伝搬と呼ばれることもあります。グラフには葉がない場合があるので、メッセージ更新の初期化とスケジュール設定は (前述の非巡回グラフのスケジュールと比べて) 若干調整する必要があります。代わりに、すべての変数メッセージを 1 に初期化し、上記と同じメッセージ定義を使用して、すべての反復ですべてのメッセージを更新します (ただし、既知の葉またはツリー構造のサブグラフからのメッセージは、十分な反復後には更新する必要がなくなる可能性があります)。ツリーでは、この修正された手順のメッセージ定義が、ツリーの 直径に等しい反復回数内で上記のメッセージ定義のセットに収束することは簡単に示せます。

ループ型信念伝播が収束する正確な条件はまだ十分に解明されていない。単一のループを含むグラフではほとんどの場合収束することが知られているが、得られる確率は不正確である可能性がある。^{[ 7 ]}ループ型信念伝播が唯一の固定点に収束するための十分な条件（ただし必要条件ではない）がいくつか存在する。^{[ 8 ]}収束に失敗するグラフ、または反復を繰り返す中で複数の状態間を振動するグラフも存在する。EXITチャートなどの手法は、信念伝播の進行を大まかに視覚化し、収束の近似的な判定方法を提供することができる。

周辺化には変分法やモンテカルロ法などの他の近似法もあります。

一般的なグラフにおける正確な周辺化手法の一つにジャンクションツリーアルゴリズムと呼ばれるものがあります。これは、木であることが保証された修正グラフ上での単純な確率伝播です。基本的な前提は、サイクルを単一のノードにクラスタリングすることでサイクルを除去することです。

関連するアルゴリズムと複雑さの問題

同様のアルゴリズムは一般にビタビアルゴリズムと呼ばれますが、最大積アルゴリズムまたは最小和アルゴリズムの特殊なケースとしても知られており、関連する最大化問題、つまり最も確率の高い説明を解きます。ここでの目標は、周辺解を求めるのではなく、グローバル関数（つまり、確率的設定における最も確率の高い値）を最大化する値を見つけることであり、これは引数 maxを用いて定義できます。 ${\displaystyle \mathbf {x} }$

${\displaystyle \operatorname {*} {\arg \max }_{\mathbf {x} }g(\mathbf {x} ).}$

この問題を解決するアルゴリズムは、定義において合計を最大値に置き換えただけで、信念伝播法とほぼ同じである。^{[ 9 ]}

周辺化や最大化といった推論問題は、グラフィカルモデルでは厳密にも近似的にも（少なくとも相対誤差に関しては） NP困難であることは注目に値します。より正確には、上で定義した周辺化問題は#P完全であり、最大化問題はNP完全です。

確率伝播のメモリ使用量は、アイランドアルゴリズムの使用によって削減できます(時間の複雑さがわずかに犠牲になります)。

自由エネルギーとの関係

積和アルゴリズムは熱力学における自由エネルギーの計算に関連している。Zを分配関数とする。確率分布は

${\displaystyle P(\mathbf {X} )={\frac {1}{Z}}\prod _{f_{j}}f_{j}(x_{j})}$

（因子グラフ表現によれば）は、システムに存在する 内部エネルギーの尺度として見ることができ、次のように計算される。

${\displaystyle E(\mathbf {X} )=-\log \prod _{f_{j}}f_{j}(x_{j}).}$

系の自由エネルギーは

${\displaystyle F=U-H=\sum _{\mathbf {X} }P(\mathbf {X} )E(\mathbf {X} )+\sum _{\mathbf {X} }P(\mathbf {X} )\log P(\mathbf {X} ).}$

すると、積和アルゴリズムの収束点は、そのようなシステムにおける自由エネルギーが最小となる点を表すことが示される。同様に、サイクルを持つグラフにおける反復的信念伝播アルゴリズムの固定点は、自由エネルギー近似の停留点であることが示される。^{[ 10 ]}

一般化信念伝播（GBP）

ビリーフプロパゲーションアルゴリズムは通常、因子グラフ上のメッセージ更新方程式として表され、変数ノードとその隣接する因子ノード間のメッセージ、およびその逆のメッセージを含みます。グラフ内の領域間のメッセージを考慮することは、ビリーフプロパゲーションアルゴリズムを一般化する一つの方法です。 ^{[ 10 ]}グラフ内でメッセージを交換できる領域の集合を定義する方法はいくつかあります。一つの方法は、物理学の文献で菊池によって導入されたアイデアを用いるもので、^{[ 11 ] [ 12 ] [ 13 ]}菊池のクラスター変分法として知られています。^{[ 14 ]}

確率伝播アルゴリズムの性能向上は、フィールド（メッセージ）の分布におけるレプリカ対称性を破ることによっても達成できます。この一般化は、サーベイ伝播（SP）と呼ばれる新しい種類のアルゴリズムにつながり、これは充足可能性^{[ 1 ]} やグラフ彩色といったNP完全問題において非常に効率的であることが証明されています。

クラスター変分法とサーベイ伝播アルゴリズムは、それぞれ異なるビリーフプロパゲーションの改良です。この2つの一般化を統合したアルゴリズムには、 一般化サーベイ伝播（GSP）という名称が付けられる予定です。

ガウス確率伝播（GaBP）

ガウス分布の確率伝播法は、ガウス分布を基礎とする確率伝播アルゴリズムの一種である。この特殊なモデルを解析した最初の研究は、ワイスとフリーマンによる画期的な研究であった。^{[ 15 ]}

GaBP アルゴリズムは、次の周辺化問題を解決します。

${\displaystyle P(x_{i})={\frac {1}{Z}}\int _{j\neq i}\exp(-{\tfrac {1}{2}}x^{T}Ax+b^{T}x)\,dx_{j}}$

ここで、Z は正規化定数、Aは対称正定値行列（逆共分散行列、別名精度行列）、bはシフト ベクトルです。

同様に、ガウスモデルを使用すると、周辺化問題の解決はMAP割り当て問題と同等であることが示されます。

${\displaystyle {\underset {x}{\operatorname {argmax} }}\ P(x)={\frac {1}{Z}}\exp(-{\tfrac {1}{2}}x^{T}Ax+b^{T}x).}$

この問題は、次の二次形式の最小化問題とも等価です。

${\displaystyle {\underset {x}{\operatorname {min} }}\ 1/2x^{T}Ax-b^{T}x.}$

これは線形方程式系と同等である。

${\displaystyle Ax=b.}$

GaBPアルゴリズムの収束は（一般的なBPの場合に比べて）解析が容易であり、2つの十分な収束条件が知られている。1つ目は、情報行列Aが対角優勢である場合に2000年にWeissらによって定式化された^。2つ目の収束条件は、行列の スペクトル半径^が

${\displaystyle \rho (I-|D^{-1/2}AD^{-1/2}|)<1\,}$

ここで、 D = diag( A )である。その後、SuとWuは同期GaBPと減衰GaBPの必要十分収束条件、および非同期GaBPの十分収束条件を確立した。それぞれの場合において、収束条件は、1)集合（Aによって決定される）が空でないこと、2)特定の行列のスペクトル半径が1より小さいこと、3)特異点問題（BPメッセージを信念に変換する際）が発生しないことを検証することを含む。^{[ 17 ]}

GaBPアルゴリズムは線形代数領域と関連付けられており^{[ 18 ]} 、 GaBPアルゴリズムは線形方程式系Ax = b（Aは情報行列、bはシフトベクトル）を解く反復アルゴリズムとして見ることができることが示された。経験的に、GaBPアルゴリズムはヤコビ法、ガウス・ザイデル法、逐次過緩和法などの古典的な反復法よりも収束が速いことが示されている^{[ 19 ]}。さらに、GaBPアルゴリズムは前処理共役勾配法の数値的問題の影響を受けないことが示されている^{[ 20 ]。}

症候群に基づくBPデコード

BPアルゴリズムのこれまでの説明は、コードワードベース復号法と呼ばれ、受信したコードワード が与えられた場合に近似周辺確率 を計算する。 ^{[ 21 ]}と同等の形式があり、を計算する。ここでは受信したコードワードのシンドローム、 は復号された誤りである。復号された入力ベクトルは である。このバリエーションは、質量関数 の解釈のみを変更する。明示的には、メッセージは ${\displaystyle P(x|X)}$ ${\displaystyle X}$ ${\displaystyle P(e|s)}$ ${\displaystyle s}$ ${\displaystyle X}$ ${\displaystyle e}$ ${\displaystyle x=X+e}$ ${\displaystyle f_{a}(X_{a})}$

${\displaystyle \forall x_{v}\in \operatorname {Dom} (v),\;\mu _{v\to a}(x_{v})=P(X_{v})\prod _{a^{*}\in N(v)\setminus \{a\}}\mu _{a^{*}\to v}(x_{v}).}$

ここで、変数 の事前誤差確率は、 ${\displaystyle P(X_{v})}$ ${\displaystyle v}$

${\displaystyle \forall x_{v}\in \operatorname {Dom} (v),\;\mu _{a\to v}(x_{v})=\sum _{\mathbf {x} '_{a}:x'_{v}=x_{v}}\delta ({\text{syndrome}}({\mathbf {x} }'_{v})={\mathbf {s} })\prod _{v^{*}\in N(a)\setminus \{v\}}\mu _{v^{*}\to a}(x'_{v^{*}}).}$

このシンドロームベースのデコーダーは受信ビットの情報を必要としないため、測定シンドロームのみが情報である量子コードに適応できます。

バイナリの場合、これらのメッセージは単純化され、複雑さが指数関数的に減少する^{[ 22 ] [ 23 ]}${\displaystyle x_{i}\in \{0,1\}}$ ${\displaystyle 2^{|\{v\}|+|N(v)|}}$

対数尤度比 、 を定義し、次に ${\displaystyle l_{v}=\log {\tfrac {u_{v\to a}(x_{v}=0)}{u_{v\to a}(x_{v}=1)}}}$ ${\displaystyle L_{a}=\log {\tfrac {u_{a\to v}(x_{v}=0)}{u_{a\to v}(x_{v}=1)}}}$

${\displaystyle v\to a:l_{v}=l_{v}^{(0)}+\sum _{a^{*}\in N(v)\setminus \{a\}}(L_{a^{*}})}$

${\displaystyle a\to v:L_{a}=(-1)^{s_{a}}2\tanh ^{-1}\prod _{v^{*}\in N(a)\setminus \{v\}}\tanh(l_{v^{*}}/2)}$

どこ${\displaystyle l_{v}^{(0)}=\log {\tfrac {P(x_{v}=0)}{P(x_{v}=1)}}={\text{const}}}$

事後対数尤度比は次のように推定できる。${\displaystyle l_{v}=l_{v}^{(0)}+\sum _{a\in N(v)}(L_{a})}$

参考文献

1. Braunstein, A.; Mézard, M.; Zecchina, R. (2005). 「Survey propagation: An algorithm for satisfiability」. Random Structures & Algorithms . 27 (2): 201– 226. arXiv : cs/0212002 . doi : 10.1002/rsa.20057 . S2CID 6601396 . 
2. Pearl, Judea (1982). 「ベイズ牧師による推論エンジン：分散階層的アプローチ」(PDF) .第2回人工知能会議議事録. AAAI-82: ピッツバーグ, ペンシルベニア州. メンロパーク, カリフォルニア州: AAAI Press. pp.  133– 136. 2009年3月28日閲覧.
3. Kim, Jin H.; Pearl, Judea (1983). 「推論システムにおける因果推論と診断推論を組み合わせた計算モデル」(PDF) .第8回国際人工知能合同会議議事録. IJCAI-83: カールスルーエ, ドイツ. 第1巻. pp.  190– 193. 2016年3月20日閲覧.
4. パール・ジュデア（1988年）『知能システムにおける確率的推論：尤もらしい推論のネットワーク』（第2版）サンフランシスコ、カリフォルニア州：モーガン・カウフマン、ISBN 978-1-55860-479-7。
5. イェディディア, JS; フリーマン, WT; Y. (2003年1月). 「ビリーフプロパゲーションとその一般化を理解する」 . レイクマイヤー, ゲルハルト; ネーベル, ベルンハルト (編). 『新世紀における人工知能の探究』 . モーガン・カウフマン. pp.  239– 236. ISBN 978-1-55860-811-5. 2009年3月30日閲覧。
6. Wainwright, MJ; Jordan, MI (2007). 「2.1 グラフ上の確率分布」.グラフィカルモデル、指数族、変分推論. 機械学習の基礎と動向. 第1巻. pp.  5– 9. doi : 10.1561/2200000001 .
7. Weiss, Yair (2000). 「ループを含むグラフィカルモデルにおける局所確率伝播の正確性」.ニューラル・コンピュテーション. 12 (1): 1– 41. doi : 10.1162/089976600300015880 . PMID 10636932. S2CID 15402308 .  
8. Mooij, J; Kappen, H (2007). 「Sum-Productアルゴリズムの収束のための十分条件」. IEEE Transactions on Information Theory . 53 (12): 4422– 4437. arXiv : cs/0504030 . doi : 10.1109/TIT.2007.909166 . S2CID 57228 . 
9. Löliger, Hans-Andrea (2004). 「ファクターグラフ入門」. IEEE Signal Processing Magazine . 21 (1): 28– 41. Bibcode : 2004ISPM...21...28L . doi : 10.1109/msp.2004.1267047 . S2CID 7722934 . 
10. Yedidia, JS; Freeman, WT; Weiss, Y.; Y. (2005年7月). 「自由エネルギー近似と一般化ビリーフプロパゲーションアルゴリズムの構築」 . IEEE Transactions on Information Theory . 51 (7): 2282– 2312. CiteSeerX 10.1.1.3.5650 . doi : 10.1109/TIT.2005.850085 . S2CID 52835993. 2009年3月28日閲覧.  
11. 菊池良一 (1951年3月15日). 「協同現象の理論」.物理学評論. 81 (6): 988–1003 . Bibcode : 1951PhRv...81..988K . doi : 10.1103/PhysRev.81.988 .
12. 倉田道雄; 菊池良一; 渡達郎 (1953). 「協同現象の理論. III. クラスター変分法の詳細な議論」 .化学物理学ジャーナル. 21 (3): 434– 448. Bibcode : 1953JChPh..21..434K . doi : 10.1063/1.1698926 .
13. 菊池良一; Brush, Stephen G. (1967). 「クラスター変分法の改良」. The Journal of Chemical Physics . 47 (1): 195– 203. Bibcode : 1967JChPh..47..195K . doi : 10.1063/1.1711845 .
14. Pelizzola, Alessandro (2005). 「統計物理学と確率的グラフィカルモデルにおけるクラスター変分法」. Journal of Physics A: Mathematical and General . 38 (33): R309– R339. arXiv : cond-mat/0508216 . Bibcode : 2005JPhA...38R.309P . doi : 10.1088/0305-4470/38/33/R01 . ISSN 0305-4470 . S2CID 942 .  
15. Weiss, Yair; Freeman, William T. (2001年10月). 「任意位相のガウスグラフィカルモデルにおけるビリーフプロパゲーションの正確性」. Neural Computation . 13 (10): 2173–2200 . CiteSeerX 10.1.1.44.794 . doi : 10.1162/089976601750541769 . PMID 11570995. S2CID 10624764 .   
16. Malioutov, Dmitry M.; Johnson, Jason K.; Willsky, Alan S. (2006年10月). 「ガウスグラフィカルモデルにおけるウォークサムとビリーフプロパゲーション」 . Journal of Machine Learning Research . 7 : 2031–2064 . 2009年3月28日閲覧。
17. Su, Qinliang; Wu, Yik-Chung (2015年3月). 「ガウス確率伝播の収束条件について」. IEEE Trans. Signal Process. 63 (5): 1144– 1155. Bibcode : 2015ITSP...63.1144S . doi : 10.1109/TSP.2015.2389755 . S2CID 12055229 . 
18. 線形方程式系のためのガウス確率伝播ソルバー。O. Shental、D. Bickson、PH Siegel、JK Wolf、D. Dolev著。IEEE Int. Symp. on Inform. Theory (ISIT)、トロント、カナダ、2008年7月。http ://www.cs.huji.ac.il/labs/danss/p2p/gabp/ 2011年6月14日アーカイブ、Wayback Machineにて。
19. 確率伝播法による線形検出。Danny Bickson、Danny Dolev、Ori Shental、Paul H. Siegel、Jack K. Wolf。第45回Allerton Conference on Communication, Control, and Computing、Allerton House、イリノイ州、9月7日。http ://www.cs.huji.ac.il/labs/danss/p2p/gabp/ Wayback Machineに2011年6月14日アーカイブ
20. 分散大規模ネットワーク効用最大化。D. Bickson、Y. Tock、A. Zymnis、S. Boyd、D. Dolev。国際情報理論シンポジウム（ISIT）、2009年7月。http ://www.cs.huji.ac.il/labs/danss/p2p/gabp/ 2011年6月14日アーカイブ、Wayback Machineにて。
21. Dave, Maulik A. (2006年12月1日). 「David JC MacKay著『情報理論、推論、学習アルゴリズム』のレビュー」、Cambridge University Press、2003年. ACM SIGACT News . 37 (4): 34– 36. doi : 10.1145/1189056.1189063 . ISSN 0163-5700 . S2CID 10570465 .  
22. Filler, Tomas (2009年11月17日). 「Belief Propagationアルゴリズムの簡素化」(PDF) .
23. Liu, Ye-Hua; Poulin, David (2019年5月22日). 「量子誤り訂正符号のためのニューラルビリーフプロパゲーションデコーダー」. Physical Review Letters . 122 (20) 200501. arXiv : 1811.07835 . Bibcode : 2019PhRvL.122t0501L . doi : 10.1103 / physrevlett.122.200501 . ISSN 0031-9007 . PMID 31172756. S2CID 53959182 .   

さらに読む

• Bickson, Danny. (2009).ガウス確率伝播リソースページ—最近の出版物とMatlabソースコードが掲載されているウェブページ。
• ビショップ、クリストファー・M. (2006). 「第8章 グラフィカルモデル」(PDF) .パターン認識と機械学習. シュプリンガー. pp.  359– 418. ISBN 978-0-387-31073-2. 2023年12月2日閲覧。
• Coughlan, James. (2009).ビリーフプロパゲーション入門チュートリアル.
• Löliger, Hans-Andrea (2004). 「ファクターグラフ入門」. IEEE Signal Processing Magazine . 21 (1): 28– 41. Bibcode : 2004ISPM...21...28L . doi : 10.1109/MSP.2004.1267047 . S2CID  7722934 .
• マッケンジー、ダナ (2005). 「通信速度は終端速度に近づく」ニューサイエンティスト誌2005年7月9日 第2507号 (要登録)
• ワイマーシュ、ヘンク（2007年）『反復受信機設計』ケンブリッジ大学出版局、ISBN 978-0-521-87315-4。
• イェディディア, JS; フリーマン, WT; ワイス, Y. (2003年1月). 「ビリーフプロパゲーションとその一般化を理解する」 . レイクマイヤー, ゲルハルト; ネーベル, ベルンハルト (編). 『新世紀における人工知能の探究』 . モーガン・カウフマン. pp.  239– 269. ISBN 978-1-55860-811-5. 2009年3月30日閲覧。
• Yedidia, JS; Freeman, WT; Weiss, Y. (2005年7月). 「自由エネルギー近似と一般化ビリーフプロパゲーションアルゴリズムの構築」 . IEEE Transactions on Information Theory . 51 (7): 2282– 2312. CiteSeerX  10.1.1.3.5650 . doi : 10.1109/TIT.2005.850085 . S2CID  52835993 .