トポロジカルディープラーニング

位相的深層学習（TDL）^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]}は、深層学習を拡張して複雑な非ユークリッドデータ構造を扱う研究分野である。畳み込みニューラルネットワーク（CNN）や再帰型ニューラルネットワーク（RNN）などの従来の深層学習モデルは、規則的なグリッドやシーケンス上のデータ処理に優れている。しかし、科学的データや現実世界のデータは、ポイントクラウド、メッシュ、時系列、スカラー場グラフ、あるいは単体複体やCW複体などの一般的な位相空間など、科学的計算で遭遇するより複雑なデータ領域を示すことが多い。^{[ 7 ]} TDLは、複数のエンティティや複雑な階層間の相互作用など、高次の関係を持つデータを処理するために位相的な概念を取り入れることでこれに対処している。このアプローチは、単体複体やハイパーグラフなどの構造を活用して大域的な依存性と質的な空間特性を捉え、より微妙なデータ表現を提供します。 TDLには、ニューラルネットワークの特性やトレーニングプロセス、例えば予測性能や一般化特性などを研究することを可能にする計算トポロジーや代数トポロジーの手法も含まれています。 ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ]} TDLの数学的基礎は、代数トポロジー、微分トポロジー、および幾何学的トポロジーです。したがって、TDLは微分可能多様体、結び目、リンク、タングル、曲線など のデータに一般化できます。

歴史と動機

従来のディープラーニング技術では、データセットが高度に構造化された空間（画像など。畳み込みニューラルネットワークは他の方法よりも優れたパフォーマンスを発揮します）またはユークリッド空間に存在するという仮定の下で動作することがよくあります。新しいタイプのデータ、特にグラフ、メッシュ、分子の普及により、新しい技術が開発され、もともとそのようなデータタイプを処理するための信号処理の観点を提案した幾何学的ディープラーニングの分野に達しました。^{[ 15 ]}もともとは接続性がノードとエッジに基づいて定義されるグラフに限定されていましたが、その後の研究で概念が、単体複合体^{[ 16 ] [ 3 ]}やCW 複合体^{[ 8 ] [ 17 ]}などのより多様なデータタイプに拡張され、最近の研究では、一般的な組合せ複合体におけるメッセージパッシングの統一的な観点が提案されています。^{[ 1 ]}

異なるタイプのデータに対する独立した視点は、データの構造情報、すなわち「形状」を記述するための新しい枠組みを提案した位相データ解析から生まれた。この枠組みは、局所情報から全体情報に至るまで、データの複数のスケールを本質的に認識する。^{[ 18 ]}当初は小規模なデータセットに限定されていたが、その後の研究では、データセットの位相情報を効率的に要約し、サポートベクターマシンやランダムフォレストなどの従来の機械学習手法で利用できるようにするための新しい記述子が開発された。このような記述子は、特徴量エンジニアリングのための新しい手法から、位相記述子に適した座標を提供する新しい方法まで多岐にわたる。 ^{[ 19 ] [ 20 ] [ 21 ]}より効率的な相違度尺度の作成まで、多岐にわたる。^{[ 22 ] [ 23 ] [ 24 ] [ 25 ]}

この分野における現代の研究は、主に、基礎となるデータ トポロジに関する情報を既存のディープラーニングモデルに統合するか、トポロジカル ドメインでトレーニングする新しい方法を取得することに関係しています。

位相空間での学習

位相領域における学習課題は、大きく分けて細胞分類、細胞予測、複合分類の3つのカテゴリーに分類できる。^{[ 1 ]}

点集合位相幾何学の意味での位相幾何学に焦点を当て、TDL のアクティブなブランチは位相空間、つまりさまざまな位相ドメインで の学習に関係しています。

位相領域入門

位相的ディープラーニングにおける中核概念の一つは、データが定義され、サポートされる領域です。画像などのユークリッドデータの場合、この領域はグリッドであり、画像のピクセル値はこのグリッド上でサポートされます。より一般的な設定では、この領域は位相的領域となる場合があります。次に、ディープラーニングの環境で遭遇する最も一般的な位相的領域を紹介します。これらの領域には、グラフ、単体複体、セル複体、組合せ複体、ハイパーグラフなどが含まれますが、これらに限定されるものではありません。

抽象エンティティの有限集合Sが与えられたとき、 S上の近傍関数は、 S内のすべての点にSのサブセットまたは関係を結び付ける割り当てです。このような関数は、Sに補助構造を備えることによって誘導できます。エッジは、 Sのエンティティ間の関係を定義する 1 つの方法を提供します。より具体的には、グラフ内のエッジにより、たとえば 1 ホップ近傍概念を使用して近傍の概念を定義できます。ただし、すべてのエッジが通常 2 つのエンティティに接続されているため、エッジはSのエンティティ間の2項関係をモデル化するためにしか使用できないというモデリング能力の限界があります。多くのアプリケーションでは、3 つ以上のエンティティを組み込む関係を許可することが望ましいです。3 つ以上のエンティティを含む関係を使用するという考え方こそが、位相ドメインの核心です。このような高階関係により、S上でより広範囲の近傍関数を定義して、 Sのエンティティ間の多方向の相互作用を捉えることができます。 ${\displaystyle {\mathcal {N}}}$ ${\displaystyle x}$

次に、（抽象的な）単体複合体、正則セル複合体、ハイパーグラフ、組み合わせ複合体など、深層学習の文脈で一般的に研究されているいくつかの位相ドメインの主な特性、利点、および欠点を確認します。

(a): グループ S は、接続のない基本部分 (頂点) で構成されています。(b): グラフは、S の要素である部分 (頂点) 間の単純な接続を表します。(c): 単体複体は、部分 (関係) が互いに接続される方法を示しますが、接続方法については厳密な規則があります。(d): 単体複体と同様に、セル複体は部分 (関係) がどのように接続されているかを示しますが、その形状はより柔軟です (「セル」のように)。(f): ハイパーグラフは、S の部分間のあらゆる種類の接続を示しますが、これらの接続は特定の順序で構成されていません。(e): CC は、セル複体 (順序のある接続) とハイパーグラフ (さまざまな接続) の要素を組み合わせて、両方の種類の設定をカバーします。^{[ 1 ]}

位相ドメイン間の比較

列挙された各トポロジカルドメインには、それぞれ独自の特性、利点、および制限があります。

• 単体複体
  • 高階領域の最も単純な形。
  • グラフベースモデルの拡張
  • 階層構造を許可し、さまざまなアプリケーションに適合させます。
  • ホッジ理論は単体複体上で自然に定義できます。
  • 関係がより大きな関係のサブセットである必要があるため、構造に制約が課せられます。
• セル複体
  • 単体複体を一般化する。
  • 高階関係を定義する際に、より柔軟性を提供する
  • 細胞複合体内の各細胞は開いた球に同相であり、接続マップを介して互いに接続されています。
  • セル複合体内の各セルの境界セルも、複合体内のセルです。
  • 接続行列を介して組み合わせ的に表現されます。
• ハイパーグラフ
  • エンティティ間の任意の集合型関係を可能にします。
  • 関係は他の関係によって強制されないため、より柔軟性が高まります
  • セルまたはリレーションのディメンションを明示的にエンコードしないでください。
  • データ内の関係が単体モデルやセル複合体などの他のモデルによって課される制約に従わない場合に役立ちます。
• 組み合わせ複合体^{[ 1 ]} :
  • 単体複合体、セル複合体、ハイパーグラフ間のギャップを一般化し、埋めます。
  • 階層構造とセット型の関係を許可します。
  • 他の複合体の機能を組み合わせながら、関係のモデリングの柔軟性を高めます。
  • セル複合体と同様に、組み合わせ的に表現できます。

階層構造と集合型関係

単体複体、セル複体、ハイパーグラフの性質は、高階領域上の関係の2つの主な特徴、すなわち関係の階層と集合型関係を生み出す。^{[ 1 ]}

ランク関数

高階領域X上の階数関数は順序保存関数rk : X → Zであり、rk ( x ) はX内の各関係xに非負の整数値を付与し、 Xへの包含関係を保存する。セル複体と単体複体は、階数関数、つまり関係の階層構造を備えた高階領域の一般的な例である。^{[ 1 ]}

集合型関係

高階領域における関係は、ある関係の存在がその領域内の別の関係によって暗示されない場合、集合型関係と呼ばれます。ハイパーグラフは、集合型関係を備えた高階領域の例です。単体複体、セル複体、ハイパーグラフのモデリング上の制限を考慮して、関係の階層と集合型関係の両方を特徴とする高階領域である組合せ複体を開発します。^{[ 1 ]}

TDLの学習課題は大きく分けて3つのカテゴリーに分類できる。^{[ 1 ]}

• 細胞分類：複合体内の各細胞のターゲットを予測します。例としては、三角形メッシュセグメンテーションが挙げられます。このタスクでは、与えられたメッシュ内の各面またはエッジのクラスを予測します。
• 複雑な分類：複合体全体のターゲットを予測します。例えば、各入力メッシュのクラスを予測します。
• 細胞予測：複合体における細胞間相互作用の特性を予測し、場合によっては複合体内に細胞が存在するかどうかを予測します。例えば、ハイパーグラフのハイパーエッジにおけるエンティティ間のリンクの予測などが挙げられます。

実際には、前述のタスクを実行するには、特定の位相空間向けに設計された深層学習モデルを構築・実装する必要があります。これらのモデルは位相ニューラルネットワークと呼ばれ、これらの空間内で効果的に動作するように調整されています。

トポロジカルニューラルネットワーク

TDLの中心となるのは、トポロジカルニューラルネットワーク（TNN）です。これは、位相領域で構造化されたデータを処理するように設計された特殊なアーキテクチャです。^{[ 2 ] [ 1 ]}グリッド状の構造に合わせて調整された従来のニューラルネットワークとは異なり、TNNはグラフ、単体複合体、セル複合体など、より複雑なデータ表現の処理に優れています。データの固有のトポロジーを利用することで、TNNは局所的および全体的な関係性を捉え、微妙な分析と解釈を可能にします

メッセージパッシングトポロジカルニューラルネットワーク

一般的な位相ドメインでは、高次メッセージ パッシングには、一連の近傍関数を使用したエンティティおよびセル間のメッセージの交換が含まれます。

定義: 一般位相ドメインにおける高階メッセージパッシング

高階メッセージパッシングは、位相ドメイン上で定義された深層学習モデルであり、学習タスクを実行するために、基礎となるドメイン内のエンティティ間のメッセージパッシング情報に依存します。^{[ 1 ]}

を位相領域とする。上の近傍関数の集合を定義する。セルを考察し、ある についてとする。セルとセル間のメッセージは、これら2つのセル、またはそれらでサポートされるデータに依存する計算である。 を多重集合 と表記し、を層 のセルでサポートされるデータとする。によって誘導される上の高階メッセージパッシング[ ^{1 ] [ 8 ]は}、次の4つの更新規則によって定義される。 ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {N}}=\{{\mathcal {N}}_{1},\ldots,{\mathcal {N}}_{n}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle x}$ ${\displaystyle y\in {\mathcal {N}}_{k}(x)}$ ${\displaystyle {\mathcal {N}}_{k}\in {\mathcal {N}}}$ ${\displaystyle m_{x,y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle {\mathcal {N}}(x)}$ ${\displaystyle \{\!\!\{{\mathcal {N}}_{1}(x),\ldots ,{\mathcal {N}}_{n}(x)\}\!\!\}}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle x}$ ${\displaystyle l}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {N}}}$

1. ${\displaystyle m_{x,y}=\alpha_{{\mathcal{N}}_{k}}(\mathbf{h}_{x}^{(l)},\mathbf{h}_{y}^{(l)})}$
2. ${\displaystyle m_{x}^{k}=\bigoplus _{y\in {\mathcal {N}}_{k}(x)}m_{x,y}}$ ここで、は近傍内集約関数です。${\displaystyle \bigoplus }$
3. ${\displaystyle m_{x}=\bigotimes _{{\mathcal {N}}_{k}\in {\mathcal {N}}}m_{x}^{k}}$ ここで、は近傍間集約関数です。${\displaystyle \bigotimes }$
4. ${\displaystyle \mathbf {h}_{x}^{(l+1)}=\beta (\mathbf {h}_{x}^{(l)},m_{x})}$ 、ここで微分可能な関数です。${\displaystyle \alpha _{{\mathcal {N}}_{k}},\beta }$

上記の定義に関するいくつかのコメントは次のとおりです。

まず、式1は、細胞と細胞間のメッセージがどのように計算されるかを記述しています。メッセージは、細胞と細胞にそれぞれ関連付けられたデータと細胞の両方の影響を受けます。さらに、細胞複合体の場合の向きなど、細胞自体に固有の特性も組み込まれています。これにより、従来のグラフベースのメッセージパッシングフレームワークと比較して、空間関係をより豊かに表現できます。 ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle m_{x,y}}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle \mathbf {h} _{y}^{(l)}}$ ${\displaystyle x}$ ${\displaystyle y}$

次に、式2は、各近傍内で隣接セルからのメッセージがどのように集約されるかを定義します。この関数はこれらのメッセージを集約することで、同じ近傍内の隣接セル間で効率的に情報を交換できるようにします。 ${\displaystyle \bigoplus }$

第三に、式3は異なる近傍からのメッセージを統合するプロセスを概説しています。この関数は、複数の近傍にまたがるメッセージを集約し、直接接続されていなくても共通の近傍関係を持つセル間の通信を容易にします。 ${\displaystyle \bigotimes }$

4つ目に、式4は、集約されたメッセージが次の層のセルの状態にどのように影響するかを指定します。ここで、関数はセルの現在の状態と隣接するセルから取得した集約メッセージに基づいて、セルの状態を更新します。 ${\displaystyle \beta}$ ${\displaystyle x}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle m_{x}}$

非メッセージパッシングトポロジカルニューラルネットワーク

TNNの大多数はグラフ学習のメッセージパッシングパラダイムに従っていますが、このアプローチに従わないモデルもいくつか提案されています。例えば、Maggsら^{[ 26 ]}は、埋め込まれた単体複体、すなわち頂点に高次元の特徴が付加された単体複体から幾何学的情報を活用しています。これにより、メッセージパッシングに依存せずに解釈可能性と幾何学的一貫性が実現されます。さらに、^{[ 27 ]}では、単体表現を学習するための対照的な損失ベースの手法が提案されています。

位相記述子の学習

ディープ ニューラル ネットワークのモジュール特性に着想を得て、TDL の初期の研究は位相データ解析からインスピレーションを得て、結果として得られる記述子をディープラーニングモデルに統合しやすくすることを目指しました。これがディープ ニューラル ネットワークの新しいレイヤーを定義する研究につながりました。たとえば、Hofer らによる先駆的な研究^{[ 28 ]}では、持続性ダイアグラムや持続性バーコードなどの位相記述子をディープ ニューラル ネットワークに統合できるレイヤーが導入されました。これは、エンドツーエンドでトレーニング可能な投影関数によって実現され、たとえばトポロジカルな特徴を使用して形状分類タスクを解決できるようになりました。その後の研究で、このような記述子の理論的特性がさらに拡張され、表現学習の分野に統合されました^{[ 29 ]}。その他のこのような位相レイヤーには、拡張持続ホモロジー記述子^{[ 30 ]} 、持続性ランドスケープ^{[ 31 ]}、座標関数に基づくレイヤーがあります。 ^{[ 32 ]}並行して、持続ホモロジーはグラフ学習タスクにも応用されています。注目すべき例としては、グラフ分類やノード分類タスクのためのタスク固有のフィルタリング関数を学習するための新しいアルゴリズムが挙げられます。^{[ 33 ] [ 34 ] [ 35 ]}

アプリケーション

^{TDLは、データ圧縮[ 36 ]} 、グラフニューラルネットワークの表現力と予測性能の向上^{[ 16 ]}、^{[ 17 ] 、 [ 33 ]} 、行動認識^{[ 37 ]}、軌道予測[38]など、^{さまざまな分野}で急速に新しいアプリケーションを見つけています

参考文献

1. ハジジ、M.;ザムズミ、G.パパマルコウ、T.ミオレーン、N.グスマン＝サエンツ、A.カンザス州ラママーシー。モンタナ州シャウブ (2022)、トポロジカル深層学習: グラフ データを超える、arXiv : 2206.00606
2. Papillon, M.; Sanborn, S.; Hajij, M.; Miolane, N. (2023). 「トポロジカルディープラーニングのアーキテクチャ：トポロジカルニューラルネットワークの概観」arXiv : 2304.10031 [ cs.LG ].
3. Ebli, S.; Defferrard, M.; Spreemann, G. (2020),単純ニューラルネットワーク, arXiv : 2010.03633
4. バティローロ、C.;テスタ、L.ジュスティ、L.サルデリッティ、S.ディ・ロレンツォ、P. Barbarossa, S. (2023)、一般化された単純な注意ニューラル ネットワーク、arXiv : 2309.02138
5. Yang, M.; Isufi, E. (2023),単体複体における畳み込み学習, arXiv : 2301.11163
6. Chen, Y.; Gel, YR; Poor, HV (2022)、「BScNets: ブロック単純複素ニューラルネットワーク」、AAAI人工知能会議論文集、36 (6): 6333– 6341、arXiv : 2112.06826、doi : 10.1609/aaai.v36i6.20583
7. Uray, Martin; Giunti, Barbara; Kerber, Michael; Huber, Stefan (2024-10-01). 「スマート製造におけるトポロジカルデータ分析：最新技術と今後の方向性」 . Journal of Manufacturing Systems . 76 : 75–91 . arXiv : 2310.09319 . doi : 10.1016/j.jmsy.2024.07.006 . ISSN 0278-6125 . 
8. Hajij, M.; Istvan, K.; Zamzmi, G. (2020),細胞複雑ニューラルネットワーク, arXiv : 2010.00743
9. Bianchini, Monica; Scarselli, Franco (2014). 「ニューラルネットワーク分類器の複雑性について：浅いアーキテクチャと深いアーキテクチャの比較」IEEE Transactions on Neural Networks and Learning Systems . 25 (8): 1553– 1565. Bibcode : 2014ITNNL..25.1553B . doi : 10.1109/TNNLS.2013.2293637 . ISSN 2162-237X . PMID 25050951 .  
10. Naitzat, Gregory; Zhitnikov, Andrey; Lim, Lek-Heng (2020). 「ディープニューラルネットワークのトポロジー」(PDF) . Journal of Machine Learning Research . 21 (1): 184:7503–184:7542. ISSN 1532-4435 . 
11. Birdal, Tolga; Lou, Aaron; Guibas, Leonidas J; Simsekli, Umut (2021). 「ニューラルネットワークにおける固有次元、永続的ホモロジー、一般化」 .ニューラル情報処理システムの進歩. 34. Curran Associates, Inc.: 6776– 6789. arXiv : 2111.13171 .
12. バレスター、ルーベン;クレメンテ、ザビエル・アルナル。カサクベルタ、カルレス。マダディ、メイサム。コルネアヌ、シプリアン A.セルジオ・エスカレラ（2024）。「トポロジカル データ分析を使用したニューラル ネットワークの汎化ギャップの予測」。ニューロコンピューティング。596 127787.arXiv : 2203.12330。​土井：10.1016/j.neucom.2024.127787。
13. Rieck, Bastian; Togninalli, Matteo; Bock, Christian; Moor, Michael; Horn, Max; Gumbsch, Thomas; Borgwardt, Karsten (2018-09-27). 「Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology」 . International Conference on Learning Representations . 8 : 6215–6239 . arXiv : 1812.09764 . doi : 10.3929/ethz-b-000327207 . ISBN 978-1-7138-7273-3。
14. デュプイ、ベンジャミン、デリギアニディス、ジョージ、シムセクリ、ウムット (2023-07-03). 「データ依存フラクタル次元を用いた一般化境界」第40回国際機械学習会議議事録. PMLR: 8922–8968
15. ブロンスタイン、マイケル M.ブルーナ、ジョアン。ルカン、ヤン。シュラム、アーサー。ヴァンダーハインスト、ピエール (2017)。 「幾何ディープラーニング: ユークリッドデータを超える」。IEEE 信号処理マガジン。34 (4): 18–42 . arXiv : 1611.08097。Bibcode : 2017ISPM...34...18B。土井: 10.1109/MSP.2017.2693418。ISSN 1053-5888。 
16. Bodnar, Cristian; Frasca, Fabrizio; Wang, Yuguang; Otter, Nina; Montufar, Guido F.; Lió, Pietro; Bronstein, Michael (2021-07-01). 「WeisfeilerとLehmanのトポロジカルアプローチ：メッセージパッシング型単純ネットワーク」 .第38回国際機械学習会議論文集. PMLR: 1026– 1037. arXiv : 2103.03212 .
17. Bodnar, Cristian; Frasca, Fabrizio; Otter, Nina; Wang, Yuguang; Liò, Pietro; Montufar, Guido F; Bronstein, Michael (2021). 「WeisfeilerとLehmanのセルラー化：CWネットワーク」 .ニューラル情報処理システムの進歩. 34. Curran Associates, Inc.: 2625– 2640. arXiv : 2106.12575 .
18. Carlsson, Gunnar (2009-01-29). 「トポロジーとデータ」 .アメリカ数学会報. 46 (2): 255– 308. doi : 10.1090/S0273-0979-09-01249-X . ISSN 0273-0979 . 
19. Adcock, Aaron; Carlsson, Erik; Carlsson, Gunnar (2016). 「持続性バーコード上の代数関数環」 .ホモロジー、ホモトピー、および応用. 18 (1): 381– 402. arXiv : 1304.0530 . doi : 10.4310/HHA.2016.v18.n1.a21 .
20. Adams, Henry; Emerson, Tegan; Kirby, Michael; Neville, Rachel; Peterson, Chris; Shipman, Patrick; Chepushtanova, Sofya; Hanson, Eric; Motta, Francis; Ziegelmeier, Lori (2017). 「持続画像：持続的ホモロジーの安定したベクトル表現」 . Journal of Machine Learning Research . 18 (8): 1– 35. ISSN 1533-7928 . 
21. Bubenik, Peter (2015). 「パーシスタンスランドスケープを用いた統計的トポロジカルデータ分析」 .機械学習研究ジャーナル. 16 (3): 77– 102. ISSN 1533-7928 . 
22. Kwitt, Roland; Huber, Stefan; Niethammer, Marc; Lin, Weili; Bauer, Ulrich (2015). 「統計的トポロジカルデータ分析 - カーネルの観点」 .ニューラル情報処理システムの進歩. 28. Curran Associates, Inc.
23. Carrière, Mathieu; Cuturi, Marco; Oudot, Steve (2017-07-17). 「Sliced Wasserstein Kernel for Persistence Diagrams」 . Proceedings of the 34th International Conference on Machine Learning . PM​​LR: 664– 673. arXiv : 1706.03358 .
24. 草野元気;福水 健二平岡泰明 (2018) 「カーネルの埋め込みと重み係数による永続図のカーネル方法」。機械学習研究ジャーナル。18 (189): 1–41 . arXiv : 1706.03472。ISSN 1533-7928。 
25. Le, Tam; Yamada, Makoto (2018). 「パーシスタンス・フィッシャー・カーネル：パーシスタンス・ダイアグラムのためのリーマン多様体カーネル」 .ニューラル情報処理システムの進歩. 31. Curran Associates, Inc. arXiv : 1802.03569 .
26. Maggs, Kelly; Hacker, Celia; Rieck, Bastian (2023-10-13). 「ニューラルk-Formsを用いた単純表現学習」 .国際表現学習会議. arXiv : 2312.08515 .
27. カンザス州ラママーシー;グスマン＝サエンツ、A. Hajij, M. (2023)、Topo-mlp: メッセージ受け渡しのない単純なネットワーク、pp  . 1–5
28. Hofer, Christoph; Kwitt, Roland; Niethammer, Marc; Uhl, Andreas (2017). 「トポロジカルシグネチャを用いたディープラーニング」 .ニューラル情報処理システムの進歩. 30. Curran Associates, Inc. arXiv : 1707.04041 .
29. Hofer, Christoph D.; Kwitt, Roland; Niethammer, Marc (2019). 「持続性バーコードの表現の学習」 .機械学習研究ジャーナル. 20 (126): 1– 45. ISSN 1533-7928 . 
30. Carriere, Mathieu; Chazal, Frederic; Ike, Yuichi; Lacombe, Theo; Royer, Martin; Umeda, Yuhei (2020-06-03). 「PersLay: パーシスタンス・ダイアグラムと新しいグラフ・トポロジカル・シグネチャのためのニューラルネットワーク層」 .第23回人工知能・統計国際会議論文集. PMLR: 2786– 2796. arXiv : 1904.09378 .
31. Kim, Kwangho; Kim, Jisu; Zaheer, Manzil; Kim, Joon; Chazal, Frederic; Wasserman, Larry (2020). 「PLLay: 永続的なランドスケープに基づく効率的なトポロジカルレイヤー」 .ニューラル情報処理システムの進歩. 33. Curran Associates, Inc.: 15965– 15977. arXiv : 2002.02778 .
32. Gabrielsson, Rickard Brüel; Nelson, Bradley J.; Dwaraknath, Anjan; Skraba, Primoz (2020-06-03). 「機械学習のためのトポロジーレイヤー」 .第23回人工知能・統計国際会議議事録. PMLR: 1553– 1563.
33. Horn, Max; Brouwer, Edward De; Moor, Michael; Moreau, Yves; Rieck, Bastian; Borgwardt, Karsten (2021-10-06). 「トポロジカルグラフニューラルネットワーク」 .国際学習表現会議.
34. Hofer, Christoph; Graf, Florian; Rieck, Bastian; Niethammer, Marc; Kwitt, Roland (2020-11-21). 「グラフフィルタリング学習」 .第37回国際機械学習会議論文集. PMLR: 4314– 4323. arXiv : 1905.10996 .
35. イモネン, ヨハンナ; ソウザ, アマウリ; ガーグ, ヴィカス (2023年12月15日). 「パーシステントホモロジーを用いてパーシステントホモロジーを超える」 .ニューラル情報処理システムの進歩. 36 : 63150–63173 . arXiv : 2311.06152 .
36. Battiloro, C.; Di Lorenzo, P.; Ribeiro, A. (2023年9月) 「位相信号表現のためのパラメトリック辞書学習」 IEEE、pp.  1958– 1962
37. Wang, C.; Ma, N.; Wu, Z.; Zhang, J.; Yao, Y. (2022年8月)「ハイパーグラフニューラルネットワークの調査と行動認識への応用」 Springer Nature Switzerland、pp.  387– 398
38. Roddenberry, TM; Glaze, N.; Segarra, S. (2021年7月)「軌道予測のための原理的な単純型ニューラルネットワーク」、PMLR、pp.  9020– 9029、arXiv : 2102.10058