機能アノテーションの批判的評価（ CAFA）は、タンパク質機能予測のための計算手法を評価するために設計された、コミュニティ主導の継続的な実験です。2010年から継続的に開催されるチャレンジとして開催されているCAFAは、遺伝子オントロジー（GO）などのオントロジーを用いて、タンパク質の生物学的機能を予測するアルゴリズムの精度、透明性、ベンチマークを向上させることを目指しています。オープンで厳密な評価を促進することで、CAFAは計算生物学およびバイオインフォマティクスにおける中心的なベンチマークとなっています。
概要
CAFAは、参加チームによる予測と、実験的に決定されたアノテーション（公開タンパク質データベースに蓄積されていくもの）を比較することで手法を評価します。予測は、事前に設定された目標蓄積期間（目標蓄積期間）前にブラインド提出され、その期間内に新たにキュレーションされた実験データが利用可能になります。このアプローチにより、既知のアノテーションによるバイアスなしに、手法を客観的に評価できます。目標は、タンパク質の機能を記述する構造化語彙である遺伝子オントロジーから最新のラベルを割り当てることです。
長年にわたり、CAFA には表現型の予測や疾患関連遺伝子の予測などの追加のサブ課題が組み込まれてきました。
歴史
CAFA1（2010～2011年）
CAFA1は2010年に開始された最初のチャレンジであり、その成果は2013年にNature Methods誌に掲載されました。このチャレンジは、手法の性能基準を確立し、機能予測における時間遅延評価の利用を普及させました。CAFA1は、最先端の手法が基本的な配列類似性に基づく手法（BLASTなど）よりも優れていることを実証しましたが、全体的な性能はキュレーションされたアノテーションに依然として劣っていることも明らかにしました。
CAFA2（2013～2014年）
CAFA1を基盤として、CAFA2では標的タンパク質の規模と多様性が拡大し、参加者は過去のアノテーションの有無に関わらず、多数の標的タンパク質に対する予測を提出することが求められました。[1] CAFA2では、カスタマイズされたセマンティック精度に基づくリコールスコアなど、改良された指標が導入されました。このラウンドでは、アンサンブル手法とドメイン固有の予測器が大幅に改善されたことが実証されました。ベンチマークと検証に関する関連論文は、GigaScience [ 2]に関連テーマ別シリーズとして掲載され、その結果は2016年にGenome Biologyに掲載されました。[3]
CAFA3（2016～2017年）
CAFA3は、評価パイプラインに大規模な実験検証を組み込むことで、大きな節目を迎えました。CAFA3の主催者は、実験室と協力し、カンジダ・アルビカンス、シュードモナス・アエルギノーサ、ショウジョウバエを用いて、上位予測値を検証しました。この直接検証アプローチは、生物学的知見をもたらし、新たな遺伝子機能の発見につながりました。結果は2019年にGenome Biology誌に掲載されました。[4]
CAFA4（2019～2020年）
CAFA4は実験範囲をさらに拡大し、新たなモデル生物を導入しました。より広範な表現型予測タスクを特徴とし、様々なリソースからのコミュニティ主導のアノテーションを組み入れました。深層学習やタンパク質言語モデルといった手法が注目を集め始めました。また、CAFA4は配列、構造、ネットワークデータを組み合わせた統合的なアプローチの基盤を築きました。
CAFA5（2023）
最新のイテレーションであるCAFA5は、Kaggleウェブサイト上でチャレンジとして開催され、参加者数が飛躍的に増加しました。このチャレンジでは、複数の関数予測カテゴリにおいて大幅なパフォーマンス向上が見られました。また、病原体と環境サンプルを対象とした新たなベンチマークタスクも導入されました。予備的な結果は2024年に発表され、包括的な論文は2025年に出版される予定です。
参照
CASP：タンパク質構造予測の批判的評価
CAGI：ゲノム解釈の批判的評価
参考文献
- ^ Kahanda, Indika; Funk, Christopher S; Ullah, Fahad; Verspoor, Karin M; Ben-Hur, Asa (2015-12-01). 「タンパク質機能予測評価プロトコルの詳細な検討」. GigaScience . 4 (1): s13742–015–0082-5. doi : 10.1186/s13742-015-0082-5 . ISSN 2047-217X. PMC 4570743. PMID 26380075 .
- ^ 「自動関数予測」オックスフォード・アカデミック。 2025年8月8日閲覧。
- ^ Jiang, Yuxiang; Oron, Tal Ronnen; Clark, Wyatt T.; Bankapur, Asma R.; D'Andrea, Daniel; Lepore, Rosalba; Funk, Christopher S.; Kahanda, Indika; Verspoor, Karin M.; Ben-Hur, Asa; Koo, Da Chen Emily; Penfold-Brown, Duncan; Shasha, Dennis; Youngs, Noah; Bonneau, Richard (2016-09-07). 「タンパク質機能予測手法の拡張評価により、精度の向上が示された」. Genome Biology . 17 (1): 184. doi : 10.1186/s13059-016-1037-6 . ISSN 1474-760X. PMC 5015320. PMID 27604469 .
- ^ Zhou, Naihui; Jiang, Yuxiang; Bergquist, Timothy R.; Lee, Alexandra J.; Kacsoh, Balint Z.; Crocker, Alex W.; Lewis, Kimberley A.; Georghiou, George; Nguyen, Huy N.; Hamid, Md Nafiz; Davis, Larry; Dogan, Tunca; Atalay, Volkan; Rifaioglu, Ahmet S.; Dalkıran, Alperen (2019-11-19). 「CAFAチャレンジは、実験スクリーニングを通じて数百の遺伝子のタンパク質機能予測を改善し、新たな機能アノテーションを報告」Genome Biology . 20 (1): 244. doi : 10.1186/s13059-019-1835-8 . ISSN 1474-760X. PMC 6864930 . PMID 31744546。
外部リンク
- 自動関数予測特別興味グループ - CAFAチャレンジ参加情報
