情報抽出

情報抽出（IE ）とは、非構造化および／または半構造化の機械可読文書やその他の電子的に表現された情報源から構造化情報を自動的に抽出するタスクです。典型的には、自然言語処理（NLP）を用いて人間の言語テキストを処理することを伴います。 [ 1 ]マルチメディア文書処理における最近の取り組み、例えば画像／音声／動画／文書からの自動注釈付けやコンテンツ抽出などは、情報抽出と見なすことができます。

近年のNLP技術の進歩により、以前に比べてパフォーマンスが大幅に向上しました。[ 2 ]一例として、企業合併に関するニュースワイヤーレポートからの抽出が挙げられます。これは、次のような正式な関係で表されます。

合併間⁡（coメートルp1つのny1、coメートルp1つのny2、d1つのte）{\displaystyle \operatorname {MergerBetween} (\mathrm {会社} _{1},\mathrm {会社} _{2},\mathrm {日付} )}、

次のようなオンラインニュースの文章から:

「昨日、ニューヨークに拠点を置くFoo Inc.がBar Corp.の買収を発表しました。」

IEの大まかな目標は、これまで非構造化データであったデータに対して計算を実行できるようにすることです。より具体的な目標は、入力データの論理形式に関する自動推論を可能にすることです。構造化データとは、選択された対象ドメインから取得され、カテゴリとコンテキストに基づいて解釈される、意味的に明確に定義されたデータです。

情報抽出は、テキストの伝送、保存、表示を超えて、テキスト管理のための自動化手法を考案するという問題を扱う、より大きなパズルの一部です。情報検索(IR) [ 3 ]の分野では、大規模な文書コレクションの索引付けや文書の分類を行う、典型的には統計的な色合いの自動手法が開発されています。もう 1 つの補完的なアプローチは自然言語処理(NLP) であり、タスクの規模を考慮すると、人間の言語処理をモデル化する問題をかなりの成功を収めて解決しました。難易度と重点の両面で、IE は IR と NLP の中間のタスクを扱います。入力に関して、IE は、各文書がテンプレートに従う、つまり 1 つ以上のエンティティまたはイベントを他の文書と類似した方法で記述するが詳細が異なる、文書セットの存在を前提としています。例として、ラテンアメリカのテロに関する一連のニュース記事を考えてみましょう。各記事は 1 つ以上のテロ行為に基づいていると推定されます。また、任意のIEタスクに対して、テンプレートを定義します。テンプレートとは、単一の文書に含まれる情報を保持するための格フレーム（または格フレームの集合）です。テロリズムの例では、テンプレートには、テロ行為の加害者、被害者、武器、そして事件発生日に対応するスロットが含まれます。この問題に対するIEシステムは、このテンプレート内のスロットに対応するデータを見つけられる程度に攻撃記事を「理解」できれば十分です。

歴史

情報抽出は、NLPの黎明期である1970年代後半にまで遡ります。[ 4 ] 1980年代半ばの初期の商用システムは、金融トレーダーにリアルタイムの金融ニュースを提供することを目的として、カーネギーグループ社がロイター向けに構築したJASPERでした。[ 5 ]

1987年から、IEは一連のメッセージ理解会議によって推進されてきました。MUCは競争ベースの会議であり[ 6 ]、以下の領域に焦点を当てています。

  • MUC-1（1987）、MUC-3（1989）：海軍作戦メッセージ。
  • MUC-3（1991年）、MUC-4（1992年）：ラテンアメリカ諸国におけるテロリズム。
  • MUC-5（1993）：合弁事業およびマイクロエレクトロニクス分野。
  • MUC-6 (1995): 経営陣の変更に関するニュース記事。
  • MUC-7 (1998): 衛星打ち上げレポート。

新聞をスキャンしてテロとの関連を調べるなど、政府のアナリストが行う日常的な作業を自動化したいと考えていた米国国防高等研究計画局 ( DARPA ) からも多大な支援が寄せられました。

現在の重要性

IEの現在の重要性は、非構造化形式で入手可能な情報量の増加に関係している。ワールド・ワイド・ウェブの発明者であるティム・バーナーズ＝リーは、既存のインターネットを文書のウェブと呼び[ 7 ]、より多くのコンテンツをデータのウェブとして利用できるようにすることを提唱している。[ 8 ] これが実現するまでは、ウェブは主にセマンティック・メタデータを欠いた非構造化文書で構成される。これらの文書に含まれる知識は、リレーショナル形式に変換するか、 XMLタグでマークアップすることで、機械処理にとってアクセスしやすいものにすることができる。ニュースデータフィードを監視するインテリジェントエージェントは、非構造化データを推論可能なものに変換するためにIEを必要とする。IEの典型的な応用例は、自然言語で書かれた文書セットをスキャンし、抽出した情報をデータベースに取り込むことである。[ 9 ]

タスクとサブタスク

テキストへの情報抽出の適用は、テキストの簡素化という問題と関連しており、自由記述テキストに含まれる情報を構造化されたビューで表現します。全体的な目標は、文章を処理するために、より機械可読性の高いテキストを作成することです。IEの典型的なタスクとサブタスクには以下が含まれます。

  • テンプレートの入力: 文書から固定されたフィールドのセットを抽出します。たとえば、テロ攻撃に関する新聞記事から犯人、被害者、時間などを抽出します。
    • イベント抽出：入力文書から0個以上のイベントテンプレートを出力します。例えば、新聞記事には複数のテロ攻撃に関する記述があるかもしれません。
  • 知識ベースへの入力：文書群に基づいて、事実のデータベースを作成します。通常、データベースは（エンティティ1、関係、エンティティ2）の三つ組で構成されます（例：バラク・オバマ、配偶者、ミシェル・オバマ）。
    • 固有表現認識：ドメインに関する既存知識や他の文から抽出した情報を用いて、既知の実体名（人名や組織名）、地名、時間表現、特定の種類の数値表現を認識する。[ 10 ]通常、認識タスクでは、抽出された実体に一意の識別子を割り当てる。より単純なタスクは固有表現検出であり、これは実体インスタンスに関する既存知識を一切持たずに実体を検出することを目的とする。例えば、「M. Smithは釣りが好きだ」という文を処理する場合、固有表現検出とは、「M. Smith」という語句が人を指していることを検出するが、その文が言及している（または「そうであるかもしれない」）特定の人であるM. Smithに関する知識を必ずしも持つ（または使用する）必要はないことを検出することを意味する。
    • 共参照解決：テキストエンティティ間の共参照およびアナフォリックリンクの検出。IEタスクでは、これは通常、以前に抽出された名前付きエンティティ間のリンクの検出に限定されます。例えば、「International Business Machines」と「IBM」は、同じ実世界のエンティティを参照しています。「M. Smithは釣りが好きです。しかし、彼は自転車に乗るのは好きではありません」という2つの文を例に挙げると、「彼」が以前に検出された人物「M. Smith」を指していることを検出できれば有益です。
    • 関係抽出：エンティティ間の関係の識別[ 10 ] 、例えば：
      • PERSON は ORGANIZATION で働いています (「Bill は IBM で働いています。」という文から抜粋)
      • LOCATION にいる PERSON (「ビルはフランスにいます。」という文から抜粋)
  • 半構造化情報抽出は、次のような、公開によって失われた何らかの情報構造を復元しようとする IE を指します。
    • 表抽出：文書から表を見つけて抽出する。[ 11 ] [ 12 ]
    • 表情報抽出：表から構造化された方法で情報を抽出する。このタスクは表抽出よりも複雑である。表抽出は最初のステップに過ぎず、セル、行、列の役割の理解、表内の情報の関連付け、表に提示された情報の理解といった追加タスクが必要となるためである。[ 11 ] [ 13 ] [ 14 ]
    • コメント抽出：記事の実際の内容からコメントを抽出し、各文の著者間のリンクを復元する
  • 言語と語彙の分析
  • 音声抽出
    • テンプレートベースの音楽抽出：与えられたレパートリーから取得したオーディオ信号内の関連する特性を見つけること。例えば[ 15 ]打楽器音の発生の時間インデックスを抽出することで、楽曲の重要なリズム要素を表すことができる。

このリストは網羅的なものではなく、IE活動の正確な意味は一般的に受け入れられているわけではないことに留意してください。また、多くのアプローチでは、より広範な目標を達成するために、IEの複数のサブタスクを組み合わせています。IEでは、機械学習、統計分析、自然言語処理などがしばしば用いられます。

非テキスト文書におけるIEは、研究においてますます興味深いテーマとなりつつあり、マルチメディア文書から抽出された情報は、テキストの場合と同様に高レベルの構造で表現できるようになりました。これは当然のことながら、複数の種類の文書や情報源から抽出された情報の融合につながります。

ワールドワイドウェブアプリケーション

IEはMUC会議の焦点となってきました。しかし、Webの普及により、オンラインで利用可能な膨大な量のデータに対処するのに役立つIEシステムの開発の必要性が高まりました。オンラインテキストからIEを実行するシステムは、低コスト、開発の柔軟性、新しいドメインへの容易な適応という要件を満たす必要があります。MUCシステムはこれらの基準を満たすことができません。さらに、非構造化テキストに対して実行される言語解析では、オンラインテキストで使用できるHTML / XMLタグとレイアウト形式が活用されません。その結果、Web上のIE向けに、特定のページのコンテンツを抽出する高精度なルールセットであるラッパーを使用した、言語的負荷の少ないアプローチが開発されました。ラッパーを手動で開発することは、高度な専門知識を必要とする時間のかかる作業であることが判明しています。教師ありまたは教師なしの機械学習技術は、そのようなルールを自動的に誘導するために使用されてきました。

ラッパーは、製品カタログや電話帳など、高度に構造化されたWebページ群を扱うのが一般的です。しかし、Webではよくあるように、テキストの種類があまり構造化されていない場合、ラッパーはうまく機能しません。適応型情報抽出に関する最近の取り組みは、よく構造化されたテキストから、一般的なラッパーでは対応できないほぼフリーテキストまで、様々な種類のテキストを処理できるIEシステムの開発を促進しています。これらのシステムは、浅い自然言語知識を活用できるため、構造化されていないテキストにも適用できます。

最近の開発に視覚情報抽出（Visual Information Extraction）[ 16 ] [ 17 ]があります。これは、ブラウザでウェブページをレンダリングし、レンダリングされたウェブページ内の領域の近接性に基づいてルールを作成するものです。これは、視覚的なパターンは見られるものの、HTMLソースコードには識別可能なパターンがない複雑なウェブページからエンティティを抽出するのに役立ちます。

アプローチ

現在、次の標準的なアプローチが広く受け入れられています。

IE には、前述の標準的なアプローチのいくつかを組み合わせたハイブリッド アプローチなど、他にも多数のアプローチが存在します。

無料またはオープンソースのソフトウェアとサービス

参照

抽出
マイニング、クローリング、スクレイピング、認識
検索と翻訳
一般的な
リスト

参考文献

  1. ^ name=Kariampuzha2023 Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). 「大規模希少疾患疫学のための高精度情報抽出」 . Journal of Translational Medicine . 21 (1): 157. doi : 10.1186 / s12967-023-04011-y . PMC  9972634. PMID  36855134 .
  2. ^ Christina Niklaus、Matthias Cetto、André Freitas、Siegfried Handschuh. 2018. 「オープン情報抽出に関する調査」。第27回国際計算言語学会議議事録、3866～3878ページ、米国ニューメキシコ州サンタフェ。計算言語学協会。
  3. ^ FREITAG, DAYNE. 「非公式領域における情報抽出のための機械学習」（PDF） . 2000 Kluwer Academic Publishers. オランダで印刷.
  4. ^ Cowie, Jim; Wilks, Yorick (1996).情報抽出(PDF) . p. 3. CiteSeerX 10.1.1.61.6480 . S2CID 10237124. 2019年2月20日時点のオリジナル(PDF)からのアーカイブ。  
  5. ^ Andersen, Peggy M.; Hayes, Philip J.; Huettner, Alison K.; Schmandt, Linda M.; Nirenburg, Irene B.; Weinstein, Steven P. (1992). 「プレスリリースからの事実の自動抽出によるニュース記事生成」 .第3回応用自然言語処理会議議事録 - pp.  170– 177. CiteSeerX 10.1.1.14.7943 . doi : 10.3115/974499.974531 . S2CID 14746386 .  
  6. ^ Marco Costantino、Paolo Coletti、『金融における情報抽出』、Wit Press、2008 年。ISBN 978-1-84564-146-7
  7. ^ 「Linked Data - これまでのストーリー」(PDF)。
  8. ^ 「ティム・バーナーズ＝リー、次世代のWebについて語る」 2011年4月10日時点のオリジナルよりアーカイブ。2010年3月27日閲覧。
  9. ^ RK Srihari、W. Li、C. Niu、T. Cornell、「InfoXtract: カスタマイズ可能な中級レベルの情報抽出エンジン」、 Journal of Natural Language Engineering、Cambridge U. Press、14(1)、2008年、33-69頁。
  10. ^ a b Nguyen, Dat Quoc; Verspoor, Karin (2019). 「ディープ・ビアフィン・アテンションを用いたエンドツーエンドのニューラル関係抽出」.第41回ヨーロッパ情報検索会議 (ECIR) の議事録. arXiv : 1812.11275 . doi : 10.1007/978-3-030-15712-8_47 .
  11. ^ a b Milosevic N, Gregson C, Hernandez R, Nenadic G (2019年2月). 「生物医学文献の表から情報を抽出するフレームワーク」. International Journal on Document Analysis and Recognition . 22 (1): 55– 78. arXiv : 1902.10031 . Bibcode : 2019arXiv190210031M . doi : 10.1007/s10032-019-00317-0 . S2CID 62880746 . 
  12. ^ミロシェビッチ、ニコラ (2018).生物医学文書の表から情報を抽出する多層アプローチ(PDF) (PhD). マンチェスター大学.
  13. ^ Milosevic N, Gregson C, Hernandez R, Nenadic G (2016年6月). 「科学文献における表の構造の解明」 .自然言語処理と情報システム. コンピュータサイエンス講義ノート. 第21巻. pp.  162– 174. doi : 10.1007/978-3-319-41754-7_14 . ISBN 978-3-319-41753-0. S2CID  19538141 .
  14. ^ミロシェビッチ、ニコラ (2018).生物医学文書の表から情報を抽出する多層アプローチ(PDF) (PhD). マンチェスター大学.
  15. ^ A.Zils、F.Pachet、O.Delerue、F. Gouyon、「ポリフォニック音楽信号からのドラムトラックの自動抽出」、Wayback Machineに2017年8月29日にアーカイブ、WedelMusicの議事録、ダルムシュタット、ドイツ、2002年。
  16. ^チェンタマラクシャン、ヴィジル;デスファンデ、プラサド M;クリシュナプラム、ラグー。バラダラジャン、ラーマクリシュナン。シュトルツェ、クヌート (2015)。 「WYSIWYE: 情報抽出のための空間的およびテキスト的ルールを表現するための代数」。arXiv : 1506.08454 [ cs.CL ]。
  17. ^ Baumgartner, Robert; Flesca, Sergio; Gottlob, Georg (2001). 「LixtoによるビジュアルWeb情報抽出」pp.  119– 128. CiteSeerX 10.1.1.21.8236 . 
  18. ^ Peng, F.; McCallum, A. (2006). 「条件付きランダムフィールドを用いた研究論文からの情報抽出☆」.情報処理と管理. 42 (4): 963. doi : 10.1016/j.ipm.2005.09.002 .
  19. ^清水信之、アンドリュー・ハス (2006). 「経路指示からのフレームベース知識表現の抽出」(PDF) . 2006年9月1日時点のオリジナル(PDF)からアーカイブ。 2010年3月27日閲覧。
「 https://en.wikipedia.org/w/index.php?title=Information_extraction&oldid=1312699334」より取得