文書分類または文書カテゴリー化は、図書館学、情報科学、コンピュータサイエンスにおける問題です。このタスクは、文書を1つ以上のクラスまたはカテゴリに割り当てることです。これは「手動で」（または「知的に」）行うことも、アルゴリズム的に行うこともできます。文書の知的分類は主に図書館学の領域であり、文書のアルゴリズムによる分類は主に情報科学とコンピュータサイエンスの領域です。しかし、これらの問題は重複しているため、文書分類に関する学際的な研究が行われています。

分類対象となる文書は、テキスト、画像、音楽などです。それぞれの種類の文書には、独自の分類問題があります。特に指定がない場合は、テキスト分類が暗黙的に使用されます。

文書は、主題に基づいて分類することも、他の属性（文書の種類、著者、印刷年など）に基づいて分類することもできます。この記事の残りの部分では、主題分類のみを検討します。文書の主題分類には、コンテンツベースアプローチとリクエストベースアプローチという2つの主要な考え方があります。

「コンテンツベース」と「リクエストベース」の分類

内容に基づく分類とは、文書内の特定の主題に与えられた重みによって、文書が割り当てられるクラスが決定される分類です。例えば、図書館における分類の一般的なルールとして、書籍の内容の少なくとも20%は、その書籍が割り当てられているクラスに関するものでなければならないとされています。[1]自動分類では、特定の単語が文書に出現する回数が基準となる場合があります。

要求指向型分類（または索引付け）とは、ユーザーからの予想される要求が文書の分類方法に影響を与える分類です。分類者は、「このエンティティはどの記述子で見つけられるべきか？」と「考えられるすべてのクエリを考え、手元のエンティティがどのクエリに関連するかを決定する」と自問します（Soergel, 1985, p. 230 [2]）。

リクエスト指向の分類は、特定の対象者また​​はユーザーグループを対象とした分類である場合があります。たとえば、フェミニスト研究のための図書館やデータベースは、歴史図書館と比較して、文書の分類／索引付け方法が異なる場合があります。ただし、リクエスト指向の分類は、ポリシーベースの分類として理解する方が適切でしょう。分類は、何らかの理想に従って行われ、分類を行う図書館やデータベースの目的を反映しています。したがって、必ずしもユーザー研究に基づく分類や索引付けの一種ではありません。使用やユーザーに関する経験的データが適用される場合にのみ、リクエスト指向の分類はユーザーベースのアプローチと見なされるべきです。

分類と索引付け

文書をクラスに割り当てること（「分類」）と、文書に主題を割り当てること（「主題索引」）を区別することがありますが、フレデリック・ウィルフリッド・ランカスターが主張するように、この区別は有益ではありません。「これらの用語上の区別は全く意味がなく、混乱を招くだけである」（ランカスター、2003、21ページ[3]）と彼は書いています。この区別が単なる表面的なものであるという見解は、分類システムがシソーラスに変換される可能性があり、その逆もあるという事実によっても裏付けられています（Aitchison、1986、[4] 2004; [5] Broughton、2008; [6] Riesthuis & Bliedung、1991 [7]を参照）。したがって、索引内の文書に主題用語を割り当てることは、その用語で索引付けされた文書のクラスにその文書を割り当てることと同じです（Xとして索引付けまたは分類されたすべての文書は、同じ文書のクラスに属します）。

自動文書分類（ADC）

自動文書分類タスクは、3つの種類に分けられます。教師あり文書分類（人間によるフィードバックなどの外部メカニズムが文書の正しい分類に関する情報を提供する）、教師なし文書分類（文書クラスタリングとも呼ばれる）、分類は外部情報にまったく依存せずに行う必要があります。半教師あり文書分類[8]（文書の一部が外部メカニズムによってラベル付けされる）です。さまざまなライセンスモデルで利用可能なソフトウェア製品がいくつかあります。[9] [10] [11] [12] [13] [14]

技術

自動文書分類技術には以下が含まれます。

応用

分類技術は、

参照

参考文献

  1. ^ 米国議会図書館 (2008). 件名標目マニュアル. ワシントンD.C.: 米国議会図書館政策基準部. (シートH 180:「作業の少なくとも20%を占めるトピックにのみ標目を割り当てる。」)
  2. ^ Soergel, Dagobert (1985). Organizing information: Principles of database and retrieval systems. Orlando, FL: Academic Press
  3. ^ Lancaster, FW (2003). Indexing and abstracting in theory and practice. Library Association, London
  4. ^ Aitchison, J. (1986). 「シソーラスの情報源としての分類：シソーラス用語と構造の情報源としてのHE Blissの書誌分類」Journal of Documentation, Vol. 42 No. 3, pp. 160-181.
  5. ^ Aitchison, J. (2004). 「BC2のシソーラス：Bliss Musicスケジュールから派生した実験的なシソーラスで明らかになった問題点と可能性」Bliss Classification Bulletin, Vol. 46, pp. 20-26.
  6. ^ Broughton, V. (2008). 「ファセット分類をファセット用語集の基礎として：Bliss書誌分類（第2版）における分類構造のシソーラス形式への変換」Axiomathes, 第18巻第2号, pp. 193-210.
  7. ^ Riesthuis, GJA, & Bliedung, St. (1991). 「UDCのシソーラス化」知識組織化とヒューマンインターフェースのためのツール, 第2巻, pp. 109-117. Index Verlag, フランクフルト.
  8. ^ Rossi, RG, Lopes, A. d. A., and Rezende, SO (2016). テキストのトランスダクティブ分類を改善するための二部異種ネットワークにおける最適化とラベル伝播. Information Processing & Management, 52(2):217–257
  9. ^ 「インタラクティブな自動文書分類プロトタイプ」（PDF） 。 2017年11月15日にオリジナル（PDF）からアーカイブ。2017年11月14日閲覧。
  10. ^ インタラクティブな自動文書分類プロトタイプ。2015年4月24日、Wayback Machineにアーカイブ。
  11. ^ 文書分類 - Artsyl
  12. ^ ABBYY FineReader Engine 11 for Windows
  13. ^ 分類器 - Antidot
  14. ^ 「困難なプロジェクトのための3つの文書分類方法」。www.bisok.com。2021年8月4日閲覧
  15. ^ Stephan Busemann、Sven Schmeier、Roman G. Arens (2000). コールセンターにおけるメッセージ分類。Sergei Nirenburg、Douglas Appelt、Fabio Ciravegna、Robert Dale編、第6回応用自然言語処理会議 (ANLP'00) Proc. 6th Applied Natural Language Processing Conf. (ANLP'00)、pp. 158–165、ACL.
  16. ^ Santini, Marina; Rosso, Mark (2008), ジャンル対応アプリケーションのテスト：予備的評価(PDF)、BCS IRSGシンポジウム：情報アクセスの将来方向、ロンドン、英国、pp.  54– 63、 2019年11月15日にオリジナル(PDF)からアーカイブ、 2011年10月21日取得{{citation}}: CS1 maint: location missing publisher ( link )
  17. ^ Dai, X.; Bikdash, M.; Meyer, B. (2017).ソーシャルメディアから公衆衛生監視へ：Twitter分類のための単語埋め込みに基づくクラスタリング手法。SoutheastCon 2017. ノースカロライナ州シャーロット。pp.  1– 7. doi :10.1109/SECON.2017.7925400
  18. ^ Krallinger, M; Leitner, F; Rodriguez-Penagos, C; Valencia, A (2008). 「Bio Creative II のタンパク質間相互作用アノテーション抽出タスクの概要」. Genome Biology . 9 (Suppl 2): S4. doi : 10.1186/gb-2008-9-s2-s4 . PMC 2559988. PMID  18834495. 

参考文献

  • Fabrizio Sebastiani. 自動テキスト分類における機械学習. ACM Computing Surveys, 34(1):1–47, 2002
  • Stefan Büttcher、Charles LA Clarke、Gordon V. Cormack著。『情報検索：検索エンジンの実装と評価』、Wayback Machineに2020年10月5日にアーカイブ。MIT Press、2010年。