1956年、バージニア州アレクサンドリアにある米国国立公文書館軍事記録センターに保管されているナチスドイツから押収された未整理の記録

非構造化データ（または非構造化情報）とは、事前に定義されたデータモデルを持たない、または事前に定義された方法で整理されていない情報です。非構造化情報は通常、テキスト中心ですが、日付、数値、事実などのデータも含まれる場合があります。そのため、データベースにフィールド形式で保存されたデータや、文書に注釈（意味的にタグ付け）されたデータと比較して、不規則性や曖昧性が生じ、従来のプログラムでは理解が困難になります。

1998年、メリルリンチは「組織内のデータの大部分は非構造化データで占められており、80%にも上ると推定される」と述べました。[1]この数字の出典は不明ですが、一部の人々の間では受け入れられています。[2]他の情報源では、非構造化データの割合は同程度、あるいはそれ以上であると報告されています。[3] [4] [5]

2012年時点で、IDCとDell EMCは、2020年までにデータ量が40ゼタバイトに増加し、2010年初頭から50倍に増加すると予測しています。[6]さらに最近では、IDCとSeagateは、世界のデータ量は2025年までに163ゼタバイトに増加し、その大部分は非構造化データになると予測しています。Computer World誌は、組織内の全データの70～80%以上が非構造化データである可能性があると述べています。[1 ]

背景

ビジネスインテリジェンスに関する最も初期の研究は、数値データではなく、非構造化テキストデータに焦点を当てていました。[8] 1958年には早くも、H・P・ルーンなどのコンピュータサイエンスの研究者が、非構造化テキストの抽出と分類に特に関心を寄せていました。[8]しかし、20世紀に入ってからようやく技術が研究の関心に追いつきました。2004年、SAS Instituteは、特異値分解（SVD）を使用して超次元のテキスト空間をより小さな次元に縮小し、機械分析の効率を大幅に向上させるSAS Text Minerを開発しました。 [9]機械テキスト分析によってもたらされた数学的および技術的進歩は、多くの企業によるアプリケーションの研究を促し、感情分析、顧客の声マイニング、コールセンター最適化などの分野の発展につながりました。[10] 2000年代後半のビッグデータの出現は、予測分析や根本原因分析などの現代分野における非構造化データ分析のアプリケーションへの関心を高めました。[11]

用語に関する問題

この用語は、いくつかの理由から不正確です。

  1. 構造は正式には定義されていませんが、暗示することは可能です。
  2. 何らかの構造を持つデータであっても、その構造が現在の処理タスクに役立たない場合は、非構造化データとして分類されることがあります。
  3. 非構造化情報は、ある程度の構造（半構造化）を持っている場合もあれば、予期しない、または予告されない方法で高度に構造化されている場合もあります。

非構造化データの処理

データマイニング、自然言語処理（NLP）、テキスト分析といった技術は、こうした情報からパターンを見つけ出したり、解釈したりするための様々な方法を提供します。テキストを構造化する一般的な手法では、メタデータによる手動タグ付けや品詞タグ付けが行われ、その後、テキストマイニングに基づく構造化が行われます。非構造化情報管理アーキテクチャ（UIMA）標準は、こうした情報を処理して意味を抽出し、情報に関する構造化データを作成するための共通フレームワークを提供しました。

機械処理可能な構造を作成するソフトウェアは、あらゆる形態の人間コミュニケーションに存在する言語的、聴覚的、視覚的な構造を利用できます。[12]アルゴリズムは、例えば単語の形態論、文の構文、その他の小規模および大規模パターンを調べることで、テキストからこの固有の構造を推測できます。非構造化情報は、曖昧さに対処するために情報強化およびタグ付けされ、関連性に基づく手法を用いて検索と発見を容易にすることができます。「非構造化データ」の例としては、書籍、ジャーナル、文書、メタデータ、健康記録、音声、ビデオ、アナログデータ、画像、ファイル、そして電子メールの本文、ウェブページ、ワードプロセッサ文書などの非構造化テキストなどが挙げられます。伝達される主要なコンテンツは定義された構造を持っていませんが、通常はオブジェクト（ファイルや文書など）にパッケージ化されており、それ自体が構造化データと非構造化データが混在していますが、これらを総称して「非構造化データ」と呼びます。[13]例えば、HTMLウェブページはタグ付けされていますが、HTMLマークアップは通常、レンダリングのみを目的としています。タグ付き要素の意味や機能を、ページの情報コンテンツの自動処理をサポートするような方法では捉えることができません。XHTMLタグは要素の機械処理を可能にしますが、通常、タグ付き用語の意味を捉えたり伝達したりすることはできません。

電子文書には非構造化データが一般的に存在するため、文書内からのデータ転送や操作よりも、文書全体を分類できるコンテンツ管理システムや文書管理システムの利用が好まれることが多い。このように、文書管理は文書コレクションに構造を伝える手段を提供する。

検索エンジンは、そのようなデータ、特にテキストをインデックスして検索するための一般的なツールになりました。

自然言語処理におけるアプローチ

テキスト文書に含まれる非構造化データに構造を付与するための、特定の計算ワークフローが開発されている。これらのワークフローは、一般的に数千、あるいは数百万もの文書群、あるいは手作業による注釈付け手法では対応できないほどの膨大な文書群を処理できるように設計されている。これらの手法のいくつかは、オンライン分析処理（OLAP）の概念に基づいており、テキストキューブなどのデータモデルによってサポートされている場合がある。[14]データモデルを通じて文書メタデータが利用可能になると、フレーズベースの手法を用いて文書のサブセット（つまり、テキストキューブ内のセル）の要約を生成することができる。[15]

医学と生物医学研究におけるアプローチ

生物医学研究は、研究者が学術誌に研究成果を発表することが多く、非構造化データの主要な情報源の一つとなっています。これらの文書に含まれる言語から構造要素を導き出すことは困難ですが（例えば、複雑な専門用語が使用されていることや、観察結果を完全に文脈化するために必要な専門分野の知識など）、これらの活動の結果から、技術研究と医学研究の関連性[16]や、新しい疾患治療法に関する手がかりが得られる可能性があります[17] 。生物医学文書に構造を強制するための最近の取り組みとしては、文書間のトピックを識別するための自己組織化マップアプローチ[18] 、汎用的な教師なしアルゴリズム[19]、そして文献中のタンパク質名と心血管疾患のトピックとの関連性を特定するためのCaseOLAPワークフロー[15]の適用などが挙げられます[20]。CaseOLAPは、フレーズとカテゴリの関係を正確（関係を識別）、一貫性（高い再現性）、そして効率的な方法で定義します。このプラットフォームは、アクセス性を向上させ、生物医学コミュニティに、広範な生物医学研究アプリケーションのためのフレーズマイニングツールを提供します[20] 。

データプライバシー規制における「非構造化」の使用

スウェーデン（EU）では、2018年以前、対象データが「非構造化」と確認された場合、一部のデータプライバシー規制は適用されませんでした。[21]この「非構造化データ」という用語は、2018年のGDPR施行以降、EUではほとんど使用されていません。GDPRは「非構造化データ」について言及も定義もしていません。ただし、「構造化」という言葉は、以下のように定義なしで使用されています。

  • GDPR 序文 15 の一部、「自然人の保護は、個人データの処理に適用される必要があります...ファイリング システムに含まれる場合...」
  • GDPR 第 4 条、「『ファイリング システム』とは、特定の基準に従ってアクセス可能な構造化された個人データ セットを意味します...」

GDPRにおける「ファイリングシステム」の定義に関する判例：「説教活動に従事する各メンバーが収集した個人データセットが実際にどのような基準と形式で構成されているかは、そのデータセットによって連絡を受けた特定の人物に関するデータを容易に取得できる限り、重要ではありません。ただし、これは、原審における事件の全状況を鑑みて、提訴裁判所が判断するものです。」（CJEU、Todistajat v. Tietosuojavaltuutettu、Jehovan、第61段落）。

個人データが容易に取得できる場合、それはファイリングシステムであり、「構造化」されているか「非構造化」されているかに関わらず、GDPRの対象となります。今日のほとんどの電子システムは、アクセスと適用されたソフトウェアさえあれば、データの容易な取得が可能です。

参照

注記

  1. ^ 今日の政府における課題：非構造化情報の扱い方と、なぜ何もしないことが選択肢ではないのか、ノエル・ユハンナ、フォレスター・リサーチ主席アナリスト、2010年11月

参考文献

  1. ^ Shilakes, Christopher C.; Tylman, Julie (1998年11月16日). 「エンタープライズ情報ポータル」(PDF) .メリルリンチ. 2011年7月24日時点のオリジナル(PDF)からのアーカイブ。
  2. ^ Grimes, Seth (2008年8月1日). 「非構造化データと80%ルール」. Breakthrough Analysis - Bridgepoints . Clarabridge. 2014年9月12日時点のオリジナルよりアーカイブ。 2014年9月16日閲覧。
  3. ^ Gandomi, Amir; Haider, Murtaza (2015年4月). 「誇大広告を超えて：ビッグデータの概念、手法、分析」. International Journal of Information Management . 35 (2): 137– 144. doi : 10.1016/j.ijinfomgt.2014.10.007 . ISSN  0268-4012.
  4. ^ 「あなたが知らないかもしれない最大のデータ課題 - Watson」Watson . 2016年5月25日. 2018年10月2日閲覧。
  5. ^ 「構造化データと非構造化データ」www.datamation.com . 2018年10月2日閲覧。
  6. ^ 「EMCニュースプレスリリース：デジタルユニバースの最新調査でビッグデータギャップが明らかに：世界のデータのうち分析されているのは1%未満、保護されているのは20%未満」www.emc.com。EMCコーポレーション。2012年12月。
  7. ^ 「Trends | Seagate US」. Seagate.com . 2018年10月1日閲覧。
  8. ^ ab Grimes, Seth. 「テキスト分析の簡潔な歴史」B Eye Network . 2016年6月24日閲覧。
  9. ^ Albright, Russ. 「Taming Text with the SVD」（PDF） . SAS . 2016年9月30日時点のオリジナル（PDF）からアーカイブ。 2016年6月24日閲覧。
  10. ^ Desai, Manish (2009年8月9日). 「テキスト分析の応用」. My Business Analytics @ Blogspot . 2016年6月24日閲覧。
  11. ^ Chakraborty, Goutam. 「非構造化データの分析：テキスト分析と感情マイニングの応用」（PDF） . SAS . 2016年6月24日閲覧。
  12. ^ 「構造、モデル、そして意味：「非構造化」データは単にモデル化されていないだけか？」InformationWeek、2005年3月1日。
  13. ^ マローン、ロバート（2007年4月5日）「非構造化データの構造化」フォーブス誌。
  14. ^ Lin, Cindy Xide; Ding, Bolin; Han, Jiawei; Zhu, Feida; Zhao, Bo (2008年12月). 「テキストキューブ：多次元テキストデータベース分析のためのIR尺度の計算」. 2008年第8回IEEE国際データマイニング会議. IEEE. pp.  905– 910. CiteSeerX 10.1.1.215.3177 . doi :10.1109/icdm.2008.135. ISBN  978-0-7695-3502-9. S2CID  1522480。
  15. ^ ab タオ、ファンボ;荘、ホンレイ。ユ・チー・ワン;ワン・チー。キャシディ、テイラー。カプラン、ランス。ヴォス、クレア。ハン・ジアウェイ (2016)。 「テキスト キューブでの多次元のフレーズベースの要約」(PDF)。
  16. ^ コリアー, ナイジェル; ナザレンコ, アデリーヌ; ボー, ロバート; ルシュ, パトリック (2006年6月). 「バイオメディカルアプリケーションにおける自然言語処理の最近の進歩」. International Journal of Medical Informatics . 75 (6): 413– 417. doi :10.1016/j.ijmedinf.2005.06.008. ISSN  1386-5056. PMID  16139564. S2CID  31449783.
  17. ^ Gonzalez, Graciela H.; Tahsin, Tasnia; Goodale, Britton C.; Greene, Anna C.; Greene, Casey S. (2016年1月). 「バイオメディカル発見のためのテキストマイニングとデータマイニングの最近の進歩と新たな応用」. Briefings in Bioinformatics . 17 (1): 33– 42. doi :10.1093/bib/bbv087. ISSN  1477-4054. PMC 4719073. PMID  26420781 . 
  18. ^ Skupin, André; Biberstine, Joseph R.; Börner, Katy (2013). 「医学のトピック構造の可視化：自己組織化マップアプローチ」. PLOS ONE . 8 (3) e58779. Bibcode :2013PLoSO...858779S. doi : 10.1371/journal.pone.0058779 . ISSN  1932-6203. PMC 3595294. PMID 23554924  . 
  19. ^ Kiela, Douwe; Guo, Yufan; Stenius, Ulla; Korhonen, Anna (2015-04-01). 「生物医学文書における情報構造の教師なし発見」. Bioinformatics . 31 (7): 1084– 1092. doi : 10.1093/bioinformatics/btu758 . ISSN  1367-4811. PMID  25411329.
  20. ^ ab Liem, David A.; Murali, Sanjana; Sigdel, Dibakar; Shi, Yu; Wang, Xuan; Shen, Jiaming; Choi, Howard; Caufield, John H.; Wang, Wei; Ping, Peipei; Han, Jiawei (2018年10月1日). 「テキストデータのフレーズマイニングによる心血管疾患における細胞外マトリックスタンパク質パターンの解析」. American Journal of Physiology. Heart and Circulatory Physiology . 315 (4): H910 – H924 . doi :10.1152/ajpheart.00175.2018. ISSN  1522-1539. PMC 6230912. PMID 29775406  .  
  21. ^ 「スウェーデンのデータプライバシー規制により、「非構造化」と「構造化」の区別が廃止される」。
  • 非構造化データと構造化データのマッチング
  • 構造化データの簡単な説明
  • 非構造化データの定義、例、メリットと課題