オンラインコンテンツ分析

オンラインコンテンツ分析またはオンラインテキスト分析とは、体系的なコーディングと解釈を通じてオンラインコンテンツを記述し、推論するために用いられる一連の研究手法を指します。オンラインコンテンツ分析は、インターネットベースのコミュニケーションを分析するための コンテンツ分析の一形態です。

歴史と定義

コミュニケーションの体系的な分析と解釈としての内容分析は、少なくとも17世紀にまで遡ります。しかし、印刷物の大量生産によって印刷された言葉の定量分析の必要性が生まれたのは、20世紀初頭に新聞が普及してからです。[1]

ベレルソン（1952）の定義は、テキスト分析を「コミュニケーションの顕在的内容を客観的、体系的、かつ定量的に記述するための研究手法」と定義する根拠となっている。[2]内容分析とは、テキストの単位（文、準文、段落、文書、ウェブページなど）をその実質的特徴に基づいて分類し、分析者がテキストを解釈し推論するためのデータセットを構築することである。内容分析はしばしば定量的であるが、テキストコーディングには高度な定性的な解釈が必要となるため、研究者はこの手法を本質的に混合分析法として概念化している。[3]社会科学者はこの手法を用いて、マスメディア[1]、メディア効果[4]、アジェンダ設定[5]に関する研究課題を調査してきた。

オンラインコミュニケーションの台頭に伴い、コンテンツ分析手法はインターネット調査にも応用されてきました。新聞の台頭と同様に、オンラインコンテンツの急増は、コンテンツ分析に関心を持つ研究者にとって新たな機会を提供しています。オンライン情報源の利用は新たな研究課題と機会をもたらしますが、マクミラン（2000）が概説したオンラインコンテンツ分析の基本的な研究手順は、オフライン情報源を用いたコンテンツ分析と実質的に区別がつきません。

  1. 理論の進歩につながる可能性のある検証可能な仮説を特定することに重点を置いて、研究の質問を策定します。
  2. サンプルを抽出するサンプリング フレームを定義し、分析するコンテンツのサンプル (多くの場合、「コーパス」と呼ばれる) を構築します。
  3. ステップ 1 で特定された質問に答えるために、コンテンツを分類するために使用できるコーディング スキームを開発して実装します。そのためには、期間、コンテンツが埋め込まれているコンテキスト ユニット、およびコンテンツを分類するコーディング ユニットを指定する必要があります。
  4. コーディング担当者にコーディングスキームを一貫して実装するようトレーニングし、担当者間の信頼性を検証します。これは、分析の再現性を確保するための重要なステップです。
  5. データを分析し、解釈します。ステップ1で立てた仮説を検証し、データセットに含まれるコンテンツに関する結論を導き出します。

インターネット調査におけるコンテンツ分析

オンラインコミュニケーションの台頭以来​​、研究者たちはウェブベースのコンテンツの研究にテキスト分析手法をどのように応用するかについて議論してきました。オンライン情報源の性質上、コンテンツ分析の多くのステップにおいて、オフライン情報源と比較して特別な注意が必要です。

印刷テキストなどのオフラインコンテンツは一度作成されたら静的であるのに対し、オンラインコンテンツは頻繁に変更される可能性があります。オンラインコンテンツの動的な性質と、オンラインコンテンツの量の増加とが相まって、ランダムサンプルを抽出するためのサンプリングフレームの構築が困難になる場合があります。サイトのコンテンツはユーザーによって異なる場合もあり、サンプリングフレームを慎重に指定する必要があります。一部の研究者は、サンプリングフレームの構築に検索エンジンを使用しています。この手法には欠点があります。検索エンジンの結果は体系的ではなくランダムではないため、偏りのないサンプルを取得するには信頼性が低いからです。サンプリングフレームの問題は、特定のTwitterユーザーのツイート[6]や特定の新聞のオンラインアーカイブコンテンツ[7 ]など、対象となる母集団全体をサンプリングフレームとして使用することで回避できます。オンラインコンテンツの変更は、コンテンツの分類（ステップ3）をより困難にする可能性があります。オンラインコンテンツは頻繁に変更されるため、サンプルが収集された期間を記録することが特に重要です。変更を防ぐために、サンプルコンテンツをアーカイブしておくことが有効な方法です。

オンラインコンテンツもまた非線形です。印刷されたテキストには、文脈単位（例えば新聞記事）を識別するために使用できる明確な境界があります。一方、サンプルとして使用されるオンラインコンテンツの境界を定義するのは容易ではありません。初期のオンラインコンテンツ分析者は、文脈単位として「ウェブサイト」を指定することが多かったものの、その意味を明確に定義していませんでした。[2]研究者は、「ウェブページ」が何から構成されるかを明確かつ一貫して定義するか、文脈単位をウェブサイト上の機能にまで縮小することを推奨しています。[2] [3]研究者は、ウェブコメント[8]やツイート[6]など、より離散的なオンラインコミュニケーション単位も活用しています。

キング（2008）は、数千もの分類済み文書から学習された用語のオントロジーを使用して、いくつかの検索エンジンの主題を分析しました。[9]

自動コンテンツ分析

オンラインコンテンツの普及により、研究に利用可能なデジタルテキストの量は劇的に増加しました。利用可能なテキストの量は、従来の方法論的実践のように手作業でコード化するには大きすぎるテキストデータセットを解釈するための方法論的革新を促しました。[3] [7]方法論の進歩と、計算能力の向上とコストの低下により、研究者はこれまで利用できなかった手法を用いて大規模なテキストコンテンツを分析できるようになりました。

自動コンテンツ分析は、人間のコーダーが計算手法によって補完され、いくつかの方法ではカテゴリを事前に定義する必要がないという点で、マクミランのオンラインコンテンツ分析手順からわずかに逸脱しています。定量的なテキスト分析モデルでは、単語の順序を削除し、非常に一般的な単語と非常に珍しい単語を削除し、複雑な単語をその語根に還元することでテキストの次元を減らすレマタイズまたはステミングによって単語を簡素化する「バッグオブワード」手法がよく使用されます。 [10]これらの方法は、テキストを解釈する方法としては基本的に還元主義的ですが、正しく適用され検証されれば非常に有用になり得ます。

グリマーとスチュワート（2013）は、自動テキスト分析を教師あり法と教師なし法 という2つの主要なカテゴリーに分類しています。教師あり法では、コーディングスキームを作成し、研究者が分析対象となる文書のサブサンプルを手動でコーディングします。理想的には、「トレーニングセット」と呼ばれるサブサンプルは、サンプル全体を代表するものとなります。コーディングされたトレーニングセットは、文書内の単語が各コーディングカテゴリーにどのように対応するかをアルゴリズムに「学習」させるために使用されます。このアルゴリズムは、コーパス内の残りの文書を自動分析するために適用できます。[10]

  • 辞書法：研究者は各カテゴリーごとにキーワード（ n-gram ）のセットを事前に選択します。機械はこれらのキーワードを用いて、各テキスト単位をカテゴリーに分類します。
  • 個別手法：研究者はテキストサンプルに事前にラベルを付け、それらのラベルを用いて機械学習アルゴリズム（SVMアルゴリズムなど）を訓練する。機械は訓練セットから情報を外挿することで、残りの観測値にラベルを付ける。
  • アンサンブル法：研究者は機械学習アルゴリズムを1つだけ使用するのではなく、複数のアルゴリズムを訓練し、得られた複数のラベルを使用して残りの観測結果をラベル付けする（詳細についてはCollingwood and Wiklerson 2011を参照）。[11]
  • 教師ありイデオロギー尺度法（ワードスコア）は、異なるテキスト単位をイデオロギー的連続体上に位置付けるために使用されます。研究者は、それぞれのイデオロギー的極端を表す2組のテキストを選択し、アルゴリズムはそれを用いて各極端点に属する単語を特定します。コーパス内の残りのテキストは、各極端点の参照語をいくつ含んでいるかに基づいて尺度化されます。[12]

分析前にコーディングするカテゴリ群を明確に定義できない場合、 教師なし手法が用いられます。教師あり手法とは異なり、人間のコーディング者によるアルゴリズムの学習は不要です。教師なし手法を適用する際の研究者にとって重要な選択肢の一つは、事前にカテゴリを定義するのではなく、文書を分類するカテゴリの数を選択することです。

  • 単一メンバーシップモデル：これらのモデルは、テキストを互いに排他的な異なるカテゴリに自動的にクラスタリングし、文書は1つのカテゴリにのみ分類されます。グリマーとスチュワート（16）が指摘するように、「各アルゴリズムは3つの要素から構成されます。(1) 文書の類似性または距離の定義、(2) 理想的なクラスタリングを操作的に実現する目的関数、(3) 最適化アルゴリズムです。」[10]
  • 混合メンバーシップモデル：グリマーとスチュワート（17）によれば、混合メンバーシップモデルは「問題固有の追加構造を組み込むことで、単一メンバーシップモデルの出力を改善する」[10]。混合メンバーシップFACモデルは、各文書内の個々の単語をカテゴリに分類し、文書全体が複数のカテゴリに同時に属することを可能にする。トピックモデルは、混合メンバーシップFACの一例であり、政治アクター[6]や新聞記事[7]の焦点の変化を分析するために使用できる。最もよく使用されるトピックモデリング手法の一つはLDAである。
  • 教師なしイデオロギー尺度法（例：ワードフィッシュ）：共通の文法的内容に基づいて、テキスト単位をイデオロギー的連続体に割り当てるアルゴリズム。ワードスコアなどの教師あり尺度法とは異なり、ワードフィッシュ[13]などの手法では、研究者が極端なイデオロギー的テキストのサンプルを提供する必要がない。

最近では、生成型大規模言語モデル（LLM）がオンラインテキストのゼロショットコーディングとして利用されており、タスク固有のトレーニングなしにラベル割り当てを促されます。研究によると、このようなモデルは、構造化抽出や長文ニュース記事におけるニュアンスのある政治批判の検出など、複数のアノテーションタスクにおいて、外部委託された人間のコーディング精度に匹敵、あるいは上回ることができることが報告されています。[14] [15]

検証

教師あり学習法の結果は、コーパスから「検証セット」と呼ばれる明確なサブサンプルを抽出することで検証できます。検証セットに含まれる文書を手作業でコーディングし、自動コーディングの出力と比較することで、アルゴリズムが人間のコーディングをどの程度正確に再現しているかを評価できます。この比較は、従来のテキスト分析において人間のコーディング者の一貫性を検証するために使用されるような、コーディング者間信頼性スコアの形で行うことができます。

教師なし手法の検証はいくつかの方法で実行できます。

  • 意味的妥当性（または内部妥当性）は、識別された各クラスター内の文書が、明確なカテゴリ単位をどの程度適切に表現しているかを表します。トピックモデルでは、これは各クラスター内の文書が同じトピックをどの程度表現しているかを表します。これは、人間のコーディング担当者がトピックの選択や、クラスター内の文書と異なるクラスターの文書との関連性を手動で検証するために使用する検証セットを作成することでテストできます。
  • 予測妥当性（または外的妥当性）とは、各クラスターの頻度の変化が外的イベントによってどの程度説明できるかという程度です。トピックのクラスターが妥当である場合、最も顕著なトピックは、発生する外的イベントの結果として、時間の経過とともに予測可能な方法で反応するはずです。

オンラインテキスト分析における課題

社会科学におけるテキスト分析は継続的に進化しているにもかかわらず、依然として未解決の方法論的懸念事項がいくつか存在します。以下に、そうした懸念事項の一部を列挙します（一部を抜粋したものです）。

  • 研究者はいつカテゴリーを定義すべきでしょうか？事前、往復、それとも場当たり的でしょうか？社会科学者の中には、研究者はデータの収集と研究を始める前に、理論、期待、方法（この場合は、異なるテキスト単位を分類するために使用する特定のカテゴリー）を構築すべきだと主張する人もいます[16]。一方、カテゴリーのセットを定義することは往復のプロセスであると主張する人もいます[17] [18] 。
  • 検証。ほとんどの研究者は、それぞれの手法の検証指標（例えば、コーダ間信頼性、適合率と再現率の推定値、混同行列など）を報告していますが、報告していない研究者もいます。特に、一部のトピックモデリング手法の検証が困難であることについて、多くの研究者が懸念を抱いています。[19]
  • ランダムサンプル。一方で、インターネット上に特定の期間に特定の種類のテキスト（例えばブログ投稿）がどれだけ存在するかを把握することは非常に困難です。したがって、ほとんどの場合、宇宙は未知数であるため、研究者はどのようにしてランダムサンプルを選択できるのでしょうか？ランダムサンプルの取得がほぼ不可能な場合、研究者はサンプルのみで作業すべきでしょうか、それとも観察可能なすべてのテキストを収集しようとすべきでしょうか？また、研究者は検索エンジン（Googleなど）やオンライン企業（Twitterなど）から提供されるサンプルを使用しなければならない場合もありますが、これらのサンプルがどのように生成されたか、ランダムであるかどうかは研究者にはわかりません。研究者はそのようなサンプルを使用すべきでしょうか？

参照

参考文献

  1. ^ ab Krippendorff, Klaus (2012).内容分析：その方法論入門. サウザンドオークス, カリフォルニア州: Sage.
  2. ^ abc McMillan, Sally J. (2000年3月). 「顕微鏡と動く標的：ワールドワイドウェブへのコンテンツ分析適用の課題」. Journalism and Mass Communication Quarterly . 77 (1): 80– 98. doi :10.1177/107769900007700107. S2CID  143760798.
  3. ^ abc van Selm, Martine; Jankowski, Nick (2005). インターネットベース文書のコンテンツ分析. 未発表原稿.
  4. ^ リフ、ダニエル、レイシー、フレデリック・フィコ (1998). 『メディアメッセージの分析：研究における定量的内容分析の活用』 ニュージャージー州マホワ、ロンドン：ローレンス・アールバウム.
  5. ^ バウムガートナー、フランク、ジョーンズ、ブライアン（1993年）『アメリカ政治におけるアジェンダと不安定性』シカゴ大学出版局、ISBN 978-0-226-03953-4。
  6. ^ abc Barberá, Pablo; Bonneau, Richard; Egan, Patrick; Jost, John; Nagler, Jonathan; Tucker, Joshua (2014). 「リーダーかフォロワーか？ソーシャルメディアデータを用いた米国議会における政治的反応の測定」アメリカ政治学会年次総会発表論文.
  7. ^ abc DiMaggio, Paul; Nag, Manish; Blei, David (2013年12月). 「トピックモデリングと文化に対する社会学的視点の類似性活用：米国政府芸術資金に関する新聞報道への応用」. Poetics . 41 (6): 570– 606. doi :10.1016/j.poetic.2013.08.004.
  8. ^ ミシュネ・ギラッド、グランス・ナタリー (2006). 「コメントを残す：ウェブログコメントの分析」ウェブログエコシステムに関する第3回年次会議。
  9. ^ King, John D. (2008). 検索エンジンコンテンツ分析（PhD）. クイーンズランド工科大学.
  10. ^ abcd グリマー, ジャスティン; スチュワート, ブランドン (2013). 「データとしてのテキスト：政治テキストにおける自動コンテンツ分析手法の将来性と落とし穴」.政治分析. 21 (3): 267– 297. doi : 10.1093/pan/mps028 .
  11. ^ Collingwood, Loren、John Wilkerson (2011). 教師あり学習法における精度と効率のトレードオフ、The Journal of Information Technology and Politics、論文4。
  12. ^ Gerber, Elisabeth; Lewis, Jeff (2004). 「中間層を超えて：有権者の選好、地区の異質性、そして政治的代表性」（PDF） . Journal of Political Economy . 112 (6): 1364–83 . CiteSeerX 10.1.1.320.8707 . doi :10.1086/424737. S2CID  16695697. 2015年10月1日時点のオリジナル（PDF）からアーカイブ。 
  13. ^ スラピン、ジョナサン、スヴェン＝オリバー・プロクシュ. 2008. 「テキストから時系列政党の立場を推定するためのスケーリングモデル」アメリカ政治科学誌52(3):705–22.
  14. ^ ベルメホ、ビセンテ J.;ガゴ、アンドレス。ガルベス、ラミロ H.ハラリ、ニコラス (2025)。 「LLM は、複雑なテキスト分析において、外部委託された人間のコーダーよりも優れたパフォーマンスを発揮します。」科学的報告書。１５．自然ポートフォリオ: 40122. doi :10.1038/s41598-025-23798-y. PMC 12623721。 
  15. ^ Gilardi, Fabrizio; Alizadeh, Meysam; Kubli, Maël (2023). 「ChatGPTはテキスト注釈タスクにおいてクラウドワーカーよりも優れた性能を発揮する」. Proceedings of the National Academy of Sciences of the United States of America . 120 (30) e2305016120. National Academy of Sciences. doi :10.1073/pnas.2305016120.
  16. ^ キング、ゲイリー、ロバート・O・ケオヘイン、シドニー・ヴァーバ（1994年）『社会探究のデザイン：質的研究における科学的推論』プリンストン：プリンス大学出版局。
  17. ^ Herring, Susan C. (2009). 「Webコンテンツ分析：パラダイムの拡張」. Hunsinger, Jeremy (編). 『International Handbook of Internet Research』. Springer Netherlands. pp.  233– 249. CiteSeerX 10.1.1.476.6090 . doi :10.1007/978-1-4020-9789-8_14. ISBN  978-1-4020-9788-1。
  18. ^ Saldana Johnny. (2009). 『質的研究のためのコーディングマニュアル』ロンドン: SAGE Publication Ltd.
  19. ^ Chuang, Jason, John D. Wilkerson, Rebecca Weiss, Dustin Tingley, Brandon M. Stewart, Margaret E. Roberts, Forough Poursabzi-Sangdeh, Justin Grimmer, Leah Findlater , Jordan Boyd-Graber, Jeffrey Heer. (2014). コンピュータ支援コンテンツ分析：複数の主観的解釈を探るためのトピックモデル．神経情報処理システム会議（NIPS）で発表された論文．人間主導型機械学習ワークショップ．カナダ，モントリオール．
「https://en.wikipedia.org/w/index.php?title=Online_content_analysis&oldid=1332487424」より取得