アルゴリズムによる過激化とは、 YouTubeやFacebookなどの人気ソーシャルメディアサイトにおける推奨アルゴリズムが、ユーザーを時間の経過とともに徐々に過激なコンテンツへと誘導し、過激な政治的見解を育むという概念である。アルゴリズムは、いいね/嫌い、投稿に費やした時間など、ユーザーのインタラクションを記録し、ユーザーのエンゲージメントを維持することを目的とした無限のメディアを生成する。エコーチェンバーチャネルを通じて、消費者はメディアの嗜好や自己肯定感を通じて、より分極化するように駆り立てられる。 [ 1 ] [ 2 ] [ 3 ] [ 4 ]
アルゴリズムによる過激化は、ソーシャルメディア企業にとってエコーチェンバーチャンネルを削除することが必ずしも最善の利益にならないため、依然として議論の余地のある現象です。[ 5 ] [ 6 ]推奨アルゴリズムが実際に過激化にどの程度関与しているかについては議論が続いており、アルゴリズムが過激なコンテンツを促進したかどうかについては、研究で矛盾する結果が示されています。
ソーシャルメディアプラットフォームは、ユーザーの興味や好みを学習し、フィード内の体験を調整して、ユーザーの関心を維持し、スクロールし続けてもらうよう努めています。これはフィルターバブルとして知られています。[ 7 ]エコーチェンバーは、ユーザーが自分の考えを増幅または強化する信念に遭遇し、閉鎖的なシステム内で同じ考えを持つユーザーのグループを形成するときに形成されます。[ 1 ]エコーチェンバーは、反対の信念なしに情報を拡散し、確証バイアスにつながる可能性があります。集団分極化理論によると、エコーチェンバーはユーザーやグループをより過激な立場に導く可能性があります。[ 8 ]国立医学図書館によると、「オンラインユーザーは、自分の世界観に合致する情報を好み、反対意見は無視し、共通のナラティブを中心に分極化したグループを形成する傾向があります。さらに、分極化が進むと、誤情報が急速に蔓延します。」[ 8 ]
Facebookのアルゴリズムは、ユーザーが交流したくなるようなコンテンツを推奨することに重点を置いています。友人による人気投稿、バイラルコンテンツ、そして時には賛否両論を呼ぶコンテンツを優先してコンテンツをランク付けします。各フィードはユーザーの特定の興味に合わせてパーソナライズされているため、ユーザーを問題のあるコンテンツのエコーチェンバーに誘導することがあります。[ 9 ]ユーザーは、「広告設定」ページで、アルゴリズムが使用する興味リストを確認できます。ピュー研究所の調査によると、Facebookユーザーの74%は、調査でそのページに誘導されるまで、このリストの存在を知りませんでした。[ 10 ]また、Facebookがユーザーに政治的なラベルを付けることも比較的一般的です。近年、Facebookは人工知能を活用して、ユーザーがフィードで見るコンテンツや推奨コンテンツを変更し始めています。 「 Facebookファイル」と呼ばれる文書によると、FacebookのAIシステムはユーザーエンゲージメントを何よりも優先していることが明らかになりました。また、「Facebookファイル」は、AIシステムの制御が困難であることも示しています。[ 11 ]
2021年に流出した2019年8月の内部メモで、Facebookは「当社のプラットフォームの仕組みは中立的ではない」と認め、[ 12 ] [ 13 ]、最大の利益を上げるためにはエンゲージメントの最適化が必要だと結論付けています。エンゲージメントを高めるために、アルゴリズムはヘイト、誤情報、政治がアプリのアクティビティに大きく影響することを発見しました。[ 14 ]メモには、「コンテンツが扇動的であればあるほど、ユーザーのエンゲージメントを高め、アルゴリズムによってブーストされる」と記されています。[ 12 ] 2018年の調査によると、「虚偽の噂は真実の情報よりも速く、広く拡散する…」という結果が出ています。この調査では、虚偽は真実よりもTwitterでリツイートされる可能性が70%高く、最初の1,500人に届くまでの時間が6倍速いことがわかりました。この効果は、他のカテゴリーよりも政治ニュースで顕著です。[ 15 ]
YouTubeは2005年からサービスを提供しており、月間ユーザー数は25億人を超えています。YouTubeのコンテンツ検索システムは、ユーザーの個人的なアクティビティ(視聴、お気に入り、高評価)に基づいておすすめコンテンツを誘導します。YouTubeのアルゴリズムは、ユーザーのおすすめ動画の約70%と、ユーザーが特定のコンテンツを視聴する動機を決定づけています。[ 16 ] Mozilla Foundationの2022年の調査によると、ユーザーは、ヘイトスピーチやライブ配信などの不要な動画をおすすめコンテンツから除外する力がほとんどありません。[ 17 ] [ 16 ]
YouTubeは過激派コンテンツの拡散に影響力のあるプラットフォームとして特定されている。アルカイダなどの過激派グループは、YouTubeを勧誘動画の配信や国際メディアとの交流に利用していたとされている。American Behavioral Scientist Journalに掲載された研究では、「YouTubeアルゴリズムの意思決定プロセスの一部を説明するのに役立つ可能性のある一連の属性を特定できるかどうか」が調査された。[ 18 ]研究結果によると、YouTubeのアルゴリズムによる過激派コンテンツの推奨は、動画のタイトルに含まれる過激なキーワードに基づいている。2023年2月に起きたゴンザレス対Googleの訴訟では、YouTubeの親会社であるGoogleが、サイトのアルゴリズムがテロリストにISIS動画を推奨するのを助長したという訴訟から保護されるかどうかが争点となっている。第230条は、オンラインプラットフォームをユーザーが投稿したコンテンツに対する民事責任から一般的に保護することが知られている。[ 19 ]
複数の研究では、YouTubeのアルゴリズムが、まだ極右コンテンツに興味を持っていない人々の注意を極右コンテンツに向けさせていることを示す証拠はほとんど、あるいは全く見つかっていない。[ 20 ] [ 21 ] [ 22 ]
TikTokは、ユーザーの「おすすめページ」(FYP)に動画を推奨するプラットフォームであり、ユーザーごとに異なるページが表示されます。アプリのアルゴリズムの性質上、TikTokのFYPは、ユーザーの過去のアプリ内でのインタラクションに基づいて、時間の経過とともにより露骨で過激な動画を表示する傾向があるとされています。[ 23 ] TikTokは設立以来、誤情報やヘイトスピーチについて精査されてきました。これらのメディアは通常、アルゴリズムへのインタラクションを多く生み出すためです。[ 24 ]
ジハード主義組織を含む様々な過激派グループが、プロパガンダの拡散、フォロワーの獲得、暴力扇動にTikTokを利用しています。ユーザーのエンゲージメントに基づいてコンテンツを推奨するTikTokのアルゴリズムは、ユーザーの興味や交流内容に合致する過激派コンテンツにユーザーをさらしてしまう可能性があります。[ 25 ]
2022年現在、TikTokの米国セキュリティ責任者は、ヘイトスピーチ、嫌がらせ、誤情報を削減するために、「4月から6月の間に、コミュニティガイドラインまたは利用規約に違反したとして世界中で81,518,334本の動画が削除された」という声明を発表している。[ 26 ]
研究では、TikTokで出会ったコンテンツを通じて個人が過激化した事例が指摘されています。例えば、2023年初頭、オーストリア当局はLGBTQ+プライドパレードに対する陰謀を阻止しました。この陰謀には、TikTok上のジハード主義コンテンツに触発された10代の若者2人と20歳の若者1人が関与していました。最年少の容疑者である14歳の少年は、イスラム主義インフルエンサーがジハードを称賛する動画を視聴していました。これらの動画がきっかけで、彼は同様のコンテンツにさらに関心を持つようになり、最終的に攻撃計画に関与するに至りました。[ 25 ]
別の事例としては、 2024年にオーストリアのウィーンで、テイラー・スウィフトのコンサートでテロ攻撃を計画していた複数の10代の若者が逮捕された事件が挙げられます。捜査の結果、容疑者の一部はオンラインで過激化しており、TikTokは彼らの信念や行動に影響を与える過激派コンテンツを拡散するために利用されたプラットフォームの一つであったことが明らかになりました。[ 25 ]

米国司法省は、「ローンウルフ」(自称)テロリズムを「政府やテロ組織の支援や奨励を受けずに単独でテロ攻撃を行う者」と定義している。[ 27 ]インターネット上のソーシャルメディアを通じて、「ローンウルフ」テロリズムが増加しており、アルゴリズムによる過激化と関連付けられている。[ 28 ]インターネット上のエコーチェンバーを通じて、通常は過激と見なされる見解が他の過激派に受け入れられ、すぐに取り入れられた。[ 29 ]これらの見解は、フォーラム、グループチャット、ソーシャルメディアによって奨励され、彼らの信念を強化している。[ 30 ]
『ソーシャル・ジレンマ』は、ソーシャルメディアの背後にあるアルゴリズムがどのように依存症を助長し、人々の意見、感情、行動を操作して陰謀論や偽情報を拡散させる能力を持っているかを描いた2020年のドキュメンタリードラマです。この映画では、「エコーチェンバー」や「フェイクニュース」といった流行語を繰り返し用いて、ソーシャルメディアにおける心理操作、ひいては政治的操作につながることを証明しています。映画の中で、アルゴリズムがベンのソーシャルメディアページの長期エンゲージメントの確率を62.3%と判定したため、ベンはソーシャルメディア依存症にさらに深く陥っていきます。その結果、ベンのおすすめフィードにはさらに多くの動画が表示され、最終的にはプロパガンダや陰謀論にどっぷりと浸かり、動画を見るたびに意見が二極化していきます。
通信品位法第230条は、「双方向コンピュータサービスのプロバイダーまたはユーザーは、他の情報コンテンツプロバイダーが提供する情報の発行者または発言者として扱われてはならない」と規定している。[ 31 ]第230条は、ユーザーによる違法行為など、第三者のコンテンツに関する責任や訴訟からメディアを保護する。[ 31 ]しかし、批判的な人々は、このアプローチは企業が有害なコンテンツや誤情報を削除するインセンティブを低下させ、この抜け穴によってソーシャルメディア企業が法的リスクを負うことなく過激なコンテンツを推進することで利益を最大化することを可能にしていると主張している。[ 32 ]この主張自体も第230条の支持者から批判されている。なぜなら、この条項が可決される前に、裁判所はStratton Oakmont, Inc.対Prodigy Services Co.の訴訟において、いかなる形態のモデレーションも、コンテンツプロバイダーが残すことを選択したコンテンツの「発行者」として責任を負わせる判決を下していたからである。[ 33 ]
議員たちは、アルゴリズムコンテンツに対する第230条の保護を弱体化または撤廃する法案を起草した。下院民主党議員のアンナ・エシュー、フランク・パローン・ジュニア、マイク・ドイル、ジャン・シャコウスキーは、2021年10月にHR 5596として「悪質アルゴリズムに対する正義法案」を提出した。この法案は委員会で廃案となったが[ 34 ] 、ユーザーにコンテンツを提示するパーソナライズされた推奨アルゴリズムが、身体的または深刻な精神的傷害につながるコンテンツを故意にまたは無謀に配信した場合、サービスプロバイダーに対する第230条の保護を撤廃する内容だった。[ 35 ]