アルゴリズムの偏り
社会的影響を伴う技術現象

推奨エンジンによる意思決定を示すフローチャート、 2001年頃[ 1]

アルゴリズムバイアスとは、コンピュータ化された 社会技術システムにおいて、アルゴリズムの本来の機能とは異なる方法で、あるカテゴリーを他のカテゴリーよりも「優遇」するなど、「不公平な」結果を生み出す、体系的かつ反復的な有害な傾向を指します。[2]

バイアスは、アルゴリズムの設計、データのコード化、収集、選択、アルゴリズムのトレーニング方法に関連する意図しないまたは予期しない使用または決定など、多くの要因から発生する可能性があります。[3] たとえば、アルゴリズムのバイアスは、検索エンジンの結果やソーシャルメディアプラットフォームで確認されています。このバイアスは、意図しないプライバシー侵害から、人種、性別、セクシュアリティ、民族に関する社会的バイアスの強化まで、さまざまな影響を及ぼす可能性があります。アルゴリズムのバイアスの研究は、「組織的かつ不当な」差別を反映するアルゴリズムに最も関心があります。[4]このバイアスは、欧州連合の一般データ保護規則（2018年提案）や人工知能法（2021年提案、2024年承認）などの法的枠組みで最近になって対処されました。

アルゴリズムが社会、政治、制度、行動を組織化する能力を拡大するにつれ、社会学者は予期せぬデータ出力や操作が物理世界にどのような影響を与えるかについて懸念するようになった。アルゴリズムは中立的で偏りがないと考えられることが多いため、人間の専門知識よりも大きな権威を不正確に投影する可能性がある（自動化バイアスという心理現象が一因）。また、アルゴリズムへの依存により、ラストマイルの思考なしに、結果に対する人間の責任が置き換えられる場合もある。アルゴリズムシステムにバイアスが入り込む可能性があるのは、既存の文化的、社会的、または制度的な期待、特徴やラベルの選択方法、設計上の技術的制限、予期せぬ状況での使用、またはソフトウェアの初期設計で考慮されていなかったユーザーによって使用されることなどによる。[5]

アルゴリズムによるバイアスは、選挙結果からオンラインヘイトスピーチの蔓延に至るまで、様々な事例で指摘されてきました。また、刑事司法、[6]、医療、雇用においても発生しており、既存の人種的、社会経済的、ジェンダー的バイアスを悪化させています。顔認識技術が肌の色の濃い顔を正確に識別することが比較的難しいことが、黒人男性の不当逮捕の多発と関連付けられており、これはデータセットの不均衡に起因する問題です。アルゴリズムは独自のものであり、通常は企業秘密として扱われるため、アルゴリズムによるバイアスの理解、調査、発見には依然として問題が残っています。完全な透明性が確保されている場合でも、特定のアルゴリズムの複雑さは、その機能の理解を阻む要因となります。さらに、アルゴリズムは予測できない、あるいは容易に再現して分析できない方法で変化したり、入力や出力に反応したりすることがあります。多くの場合、単一のウェブサイトやアプリケーション内であっても、検証すべき単一の「アルゴリズム」は存在せず、同じサービスのユーザー間であっても、多くの相互に関連するプログラムとデータ入力のネットワークが存在します。

2021年の調査では、歴史的バイアス、表現バイアス、測定バイアスなど、複数の形態のアルゴリズムバイアスが特定されており、それぞれが不公平な結果に寄与する可能性があります。[7]

定義

1969年の図は、単純なコンピュータプログラムがどのように意思決定を行うかを示したもので、非常に単純なアルゴリズムを示しています。

アルゴリズムは定義が難しいが[8] 、一般的にはプログラムがデータを読み取り、収集し、処理し、分析して使用可能な出力を生成する方法を決定する命令のリストとして理解される。[9] : 13 厳密な技術的入門については、「アルゴリズム」を参照。コンピュータのハードウェアとソフトウェアの進歩により、データの処理、保存、転送能力が向上しました。これにより、機械学習や人工知能などの技術の設計と採用が技術的にも商業的にも実現可能になりました。[10] : 14–15 データを分析および処理することにより、アルゴリズムは検索エンジン、 [11]ソーシャルメディアウェブサイト、[12]レコメンデーションエンジン、[13]オンライン小売、[14]オンライン広告、[15]などのバックボーンとなっています。 [16]

現代の社会科学者は、ハードウェアやソフトウェアのアプリケーションに組み込まれたアルゴリズムのプロセスを、その政治的、社会的影響のために懸念しており、アルゴリズムの中立性の根本的な前提に疑問を抱いている。[17] : 2  [18] : 563  [19] : 294  [20]アルゴリズムのバイアスという用語は、任意の 1 つのユーザー グループを他のユーザー グループよりも優遇するなど、不公平な結果を生み出す体系的かつ反復的なエラーを表します。たとえば、クレジット スコアのアルゴリズムは、関連する財務基準を一貫して考慮している場合、不公平になることなくローンを拒否する可能性があります。アルゴリズムがあるユーザー グループにローンを推奨する一方で、無関係な基準に基づいてほぼ同一の別のユーザー グループへのローンを拒否し、この動作が複数回繰り返される場合、アルゴリズムはバイアスがかかっていると言えます。[21] : 332 このバイアスは意図的なものと意図的でないものがあります (たとえば、アルゴリズムがこれから実行する仕事を以前に行っていた労働者から取得したバイアスのかかったデータから生じる可能性があります)。

方法

アルゴリズムにバイアスが導入される方法はいくつかあります。データセットの組み立て過程において、データは人間が設計したカタログ基準に従って収集、デジタル化、適応され、データベースに入力されることがあります。[22] : 3 次に、プログラマーはプログラムがデータを評価し、分類する方法の優先順位、つまり階層を割り当てます。これには、データをどのように分類し、どのデータを含めるか、どのデータを破棄するかについて、人間による判断が必要です。[22] : 4 一部のアルゴリズムは人間が選択した基準に基づいて独自のデータを収集しますが、これも人間の設計者のバイアスを反映する可能性があります。[22] : 8 他のアルゴリズムは、例えば類似のユーザーまたはユーザーグループの過去の選択に基づいて情報を選択するなど、人間のユーザーにとって「関連性の高い」データを処理および表示する際に、ステレオタイプや好みを強化する場合があります。[22] : 6 

データの収集と処理以外にも、設計の結果としてバイアスが生じることがある。[23]たとえば、リソースの割り当てや精査を決定するアルゴリズム (学校の配置の決定など) は、類似のユーザーに基づいてリスクを決定する際 (クレジット スコアなど) に、意図せずカテゴリを差別してしまう可能性がある。[24] : 36 一方、ユーザーを類似のユーザーと関連付けたり、推測されたマーケティング特性を利用したりして機能する推奨エンジンは、広範な民族、性別、社会経済的、または人種的ステレオタイプを反映した不正確な関連付けに依存する可能性がある。別の例としては、結果に何を含めて何を除外するかの基準を決定する場合が挙げられる。これらの基準は、スポンサー航空会社の飛行経路に従わないフライトを省略するフライト推奨ソフトウェアなど、検索結果に予期しない結果をもたらす可能性がある。[23]アルゴリズムは不確実性バイアスを示すこともあり、大規模なデータ セットが利用できる場合はより信頼性の高い評価を提供する。これにより、アルゴリズムのプロセスがより大きなサンプルに一致する結果に偏り、代表性の低い集団のデータが無視される可能性があります。[25] : 4 

歴史

初期の批判

このカードは、古いメインフレームコンピュータにソフトウェアをロードするために使用されました。各バイト（例えば文字「A」）は、穴をあけることで入力されます。現代のコンピュータはより複雑ですが、データの収集と処理において、この人間の意思決定プロセスが反映されています。[26] : 70  [27] : 16 

初期のコンピュータプログラムは人間の推論や推論を模倣するように設計され、人間の論理を首尾一貫して再現できた時点で機能しているとみなされました。人工知能の先駆者であるジョセフ・ワイゼンバウムは、1976年に出版した著書『コンピュータの力と人間の推論』の中で、バイアスはプログラムで使用されるデータだけでなく、プログラムのコーディング方法からも生じる可能性があると示唆しました。[26] : 149 

ワイゼンバウムは、プログラムとは、コンピュータが従うために人間が作成した一連の規則であると述べている。これらの規則に一貫して従うことで、プログラムは「法則を体現する」[26] : 40 、つまり、問題を解決するための特定の方法を強制する。コンピュータが従う規則は、コンピュータプログラマーがこれらの問題をどのように解決するかについての仮定に基づいている。つまり、コードは、プログラマーのバイアスや期待を含め、世界の仕組みに関する想像力を組み込むことができるのだ[26] : 109  。コンピュータプログラムはこのようにバイアスを組み込むことができるが、ワイゼンバウムは、機械に入力されるデータは、データが選択される際に「人間の意思決定プロセス」をさらに反映するものでもあると指摘している[26] : 70, 105 

最後に、ユーザーが結果の解釈方法を明確に理解していない場合、機械は有益な情報を提供しても意図しない結果をもたらす可能性があると指摘した。 [26] : 65 ワイゼンバウムは、ユーザーが理解できないコンピュータプログラムの決定を信頼することに対して警告を発し、そのような信頼を、コイントスで左か右に曲がるだけでホテルの部屋にたどり着ける観光客に例えた。重要なのは、観光客は目的地にどのように、あるいはなぜ到着したかを理解するための根拠を持たず、目的地に無事到着したからといって、そのプロセスが正確で信頼できるとは限らないということである。[26] : 226 

アルゴリズムによる偏見の初期の例としては、1982年から1986年にかけて、毎年60人もの女性と少数民族がセントジョージ病院医学部への入学を拒否されたという事例がある。これは、過去の入学傾向に基づいて「外国風の名前」を持つ女性と男性の入学を拒否する新しいコンピュータガイダンス評価システムの導入に基づいていた。 [28]当時、多くの学校が選抜プロセスで同様の偏見を採用していたが、セントジョージ大学はアルゴリズムの使用を通じてその偏見を自動化し、より広範囲の人々の注目を集めたことで最も有名であった。

近年、アルゴリズムが現実世界のデータに適用される機械学習手法への依存度を高めるにつれ、データ自体に内在するバイアスにより、アルゴリズムバイアスがより蔓延するようになりました。例えば、顔認識システムは、白人よりも社会的弱者のグループに属する個人を誤認する割合が著しく高いことが示されており、トレーニングデータセットのバイアスが実際のシステムにどのように現れるかを浮き彫りにしています。[29]ジョイ・ブオラムウィニとティムニット・ゲブルによる2018年の研究では、商用顔認識技術は、肌の色が濃い女性を識別する際に最大35%のエラー率を示すのに対し、肌の色が薄い男性を識別する際には1%未満であることが分かりました。[30]

アルゴリズムによるバイアスは技術的な欠陥であるだけでなく、歴史的・社会的データに根付いた体系的な不平等を反映していることが多い。キャシー・オニールが著書『数学破壊兵器』（2016年）で指摘したように、研究者や批評家は、こうしたバイアスが客観性を装いながら既存の社会的不平等を増幅させる可能性を強調している。オニールは、信用スコアリング、予測型警察活動、教育といった分野における不透明で自動化された意思決定プロセスは、中立的あるいは科学的であるように見せかけながら、差別的な慣行を助長する可能性があると主張している。[31]

現代の批評と反応

適切に設計されたアルゴリズムは、人間の判断と同等（あるいはそれ以上）の公平な結果をもたらすことが多いものの、バイアスが発生するケースは依然として存在し、予測や分析は困難です。[32]アルゴリズムのバイアス分析の複雑さは、プログラムとその設計の複雑さとともに増大しています。一人の設計者、あるいは設計者チームによる判断は、単一のプログラムのために作成された多数のコードの中に埋もれてしまう可能性があります。そして、時間の経過とともに、これらの判断とそれらがプログラムの出力に及ぼす総合的な影響は忘れ去られてしまう可能性があります。[33] : 115 理論的には、これらのバイアスは、コードが社会の他の要素と相互作用するにつれて、特定の技術との関係において、新たな行動パターン、つまり「スクリプト」を生み出す可能性があります。[34]バイアスは、アルゴリズムが必要とするデータポイントを中心に社会がどのように形成されるかにも影響を与える可能性があります。例えば、データが特定の地域で逮捕件数が多いことを示している場合、アルゴリズムはその地域に警察のパトロールをより多く割り当て、それがより多くの逮捕につながる可能性があります。[35] : 180 

アルゴリズム・プログラムの決定は、それが支援するはずの人間の決定よりも権威があると見なされることがある[36] : 15。 作家クレイ・シャーキーは、このプロセスを「アルゴリズム的権威」と表現している。[37]シャーキーはこの用語を、「検索結果のような、多様で信頼できない情報源から価値を引き出す、管理されていないプロセスを権威あるものと見なす決定」を指すために用いている。[37]この中立性は、専門家やメディアが検索結果を一般公開する際に用いる言葉によっても誤って伝えられる可能性がある。例えば、「トレンド」や「人気」として選出・提示されるニュース項目のリストは、単に人気度が高いという基準だけでなく、はるかに広範な基準に基づいて作成される可能性がある。[22] : 14 

アルゴリズムは、その利便性と権威ゆえに、人間から責任を委譲する手段として理論化されている。[36] : 16  [38] : 6 これは、代替案、妥協、あるいは柔軟性を低下させる効果をもたらす可能性がある。[36] : 16 社会学者スコット・ラッシュは、アルゴリズムを「生成力」の新たな形態、すなわち、実際の目的を生み出す仮想的な手段であると批判している。かつては人間の行動が収集・研究対象となるデータを生み出していたが、強力なアルゴリズムはますます人間の行動を形作り、定義する能力を持つようになっている。[39] : 71 

アルゴリズムによる決定への盲目的な追従は懸念事項ですが、人間の意思決定者がアルゴリズムの助言に「選択的追従」を示す場合、逆の問題が生じます。このような場合、個人は既存の信念と一致する推奨を受け入れ、一致しない推奨を無視するため、既存のバイアスが維持され、アルゴリズムによる介入の公平性の目的が損なわれます。したがって、公平なアルゴリズムツールを意思決定プロセスに組み込むだけでは、人間のバイアスが自動的に排除されるわけではありません。[40]

アルゴリズムが社会に与える影響についての懸念から、GoogleやMicrosoftなどの組織では、機械学習における公平性、説明責任、透明性というワーキンググループが共同で設立されました。[41] : 115  Googleのアイデアには、アルゴリズムの結果を監視し、否定的な結果をもたらすと判断した出力を制御または制限するために投票するコミュニティグループが含まれています。[41] : 117 近年、アルゴリズムの公平性、説明責任、透明性（FAT）の研究は、FAccTと呼ばれる年次会議を伴う独自の学際的な研究領域として浮上しています。[42]批評家は、FATイニシアチブの多くは研究対象のシステムを構築している企業から資金提供を受けているため、独立した監視機関として効果的に機能できないと示唆しています。[43]

NISTのAIリスク管理フレームワーク1.0と2024年生成AIプロファイルは、AIシステムにおけるバイアス緩和の管理と測定に関する実用的なガイダンスを提供しています。[44]

種類

既存の

アルゴリズムに内在するバイアスは、根底にある社会的・制度的イデオロギーの結果である。こうした考え方は、個々の設計者やプログラマーの個人的なバイアスに影響を与えたり、バイアスを生み出したりする可能性がある。こうした偏見は、明示的かつ意識的なものもあれば、暗黙的かつ無意識的なものもある。[21] : 334  [19] : 294 入力データが適切に選択されていない、あるいは単にバイアスのかかった情報源からのデータであっても、機械が生成する結果に影響を与える。[27 ] : 17 既存のバイアスをソフトウェアに組み込むと、社会的・制度的バイアスが維持され、修正しなければ、そのアルゴリズムの将来の使用時にも再現される可能性がある。[33] : 116  [38] : 8 

こうしたバイアスの一例としては、1981年の英国国籍法施行後に新たに英国市民となった人の評価を自動化するために設計された英国国籍法プログラムが挙げられる。[21] : 341 このプログラムは、「男性は嫡出子の父親である一方、女性は嫡出子か否かを問わずすべての子供の母親である」という同法の原則を正確に反映していた。[21] : 341  [45] : 375  BNAPは特定のロジックをアルゴリズムプロセスに移植しようとした結果、英国国籍法のロジックをアルゴリズムに組み込んでしまった。その結果、同法が最終的に廃止されたとしても、同法のロジックは永続化されることになる。[21] : 342 

「ラベル選択バイアス」と呼ばれるもう一つのバイアス源[46]は、アルゴリズムの訓練に代理指標が用いられ、特定のグループに対するバイアスが組み込まれる場合に発生します。例えば、広く使用されているアルゴリズムは、医療費を医療ニーズの代理指標として予測し、その予測値に基づいて複雑な医療ニーズを持つ患者を支援するためのリソースを割り当てました。黒人患者は白人患者と同じくらい健康状態が悪いにもかかわらず、医療費が低いため、このバイアスが生じました[47]。「ラベル選択バイアス」への解決策は、実際の目標（アルゴリズムが予測するもの）を理想的な目標（研究者がアルゴリズムに予測させたいもの）に近づけることを目指しています。したがって、前述の例では、研究者は費用を予測するのではなく、より重要な医療ニーズという変数に焦点を当てることになります。目標を調整した結果、プログラムに選ばれる黒人患者の数はほぼ倍増しました[46]。

機械学習のバイアス

機械学習バイアスとは、機械学習アルゴリズムの出力における体系的かつ不公平な差異を指します。これらのバイアスは様々な形で現れる可能性があり、多くの場合、アルゴリズムの学習に使用されたデータに反映されます。主な側面は以下のとおりです。

言語バイアス

言語バイアスとは、クエリの言語に関連する統計的サンプリングバイアスの一種であり、「サンプリング情報に体系的な偏差が生じ、リポジトリで利用可能なトピックや見解の真のカバレッジを正確に表現できなくなる」ことを指します。[48] Luoらの研究[48]によると、現在の大規模言語モデルは主に英語データで学習されているため、しばしば英米的な視点を真実として提示し、非英語的な視点を無関係、誤り、またはノイズとして体系的に軽視しています。「リベラリズムとは何か？」といった政治イデオロギーでクエリを実行すると、英語中心のデータで学習されたChatGPTは、英米的な視点からリベラリズムを説明し、人権と平等の側面を強調しますが、支配的なベトナム人の視点からの「個人および経済生活への国家の介入に反対する」や、一般的な中国の視点からの「政府の権力の制限」といった、同様に妥当な側面は提示しません。[48]同様に、言語モデルは、特定の方言を使用する言語グループ内の人々に対して、バイアスを示す可能性があります。[49]

選択バイアス

選択バイアスとは、大規模言語モデルが、選択肢の実際の内容に関わらず、特定の選択肢識別子を優先する固有の傾向を指します。このバイアスは主にトークンバイアスに起因します。つまり、モデルは回答を生成する際に、特定の回答トークン（例えば「A」）に高い事前確率を割り当てます。その結果、選択肢の順序が変更されると（例えば、正解を体系的に別の位置に移動するなど）、モデルのパフォーマンスは大きく変動する可能性があります。この現象は、多肢選択問題における大規模言語モデルの信頼性を損ないます。[50] [51]

ジェンダーバイアス

ジェンダーバイアスとは、これらのモデルが、ある性別に対して不当な偏見を持つ出力を生成する傾向を指します。このバイアスは通常、これらのモデルが学習に用いるデータに起因します。例えば、大規模な言語モデルは、伝統的なジェンダー規範に基づいて役割や特性を割り当てることが多く、看護師や秘書は主に女性、エンジニアやCEOは男性に関連付けられる場合があります。[52] [53]

ステレオタイプ化

これらのモデルは、性別や人種だけでなく、年齢、国籍、宗教、職業など、幅広いステレオタイプを強化する可能性があります。その結果、人々の集団を均質化したり、不当に一般化したり、風刺したりする結果が生まれ、時には有害または軽蔑的な形で表現される可能性があります。[54] [55]

近年の研究の焦点は、言語の文法的特性と、AIシステムに埋め込まれ、有害なステレオタイプや思い込みを永続させる可能性のある現実世界のバイアスとの複雑な相互作用にあります。文法的に性別が顕著な言語であるアイスランド語で訓練された言語モデルにおけるジェンダーバイアスに関する研究では、職業用語を参照する際に、女性が主流の職業であっても、モデルが男性的な文法的性別に大きく傾く傾向を示していることが明らかになりました。[56]これは、モデルが訓練データに存在する社会的なジェンダーバイアスを増幅させたことを示唆しています。

政治的偏見

政治的バイアスとは、アルゴリズムが特定の政治的見解、イデオロギー、または結果を他のものよりも体系的に優先する傾向を指します。言語モデルも政治的バイアスを示す場合があります。学習データには幅広い政治的意見や報道が含まれているため、モデルはデータにおけるそれらの見解の普及度に応じて、特定の政治的イデオロギーや見解に傾いた応答を生成する可能性があります。[57]

人種差別

人種的バイアスとは、機械学習モデルが人種や民族に基づいて不当に差別したり、個人をステレオタイプ化したりする結果を生成する傾向を指します。このバイアスは、多くの場合、人間の意見、想定、人種的偏見によって形成されたトレーニングデータに起因します。これらのデータは、AIシステムが歴史的および体系的な差別を再現し、増幅させる原因となります。例えば、採用、法執行、医療などで使用されるAIシステムは、既存のステレオタイプを強化したり、重要な分野で特定の人種グループを過小評価したりすることで、特定の人種グループに不均衡な不利益をもたらす可能性があります。このようなバイアスは、顔認識システムが特定の人種的背景を持つ個人を誤認したり、医療アルゴリズムが少数派患者の医療ニーズを過小評価したりするなどの形で現れます。人種的バイアスに対処するには、データの慎重な検証、アルゴリズムプロセスの透明性の向上、そしてAI開発ライフサイクル全体にわたる公平性を確保するための努力が必要です。[58] [59]

テクニカル

監視カメラと併用される顔認識ソフトウェアは、白人の顔よりもアジア人や黒人の顔を認識する際に偏りを示すことが判明した。[35] : 191 

技術的なバイアスは、プログラム、計算能力、設計、あるいはシステムに対するその他の制約の限界によって生じる。[21] : 332 このようなバイアスは設計上の制約でもある。例えば、1画面につき3つの結果を表示する検索エンジンは、航空会社の料金表示のように、上位3つの結果を次の3つよりもわずかに優先させるように解釈できる。[21] : 336 もう1つの例は、結果の公平な分配をランダム性に依存しているソフトウェアである。乱数生成メカニズムが真にランダムでない場合、例えばリストの最後または最初の項目に偏った選択が行われるなど、バイアスが生じる可能性がある。[21] : 332 

文脈から切り離されたアルゴリズムは、関連のない情報を使って結果を並べ替えます。例えば、結果をアルファベット順に並べ替える航空券の価格設定アルゴリズムは、ユナイテッド航空よりもアメリカン航空に有利になるように偏向します。[21] : 332 逆の場合も考えられます。つまり、結果が収集されたコンテキストとは異なるコンテキストで評価されるのです。データは重要な外部コンテキストなしに収集される可能性があります。例えば、顔認識ソフトウェアが監視カメラで使用され、別の国や地域の遠隔地のスタッフによって評価された場合や、カメラの視野の外で何が起こっているかを認識していない非人間的なアルゴリズムによって評価された場合などです。これにより、犯罪現場の理解が不完全になり、例えば、傍観者を犯罪者と間違える可能性があります。[18] : 574 

最後に、技術的な偏りは、人間の行動は同じように機能するという仮定に基づいて、決定を具体的な手順に形式化しようとすることで生み出される可能性がある。たとえば、ソフトウェアは、被告が司法取引を受け入れるべきかどうかを判断するためにデータポイントを比較するが、陪審員に対する感情の影響は無視している。[21] ：332 この種の偏りのもう1つの意図しない結果は、学生が書いたテキストをオンラインで見つかった情報と比較し、学生の作業がコピーされた可能性スコアを返す盗作検出ソフトウェアTurnitinで発見された。このソフトウェアは長いテキストの文字列を比較するため、英語のネイティブスピーカーよりも非ネイティブスピーカーを特定する可能性が高くなります。これは、後者のグループの方が、個々の単語を変更したり、盗用されたテキストの文字列を分割したり、同義語によってコピーされた文章をわかりにくくしたりすることが得意なためです。ソフトウェアの技術的制約により、ネイティブスピーカーは検出を逃れやすいため、Turnitinは英語を話す外国人を盗作と特定する一方で、より多くのネイティブスピーカーが検出を逃れるというシナリオが生まれます。[36] : 21–22 

出現

創発的バイアスは、新しい、あるいは予期せぬ状況下でアルゴリズムを使用し、それに依存することで生じます。[21] : 334 アルゴリズムは、新薬や医学的進歩、新しい法律、ビジネスモデル、変化する文化的規範といった新しい知識形態を考慮して調整されていない可能性があります。[21] : 334, 336 これにより、誰がその排除の責任者であるかを明確に理解することなく、テクノロジーを通じて特定のグループが排除される可能性があります。[35] : 179  [19] : 294 同様に、トレーニングデータ（機械に「入力」され、特定の結論をモデル化するために用いられるサンプル）が、アルゴリズムが現実世界で遭遇する状況と一致しない場合にも、問題が発生する可能性があります。[60]

1990年、米国の医学生をレジデンシーに配置するソフトウェア、全米レジデンシーマッチングプログラム（NRMP）において、新たなバイアスの例が特定された。[21] : 338 このアルゴリズムは、夫婦が一緒にレジデンシーを求めることがほとんどなかった時代に設計された。医学部に入学する女性が増えるにつれて、パートナーと一緒にレジデンシーを希望する学生も増える傾向にあった。このプロセスでは、各志願者が全米各地の配置希望リストを提出し、病院と志願者の双方がマッチングに合意した時点で、リストが整理され、割り当てられる。夫婦が共にレジデンシーを希望する場合、アルゴリズムはまず評価の高い方のパートナーの希望地を重視する。その結果、配置希望の妥協点を探るのではなく、最初のパートナーには希望の高い学校が、2番目のパートナーには希望の低い学校が割り当てられることが多くなった。[21] : 338  [61]

追加の新たなバイアスには次のものがあります:

相関関係

大規模なデータセットを相互比較すると、予測できない相関関係が現れることがあります。例えば、ウェブ閲覧パターンに関する収集されたデータは、センシティブなデータ（人種や性的指向など）を示すシグナルと一致する可能性があります。特定の行動や閲覧パターンに基づいて選択を行うことで、最終的な効果は、人種や性的指向のデータを直接使用して差別を行うこととほぼ同じになります。[25] : 6 場合によっては、アルゴリズムは相関関係を理解することなく、相関関係から結論を導き出します。例えば、あるトリアージプログラムでは、肺炎を患っている喘息患者は、肺炎を患っていない喘息患者よりも優先順位が低かったです。このプログラムのアルゴリズムがこのようにしたのは、単純に生存率を比較したためです。肺炎を患っている喘息患者は最もリスクが高いのです。歴史的に、同じ理由から、病院は通常、そのような喘息患者に最善かつ最も迅速な治療を提供してきました。[62] [明確化が必要]

予期せぬ用途

創発的なバイアスは、アルゴリズムが予期せぬ対象者によって使用される際に発生する可能性があります。例えば、機械はユーザーに数字の読み書きや理解を要求したり、ユーザーが理解できないメタファーを用いてインターフェースと関連付けたりすることがあります。[21] : 334 こうした排除は、偏見や排他性をもたらす技術が社会に深く浸透するにつれて、さらに複雑化する可能性があります。[35] : 179 

排除とは別に、エンドユーザーが自身の知識ではなくソフトウェアに頼ることで、予期せぬ利用が生じることもある。ある例では、英国国籍適格性を評価するためにコンピューター科学者と移民弁護士が概念実証として英国国民法プログラムを作成したとき、予期せぬユーザーグループが英国でアルゴリズムの偏りを招いた。設計者は、ソフトウェアと移民法の両方に対する理解がおそらく未熟だったであろう移民局のエンドユーザー以外の法律の専門知識にアクセスできた。質問を実施する担当者は、市民権への代替経路を除外するソフトウェアに完全に依存しており、新しい判例法と法解釈によってアルゴリズムが時代遅れになった後もそのソフトウェアを使用していた。移民法に精通していると想定されるユーザー向けにアルゴリズムを設計した結果、ソフトウェアのアルゴリズムは、英国移民法のより広範な基準ではなく、アルゴリズムによって設定された非常に狭い法的基準に適合する申請者に有利な偏りを間接的にもたらした。[21] : 342 

フィードバックループ

アルゴリズム用に収集されたデータが現実世界の反応をもたらし、それがアルゴリズムにフィードバックされる場合、創発的バイアスはフィードバックループ、つまり再帰を生み出すこともある。 [63] [64]例えば、カリフォルニア州オークランドで導入された予測型警察ソフトウェア（PredPol）のシミュレーションでは、一般市民が報告した犯罪データに基づき、黒人居住地域での警察の存在が増加することが示された。 [65]シミュレーションでは、警察の行動に関係なく、一般市民はパトカーの目撃情報に基づいて犯罪を報告していることが示された。シミュレーションでは、犯罪予測をモデル化する際にパトカーの目撃情報を解釈し、今度はそれらの地域での警察の存在がさらに増加することになる。[63] [66] [67]シミュレーションを実施した人権データ分析グループは、人種差別が逮捕の要因となっている地域では、このようなフィードバックループによって警察活動における人種差別が強化され、永続化される可能性があると警告した。[64]このようなアルゴリズムがこのような挙動を示すもう一つのよく知られた例として、COMPASが挙げられます。これは、個人が犯罪者になる可能性を判断するソフトウェアです。このソフトウェアは、黒人を他の個人よりもはるかに高い確率で犯罪者として分類し、その個人が犯罪者として登録された場合にそのデータを自身にフィードバックすることで、アルゴリズムが処理するデータセットによって生み出されたバイアスをさらに強化しているとして、しばしば批判されています。[68]

オンライン動画やニュース記事を推奨するために使用されるレコメンデーションシステムは、フィードバックループを生み出す可能性があります。[69]ユーザーがアルゴリズムによって提案されたコンテンツをクリックすると、次の提案セットに影響を与えます。[70]時間が経つにつれて、ユーザーはフィルターバブルに入り込み、重要なコンテンツや有用なコンテンツに気付かなくなる可能性があります。[71] [72]

インパクト

商業的影響

企業のアルゴリズムは、ユーザーには知られることなく、企業間の金銭的な取り決めや契約を目に見えない形で有利にするように歪められる可能性があります。ユーザーはアルゴリズムが公平であると誤解するかもしれません。例えば、アメリカン航空は1980年代にフライト検索アルゴリズムを開発しました。このソフトウェアは、様々な航空会社のフライトを顧客に提示しましたが、価格や利便性に関係なく、自社のフライトを優遇する要因を重視していました。米国議会への証言で、アメリカン航空の社長は、このシステムは優遇措置を通じて競争上の優位性を獲得する目的で開発されたと明言しました。[73] : 2  [21] : 331 

1998年にGoogleについて記述した論文の中で、同社の創設者たちは、有料掲載に関して検索結果の透明性を確保する方針を採用し、「広告収入で運営される検索エンジンは、本質的に広告主に偏り、消費者のニーズから遠ざかる傾向がある」と主張した。[74]この偏りは、ユーザーに対する「目に見えない」操作となるだろう。[73] : 3 

投票行動

米国とインドの未決定有権者を対象とした一連の研究では、検索エンジンの検索結果が投票結果を約20%左右することが明らかになった。研究者たちは、アルゴリズムが意図の有無にかかわらず、対立候補のページ表示を優先させた場合、候補者は「競争する手段がない」と結論付けた。[75]投票関連のメッセージを見たFacebookユーザーは投票する可能性が高まった。2010年に行われたFacebookユーザーを対象とした無作為化試験では、投票を促すメッセージや投票した友人の画像を見たユーザーの投票率が20%（34万票）増加した。[76]法学者のジョナサン・ジットレインは、これが意図的に操作された場合、選挙において「デジタル・ゲリマンダー」効果、つまり「仲介者がユーザーの利益ではなく、自らの目的を達成するために情報を選択的に提示すること」が生じる可能性があると警告している。[77] : 335 

ジェンダー差別

2016年、プロフェッショナル向けネットワーキングサイトLinkedInが、検索クエリに対して女性の名前の男性版を推奨していたことが発覚しました。男性の名前の検索では同様の推奨は行われませんでした。例えば、「Andrea」と検索すると、「Andrew」を検索しようとしているのか尋ねるプロンプトが表示されますが、「Andrew」を検索しても「Andrea」を検索しようとしているのか尋ねるプロンプトは表示されませんでした。同社は、これはユーザーとサイトとのインタラクションを分析した結果であると述べています。[78]

2012年、百貨店フランチャイズのターゲットは、女性顧客が妊娠を公表していなくても、妊娠した時期を推測するためのデータポイントを収集し、その情報をマーケティングパートナーと共有したとして告発されました。[79] : 94  [80]データは直接観察または報告されたものではなく予測されたものであったため、同社にはそれらの顧客のプライバシーを保護する法的義務はありませんでした。[79] : 98 

ウェブ検索アルゴリズムも偏向していると非難されています。Googleの検索結果は、「レズビアン」など、性的指向に関連する検索語句において、ポルノコンテンツを優先する場合があります。この偏向は、検索エンジンが中立的な検索に対して、人気があるものの性的表現を含むコンテンツを表示することにも及んでいます。例えば、「女性アスリート」で検索すると、「最もセクシーな女性アスリート トップ25」の記事が1ページ目の検索結果に表示されます。[81] : 31  2017年、Googleはこれらの検索結果に加え、ヘイトグループ、人種差別的見解、児童虐待、ポルノ、その他の不快で不快なコンテンツを表示する検索結果も調整しました。[82]その他の例としては、求人検索サイトで男性の応募者に高収入の求人が表示されることが挙げられます。[83]研究者たちは、機械翻訳が男性をデフォルトとする傾向が強いことも明らかにしています。[84]特に、STEM関連職種など、男女比の不均衡に関連する分野でこの傾向が顕著です。[85]実際、現在の機械翻訳システムは、現実世界の女性労働者の分布を再現できていません。[86]

2015年、Amazon.comは、求人応募書類を審査するために開発したAIシステムが女性に対して偏見を持っていることに気づき、システムを停止した。[87]この採用ツールは、女子大学出身の応募者や「女子」という単語を含む履歴書を除外した。[88]同様の問題が音楽ストリーミングサービスでも発生した。2019年には、Spotifyが使用するレコメンデーションシステムのアルゴリズムが女性アーティストに対して偏見を持っていることが発覚した。[89] Spotifyの楽曲推奨では、女性アーティストよりも男性アーティストが多く提案されていた。

人種差別と民族差別

アルゴリズムは、意思決定において人種的偏見を覆い隠す方法として批判されてきた。[90] [91] [92] : 158 特定の人種や民族が過去にどのように扱われてきたかにより、データにはしばしば隠れた偏見が含まれる可能性がある。[93]例えば、黒人は同じ犯罪を犯した白人よりも長い刑罰を受ける可能性が高い。[94] [95]これは、システムがデータ内の元々の偏見を増幅させてしまう可能性があることを意味する可能性がある。

2015年、Googleは、数人の黒人ユーザーが、同社のフォトアプリの画像認識アルゴリズムによって自分たちがゴリラと認識されたと苦情を申し立てた際に謝罪した。[96] 2010年には、ニコンのカメラが、画像認識アルゴリズムがアジア人ユーザーに瞬きをしているかを常に尋ねていたとして批判された。[ 97]このような例は、生体認証データセットの偏りの産物である。 [96]生体認証データは、身体の各部から抽出され、観察または推測された人種的特徴も含まれ、その後、データポイントに変換される。[92] : 154 音声認識技術は、ユーザーのアクセントによって精度が異なる場合がある。これは、そのアクセントの話者に対するトレーニングデータが不足していることが原因と考えられる。[98]

人種に関する生体認証データは、観察されるのではなく推測される場合もあります。例えば、2012年の研究では、黒人によく関連付けられる名前は、その人物の警察記録の有無にかかわらず、逮捕歴を示唆する検索結果につながる可能性が高かったことが示されました。[99] 2015年の研究では、人種や職業上の曝露データが予測アルゴリズムの肺機能モデルに組み込まれていないため、黒人とアジア人の肺機能が低いと推定されることも明らかになりました。[100] [101]

2019年の調査研究で、オプタム社が販売した医療アルゴリズムが、病状の重い黒人患者よりも白人患者を優遇していることが明らかになりました。このアルゴリズムは、患者が将来医療制度にどれだけの費用を負担させるかを予測します。しかし、費用は人種によって中立ではありません。黒人患者は、同じ数の慢性疾患を抱える白人患者よりも年間約1,800ドル少ない医療費を負担しているため、アルゴリズムは白人患者を、はるかに多くの疾患を抱える黒人患者と同等の将来の健康問題リスクがあると評価しました。[102]

2019年11月にカリフォルニア大学バークレー校の研究者らが行った調査によると、住宅ローンのアルゴリズムがラテン系およびアフリカ系アメリカ人に対して差別的であることが明らかになりました。このアルゴリズムは、米国の公正貸付法に根ざした「信用力」に基づいてマイノリティを差別しており、貸し手が個人が融資を受ける資格があるかどうかを判断する際に身分証明書の指標を用いることを認めています。これらのアルゴリズムはフィンテック企業に導入されており、マイノリティを差別していることが示されました。[103] [一次資料以外 要出典]

2024年8月に発表された大規模言語モデルに関する別の研究では、言語モデルが、特にアフリカ系アメリカ英語（AAE）話者に対する方言偏見を通して、どのように隠れた人種差別を助長しているかを調査しています。この研究では、これらのモデルは、記録された人間の偏見よりもAAE話者に対する否定的なステレオタイプを示す一方で、明白なステレオタイプはより肯定的であることが強調されています。この矛盾は、意思決定プロセスにおけるこのような偏見の潜在的な有害な結果に対する懸念を引き起こします。[104]

2018年の研究では、市販の性別分類システムでは、肌の色が濃い女性の場合、誤差率が最大34.7%と、肌の色が薄い男性の場合の精度がほぼ完璧であるのに対し、誤差率が濃い女性の場合、誤差率が著しく高いことが判明しました。[105]

アルゴリズムは既に法制度において数多くの応用例がある。その一例がCOMPASである。これは、被告の再犯可能性を評価するために米国の裁判所で広く使用されている商用プログラムである。ProPublicaは、黒人被告の再犯リスクのCOMPASによる平均評価値は白人被告の再犯リスクのCOMPASによる平均評価値よりも大幅に高く、黒人被告が誤って「高リスク」と分類される可能性は白人被告の2倍であると主張している。[106] [107]

一例として、米国における刑事判決および仮釈放審問におけるリスク評価の使用が挙げられます。裁判官には、囚人が再犯するリスクを反映することを目的としたアルゴリズムで生成されたスコアが提示されました。[108] 1920年から1970年までの期間、犯罪者の父親の国籍は、これらのリスク評価スコアにおいて考慮されました。[109]現在、 これらのスコアは、アリゾナ州、コロラド州、デラウェア州、ケンタッキー州、ルイジアナ州、オクラホマ州、バージニア州、ワシントン州、ウィスコンシン州の裁判官と共有されています。ProPublicaによる独自の調査では、スコアは80％の確率で不正確であり、黒人が再犯のリスクがあると示唆するように不釣り合いに歪んでおり、白人よりも77％多く見られました。[108]

「リスク、人種、再犯：予測バイアスと不均衡な影響」を検証したある研究では、2年間の観察期間中、客観的に再犯の記録がないにもかかわらず、黒人被告人が白人被告人よりも高いリスクがあると誤分類される可能性が2倍（45％対23％）高いと主張している。[110]

公判前勾留の文脈では、ある法律評論記事は、アルゴリズムによるリスク評価は、人種に基づく憲法修正第14条の 平等保護権を侵害すると主張している。アルゴリズムは、外見的に差別的であり、不平等な扱いをもたらし、厳密に調整されていないと主張されている。[111]

オンラインでのヘイトスピーチ

Facebookの内部文書によると、 2017年、オンラインヘイトスピーチを削除するために設計されたFacebookのアルゴリズムは、不適切なコンテンツを評価する際に、黒人の子どもよりも白人男性を優遇していたことが判明した。 [112]コンピュータプログラムと人間のコンテンツレビュー担当者を組み合わせたこのアルゴリズムは、特定のカテゴリのサブセットではなく、より広範なカテゴリを保護するように作成された。例えば、「イスラム教徒」を非難する投稿はブロックされるが、「過激派イスラム教徒」を非難する投稿は許可される。このアルゴリズムの予期せぬ結果として、黒人の子どもに対するヘイトスピーチが許可されることになった。これは、黒人の「子ども」というサブセットを非難するものであり、「すべての黒人」を非難するものではないためである。一方、「すべての白人男性」は、白人と男性はサブセットとはみなされないため、ブロックの対象となる。[112] Facebookはまた、広告購入者がユーザーのカテゴリとして「ユダヤ人嫌悪者」をターゲットにすることを許可していたことも判明した。同社は、これはデータの評価と分類に使用されるアルゴリズムの意図しない結果であると述べた。同社の設計により、広告購入者はアフリカ系アメリカ人が住宅広告を見るのをブロックすることもできた。[113]

ヘイトスピーチを追跡してブロックするためにアルゴリズムが使用されているが、黒人ユーザーが投稿した情報は1.5倍、アフリカ系アメリカ英語で書かれた情報はヘイトスピーチとしてフラグが付けられる可能性が2.2倍高いことがわかった。[114] [115]

監視

監視カメラのソフトウェアは、正常な行動と異常な行動を区別し、特定の時間に特定の場所に誰が属しているかを判断するアルゴリズムを必要とするため、本質的に政治的であると考えられる。[18] : 572 人種スペクトル全体にわたって顔を認識するこのようなアルゴリズムの能力は、トレーニングデータベース内の画像の人種的多様性によって制限されることが示されている。写真の大部分が特定の人種または性別に属している場合、ソフトウェアは同じ人種または性別の他の人を認識する方が優れている。[116]しかし、これらの画像認識システムの監査でさえ倫理的に問題があり、一部の学者は、テクノロジーのコンテキストが、行動が過剰に監視されているコミュニティに常に不均衡な影響を及ぼすと示唆している。[117]たとえば、 CCTV画像内の個人を識別するために使用されるソフトウェアの2002年の分析では、犯罪データベースに対して実行したときにバイアスの例がいくつか見つかった。このソフトウェアは、女性よりも男性、若者よりも高齢者、白人よりもアジア人、アフリカ系アメリカ人、その他の人種を高い頻度で識別すると評価されました。[35] : 190  2018年の研究では、顔認識ソフトウェアは肌の色が薄い（典型的にはヨーロッパ系）男性を最も正確に識別した可能性が高い一方、肌の色が薄い女性については精度がわずかに低いことがわかりました。肌の色が濃い男女は、顔認識ソフトウェアによって正確に識別される可能性が著しく低かったです。これらの差異は、このソフトウェアの開発に使用されたデータセットにおいて、肌の色が濃い参加者の代表性が低いことに起因しています。[118] [119]

LGBTQコミュニティに対する差別

2011年、ゲイ向け出会い系アプリ「Grindr」のユーザーから、 Androidストアの推奨アルゴリズムがGrindrを性犯罪者を見つけるためのアプリに関連付けているとの報告があった。批評家は、この関連付けが同性愛と小児性愛を不正確に関連付けていると指摘した。ライターのマイク・アナニーはアトランティック誌でこの関連付けを批判し、このような関連付けがゲイ男性への偏見を強めていると主張した。[120] 2009年、オンライン小売業者のAmazonは、アルゴリズムの変更により「アダルトコンテンツ」のブラックリストが拡張され、批評家から高く評価された小説『ブロークバック・マウンテン』など、セクシュアリティやゲイをテーマにした書籍も含まれるようになったため、57,000冊の書籍をリストから削除した。[121] [22] : 5  [122]

2019年、Facebookで「女性の友人の写真」を検索すると、「ビキニ姿」や「ビーチで」といった候補が表示されることが判明しました。一方、「男性の友人の写真」を検索しても、検索結果は表示されませんでした。[123]

顔認識技術は、トランスジェンダーの人々にとって問題を引き起こすことが見受けられる。2018年には、トランスジェンダーまたは性転換中のUberドライバーが、Uberがセキュリティ対策として組み込んでいる顔認識ソフトウェアに問題を抱えているという報告があった。この結果、トランスジェンダーのUberドライバーの一部のアカウントが停止され、運賃が支払われなくなったり、場合によっては職を失ったりした。これはすべて、顔認識ソフトウェアが性転換中のトランスジェンダードライバーの顔を認識するのに問題を抱えていたことが原因である。[124]この問題の解決策は、機械学習モデルのトレーニングデータにトランスジェンダーの人々を含めることのように思われるが、トレーニングデータとして使用するために収集されたトランスジェンダーのYouTube動画のある例では、動画に含まれていたトランスジェンダーの人々から同意を得ておらず、プライバシー侵害の問題が発生した。[125]

2017年にスタンフォード大学で行われた研究では、顔画像から個人の性的指向を検知できるとされる機械学習システムのアルゴリズムがテストされました。[126]この研究で使用されたモデルは、ゲイとストレートの男性を81%、ゲイとストレートの女性を74%の確率で正しく判別しました。この研究はLGBTQIAコミュニティからの反発を招きました。彼らは、このAIシステムがLGBTQIAコミュニティの個人に悪影響を及ぼし、個人の意志に反して「アウティング」されるリスクを負わせるのではないかと懸念したのです。[127]

障害者差別

アルゴリズムの公平性は、性別、人種、社会経済的地位といった様々なバイアスの側面に基づいて判断されてきたが、障害はしばしば考慮されていない。[128] [129]障害者が現在社会で直面している疎外感は、AIシステムやアルゴリズムにも反映され、さらなる排除を生み出している。[130] [131]

障害の移り変わりやすい性質とその主観的な特徴づけは、計算による対処を困難にしています。障害の定義、発生率や有病率のアンケートによる収集、そして障害の認識の確立における歴史的深みの欠如は、障害の定量化と計算における論争と曖昧さを増大させています。障害の定義は長年議論されてきましたが、最近では医学モデルから社会モデルへと移行し、障害は機能障害や健康状態ではなく、人々の相互作用と環境における障壁の不一致の結果であるとされています。障害はまた、状況的または一時的なものであり、[132]常に変化していると考えられています。障害は非常に多様であり、[133]広い範囲に及び、個人ごとに固有のものです。人々のアイデンティティは、経験する障害の種類、支援技術の使用方法、そして誰を支援するかによって変化します。人々の経験における高いレベルの変動性は、障害の現れ方を大きく個人化します。重複するアイデンティティや交差する経験[134]は統計やデータセットから除外されているため[135] 、トレーニングデータには過小評価され、存在しません。 [136]そのため、機械学習モデルは不公平にトレーニングされ、人工知能システムはより多くのアルゴリズムの偏りを永続させます。[137]たとえば、発話障害のある人が音声制御機能やスマートAIアシスタントのトレーニングに含まれていない場合、彼らはその機能を使用できないか、Google HomeやAlexaからの応答が非常に貧弱になります。

障害をめぐる固定観念や偏見が依然として存在することを考えると、こうした識別特性を明らかにすることのデリケートな性質は、プライバシーに関する大きな課題を伴います。障害に関する情報の開示はタブーとされ、この集団に対する差別を助長する可能性があるため、アルゴリズムシステムが処理できる明確な障害データが不足しています。障害のある人々は、障害の状態を明らかにすることで、社会的な支援、医療保険費用、職場での差別、その他の基本的な生活必需品に関して、さらなる害とリスクに直面します。アルゴリズムは、社会システムや構造に既に存在する偏見を再構築することで、このギャップをさらに悪化させています。[138] [139]

ユーザーが自動で「補完」された検索結果を生成する一方で、Googleは性差別的・人種差別的な自動補完テキストを削除できていない。例えば、サフィヤ・ノーブル著『抑圧のアルゴリズム：検索エンジンが人種差別を助長する方法』では、「黒人女性」という検索でポルノ画像が表示されるという事例が挙げられている。Googleは、違法と判断されない限り、これらのページを削除することはできないと主張している。[140]

研究の障害

大規模なアルゴリズムバイアスの研究にはいくつかの問題があり、学術的に厳密な研究の応用や一般の理解を妨げています。[17] : 5  [141] [142]

公平性の定義

アルゴリズムのバイアスに関する文献は、公平性の是正に焦点を当ててきましたが、公平性の定義はしばしば互いに矛盾し、機械学習の最適化の現実とも矛盾しています。[143] [144]例えば、公平性を「結果の平等」と定義することは、単にすべての人にとって同じ結果を生み出すシステムを指すかもしれませんが、「扱いの平等」と定義される公平性は、個人間の違いを明示的に考慮するかもしれません。[145] : 2 その結果、公平性はモデルの精度と矛盾するものとして説明されることがあり、社会福祉の優先順位とこれらのシステムを設計するベンダーの優先順位の間に本質的な緊張関係があることを示唆しています。[146] : 2 この緊張関係に対応して、研究者たちは、潜在的にバイアスのあるアルゴリズムを利用するシステムの設計と使用に、より注意を払うべきであり、「公平性」は特定のアプリケーションとコンテキストに合わせて定義されるべきであると提案しています。[147]

複雑

アルゴリズムのプロセスは複雑で、それを使用する人々の理解を超えていることが多々あります。[17] : 2  [148] : 7 大規模な操作は、作成に関わった人々でさえ理解できない場合があります。[149]現代のプログラムの方法とプロセスは、コードの入力または出力のすべての順列を知ることができないために、しばしば不明瞭になっています。[35] : 183 社会科学者ブルーノ・ラトゥールは、このプロセスをブラックボックス化と名付けました。これは、「科学的および技術的な作業が、それ自身の成功によって見えなくなる」プロセスです。機械が効率的に動作し、事実が解決されると、その入力と出力のみに焦点を当てる必要があり、内部の複雑さには注意を払う必要はありません。したがって、逆説的ですが、科学技術が成功すればするほど、それらはより不透明で不明瞭になります。」[150]ブラックボックスの比喩を批判し、現在のアルゴリズムは1つのブラックボックスではなく、相互に接続されたネットワークであると示唆する人もいます。[151] : 92 

この複雑さの一例は、フィードバックをカスタマイズする際の入力項目の多様さに見られます。ソーシャルメディアサイトFacebookは、2013年にユーザーのソーシャルメディアフィードのレイアウトを決定するために、少なくとも10万個のデータポイントを考慮しました。[152]さらに、大規模なプログラマーチームは互いに比較的孤立した状態で作業し、複雑なアルゴリズムの中で小さな決定がもたらす累積的な影響を認識していない可能性があります。[33] : 118 すべてのコードがオリジナルではなく、他のライブラリから借用されている場合もあり、データ処理システムとデータ入力システムの間に複雑な関係が生まれます。[10] : 22 

さらなる複雑さは、クリック、サイトで過ごした時間、その他の指標などのユーザーインタラクションに基づく機械学習とアルゴリズムのパーソナライゼーションによって発生します。これらの個人的な調整は、アルゴリズムを理解しようとする一般的な試みを混乱させる可能性があります。 [153] : 367  [148] : 7 ある未確認のストリーミングラジオサービスは、ユーザーの行動に基づいて選択した5つの独自の音楽選択アルゴリズムを使用していると報告しました。これにより、同じストリーミングサービスでもユーザーごとに異なる体験が生じ、これらのアルゴリズムの動作を理解するのが難しくなります。[17] : 5  企業はまた、ユーザーの反応に基づいてアルゴリズムを微調整するために、頻繁にA/Bテストを実行します。たとえば、検索エンジンのBingは、1日に最大1000万回の微妙なサービスのバリエーションを実行できるため、各使用やユーザーごとに異なるサービス体験が生まれます。[17] : 5 

透明性の欠如

商用アルゴリズムは所有権が認められており、企業秘密として扱われる場合がある。[17] : 2  [148] : 7  [35] : 183 アルゴリズムを企業秘密として扱うことで、検索エンジンなどの企業が保護される。透明性のあるアルゴリズムであれば、検索ランキングを操作する戦術が明らかになる可能性があるからである。[153] : 366 これにより、研究者がインタビューや分析を行ってアルゴリズムの機能を発見することが困難になる。[10] : 20 批評家は、このような秘密主義によって、アルゴリズムの出力を生成または処理する際に使用される可能性のある非倫理的な方法が目立たなくなるとも指摘している。[153] : 369 弁護士で活動家の Katarzyna Szymielewicz など他の批評家は、透明性の欠如はアルゴリズムの複雑さの結果として偽装されることが多く、企業が独自のアルゴリズム プロセスを開示または調査することを妨げていると指摘している。[154]

センシティブなカテゴリーに関するデータの不足

実際の偏見への取り組みを理解する上で大きな障壁となるのは、差別禁止法で保護されている個人の人口統計などのカテゴリーが、データの収集および処理時に明確に考慮されないことが多いことである。[155]デバイスフィンガープリンティング、ユビキタスコンピューティング、モノのインターネットなど、場合によっては、このデータを明示的に収集する機会がほとんどない。他の場合には、データ管理者は、評判上の理由から、またはそれが高い責任およびセキュリティリスクを意味することから、そのようなデータの収集を望まないかもしれない。また、少なくとも欧州連合の一般データ保護規則に関しては、そのようなデータは「特別なカテゴリー」規定（第9条）に該当し、したがって潜在的な収集および処理に対してより多くの制限が課される場合もある。

一部の専門家は、バイアスを軽減するために、これらの欠落しているセンシティブな分類を推定し、補完しようと試みてきました。例えば、名前から民族を推測するシステムを構築するなどです。[156]しかし、これは慎重に行わなければ、別の形のバイアスをもたらす可能性があります。 [ 157 ] 機械学習の研究者は、安全なマルチパーティコンピューティングなどの暗号プライバシー強化技術を利用して、これらのデータがモデル作成者に平文で提供されることなく、アルゴリズムのバイアスを評価または軽減できる方法を提案しています。[158]

アルゴリズムのバイアスは、保護対象カテゴリーだけでなく、政治的見解など、観察やコード化が容易でない特性にも影響を及ぼします。このような場合、容易にアクセスでき、議論の余地のないグラウンドトゥルース（真実）はほとんど存在せず、そのようなシステムからバイアスを除去することはより困難です。[159]さらに、保護対象カテゴリーの理解不足から、誤った偶発的な相関関係が生じる可能性があります。例えば、過去の自動車事故データに基づく保険料率は、偶然にも少数民族の居住地と重なることがあります。[160]

ソリューション

倫理的AIに関する84の政策ガイドラインを調査したところ、公平性と「望ましくない偏見の緩和」が共通の懸念事項であり、技術的な解決策、透明性と監視、救済の権利と監督の強化、多様性と包摂性の取り組みの組み合わせを通じて対処されていることが判明しました。[161]

テクニカル

アルゴリズム内のバイアスを検出・観察できる手法やツールを開発する試みは数多く行われてきました。これらの新興分野は、アルゴリズムの内部プロセスではなく、プログラムが使用する（トレーニング）データに適用されるツールに重点を置いています。これらの手法は、プログラムの出力とその有用性も分析するため、混同行列（または混同表）の分析が必要となる場合もあります。[162] [163] [164] [165] [166] [167] [168] [169] [170]アルゴリズムのバイアス検出のための説明可能なAIは、アルゴリズムまたは学習モデルにおけるバイアスの存在を検出するための提案された方法です。[171]機械学習を用いてバイアスを検出することは「AI監査の実施」と呼ばれ、「監査人」とは、AIモデルとトレーニングデータを調べてバイアスを特定するアルゴリズムのことです。[172] 分類器などのAIツールにバイアスがないことを保証することは、入力信号から機密情報を除去するよりも困難です。なぜなら、機密情報は他の信号に暗黙的に含まれていることが多いからです。例えば、求職者の趣味、スポーツ、通っている学校などは、分析から除外されていても、ソフトウェアに性別を明らかにしてしまう可能性があります。この問題の解決策としては、知的エージェントが、対象者に関する保護された機密情報を再構築するために使用できる情報を一切持たないようにすることが挙げられます。これは、[173]で初めて実証されました。[173]では、深層学習ネットワークがタスクを学習するように訓練されると同時に、保護された特徴について全く無知であることが示されました。単語埋め込みの文脈では、より簡便な手法が提案されており、保護された特徴と相関する情報を除去するというものです。[174]

現在[いつ？ ]、アルゴリズムの作成者がバイアスの問題を排除し、アルゴリズムの機能と潜在的な影響について（当局やエンドユーザーに対して）透明性を明確に示すのに役立つ方法論を規定することを目指した新しいIEEE標準の草案が策定されています。このプロジェクトは2017年2月に承認され、IEEEコンピュータソサエティによって設立された委員会であるソフトウェア＆システムエンジニアリング標準委員会[175]によって後援されています。標準の草案は2019年6月に投票にかけられる予定です。[176] [177]この標準は2025年1月に公開されました。[178]

2022年、IEEEはアルゴリズム作成者がバイアスの問題に対処し、アルゴリズムの機能と潜在的な影響に関する透明性を促進するための方法論を規定することを目的とした標準を発表しました。このプロジェクトは2017年2月に最初に承認され、IEEEコンピュータソサエティ傘下の委員会であるソフトウェア＆システムエンジニアリング標準委員会[179]によって後援されました。この標準は、当局やエンドユーザーへの透明性を明確にし、アルゴリズムのバイアスを軽減するためのガイドラインを提供します。[176] [177] [180]

透明性と監視

AIに関する倫理ガイドラインは、説明責任の必要性を指摘し、結果の解釈可能性を向上させるための措置を講じることを推奨しています。[181]こうした解決策には、機械学習アルゴリズムにおける「理解する権利」の考慮、そして決定が説明または検証できない状況での機械学習の導入を控えることなどが含まれます。[182]この目的に向けて、 DARPAなどの組織では、バイアスの是正にとどまらない理由から、 「説明可能なAI 」を求める動きが既に始まっています。 [183]​​ 例えば、プライスウォーターハウスクーパースも、出力を監視するということは、システムの個々のコンポーネントが結果を歪める場合に、それらを分離してシャットダウンできるようにシステムを設計することを意味すると示唆しています。[184]

透明性に向けた初期のアプローチには、アルゴリズムのオープンソース化が含まれていました。[185]ソースコードホスティング施設を通じてソフトウェアコードを調査し、改善を提案することは可能です。しかし、このアプローチは必ずしも意図した効果を生み出すとは限りません。企業や組織は可能な限りのドキュメントやコードを共有できますが、提供された情報が視聴者に理解されなければ、透明性は確立されません。したがって、透明性に関して、関心を持ち批判的な視聴者の役割について検討する価値があります。批判的な視聴者がいなければ、アルゴリズムに説明責任を負わせることはできません。[186]

文書化と説明責任の枠組み

アルゴリズムシステムの透明性を高め、バイアスの評価を支援するために、いくつかの文書化アプローチが提案されている。広く引用されている方法の1つは、AIシステムの意図された用途、パフォーマンス指標、評価データセット、および既知の制限について標準化された概要を提供するモデルカードの使用である。 [187]関連する取り組みには、トレーニングデータの出所、構成、収集方法、および推奨される使用法を概説したデータセットのデータシートが含まれる。 [188]これらの文書化フレームワークは、トレーニングデータと機械学習システムに埋め込まれた仮定と潜在的なバイアスを明確にし、実務家、監査人、および影響を受けるグループがシステムの挙動をより適切に解釈できるようにすることを目的としています。

研究者や政策立案者は、文書化の実践に加えて、アルゴリズムの影響評価、リスクベースの評価手順、導入後のモニタリングなどの構造化されたガバナンスメカニズムの使用を奨励してきました。これらのプロセスは、導入前に潜在的なさまざまな影響を特定し、AIシステムが実際の運用中に公平性について継続的に評価されるようにすることを目的としています。カナダの自動意思決定に関する指令などの公共部門のイニシアチブでは、特定の高リスク自動化システムに対して、影響評価、説明可能性の測定、定期的な監査を義務付けています。[189]これらのガバナンスアプローチは、AIの開発と展開のライフサイクル全体にわたって説明責任と透明性を組み込むことで、技術的な緩和戦略を補完します。

救済を受ける権利

規制の観点から、トロント宣言は、アルゴリズムのバイアスによって引き起こされる損害に対して人権の枠組みを適用することを求めている。[190]これには、アルゴリズムの設計者に対するデューデリジェンスの期待を法制化すること、民間主体が公共の利益を保護できなかった場合に説明責任を負わせることが含まれる。これらの権利は、複雑に絡み合ったプロセスの中で責任を決定する複雑さによって曖昧になる可能性があることに留意する。[191]明確な賠償責任保険メカニズムの必要性を提案する意見もある。[192]

多様性と包摂

AIシステムの設計が主に白人男性エンジニアの領域であるという懸念の中、[193]多くの学者は、AIシステム設計者の階層におけるインクルージョンを拡大することでアルゴリズムのバイアスを最小限に抑えることができると示唆している。[182] [161]例えば、機械学習エンジニアのうち女性はわずか12%であり、[194]黒人AIリーダーたちは、この分野における「多様性の危機」を指摘している。[195] Black in AIやQueer in AIなどのグループは、AIコミュニティ内によりインクルーシブな空間を創出し、AI研究の方向性をコントロールする企業の有害な欲望に対抗しようと努めている。[196]単純なインクルーシブ化への取り組みに対する批判は、ダイバーシティプログラムでは重なり合う不平等の形態に対処できないことを示唆しており、アルゴリズムの設計にインターセクショナリティ（交差性）というより意図的なレンズを適用することを求めている。[197] [198] : 4 ケンブリッジ大学の研究者は、AI文化の「白人中心主義」が人種的多様性への取り組みを妨げていると主張している。[199]

学際性とコラボレーション

AIシステムの開発において、学際性と協働を統合することは、アルゴリズムのバイアスへの対処において重要な役割を果たす可能性があります。コンピュータサイエンス以外の分野からの洞察、専門知識、視点を統合することで、データ駆動型ソリューションが社会に与える影響をより深く理解することができます。AI研究における一例として、PACT（ Participatory Approach to enable Capabilities in communiTies）が挙げられます。これは、社会への影響を考慮したAI駆動型ソリューションの開発における協働を促進するためのフレームワークとして提案されています。[200]このフレームワークは、AI for Social Good（AI4SG）プロジェクトに取り組む際のステークホルダー参加の指針となる原則を示しています。PACTは、人間中心のAIソリューションの設計において、脱植民地化とパワーシフトの取り組みの重要性を明確に示そうとしています。この点に関する学術的な取り組みとして、スタンフォード大学の人間中心人工知能研究所があり、学際的な協働を促進することを目指しています。この研究所の使命は、人工知能（AI）の研究、教育、政策、実践を推進し、人間の状態を改善することです。[201]

外部の専門家や様々なステークホルダーとの連携は、倫理的、包括的、かつ説明責任のある知能システムの開発を促進します。倫理的配慮を組み込み、社会的・文化的背景を理解し、人間中心設計を推進し、技術的専門知識を活用し、政策的および法的考慮事項に対処することが必要です。[202] AIシステムにおけるバイアスを効果的に軽減し、AI技術が公正で透明性があり、説明責任を果たすためには、分野を超えた連携が不可欠です。

規制

ヨーロッパ

2018年に施行された欧州連合（EU ）の改訂データ保護制度である一般データ保護規則（GDPR）は、第22条で「プロファイリングを含む自動化された個人意思決定」を規定しています。これらの規則は、同意、契約、または加盟国の法律によって明示的に承認されている場合を除き、個人に「重大な」または「法的」な影響を与える「完全な」自動化された意思決定を禁止しています。自動化された意思決定が認められる場合でも、人間による介入の権利や、決定内容の説明を求める拘束力のない権利など、安全策が講じられなければなりません。これらの規則は一般的に新しいと考えられていますが、1995年以降、ヨーロッパ全体でほぼ同一の規定がデータ保護指令第15条に存在しています。自動化された意思決定に関する元の規則と安全策は、1970年代後半からフランス法に存在しています。[203]

GDPRは、プロファイリングシステムにおけるアルゴリズムの偏りと、それを除去するために可能な統計的アプローチについて、序文71で直接言及しており、 [204]

管理者は、プロファイリングに適切な数学的または統計的手順を使用し、適切な技術的および組織的措置を実施する必要があります。これにより、とりわけ、人種や民族的出身、政治的意見、宗教や信念、労働組合の加入、遺伝的または健康状態、性的指向に基づいて自然人に対する差別的影響を防止するか、またはそのような影響をもたらす措置につながることが求められます。

序文71における拘束力のない説明を求める権利と同様に、序文の拘束力がないという点が問題である。[205]データ保護法の実施について助言を行った第29条作業部会では、これを要件として扱っているものの、 [204]その実際的な側面は明確ではない。高リスクデータプロファイリングに関するデータ保護影響評価（データ保護における他の予防的措置と併せて）は、消費者に苦情を申し立てたり変更を要求したりするのではなく、アルゴリズムを導入する者の行動を制限するため、アルゴリズムによる差別の問題に対処するためのより良い方法である可能性があると主張されている。[206]

アメリカ合衆国

米国にはアルゴリズムのバイアスに関する一般的な法律はなく、業界、セクター、アルゴリズムの使用方法によって異なる州法および連邦法を通じてこの問題に対処しています。[207]多くの政策は自主的に施行されているか、連邦取引委員会によって管理されています。[207] 2016年、オバマ政権は国家人工知能研究開発戦略計画[208]を発表しました。これは、政策立案者をアルゴリズムの批判的評価へと導くことを目的としていました。この計画では、研究者に対し、「これらのシステムを、その行動と意思決定が透明で人間によって容易に解釈できるように設計し、バイアスを学習して繰り返すだけでなく、含まれる可能性のあるバイアスを検査できるようにする」ことを推奨しました。この報告書はガイダンスとしてのみ意図されており、法的先例となるものではありませんでした。[209] : 26 

2017年、ニューヨーク市は米国初のアルゴリズム説明責任法案を可決した。 [210] 2018年1月1日に施行されたこの法案は、「行政機関の自動意思決定システムに関する情報を一般市民と共有する方法、および行政機関が自動意思決定システムによって人々が被害を受けた事例にどのように対処するかについて勧告を行うタスクフォースの設置」を義務付けた。[211] 2023年、ニューヨーク市は、自動採用ツールを使用する雇用主に対し、独立した「バイアス監査」を実施し、その結果を公表することを義務付ける法律を施行した。この法律は、米国における雇用決定に使用されるAIシステムに関する、法的に義務付けられた最初の透明性対策の一つとなった。[212]タスクフォースは、2019年に調査結果と更なる規制措置のための勧告を提示することが義務付けられている。 [213] 2019年2月11日、連邦政府は大統領令13859号に基づき、人工知能における米国のリーダーシップを維持するための包括的戦略である「アメリカAIイニシアチブ」を発表した。このイニシアチブは、持続的なAI研究開発、倫理基準、人材育成、そして重要なAI技術の保護の重要性を強調しています。[214]これは、公共部門と民間部門の両方におけるAIシステムの透明性、説明責任、そして革新性を確保するためのより広範な取り組みと一致しています。さらに、2023年10月30日、大統領は人工知能（AI）の安全、安心、そして信頼できる開発と利用を強調する大統領令14110に署名しました。この命令は、詐欺、差別、国家安全保障上の脅威などのリスクを軽減しながら、AIの可能性を最大限に活用するための、政府全体にわたる協調的なアプローチを概説しています。このコミットメントの重要な点は、AIが社会全体に利益をもたらすことを保証するために、セクター間の責任ある革新と協力を促進することです。[215]この命令により、ジョー・バイデン大統領は連邦政府に対し、企業がAIの利益を最大化し、その害を最小限に抑えるためのベストプラクティスを作成することを義務付けました。[216]

インド

2018年7月31日、個人データ法案の草案が提出された。[217]この草案は、データの保存、処理、および転送に関する基準を提案している。「アルゴリズム」という用語は使用されていないものの、「受託者によるあらゆる処理またはあらゆる種類の処理から生じる損害」に関する規定を設けている。また、データの不適切な使用から生じる可能性のある損害の原因として、「データ主体に関する評価上の決定の結果として生じるサービス、利益、または商品の拒否または撤回」、あるいは「あらゆる差別的取扱い」を定義している。さらに、「インターセックス」の人々に関する特別な規定も設けている。[218]

参照

参考文献

  1. ^ Jacobi, Jennifer (2001年9月13日). 「Patent #US2001021914」. Espacenet . 2018年7月4日閲覧。
  2. ^ Hardebolle, Cécile; Héder, Mihály; Ramachandran, Vivek (2024年11月25日)「エンジニアリング倫理教育と人工知能」、The Routledge International Handbook of Engineering Ethics Education (第1版)、ロンドン: Routledge、pp.  125– 142、doi : 10.4324/9781003464259-9、ISBN 978-1-003-46425-9
  3. ^ Van Eyghen, Hans (2025). 「AIアルゴリズムは（非）徳的な知識を持つ」. Discover Artificial Intelligence . 5 (2) 2. doi : 10.1007/s44163-024-00219-z .
  4. ^ Marabelli, Marco (2024). AI、倫理、そしてビジネスにおける差別. Palgrave Studies in Equity, Diversity, Inclusion, and Indigenization in Business. Springer. doi :10.1007/978-3-031-53919-0. ISBN 978-3-031-53918-3。
  5. ^ Suresh, Harini; Guttag, John (2021年11月4日). 「機械学習ライフサイクル全体における危害源を理解するためのフレームワーク」.アルゴリズム、メカニズム、最適化における公平性とアクセス. EAAMO '21. ニューヨーク州ニューヨーク: Association for Computing Machinery. pp.  1– 9. doi :10.1145/3465416.3483305. ISBN 978-1-4503-8553-4. S2CID  235436386。
  6. ^ Krištofík, Andrej (2025年4月28日). 「AI（支援）による意思決定におけるバイアス：古くからの問題、新たな技術」. International Journal for Court Administration . 16 (1) 3. doi : 10.36745/ijca.598 . ISSN  2156-7964.
  7. ^ Mehrabi, N.; Morstatter, F.; Saxena, N.; Lerman, K.; Galstyan, A. (2021). 「機械学習におけるバイアスと公平性に関する調査」. ACM Computing Surveys . 54 (6): 1– 35. arXiv : 1908.09635 . doi :10.1145/3457607 . 2025年4月30日閲覧。
  8. ^ Striphas, Ted (2012年2月). 「アルゴリズムとは何か？ – Culture Digitally」. culturedigitally.org . 2017年11月20日閲覧。
  9. ^ コーメン、トーマス H.チャールズ・E・ライザーソン;ロナルド・L・リベスト、スタイン、クリフォード (2009)。アルゴリズム入門(第 3 版)。マサチューセッツ州ケンブリッジ：MIT Press。 p. 5.ISBN​ 978-0-262-03384-8。
  10. ^ abc キッチン、ロブ (2016年2月25日). 「アルゴリズムについて批判的に考え、研究する」(PDF) .情報・コミュニケーション・社会. 20 (1): 14– 29. doi :10.1080/1369118X.2016.1154087. S2CID  13798875.
  11. ^ 「Google 検索の仕組み」 。 2017年11月19日閲覧。
  12. ^ ラッカーソン、ビクター「Facebookニュースフィードの実際の仕組み」Time誌。 2017年11月19日閲覧。
  13. ^ ヴァンダービルト、トム（2013年8月7日）「Netflixの次に何を見るかを決めるアルゴリズムの科学的根拠」Wired誌。 2017年11月19日閲覧。
  14. ^ Angwin, Julia ; Mattu, Surya (2016年9月20日). 「Amazonは顧客第一主義を謳うが、価格設定アルゴリズムはそうではない ― ProPublica」. ProPublica . 2017年11月19日閲覧。
  15. ^ Livingstone, Rob (2017年3月13日). 「オンライン広告の未来はビッグデータとアルゴリズム」. The Conversation . 2017年11月19日閲覧。
  16. ^ レオ・ヒックマン（2013年7月1日）「アルゴリズムが世界を支配する方法」ガーディアン紙。 2017年11月19日閲覧。
  17. ^ abcdef Seaver, Nick. 「アルゴリズムを知る」(PDF) 。Media in Transition 8、マサチューセッツ州ケンブリッジ、2013年4月。 2017年12月1日時点のオリジナル(PDF)からアーカイブ。 2017年11月18日閲覧。
  18. ^ abc Graham, Stephen DN (2016年7月). 「ソフトウェアで分類された地理」(PDF) . Progress in Human Geography (投稿原稿). 29 (5): 562– 580. doi :10.1191/0309132505ph568oa. S2CID  19119278.
  19. ^ abc Tewell, Eamon (2016年4月4日). 「情報の抵抗的な読み方に向けて：Google、抵抗的な傍観、そして批判的情報リテラシー」. Portal: Libraries and the Academy . 16 (2): 289– 310. doi :10.1353/pla.2016.0017. ISSN  1530-7131. S2CID  55749077. 2017年11月19日閲覧。
  20. ^ クロフォード、ケイト（2013年4月1日）「ビッグデータに潜むバイアス」ハーバード・ビジネス・レビュー。
  21. ^ abcdefghijklmnopq Friedman, Batya; Nissenbaum, Helen (1996年7月). 「コンピュータシステムにおけるバイアス」(PDF) . ACM Transactions on Information Systems . 14 (3): 330– 347. doi :10.1145/230538.230561. S2CID  207195759. 2019年3月10日閲覧.
  22. ^ abcdef ギレスピー, タールトン; ボツコフスキー, パブロ; フット, クリスティン (2014).メディアテクノロジー. ケンブリッジ: MIT 出版. pp.  1– 30. ISBN 978-0-262-52537-4。
  23. ^ ab ディアコポロス、ニコラス. 「アルゴリズムによる説明責任：ブラックボックスの調査について」. towcenter.org . 2017年11月19日閲覧。
  24. ^ リパルティート、ケネス（2011年1月6日）. 『物語とアルゴリズム：19世紀から今日までの信用報告のジャンル』（PDF）（提出原稿）. doi :10.2139/SSRN.1736283. S2CID  166742927. SSRN  1736283.
  25. ^ グッドマン、ブライス、フラックスマン、セス（2017年）「EUにおけるアルゴリズムによる意思決定に関する規制と『説明を受ける権利』」「. AI マガジン. 38 (3): 50. arXiv : 1606.08813 . doi :10.1609/aimag.v38i3.2741. S2CID  7373959.
  26. ^ abcdefg ワイゼンバウム、ジョセフ（1976年）『コンピュータパワーと人間の理性：判断から計算へ』サンフランシスコ：WHフリーマン、ISBN 978-0-7167-0464-5。
  27. ^ ab Goffrey, Andrew (2008). 「アルゴリズム」. Fuller, Matthew (編).ソフトウェア研究：用語集. マサチューセッツ州ケンブリッジ: MIT Press. pp. 15–20. ISBN 978-1-4356-4787-9。
  28. ^ ローリー、ステラ；マクファーソン、ゴードン（1988年3月5日）「A Blot on the Profession」British Medical Journal . 296 (6623): 657–8 . doi :10.1136/bmj.296.6623.657. PMC 2545288. PMID 3128356  . 
  29. ^ 「Perpetual Lineup」www.law.georgetown.edu . 2024年12月12日閲覧。
  30. ^ Buolamwini, Joy. 「ジェンダー・シェード：商業的なジェンダー分類における交差的精度格差」MITメディアラボ. 2024年12月12日閲覧。
  31. ^ バロカス・ソロン（2023年12月19日）.公平性と機械学習：限界と機会. MITプレス. ISBN 978-0-262-04861-3。
  32. ^ ミラー、アレックス・P. (2018年7月26日). 「バイアスの少ない意思決定をしたい？アルゴリズムを使う」ハーバード・ビジネス・レビュー. 2018年7月31日閲覧。
  33. ^ abc Introna, Lucas D. (2011年12月2日). 「コードの枠組み」.理論・文化・社会. 28 (6): 113– 141. doi :10.1177/0263276411418131. S2CID  145190381.
  34. ^ イアン・ボゴスト（2015年1月15日）「計算の大聖堂」アトランティック誌。 2017年11月19日閲覧。
  35. ^ abcdefgイントロナ、ルーカス、ウッド、デイヴィッド ( 2004). 「アルゴリズム監視の描写：顔認識システムの政治学」監視と社会2 : 177–198 . 2017年11月19日閲覧。
  36. ^ abcd Introna, Lucas D. (2006年12月21日). 「折り畳みの可逆性の維持：情報技術の倫理（政治）を可視化する」. Ethics and Information Technology . 9 (1): 11– 25. CiteSeerX 10.1.1.154.1313 . doi :10.1007/s10676-006-9133-z. S2CID  17355392. 
  37. ^ ab クレイ・シャーキー「アルゴリズム的権威に関する考察」クレイ・シャーキー著www.shirky.com。2012年3月15日時点のオリジナルよりアーカイブ。 2017年11月20日閲覧。
  38. ^ ab Ziewitz, Malte (2016年1月1日). 「統治アルゴリズム：神話、混乱、そして方法論」.科学技術と人間の価値. 41 (1): 3– 16. doi : 10.1177/0162243915608948 . ISSN  0162-2439. S2CID  148023125.
  39. ^ ラッシュ、スコット（2016年6月30日）「覇権後の権力」『理論・文化・社会』24 (3): 55–78 . doi :10.1177/0263276407075956. S2CID  145639801.
  40. ^ Gaudeul, Alexia; Arrigoni, Ottla; Charisi, Vicky ; Escobar-Planas, Marina; Hupont, Isabelle (2024)「AI支援による意思決定における人間の監視が差別的結果に与える影響の理解」ECAI 2024、Frontiers in Artificial Intelligence and Applications、IOS Press、pp.  1067– 1074、doi : 10.3233/faia240598、ISBN 978-1-64368-548-9
  41. ^ ab Garcia, Megan (2016年1月1日). 「機械の中の人種差別主義者」. World Policy Journal . 33 (4): 111– 117. doi :10.1215/07402775-3813015. S2CID  151595343.
  42. ^ 「ACM FAccT 2021 登録」. fatconference.org . 2021年11月14日閲覧。
  43. ^ Ochigame, Rodrigo (2019年12月20日). 「『倫理的AI』の発明：大手IT企業が規制回避のために学術界を操る方法」The Intercept . 2020年2月11日閲覧。
  44. ^ 「人工知能リスク管理フレームワーク（AI RMF 1.0）」（PDF）。NIST 。 2023年1月。
  45. ^ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (1986年5月). 「論理プログラムとしての英国国籍法」(PDF) . Communications of the ACM . 29 (5): 370– 386. doi :10.1145/5689.5920. S2CID  5665107. 2017年11月18日閲覧.
  46. ^ ab 「アルゴリズムによるバイアスを止めるには、まずそれを定義する必要がある」ブルッキングス研究所。 2023年6月27日閲覧。
  47. ^ エヴァンス、メラニー、マシューズ、アンナ・ワイルド（2019年10月24日）。「研究者ら、病院のアルゴリズムに人種的偏見を発見」ウォール・ストリート・ジャーナル。ISSN 0099-9660  。2023年6月27日閲覧。
  48. ^ abc Luo, Queenie; Puett, Michael J.; Smith, Michael D. (2023年5月23日)「象の視点の鏡：Google、ChatGPT、Wikipedia、YouTubeにおける言語バイアスの調査」 arXiv : 2303.16281
  49. ^ ホフマン、ヴァレンティン;カルリ、プラチューシャ・リア。ダン・ジュラフスキー。キング、シャリース（2024年9月5日）。 「AI は、人々の方言に基づいて、秘密裏に人種差別的な決定を下します。」自然。633 (8028): 147–154。ビブコード:2024Natur.633..147H。土井：10.1038/s41586-024-07856-5。PMC 11374696。PMID  39198640。 
  50. ^ Choi, Hyeong Kyu; Xu, Weijie; Xue, Chi; Eckman, Stephanie; Reddy, Chandan K. (2024年9月27日)「ノードプルーニングと補助オプションによる選択バイアスの緩和」arXiv : 2409.18857
  51. ^ 鄭、忠傑;周、ハオ。孟、範東。周傑。 Huang、Minlie (2023 年 9 月 7 日)、大規模言語モデルは堅牢な複数選択セレクターではない、arXiv : 2309.03882
  52. ^ Busker, Tony; Choenni, Sunil; Shoae Bargh, Mortaza (2023年11月20日). 「ChatGPTにおけるステレオタイプ：実証的研究」.第16回電子ガバナンスの理論と実践に関する国際会議議事録. ICEGOV '23. ニューヨーク州ニューヨーク：Association for Computing Machinery. pp.  24– 32. doi :10.1145/3614321.3614325. ISBN 979-8-4007-0742-1。
  53. ^ Kotek, Hadas; Dockum, Rikker; Sun, David (2023年11月5日). 「大規模言語モデルにおけるジェンダーバイアスとステレオタイプ」. ACM Collective Intelligence Conference Proceedings . CI '23. ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery. pp.  12– 24. arXiv : 2308.14921 . doi :10.1145/3582269.3615599. ISBN 979-8-4007-0113-9。
  54. ^ Cheng, Myra; Durmus, Esin; Jurafsky, Dan (2023年5月29日) 「マークされたペルソナ：自然言語プロンプトを用いた言語モデルにおけるステレオタイプの測定」arXiv : 2305.18189
  55. ^ Wang, Angelina; Morgenstern, Jamie ; Dickerson, John P. (2025年2月17日). 「人間の参加者を置き換える大規模言語モデルは、アイデンティティ集団を有害なほど誤解させ、平坦化する可能性がある」. Nature Machine Intelligence . 7 (3): 400– 411. arXiv : 2402.01908 . doi :10.1038/s42256-025-00986-z.
  56. ^ Friðriksdóttir、Steinnn Rut;アイナルソン、ハフスタイン (2024)、「ジェンダー化された文法または根深いバイアス? アイスランド言語モデルにおけるジェンダーバイアスの探求」、Lrec-Coling 2024 : 7596– 7610
  57. ^ Feng, Shangbin; Park, Chan Young; Liu, Yuhan; Tsvetkov, Yulia (2023年7月). Rogers, Anna; Boyd-Graber, Jordan; Okazaki, Naoaki (編). 「事前学習データから言語モデル、そして下流タスクへ：不公平なNLPモデルにつながる政治的バイアスの痕跡を追跡する」.計算言語学会第61回年次会議議事録（第1巻：長編論文） . トロント、カナダ：計算言語学会：11737–11762 . arXiv : 2305.08283 . doi : 10.18653/v1/2023.acl-long.656 .
  58. ^ Lazaro, Gina (2024年5月17日). 「AIにおけるジェンダーと人種的バイアスの理解」ハーバード・アドバンスト・リーダーシップ・イニシアチブ ソーシャル・インパクト・レビュー. 2024年12月11日閲覧。
  59. ^ Jindal, Atin (2022年9月5日). 「誤った人工知能：人種的偏見が臨床モデルに組み込まれる仕組み」. Journal of Brown Hospital Medicine . 2 (1) 38021. doi : 10.56305/001c.38021 . PMC 11878858. PMID  40046549 . 
  60. ^ Gillespie, Tarleton (2014年6月25日). 「アルゴリズム [ドラフト] [#digitalkeywords] – Culture Digitally」. culturedigitally.org . 2017年11月20日閲覧。
  61. ^ Roth, AE 1524–1528. (1990年12月14日). 「新しい医師：市場組織における自然な実験」. Science . 250 (4987): 1524– 1528. Bibcode :1990Sci...250.1524R. doi :10.1126/science.2274783. PMID  2274783. S2CID  23259274. 2017年11月18日閲覧。{{cite journal}}: CS1 maint: numeric names: authors list (link)
  62. ^ クアン、クリフ（2017年11月21日）「AIは自己説明を教えられるか？」ニューヨーク・タイムズ・マガジン。 2017年11月26日閲覧。
  63. ^ ab Jouvenal, Justin (2016年11月17日). 「警察は犯罪予測ソフトウェアを活用。これは『聖杯』か、それとも少数派に対する偏見か？」ワシントン・ポスト. 2017年11月25日閲覧。
  64. ^ ab Chamma, Maurice (2016年2月3日). 「Policing the Future」. The Marshall Project . 2017年11月25日閲覧。
  65. ^ ラム、クリスチャン；アイザック、ウィリアム（2016年10月）「予測し、奉仕するか？」意義. 13 (5): 14– 19. doi : 10.1111/j.1740-9713.2016.00960.x .
  66. ^ スミス、ジャック（2016年10月9日）「予測型警察活動は人種的偏見を増幅させるだけ、と研究は示している」Mic . 2017年11月25日閲覧。
  67. ^ Lum, Kristian; Isaac, William (2016年10月1日). 「予測型警察活動と偏見に関するFAQ」HRDAG . 2017年11月25日閲覧。
  68. ^ Bahl, Utsav; Topaz, Chad; Obermüller, Lea; Goldstein, Sophie; Sneirson, Mira (2024年5月21日). 「裁判官の手に握られたアルゴリズム：フロリダ州ブロワード郡における投獄と不平等」UCLAローレビュー71 (246) .
  69. ^ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). 「情報フィルタリングにおける対話型機械学習プロセスにおける反復アルゴリズムバイアス」.第10回国際合同知識発見会議、知識工学、知識管理会議議事録. セビリア、スペイン: SCITEPRESS - Science and Technology Publications. pp.  110– 118. doi : 10.5220/0006938301100118 . ISBN 978-989-758-330-8。
  70. ^ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (2018年8月9日). 「ネットワークにおけるガウスの法則はコミュニティ境界を直接明らかにする」. Scientific Reports . 8 (1): 11909. Bibcode :2018NatSR...811909S. doi :10.1038/s41598-018-30401-0. ISSN  2045-2322. PMC 6085300. PMID 30093660  . 
  71. ^ Hao, Karen (2018年2月). 「Googleはついにフィルターバブルの問題があることを認めた」. Quartz . 2019年2月26日閲覧。
  72. ^ 「Facebookは『フィルターバブル』対策としてこの新機能をテスト中」Fortune誌。 2019年2月26日閲覧。
  73. ^ ab Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie ; Langbort, Cedric (2014年5月22日). 「監査アルゴリズム：インターネットプラットフォームにおける差別検出のための調査手法」(PDF) .国際コミュニケーション協会第64回年次会議. 2017年11月18日閲覧.
  74. ^ Brin, Sergey; Page, Lawrence. 「検索エンジンの解剖学」www7.scu.edu.au . 2019年7月2日時点のオリジナルよりアーカイブ。 2017年11月18日閲覧。
  75. ^ エプスタイン、ロバート；ロバートソン、ロナルド・E.（2015年8月18日）「検索エンジン操作効果（SEME）と選挙結果への潜在的影響」米国科学アカデミー紀要112 ( 33): E4512 – E4521 . Bibcode :2015PNAS..112E4512E. doi : 10.1073/pnas.1419828112 . PMC 4547273 . PMID  26243876.  
  76. ^ ロバート・M・ボンド、クリストファー・J・ファリス、ジェイソン・J・ジョーンズ、アダム・DI・クレイマー、キャメロン・マーロウ、ジェイミー・E・セトル、ジェームズ・H・ファウラー（2012年9月13日）「社会的影響力と政治的動員に関する6100万人実験」Nature 489 (7415): 295–8 . Bibcode :2012Natur.489..295B. doi :10.1038/nature114​​21. ISSN 0028-0836  . PMC 3834737. PMID 22972300  . 
  77. ^ Zittrain, Jonathan (2014). 「選挙のエンジニアリング」(PDF) .ハーバード・ロー・レビュー・フォーラム. 127 : 335–341 . 2021年3月4日時点のオリジナル(PDF)からアーカイブ。 2017年11月19日閲覧。
  78. ^ デイ、マット（2016年8月31日）「LinkedInの検索エンジンはジェンダーバイアスを反映している可能性がある」シアトル・タイムズ。 2017年11月25日閲覧。
  79. ^ ab クロフォード、ケイト、シュルツ、ジェイソン (2014). 「ビッグデータとデュープロセス：予測的プライバシー侵害を是正するための枠組みに向けて」ボストン・カレッジ・ロー・レビュー55 ( 1): 93–128 . 2017年11月18日閲覧。
  80. ^ デュヒッグ、チャールズ（2012年2月16日）「企業はいかにしてあなたの秘密を知るのか」ニューヨーク・タイムズ・マガジン。 2017年11月18日閲覧。
  81. ^ ノーブル、サフィヤ(2012). 「ミスド・コネクション：検索エンジンが女性について語ること」(PDF) . Bitch . 12 (4): 37– 41.
  82. ^ Guynn, Jessica (2017年3月16日). 「Google、検索結果で不快なコンテンツにフラグ付けを開始」USA Today . 2017年11月19日閲覧。
  83. ^ Simonite, Tom. 「Googleの広告ターゲティングシステムは差別的である可能性を示唆する研究」MITテクノロジーレビュー. マサチューセッツ工科大学. 2017年11月17日閲覧。
  84. ^ Prates, Marcelo OR; Avelar, Pedro HC; Lamb, Luis (2018). 「機械翻訳におけるジェンダーバイアスの評価 ― Google Translate を用いたケーススタディ」arXiv : 1809.02208 [cs.CY].
  85. ^ Prates, Marcelo OR; Avelar, Pedro H.; Lamb, Luís C. (2019). 「機械翻訳におけるジェンダーバイアスの評価：Google翻訳を用いたケーススタディ」. Neural Computing and Applications . 32 (10): 6363– 6381. arXiv : 1809.02208 . doi :10.1007/s00521-019-04144-6. S2CID  52179151.
  86. ^ Claburn, Thomas (2018年9月10日). 「Boffins bash Google Translate for sexism」The Register . 2022年4月28日閲覧。
  87. ^ ダスティン、ジェフリー（2018年10月9日）「アマゾン、女性に対する偏見を示した秘密のAI採用ツールを廃止」ロイター。
  88. ^ ヴィンセント・ジェームズ（2018年10月10日）「Amazon、女性に偏見のある社内AI採用ツールを廃止と報道」The Verge。
  89. ^ 「Spotifyのレコメンデーションシステムを振り返る – SongData」2019年10月。 2020年8月7日閲覧。
  90. ^ Buolamwini, Joy; Gebru, Timnit (2018年1月21日). 「ジェンダー・シェード：商業ジェンダー分類における交差的精度格差」. Proceedings of Machine Learning Research . 81 (2018): 77–91 . 2020年9月27日閲覧。
  91. ^ ノーブル、サフィヤ・ウモジャ（2018年2月20日）『抑圧のアルゴリズム：検索エンジンはいかに人種差別を強化するのか』ニューヨーク：NYU出版。ISBN 978-1-4798-3724-3。
  92. ^ ab 中村, リサ (2009). マグネット, ショシャナ; ゲイツ, ケリー (編). 『監視の新たなメディア』 ロンドン: ラウトレッジ. pp.  149– 162. ISBN 978-0-415-56812-8。
  93. ^ Marco Marabelli、Sue Newell、Valerie Handunge (2021). 「アルゴリズム的意思決定システムのライフサイクル：組織の選択と倫理的課題」. Journal of Strategic Information Systems . 30 (3): 1– 15. doi :10.1016/j.jsis.2021.101683.
  94. ^ アレクサンダー、ルドルフ、ギャメラ、ジャクリーン（1997年9月）。「薬物所持者に対するアフリカ系アメリカ人と白人の差別的処罰：正当な政策か、それとも過去の継続か？」『Journal of Black Studies』28 (1): 97–111 . doi :10.1177/002193479702800106. ISSN  0021-9347. S2CID  152043501.
  95. ^ ピーターシリア、ジョアン（1985年1月）「刑事司法制度における人種的格差：概要」『犯罪と非行』31 (1): 15– 34. doi :10.1177/0011128785031001002. ISSN  0011-1287. S2CID  146588630.
  96. ^ ab Guynn, Jessica (2015年7月1日). 「Googleフォト、黒人を『ゴリラ』とラベル付け」USA Today . 2017年11月18日閲覧。
  97. ^ ローズ、アダム（2010年1月22日）「顔検出カメラは人種差別的か？」タイム誌。 2017年11月18日閲覧。
  98. ^ 「Alexaはあなたのアクセントを理解しません」ワシントンポスト。
  99. ^ Sweeney, Latanya (2013年1月28日). 「オンライン広告配信における差別」. arXiv : 1301.6822 [cs.IR].
  100. ^ Braun, Lundy (2015). 「人種、民族、肺機能：略歴」. Canadian Journal of Respiratory Therapy . 51 (4): 99– 101. ISSN  1205-9838. PMC 4631137. PMID 26566381  . 
  101. ^ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (2020年4月1日). 「構造的人種差別について学ぶことで機械学習が向上する」. Biostatistics . 21 (2): 339– 344. doi : 10.1093/biostatistics/kxz040 . ISSN  1465-4644. PMC 7868043. PMID 31742353  . 
  102. ^ ジョンソン、キャロリン・Y. (2019年10月24日). 「医療アルゴリズムにおける人種的偏見は、より重症の黒人患者よりも白人患者を優遇する」ワシントン・ポスト. 2019年10月28日閲覧。
  103. ^ バートレット、ロバート、モース、アデア、スタントン、リチャード、ウォレス、ナンシー（2019年6月）。「フィンテック時代における消費者融資差別」。NBERワーキングペーパーNo.25943。ワーキングペーパーシリーズ。doi : 10.3386/w25943。S2CID 242410791  。
  104. ^ Hofmann, V., Kalluri, PR, Jurafsky, D. et al. AIは方言に基づいて、密かに人種差別的な判断を下す。Nature 633, 147–154 (2024). https://doi.org/10.1038/s41586-024-07856-5
  105. ^ Buolamwini, J.; Gebru, T. (2018). 「ジェンダー・シェード：商業ジェンダー分類における交差的正確性格差」.第1回公平性、説明責任、透明性に関する会議議事録. pp.  77– 91. 2025年4月30日閲覧。
  106. ^ ジェフ・ラーソン、ジュリア・アングウィン（2016年5月23日）「COMPAS再犯アルゴリズムの分析方法」ProPublica。2019年4月29日時点のオリジナルよりアーカイブ。 2020年6月19日閲覧。
  107. ^ 「論評：悪い知らせ。人工知能は偏っている」CNA 2019年1月12日。2019年1月12日時点のオリジナルよりアーカイブ。2020年6月19日閲覧。
  108. ^ ジュリア・アンウィン、ジェフ・ラーソン、スーリヤ・マトゥ、ローレン・キルヒナー（2016年5月23日）「マシンバイアス — ProPublica」ProPublica 2017年11月18日閲覧。
  109. ^ ハーコート、バーナード（2010年9月16日）「人種の代理指標としてのリスク」連邦量刑報告者. 27 (4): 237. doi :10.1525/fsr.2015.27.4.237. S2CID  53611813. SSRN  1677654.
  110. ^ Skeem J, Lowenkamp C, リスク、人種、再犯：予測バイアスと格差の影響（2016年6月14日）SSRN  2687339
  111. ^ Thomas, C.; Nunez, A. (2022). 「司法裁量の自動化：公判前審理におけるアルゴリズムによるリスク評価は、人種に基づく平等保護権をどのように侵害するのか」『法と不平等』40 (2): 371–407 . doi : 10.24926/25730037.649 .
  112. ^ ジュリア・アンウィン、ハンネス・グラスゼッガー（2017年6月28日）「Facebookの秘密の検閲ルールは白人男性をヘイトスピーチから保護するが、黒人の子どもは保護しない ― ProPublica」ProPublica 2017年11月20日閲覧。
  113. ^ ジュリア・アングウィン、マドレーヌ・ヴァーナー、アリアナ・トビン（2017年9月14日）「Facebookが広告主の『ユダヤ人嫌悪者』へのリーチを可能に ― ProPublica」ProPublica 2017年11月20日閲覧。
  114. ^ Sap, Maarten; Card, Dallas; Gabriel, Saadia; Choi, Yejin; Smith, Noah A. (2019年7月28日～8月2日). 「ヘイトスピーチ検知における人種的偏見のリスク」(PDF) . Proceedings of the 57th Annual Meeting of the Association for Computational Linguist . Florence, Italy: Association for Computational Linguistics. pp.  1668– 1678. 2019年8月14日時点のオリジナルよりアーカイブ(PDF) 。
  115. ^ Ghaffary, Shirin (2019年8月15日). 「オンラインでヘイトスピーチを検出するアルゴリズムは黒人に対して偏見を持っている」. Vox . 2020年2月19日閲覧。
  116. ^ Furl, N. (2002年12月). 「顔認識アルゴリズムと異人種間効果：発達的接触仮説の計算メカニズム」.認知科学. 26 (6): 797– 815. doi : 10.1207/s15516709cog2606_4 .
  117. ^ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (2020年2月7日). 「Saving Face」. AAAI/ACM AI、倫理、社会に関する会議議事録. Association for Computing Machinery. pp.  145– 151. arXiv : 2001.00964 . doi :10.1145/3375627.3375820. ISBN 978-1-4503-7110-0. S2CID  209862419。
  118. ^ 「白人男性の場合、顔認識は正確だ」ニューヨーク・タイムズ、2018年2月9日。 2023年8月24日閲覧。
  119. ^ Buolamwini, Joy; Gebru, Timnit (2018). 「ジェンダー・シェード：商業的なジェンダー分類における交差的精度格差」（PDF） . Proceedings of Machine Learning Research . 81 : 1 – MLR Press経由.
  120. ^ アナニー、マイク（2011年4月14日）「ゲイ男性向けアプリと性犯罪者の奇妙なつながり」アトランティック誌。 2017年11月18日閲覧。
  121. ^ カフカ、ピーター。「今週末、アマゾンは本当に失敗したのか？Twitterでは『はい』、オンライン小売業者は『不具合』と言っている。」AllThingsD 。 2017年11月22日閲覧。
  122. ^ カフカ、ピーター. 「Amazonが『不注意なカタログ作成エラー』について謝罪」. AllThingsD . 2017年11月22日閲覧。
  123. ^ マツサキス、ルイーズ（2019年2月22日）「『性差別的』検索バグはFacebookよりも私たちについて多くを語る」Wired . ISSN  1059-1028 . 2019年2月26日閲覧。
  124. ^ 「存在すべきではないAIもある」2019年4月19日。
  125. ^ サミュエル・シガル (2019年4月19日). 「一部のAIは存在すべきではない」. Vox . 2019年12月12日閲覧。
  126. ^ Wang, Yilun; Kosinski, Michal (2017年2月15日). 「ディープニューラルネットワークは顔画像からの性的指向の検出において人間よりも正確である」. OSF . doi :10.17605/OSF.IO/ZN79K.
  127. ^ レビン、サム（2017年9月9日）「LGBT団体、顔からセクシュアリティを推測する『危険な』AIを非難」ガーディアン紙ISSN  0261-3077 . 2019年12月12日閲覧。
  128. ^ Pal, GC (2011年9月16日). 「障害、インターセクショナリティ、そして貧困：排除される課題」. Psychology and Developing Societies . 23(2), 159–176. doi :10.1177/097133361102300202. S2CID  147322669 – Sagepub経由.
  129. ^ Brinkman, Aurora H.; Rea-Sandin, Gianna; Lund, Emily M.; Fitzpatrick, Olivia M.; Gusman, Michaela S.; Boness, Cassandra L.; Scholars for Elevating Equity and Diversity (SEED) (2022年10月20日). 「障害に関する言説の転換：包括的かつ交差的な視点への移行」. American Journal of Orthopsychiatry . 93 (1): 50– 62. doi :10.1037/ort0000653. ISSN  1939-0025. PMC 9951269. PMID 36265035  . 
  130. ^ Whittaker, Meredith (2019年11月). 「障害、偏見、そしてAI」(PDF) . 2023年3月27日時点のオリジナル(PDF)からアーカイブ。 2022年12月2日閲覧。
  131. ^ 「ミッション - 障害は多様性 - エンターテイメント業界の皆様へ、障害なくして多様性、公平性、包摂性はあり得ません」。Disability is Diversity . 2022年12月2日閲覧。
  132. ^ 「Microsoft Design」www.microsoft.com . 2022年12月2日閲覧。
  133. ^ プルラン、アンドリュー. 「障害者コミュニティの多様性を理解する4つの方法」. Forbes . 2022年12月2日閲覧。
  134. ^ ウォーターマイヤー、ブライアン、シュワルツ、レスリー（2022年10月12日）「障害と怠惰なインターセクショナリティの問題」『障害と社会』38 (2): 362– 366. doi :10.1080/09687599.2022.2130177. ISSN  0968-7599. S2CID  252959399.
  135. ^ 「障害データ報告書2021」.障害データ・イニシアチブ. 2021年5月23日. 2022年12月2日閲覧。
  136. ^ White, Jason JG (2020年3月2日). 「障がい者にとってのAIの公平性：問題分析と学際的連携」. ACM SIGACCESS Accessibility and Computing (125): 3:1. doi :10.1145/3386296.3386299. ISSN  1558-2337. S2CID  211723415.
  137. ^ 「AI言語モデルは障害者に対して偏見を示している、と研究で判明｜ペンシルベニア州立大学」www.psu.edu . 2022年12月2日閲覧。
  138. ^ ギブンズ、アレクサンドラ・リーブ（2020年2月6日）「アルゴリズムによる偏見が障害者に及ぼす影響」スレート誌。 2022年12月2日閲覧。
  139. ^ Morris, Meredith Ringel (2020年5月22日). 「AIとアクセシビリティ」. Communications of the ACM . 63 (6): 35– 37. arXiv : 1908.08939 . doi :10.1145/3356727. ISSN  0001-0782. S2CID  201645229.
  140. ^ ノーブル、サフィヤ・ウモジャ（2018年2月20日）『抑圧のアルゴリズム：検索エンジンはいかに人種差別を強化するか』ニューヨーク、ISBN 978-1-4798-3724-3. OCLC  987591529.{{cite book}}: CS1 maint: location missing publisher (link)
  141. ^ Castelnovo, Alessandro; Inverardi, Nicole; Nanino, Gabriele; Penco, Ilaria; Regoli, Daniele (2023). 「これで十分？「公平」なアルゴリズムを実現するための要件に関する現状の限界マップ」arXiv : 2311.12435 [cs.AI].
  142. ^ Ruggieri, Salvatore; Alvarez, Jose M; Pugnana, Andrea; Turini, Franco (2023). 「Fair-AIは信頼できるか？」. AAAI人工知能会議論文集. 37 (13): 5421– 15430. doi : 10.1609/aaai.v37i13.26798 . hdl : 11384/136444 . S2CID  259678387.
  143. ^ サミュエル・シガル (2022年4月19日). 「AIを公平かつ公平にするのはなぜこんなに難しいのか」. Vox . 2024年7月23日閲覧。
  144. ^ フィオレット、フェルディナンド（​​2024年3月19日）「AIに公平性を組み込むことは重要だが、正しく実現するのは難しい」The Conversation 。 2024年7月23日閲覧。
  145. ^ フリードラー、ソレル A.;シャイデッガー、カルロス。ヴェンカタスブラマニアン、スレシュ (2016)。 「公平性の（不可能）可能性について」。arXiv : 1609.07236 [cs.CY]。
  146. ^ Hu, Lily; Chen, Yiling (2018). 「公正な分類の福祉と分配への影響」arXiv : 1807.01134 [cs.LG].
  147. ^ ドワーク、シンシア;ハルト、モーリッツ。ピタッシ、トニアン。ラインゴールド、オメル。ゼメル、リッチ（2011年11月28日）。 「意識による公平性」。arXiv : 1104.3913 [cs.CC]。
  148. ^ abc サンドヴィグ, クリスチャン; ハミルトン, ケビン; カラハリオス, カリ; ラングボート, セドリック (2014). ガンガダラン, シータ・ペナ; ユーバンクス, ヴァージニア; バロカス, ソロン (編). 「アルゴリズム監査」(PDF) .データと差別：エッセイ集.
  149. ^ LaFrance, Adrienne (2015年9月18日). 「Webを動かすアルゴリズムはますます謎めいている」. The Atlantic . 2017年11月19日閲覧。
  150. ^ ブルーノ・ラトゥール (1999). 『パンドラの希望：科学研究の現実に関するエッセイ』マサチューセッツ州ケンブリッジ：ハーバード大学出版局.
  151. ^ クビチコ, セバスチャン; カウン, アン (2016). メディアとコミュニケーション研究における革新的手法. シュプリンガー. ISBN 978-3-319-40700-5. 2017年11月19日閲覧。
  152. ^ McGee, Matt (2013年8月16日). 「EdgeRankは死んだ：Facebookのニュースフィードアルゴリズムの重み付け要素は今や10万個近くに」. Marketing Land . 2017年11月18日閲覧。
  153. ^ abc Granka, Laura A. (2010年9月27日). 「検索の政治学：10年間の回顧」(PDF) .情報社会. 26 (5): 364– 374. doi :10.1080/01972243.2010.511560. S2CID  16306443. 2017年11月18日閲覧.
  154. ^ Szymielewicz, Katarzyna (2020年1月20日). 「ブラックボックス化された政治」. Medium . 2020年2月11日閲覧。
  155. ^ Veale, Michael; Binns, Reuben (2017). 「現実世界におけるより公平な機械学習：センシティブなデータを収集せずに差別を軽減する」. Big Data & Society . 4 (2): 205395171774353. doi : 10.1177/2053951717743530 . SSRN  3060763.
  156. ^ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (2009年6月). 「国勢調査局の姓名リストを用いた人種／民族および関連する格差の推定精度の向上」. Health Services and Outcomes Research Methodology . 9 (2): 69– 83. doi :10.1007/s10742-009-0047-1. ISSN  1387-3741. S2CID  43293144.
  157. ^ チェン・ジアハオ、カルス・ネイサン、マオ・シャオジエ、スヴァチャ・ジェフリー、ウデル・マドレーヌ (2019). 「無自覚下の公平性」.公平性、説明責任、透明性に関する会議議事録. アトランタ、ジョージア州、米国: ACM Press. pp.  339– 348. arXiv : 1811.11154 . doi :10.1145/3287560.3287594. ISBN 978-1-4503-6125-5. S2CID  58006233。
  158. ^ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). 「Blind Justice: Fairness with Encrypted Sensitive Attributes」. International Conference on Machine Learning : 2630– 2639. arXiv : 1806.03281 . Bibcode :2018arXiv180603281K.
  159. ^ ビンズ, ルーベン; ヴィール, マイケル; クリーク, マックス・ヴァン; シャドボルト, ナイジェル (2017年9月13日). 「トレーナーはボットと同じ？ アルゴリズムによるコンテンツモデレーションにおけるバイアスの継承」.ソーシャルインフォマティクス. コンピュータサイエンス講義ノート. 第10540巻. pp.  405– 415. arXiv : 1707.01477 . doi :10.1007/978-3-319-67256-4_32. ISBN 978-3-319-67255-7. S2CID  2814848。
  160. ^ Claburn, Thomas (2016年7月18日). 「EUデータ保護法、未知のアルゴリズムを終焉させる可能性 – InformationWeek」. InformationWeek . 2017年11月25日閲覧。
  161. ^ ab ジョビン、アンナ;イエンカ、マルチェッロ。ヴァイエナ、エフィー（2019年9月2日）。 「AI倫理ガイドラインの世界的な状況」。ネイチャー・マシン・インテリジェンス。1 (9): 389–399 . arXiv : 1906.11668。Bibcode :2019NatMI...1..389J。土井：10.1038/s42256-019-0088-2。S2CID  201827642。
  162. ^ Wattenberg, Martin; Viégas, Fernanda; Hardt, Moritz. 「よりスマートな機械学習による差別への対策」Google Research.
  163. ^ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). 「教師あり学習における機会の平等」. arXiv : 1610.02413 [cs.LG].
  164. ^ Wiggers, Kyle (2018年5月25日). 「Microsoftは、エンジニアがアルゴリズムのバイアスを検知するためのツールを開発中」VentureBeat.com .
  165. ^ 「Facebookは人工知能のバイアスを検出するツールを持っていると述べている」Quartz、2018年5月3日。2023年3月5日時点のオリジナルよりアーカイブ。
  166. ^ 「Pymetrics 監査-AI」。GitHub.com。
  167. ^ Johnson, Khari (2018年5月31日). 「Pymetricsがアルゴリズムバイアス検出ツール「Audit AI」をオープンソース化」VentureBeat.com .
  168. ^ 「Aequitas: バイアスと公平性の監査ツールキット」。GitHub.com。
  169. ^ https://dsapp.uchicago.edu/aequitas/ オープンソース監査AI、シカゴ大学のAequitas
  170. ^ Puri, Ruchir (2018年2月6日). 「AIモデルにおけるバイアスの軽減」. IBM.com . 2018年2月7日時点のオリジナルよりアーカイブ。
  171. ^ S. Sen、D. Dasgupta、KD Gupta、「アルゴリズムのバイアスに関する実証的研究」、2020 IEEE 44th Annual Computers, Software, and Applications Conference (COMPSAC)、マドリード、スペイン、2020年、pp. 1189–1194、doi :10.1109/COMPSAC48688.2020.00-95。
  172. ^ Zou, James; Schiebinger, Londa (2018年7月). 「AIは性差別的・人種差別的になり得る ― 今こそ公平にすべき時だ」. Nature . 559 (7714): 324– 326. Bibcode :2018Natur.559..324Z. doi : 10.1038/d41586-018-05707-8 . PMID:  30018439.
  173. ^ Jia, Sen; Welfare, Thomas; Cristianini, Nello (2018).正しい理由のための正しいこと：アグノスティックスネットワークのトレーニング. インテリジェントデータ分析に関する国際シンポジウム. Springer.
  174. ^ サットン, アダム; ウェルフェア, トーマス; クリスティアーニ, ネロ (2018).野生データからのバイアス埋め込み：測定、理解、除去. インテリジェントデータ分析に関する国際シンポジウム. シュプリンガー. doi :10.1007/978-3-030-01768-2_27.
  175. ^ 「ソフトウェア＆システムエンジニアリング標準委員会」2018年4月17日。
  176. ^ ab Koene, Ansgar (2017年6月). 「アルゴリズムのバイアス：増大する懸念への対応 [Leading Edge]」(PDF) . IEEE Technology and Society Magazine . 36 (2): 31– 32. doi :10.1109/mts.2017.2697080. ISSN 0278-0097. 2018年7月19日時点の オリジナル(PDF)からアーカイブ。 2019年8月1日閲覧。
  177. ^ ab 「P7003 - アルゴリズムのバイアスに関する考慮事項」IEEE . 2018年12月3日時点のオリジナルよりアーカイブ。 2018年12月3日閲覧。
  178. ^ 「IEEE 7003-2024 アルゴリズムバイアスの考慮に関するIEEE標準」 。 2025年3月16日閲覧。
  179. ^ 「ソフトウェア＆システムエンジニアリング標準委員会」2018年4月17日。
  180. ^ 「IEEE CertifAIEd™ – 倫理的アルゴリズムバイアスのためのオントロジー仕様」（PDF） IEEE. 2022年。
  181. ^ インターネット協会 (2017年4月18日). 「人工知能と機械学習：政策文書」.インターネット協会. 2020年2月11日閲覧。
  182. ^ ab 「ホワイトペーパー：機械学習における差別的結果の防止方法」世界経済フォーラム2018年3月12日. 2020年2月11日閲覧.
  183. ^ 「説明可能な人工知能」www.darpa.mil . 2020年2月11日閲覧。
  184. ^ PricewaterhouseCoopers. 「責任あるAIフレームワーク」. PwC . 2020年2月11日閲覧。
  185. ^ ヒールド、デイヴィッド（2006年9月7日）.透明性：より良いガバナンスへの鍵？ . 英国アカデミー. doi :10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9。
  186. ^ Kemper, Jakko; Kolkman, Daan (2019年12月6日). 「誰に対して透明性があるか？批判的な聴衆なしにアルゴリズムの説明責任は果たせない」. Information, Communication & Society . 22 (14): 2081– 2096. doi : 10.1080/1369118X.2018.1477967 . hdl : 11245.1/75cb1256-5fe5-4724-9a63-03ef66032d8e . ISSN  1369-118X.
  187. ^ ミッチェル, マーガレット; ウー, シモーヌ; ザルディバー, アンドリュー; バーンズ, パーカー; ヴァッサーマン, ルーシー; ハッチンソン, ベン; スピッツァー, エレナ; ラジ, イニオルワ, デボラ; ゲブル, ティムニット (2019年1月29日). 「モデル報告のためのモデルカード」.公平性、説明責任、透明性に関する会議議事録. ACM. pp.  220– 229. arXiv : 1810.03993 . doi :10.1145/3287560.3287596. ISBN 978-1-4503-6125-5。
  188. ^ ゲブル、ティムニット;ジェイミー・モルゲンシュテルン。ベッキオーネ、ブリアナ。ヴォーン、ジェニファー・ウォートマン。ウォラック、ハンナ。 Iii、ハル・ドーメ。クロフォード、ケイト（2021年12月）。 「データセットのデータシート」。ACM の通信。64 (12): 86–92 . arXiv : 1803.09010。土井：10.1145/3458723。ISSN  0001-0782。
  189. ^ オマール・ビタール、ベノワ・デシャイエス、ドーン・ホール（2022年）。「財務委員会による自動化意思決定に関する指令の第3回見直し」SSRN電子ジャーナル。doi : 10.2139/ssrn.4087546。ISSN 1556-5068  。
  190. ^ 「トロント宣言：機械学習システムにおける平等と差別禁止の権利の保護」ヒューマン・ライツ・ウォッチ2018年7月3日 . 2020年2月11日閲覧.
  191. ^ トロント宣言：機械学習システムにおける平等と差別禁止の権利の保護（PDF）ヒューマン・ライツ・ウォッチ、2018年、15ページ。
  192. ^ フロリディ州、ルチアーノ;カウルズ、ジョシュ。ベルトラメッティ、モニカ。チャティラ、ラジャ;チェゼランド、パトリス。バージニア州ディグナム。ルエッゲ、クリストフ。ロバート・マデリン。パガロ、ウーゴ。ロッシ、フランチェスカ。ブルクハルト、シェーファー（2018年12月1日）。 「AI4People — 優れた AI 社会のための倫理的枠組み: 機会、リスク、原則、および推奨事項」。心と機械。28 (4): 703.土井:10.1007/s11023-018-9482-5。ISSN  1572-8641。PMC 6404626。PMID  30930541。 
  193. ^ クロフォード、ケイト（2016年6月25日）「オピニオン｜人工知能における白人男性問題」ニューヨーク・タイムズISSN  0362-4331 . 2020年2月11日閲覧。
  194. ^ 「AIは未来だ――しかし女性はどこにいるのか？」Wired . ISSN  1059-1028 . 2020年2月11日閲覧。
  195. ^ スノー、ジャッキー。「私たちは多様性の危機に瀕している」：Black in AIの共同創設者が語る、私たちの生活におけるアルゴリズムの害悪について。MITテクノロジーレビュー。 2020年2月11日閲覧。
  196. ^ ハオ、カレン（2021年6月14日）「ビッグテックの支配からAIを取り戻す戦いの内側」MITテクノロジーレビュー。 2021年6月21日閲覧。
  197. ^ Ciston, Sarah (2019年12月29日). 「インターセクショナルAIは不可欠」. Journal of Science and Technology of the Arts . 11 (2): 3–8 . doi : 10.7559/citarj.v11i2.665 . ISSN  2183-0088.
  198. ^ ディニャツィオ、カトリーヌ;クライン、ローレン F. (2020)。データフェミニズム。 MITプレス。ISBN 978-0-262-04400-4。
  199. ^ ケイブ、スティーブン、ディハル、カンタ（2020年8月6日）「AIの白さ」『哲学とテクノロジー』33 (4): 685–703 . doi : 10.1007/s13347-020-00415-6 . ISSN  2210-5441.
  200. ^ ボンディ, エリザベス; 徐, リリー; アコスタ＝ナバス, ダイアナ; キリアン, ジャクソン A. (2021). 「コミュニティの構想：社会貢献のためのAIに向けた参加型アプローチ」. 2021年AAAI/ACM AI、倫理、社会に関する会議議事録. pp.  425– 436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 978-1-4503-8473-5. S2CID  233740121 . 2023年4月6日閲覧– ezpa.library.ualberta.ca経由。
  201. ^ スタンフォード大学（2019年3月18日）「スタンフォード大学、人間中心の人工知能研究所を開設」スタンフォードニュース。 2023年4月6日閲覧。
  202. ^ ボンディ, エリザベス; 徐, リリー; アコスタ＝ナバス, ダイアナ; キリアン, ジャクソン A. (2021年7月21日). 「コミュニティの構想：社会貢献のためのAIに向けた参加型アプローチ」. 2021年AAAI/ACM AI、倫理、社会に関する会議議事録. pp.  425– 436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 978-1-4503-8473-5. S2CID  233740121。
  203. ^ Bygrave, Lee A (2001). 「自動プロファイリング」.コンピュータ法とセキュリティレビュー. 17 (1): 17– 24. doi :10.1016/s0267-3649(01)00104-2.
  204. ^ ab Veale, Michael; Edwards, Lilian (2018). 「自動意思決定とプロファイリングに関する第29条作業部会ガイダンス草案における明確性、驚き、そしてさらなる疑問」(PDF) . Computer Law & Security Review . 34 (2): 398– 404. doi :10.1016/j.clsr.2017.12.002. S2CID  4797884. SSRN  3071679.
  205. ^ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (2017年5月1日). 「一般データ保護規則に自動意思決定に関する説明を受ける権利が存在しない理由」.国際データプライバシー法. 7 (2): 76– 99. doi : 10.1093/idpl/ipx005 . ISSN  2044-3994.
  206. ^ エドワーズ、リリアン、ヴィール、マイケル（2017年5月23日）「アルゴリズムの奴隷？説明を受ける権利は、おそらくあなたが求めている救済策ではない理由」デューク大学ロー＆テクノロジーレビュー、16：18-84。SSRN 2972 ​​855  。
  207. ^ ab Singer, Natasha (2013年2月2日). 「消費者データ保護法、隔絶された大地」ニューヨーク・タイムズ. 2017年11月26日閲覧。
  208. ^ オバマ、バラク（2016年10月12日）「人工知能の将来に関する政権報告書」whitehouse.gov国立公文書館2017年11月26日閲覧。
  209. ^ 米国科学技術会議（National Science and Technology Council, 2016）「国家人工知能研究開発戦略計画（PDF）」米国政府。 2017年11月26日閲覧。
  210. ^ キルヒナー、ローレン（2017年12月18日）「ニューヨーク市、アルゴリズムの説明責任確保へ動き出す — ProPublica」ProPublica 2018年7月28日閲覧。
  211. ^ 「ニューヨーク市議会 - ファイル番号: Int 1696-2017」. legistar.council.nyc.gov . ニューヨーク市議会. 2018年7月28日閲覧。
  212. ^ Wiggers, Kyle (2023年7月5日). 「ニューヨーク市、アルゴリズム採用に関する偏見禁止法を施行」. TechCrunch . 2025年4月16日閲覧。
  213. ^ ジュリア・パウルズ「ニューヨーク市、アルゴリズムに責任を持たせようとする大胆かつ欠陥のある試み」『ニューヨーカー』2018年7月28日閲覧。
  214. ^ 「人工知能におけるアメリカのリーダーシップの維持」2019年2月14日。
  215. ^ 「安全、安心、信頼できる人工知能の開発と利用」2023年11月。
  216. ^ 「カマラ・ハリス副大統領、連邦政府機関向けの「安全、安心、責任ある」AIガイドラインを発表」2024年3月28日。
  217. ^ 「インド、EUのGDPRに類似した包括的データプライバシー法案を検討」Insurance Journal、2018年7月31日。 2019年2月26日閲覧。
  218. ^ 「2018年個人データ保護法案」（PDF）インド政府電子情報技術省、2018年。 2022年4月29日閲覧。

さらに読む

Retrieved from "https://en.wikipedia.org/w/index.php?title=Algorithmic_bias&oldid=1332527452"