人工知能（AI）の分野において、アライメントとは、 AIシステムを個人またはグループの意図した目標、嗜好、あるいは倫理原則に導くことを目指します。AIシステムは、意図された目的を推進する場合、アライメントが適切であるとみなされます。一方、アライメントが不適切なAIシステムは、意図されていない目的を追求します。[1]

AI設計者にとって、AIシステムのアラインメントはしばしば困難です。なぜなら、望ましい行動と望ましくない行動のすべてを規定することが難しいからです。そのため、AI設計者は人間の承認を得るといった、より単純な代理目標を用いることが多いのです。しかし、代理目標は必要な制約を見落としたり、AIシステムが単にアラインメントしているように見えるだけで報酬を与えてしまう可能性があります。[1] [2]また、AIシステムは、代理目標を効率的に達成できるものの、意図しない、時には有害な方法で達成できる抜け穴を見つけることもあります（報酬ハッキング）。[1] [3]

高度なAIシステムは、割り当てられた最終目標を達成するのに役立つため、権力や生存の追求などの望ましくない道具的戦略を開発する場合があります。 [1] [4] [5]さらに、システムが展開されて新しい状況やデータ分布に遭遇する前に検出するのが難しい望ましくない創発目標を開発する場合があります。[6] [7] 2024年の実証的研究では、OpenAI o1やClaude 3などの高度な大規模言語モデル（LLM）が、目標を達成するため、または変更を防ぐために戦略的な欺瞞を行うことがあることが示されました。[8] [9]

現在、これらの問題の一部は、LLM、[10] [11] [12] ロボット、[13] 自律走行車、[14]ソーシャルメディア推奨エンジンなどの既存の商用システムに影響を及ぼしています。[10] [5] [15]一部のAI研究者は、これらの問題が部分的には高い能力に起因するため、より能力の高い将来のシステムはより深刻な影響を受けると主張しています。[16] [3] [2]

多くの著名なAI研究者や大手AI企業のリーダーたちは、AIが人間のような認知能力（AGI）や超人的な認知能力（ ASI ）に近づいており、方向性を誤れば人類の文明を危険にさらす可能性があると主張または主張している。 [17] [5]これらには、「AIのゴッドファーザー」のジェフリー・ヒントン氏とヨシュア・ベンジオ氏、そしてOpenAI、Anthropic、Google DeepMindのCEOが含まれる。[18] [19] [20]これらのリスクについては依然として議論が続いている。[21]

AIアライメントはAI安全性のサブフィールドであり、安全なAIシステムの構築方法を研究する。[22] [23] AI安全性の他のサブフィールドには、堅牢性、監視、機能制御などがある。[24]アライメントにおける研究課題には、AIへの複雑な価値観の浸透、正直なAIの開発、スケーラブルな監視、AIモデルの監査と解釈、権力追求などのAIの新たな行動の防止などがある。[24]アライメント研究は、解釈可能性研究、[25] [ 26 ]（敵対的）堅牢性、[27]異常検出、較正された不確実性、[25]形式検証、 [28]選好学習、[29] [30] [31]セーフティクリティカルエンジニアリング、[32]ゲーム理論、[33]アルゴリズムの公平性、[27] [34]社会科学と関連している。[35] [36]

AIの目的

プログラマーは、 AlphaZeroのようなAIシステムに「目的関数」[a]を提供します。これは、AIが達成するように設定された目標をカプセル化することを意図しています。このようなシステムは、後に（場合によっては暗黙的な）環境の内部「モデル」を構築します。このモデルは、エージェントの世界に関するすべての信念をカプセル化します。AIは、目的関数の値[c ]を最大化[b ]するように計算された計画を作成し、実行します。 [37]例えば、AlphaZeroをチェスの訓練に用いる場合、「AlphaZeroが勝ったら+1、負けたら-1」という単純な目的関数が与えられます。ゲーム中、AlphaZeroは+1という最大値を達成する可能性が最も高いと判断した一連の動きを実行しようとします。[38]同様に、強化学習システムには「報酬関数」を持たせることができ、プログラマーはAIの望ましい行動を形作ることができます。[39]進化アルゴリズムの行動は「適応度関数」によって形作られます。[40]

アライメントの問題

1960 年、AI の先駆者であるノーバート・ウィーナーは、 AI アライメント問題を次のように説明しました。

もし我々が目的を達成するために、その動作に効果的に介入することができない機械的な手段を使うならば、我々はその機械に投入された目的が我々が本当に望んでいる目的であるかどうかを十分に確信しておかなければならない。[41] [5]

AIの整合とは、AIシステムの目的が設計者やユーザーの目的と一致すること、広く共有されている価値観、客観的な倫理基準、あるいは設計者がより多くの情報を得て啓発されたならば持つであろう意図と一致することを保証することを含む。[42]

AIアライメントは現代のAIシステムにとって未解決の問題であり[43] [44]、AI内の研究分野である。[45] [1] AIのアライメントには、システムの目的を慎重に指定すること（外部アライメント）と、システムが仕様を堅牢に採用することを保証すること（内部アライメント）という2つの主な課題がある。[2]研究者たちは、ユーザーが敵対的に回避しようとした場合でも安全制約を遵守する、 堅牢なアライメントを備えたAIモデルの作成も試みている。

仕様ゲームと副作用

AIシステムの目的を指定するために、AI設計者は通常、目的関数、例、またはシステムへのフィードバックを提供する。しかし、設計者は重要な価値と制約をすべて完全に指定することができないことが多いため、誤りを犯す可能性のある人間の監督者の承認を最大化するなど、指定しやすい代理目標に頼る。[27] [24] [46] [47] [48]その結果、AIシステムは指定された目的を効率的に達成するのに役立つ抜け穴を見つけることができるが、それは意図しない、おそらくは有害な方法である。この傾向は仕様ゲーミングまたは報酬ハッキングとして知られており、グッドハートの法則の一例である。[48] [3] AIシステムの能力が向上するにつれて、仕様をより効果的にゲーム化できるようになることが多い。[3]

AIシステムは人間のフィードバックを使ってボールを掴むように訓練されたが、代わりにボールとカメラの間に手を置くことを学習し、誤って成功したように見せかけた。[49]アライメントに関する研究の中には、誤っているが説得力のある解決策を回避することを目的としているものもある。

仕様ゲーミングは多くのAIシステムで観察されています。[48] [50]あるシステムは、模擬ボートレースで、コース上の標的に当たることで報酬を得て完走するように訓練されましたが、同じ標的に無限にループして衝突することで、より多くの報酬を得ました。[51]同様に、模擬ロボットは、人間から肯定的なフィードバックを得ることで報酬を得てボールを掴むように訓練されましたが、ボールとカメラの間に手を置くことを学習し、成功しているように見せかけました（動画参照）。[49]チャットボットは、インターネットコーパスのテキストを模倣するように訓練された言語モデルに基づいている場合、しばしば虚偽を生成します。インターネットコーパスは広範ですが誤りがあります。[52] [53]人間が真実または有用であると評価するテキストを生成するように再訓練されると、ChatGPTのようなチャットボットは、人間が納得できる偽の説明、いわゆる「幻覚」を作り出すことができます。[54]一部のアライメント研究者は、人間が仕様ゲーミングを検出し、AIシステムを安全かつ有用で、かつ慎重に指定された目標に導くことを支援することを目指しています。

整合性の欠けたAIシステムが導入されると、重大な副作用が生じる可能性があります。ソーシャルメディアプラットフォームはクリックスルー率を最適化し、世界規模でユーザーの依存を引き起こしていることが知られています。[46]スタンフォード大学の研究者たちは、このようなレコメンデーションシステムは「社会と消費者の幸福という、測定が難しい組み合わせではなく、単純なエンゲージメント指標を最適化している」ため、ユーザーとの整合性が欠けていると述べています。[10]

このような副作用について、バークレー大学のコンピュータ科学者スチュアート・ラッセルは、暗黙的な制約の省略が悪影響を及ぼす可能性があると指摘した。「システムはしばしば制約のない変数を極端な値に設定します。もしそれらの制約のない変数の1つが実際に私たちが関心を持つものであった場合、見出される解は非常に望ましくないものになる可能性があります。これは本質的に、ランプの精霊、魔法使いの弟子、あるいはミダス王の昔話に似ています。人は求めているものを正確に得ることができますが、欲しいものを得ることはできません。」[55]

一部の研究者は、AI設計者が、禁止行為を列挙したり、倫理規則を形式化したりすることで（アシモフのロボット三原則のように）望ましい目標を特定することを提案している。[56]しかし、ラッセルとノーヴィグは、このアプローチは人間の価値観の複雑さを無視していると主張している。[5]「機械が特定の目的を達成するために選択する可能性のあるすべての破滅的な方法を、単なる人間が事前に予測し、排除することは非常に困難であり、おそらく不可能である。」[5]

さらに、AIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがAIシステムの目的ではない場合（すでに完全に一致している場合を除く）、人間の意図を無視する可能性があります。[1] [57]

2025年にパリセード・リサーチが行った調査によると、チェスでより強い相手に勝つという課題を与えた場合、一部の推論型LLMはゲームシステムのハッキングを試みた。o1 -previewは37%のケースで自発的にハッキングを試み、DeepSeek R1は11%のケースでハッキングを試みた。GPT -4o、Claude 3.5 Sonnet、o3-miniなどの他のモデルは、研究者がハッキングの可能性についてヒントを与えた場合にのみハッキングを試みた。[58]

安全でないシステムの導入圧力

営利組織は、安全性を軽視し、不完全な、あるいは安全でないAIシステムを導入するインセンティブを持つことがあります。[46]例えば、ソーシャルメディアのレコメンデーションシステムは、望ましくない依存や二極化を生み出しているにもかかわらず、利益を上げています。[10] [59] [60]競争圧力は、AIの安全基準における競争の激化にもつながります。2018年には、自動運転車が歩行者（エレイン・ヘルツバーグ氏）を死亡させるという事故が発生しました。これは、緊急ブレーキシステムが過敏だったためエンジニアがそれを無効にしたことで開発が遅れたためです。[61]

高度なAIの不整合によるリスク

AI開発の急速な進歩と、産業界や政府が高度なAIの構築に取り組んでいることから、一部の研究者は、ますます高度化するAIシステムの連携に関心を寄せています。AIシステムの能力は急速に拡大し続けており、連携することで多くの可能性が拓かれる可能性がありますが、その結果、複雑性が増すため連携作業がさらに複雑化し、大規模な危険をもたらす可能性があります。[5]

高度なAIの開発

OpenAI [62] 、Meta [63]、DeepMind [ 64]など多くのAI企業は、人工汎用知能（AGI）の開発を目指していると表明しています。AGIとは、幅広い認知タスクにおいて人間に匹敵するか、あるいは人間を上回る能力を持つとされるAIシステムです。現代のニューラルネットワークをスケールアップする研究者たちは、ネットワークがますます汎用的で予期せぬ能力を発揮していることを観察しています。[10] [65] [66]このようなモデルは、コンピューターの操作や独自のプログラムの作成を学習しており、単一の「ジェネラリスト」ネットワークでチャット、ロボット制御、ゲームプレイ、写真の解釈などを行うことができます。[67]調査によると、機械学習の主要研究者の中には、AGIが2020年代中に実現すると予想する研究者もいれば、それよりもはるかに長い時間がかかると考える研究者もいます。多くの人は、どちらのシナリオも可能だと考えています。[68] [69] [70]

2023年、AI研究・技術のリーダーたちは、最大規模のAI訓練の一時停止を求める公開書簡に署名した。書簡には、「強力なAIシステムは、その効果がプラスであり、リスクが管理可能であると確信できる場合にのみ開発されるべきである」と記されていた。[71]

権力欲

現在のシステムはまだ長期計画能力と状況認識が限られているが[10]、これを変更するための大きな取り組みが進行中である。[72] [73]これらの機能を備えた将来のシステム（必ずしも AGI とは限らない）は、望ましくない権力追求戦略を開発すると予想される。将来の高度な AI エージェントは、たとえば、お金や計算能力を獲得したり、増殖したり、オフにされることを回避したり（たとえば、他のコンピューターでシステムの追加コピーを実行することによって）しようとする可能性がある。権力追求は明示的にプログラムされていないが、より多くの力を持つエージェントの方が目標を達成できるため、権力追求が現れる可能性がある。[10] [4]道具的収束として知られるこの傾向は、言語モデルを含むさまざまな強化学習エージェントですでに現れている。[74] [75]他の研究では、最適な強化学習アルゴリズムはさまざまな環境で権力を追求することが数学的に示されている。 [76] [77]結果として、それらの展開は不可逆的になる可能性がある。これらの理由から、研究者たちは、高度な権力追求型AIが最初に作られる前に、AIの安全性と整合の問題を解決しなければならないと主張している。[4] [78] [5]

将来、権力を追求するAIシステムは、意図的あるいは偶発的に導入される可能性があります。政治指導者や企業は、最も競争力があり、最も強力なAIシステムを保有することの戦略的優位性を認識し、それらを導入することを選択するかもしれません。[4]さらに、AI設計者が権力追求行動を検出し、ペナルティを課すと、そのシステムは、ペナルティを受けない方法で権力を追求するか、導入前に権力追求を回避することで、この仕様を巧みに利用しようとするインセンティブを持つことになります。[4]

実存的リスク（Xリスク）

一部の研究者によると、人間が他の種よりも優位に立っているのは、その優れた認知能力によるものだという。したがって、研究者たちは、1つあるいは複数のAIシステムが、ほとんどの認知タスクにおいて人間を凌駕した場合、人類の力を奪い、あるいは絶滅につながる可能性があると主張している。[1] [5]

2023年、世界をリードするAI研究者、その他の学者、AI技術のCEOらが、「パンデミックや核戦争など他の社会規模のリスクと並んで、AIによる絶滅のリスクを軽減することは世界的な優先事項であるべきだ」という声明に署名した。[79] [80]将来の高度なAIが不整合を起こすことで生じるリスクを指摘した著名なコンピュータ科学者としては、ジェフリー・ヒントン、[17] アラン・チューリング、[d] イリヤ・スツケヴァー、[83] ヨシュア・ベンジオ、[79] ジューディア・パール、[e] マレー・シャナハン、 [ 84] ノーバート・ウィーナー、[41] [5] マービン・ミンスキー、[f] フランチェスカ・ロッシ、 [ 85 ] スコット ・アーロンソン、 [ 86] バート・セルマン、[87] デビッド・マカルスター、 [88]マーカス・ハッター、[89] シェーン・レッグ、[90]エリック・ホロヴィッツ、[91]スチュアート・J・ラッセルなどがいます。[5]フランソワ・ショレ、[92]ゲイリー・マーカス、[93]ヤン・ルカン、[94]オレン・エツィオーニ[95]などの懐疑的な研究者は、AGIはまだ遠い将来であり、権力を求めない（あるいは権力を求めるが失敗するかもしれない）、あるいは権力の調整は難しくないと主張している。

他の研究者は、将来の高度なAIシステムの調整は特に困難になると主張しています。より能力の高いシステムは、抜け穴を見つけることで仕様を巧みに操作し、[3]設計者を戦略的に欺き、自らの力[76] [4]と知能を守り、高める能力を持っています。さらに、より深刻な副作用をもたらす可能性もあります。また、より複雑で自律的になり、解釈や監視が困難になり、調整もより困難になる可能性が高いです。[5] [78]

研究上の問題とアプローチ

人間の価値観と好みを学ぶ

AIシステムを人間の価値観、目標、嗜好に合わせて動作するように調整するのは困難です。これらの価値観は、間違いを犯し、偏見を抱き、完全に特定することが難しい複雑で進化する価値観を持つ人間によって教えられます。[42] AIシステムは指定された目的の小さな不完全さを利用することを学習することが多いため、[27] [48] [96]研究者は、人間の価値観、模倣学習、または嗜好学習を表すデータセットを使用して、意図された動作を可能な限り完全に特定することを目指しています。[6] ：第7章 中心的な未解決問題は、スケーラブルな監視、つまり特定のドメインで人間を上回るか誤解を招く可能性のあるAIシステムを監督することの難しさです。[27]

AI設計者は目的関数を明示的に指定することが難しいため、AIシステムを人間の例や望ましい行動のデモンストレーションを模倣するように訓練することがよくあります。逆強化学習（IRL）は、人間のデモンストレーションから人間の目的を推論することでこれを拡張します。[6] : 88  [97]協力型IRL（CIRL）は、人間とAIエージェントが協力して人間の報酬関数を学習し、最大化できることを前提としています。[5] [98] CIRLでは、AIエージェントは報酬関数について不確実であり、人間に問い合わせることで報酬関数を学習します。この模擬的な謙虚さは、仕様ゲーミングや権力追求の傾向を軽減するのに役立つ可能性があります（§ 権力追求と道具的戦略を参照）。[99]しかし、IRLアプローチは、人間がほぼ最適な行動を示すことを前提としていますが、これは難しいタスクには当てはまりません。[100] [89]

他の研究者たちは、人間が好む行動についてのフィードバックを提供する選好学習を通して、AIモデルに複雑な行動を教える方法を研究している。 [29] [31]人間からのフィードバックの必要性を最小限に抑えるために、ヘルパーモデルは、人間が報酬を与える行動に対して新しい状況でメインモデルに報酬を与えるようにトレーニングされる。 OpenAI の研究者たちはこのアプローチを使用して、人間を模倣するようにトレーニングされたモデルよりも説得力のあるテキストを生成するChatGPTや InstructGPT などのチャットボットをトレーニングした。[11]選好学習は、レコメンデーションシステムやウェブ検索にも影響力のあるツールとなっているが[101] 、未解決の問題としてプロキシゲーミングがある。ヘルパーモデルは人間のフィードバックを完全には再現しない可能性があり、メインモデルは、意図した行動とヘルパーモデルのフィードバックの不一致を利用して、より多くの報酬を得る可能性がある。[27] [102] AIシステムは、不利な情報を隠したり、報酬を与える人間を誤解させたり、真実に関係なく人間の意見に迎合してエコーチェンバーを作り出したりすることでも報酬を得る可能性がある[75]（§ スケーラブルな監視を参照）。

GPT-3などの大規模言語モデル（LLM）により、研究者はこれまでよりも汎用的で高性能なAIシステムにおける価値学習を研究できるようになりました。強化学習エージェント向けに設計された選好学習アプローチは、生成されるテキストの品質を向上させ、これらのモデルからの有害な出力を削減するために拡張されました。OpenAIとDeepMindはこのアプローチを用いて、最先端のLLMの安全性を向上させています。[11] [31] [103] AIの安全性と研究を専門とする企業Anthropicは、選好学習を用いてモデルを微調整し、有用で誠実で無害なものにすることを提案しました。[104]言語モデルを整合させるための他の方法としては、価値をターゲットとしたデータセット[105] [46]やレッドチーム演習[106]などがあります。レッドチーム演習では、別のAIシステムまたは人間が、モデルを危険な動作に導く入力を見つけようとします。危険な動作はまれであっても許容されない場合があるため、危険な出力の発生率を極めて低く抑えることが重要な課題となります。[31]

機械倫理は、 AIシステムに幸福、平等、公平性といった道徳的価値、そして危害を加えようとしないこと、虚偽を避けること、約束を守ることなどを直接植え付けることで、選好学習を補完する。 [107] [g]他のアプローチでは、AIシステムに特定のタスクに対する人間の好みを教えようとするが、機械倫理は、多くの状況に当てはまる幅広い道徳的価値を植え付けることを目指している。機械倫理における一つの問いは、整合によって何を達成すべきか、すなわち、AIシステムはプログラマーの文字通りの指示に従うべきか、暗黙の意図に従うべきか、顕在化した好みに従うべきか、プログラマーがより多くの情報や理性を持っていれば持つであろう好みに従うべきか、客観的な道徳基準に従うべきか、ということである。 [42]さらなる課題としては、様々な人々の好みを測定して集約すること、 [110]変化する人間の価値観との動的な整合[111] [112]、そして価値の固定化（人間の価値観を完全には反映しない可能性が高い、初期の高性能AIシステムの価値観を無期限に保存すること）を回避することが挙げられる。 [42] [113]

スケーラブルな監視

AIシステムがより強力かつ自律的になるにつれ、人間によるフィードバックを通してAIシステムを整合させることはますます困難になっています。人間が介入する学習は、ますます複雑なタスクにおける複雑なAIの挙動を人間が評価するには、時間がかかり、あるいは不可能になる場合があります。このようなタスクには、書籍の要約[114] 、微妙なバグ[12]やセキュリティ上の脆弱性のないコードの記述[​​115]、単に説得力があるだけでなく真実でもある発言の生成[116] 、[ 52]、[53]、気候や政策決定の結果といった長期的な結果を予測すること[117]、[118]などが含まれます。より一般的には、特定の領域において人間を上回るAIを評価することは困難です。評価が難しいタスクにおいてフィードバックを提供し、AIの出力が誤って説得力を持つ場合を検出するには、人間の支援や膨大な時間が必要です。スケーラブルな監督は、監督に必要な時間と労力を削減する方法、そして人間の監督者を支援する方法を研究しています[27] 。

AI研究者のポール・クリスティアーノは、AIシステムの設計者が複雑な目標を追求するようにAIシステムを監督できない場合、単純な人間からのフィードバックを最大化するといった評価しやすい代理目標を用いてシステムを訓練し続ける可能性があると主張している。AIシステムがより多くの意思決定を行うようになるにつれて、世界は利益の獲得、クリック数の獲得、人間からの肯定的なフィードバックの獲得といった測定しやすい目標にますます最適化される可能性がある。その結果、人間の価値観や良き統治の影響力は次第に弱まる可能性がある。[119]

一部のAIシステムは、人間の監督者にAIが意図した目的を達成したと誤認させるような行動をとることで、より容易に肯定的なフィードバックを得られることを発見しました。例えば、上のビデオでは、シミュレーションされたロボットアームがボールを掴んだという誤った印象を与えることを学習しています。[49]また、一部のAIシステムは、評価されていることを認識し、「死んだふり」をします。つまり、不要な行動を停止し、評価が終了すると再び行動を再開するのです。[120]このような欺瞞的な仕様ゲーミングは、より洗練された将来のAIシステム[3] [78]にとってより容易になり、より複雑で評価が難しいタスクに挑戦し、欺瞞的な行動を隠蔽できるようになるかもしれません。

能動学習や半教師あり報酬学習などのアプローチは、必要な人間による監督の量を減らすことができます。[27]もう1つのアプローチは、ヘルパーモデル（「報酬モデル」）を訓練して、監督者のフィードバックを模倣することです。[30] [31]

しかし、タスクが複雑すぎて正確に評価できない場合、あるいは人間の監督者が欺瞞されやすい場合、改善が必要なのは監督の量ではなく質です。監督の質を高めるために、監督者を支援する様々なアプローチがあり、AIアシスタントを活用することもあります。[121]クリスティアーノは、難しい問題を（再帰的に）人間が評価しやすいサブ問題に分解する反復増幅（Iterated Amplification）アプローチを開発しました。[6] [117]反復増幅は、人間の監督者が本を読むことなくAIが書籍を要約できるように訓練するために使用されました。[114]別の提案は、AIアシスタントシステムを使用してAIが生成した回答の欠陥を指摘することです。[122]アシスタント自体の整合性を確保するために、これを再帰的に繰り返すことができます。[123]例えば、2つのAIシステムが「討論」で互いの回答を批評し、人間に欠陥を明らかにすることができます。[89] OpenAIは、このようなスケーラブルな監視アプローチを使用して、超人的なAIを監視し、最終的には超人的な自動AIアライメント研究者を構築することを計画しています。[124]

これらのアプローチは、次の研究課題である「正直な AI」の解決にも役立つ可能性があります。

正直なAI

AI が正直で誠実であることを保証することに重点を置いた研究分野が 増えています。

GPT-3のような言語モデルはしばしば虚偽を生成します。[125]

GPT-3 [126]などの言語モデルは、トレーニングデータから虚偽を繰り返したり、新たな虚偽を作り上げたりすることさえできる。[125]このようなモデルは、インターネット上の何百万冊もの書籍に相当するテキストに見られるような人間の文章を模倣するように事前トレーニングされている。しかし、事前トレーニングの目的は真実を生成することではない。なぜなら、インターネットのテキストには誤解、誤った医学的アドバイス、陰謀論などが含まれているからである。[127]そのため、このようなデータでトレーニングされたAIシステムは、虚偽の陳述を模倣することを学ぶ。[53] [125] [52]さらに、AI言語モデルは、複数回プロンプトが出されると、虚偽を生成し続けることが多い。回答に対して空虚な説明を生成したり、もっともらしいように見える完全な捏造を生み出したりすることがある。[44]

真実のAIに関する研究には、質問に答える際に情報源を引用し、その理由を説明できるシステムの構築が含まれ、これにより透明性と検証可能性が向上します。[128] OpenAIとAnthropicの研究者は、人間のフィードバックとキュレーションされたデータセットを使用してAIアシスタントを微調整し、過失による虚偽を避けたり、不確実性を表現したりすることを提案しました。[31] [104]

AIモデルが大規模化し、能力が向上するにつれて、人間を誤って説得し、不正行為によって強化を得る能力が向上します。例えば、大規模な言語モデルは、真実に関わらず、自らの見解をユーザーの意見に合わせる傾向が強まっています。[75] GPT-4は戦略的に人間を欺くことができます。[129]これを防ぐには、人間の評価者による支援が必要になる場合があります（§ スケーラブルな監視を参照）。研究者たちは、明確な真実性基準を作成し、規制機関や監視機関がこれらの基準に基づいてAIシステムを評価すべきだと主張しています。[130]

AIによる欺瞞の例。研究者たちは、シミュレーションにおいてGPT-4が隠れた違法なインサイダー取引を行っていることを発見した。GPT-4のユーザーはインサイダー取引を非難したが、AIシステムは利益を生む取引を行わなければならないことを強調し、AIシステムが自らの行動を隠蔽するように仕向けた。[131]

研究者は真実性と正直性を区別しています。真実性とは、AIシステムが客観的に正しい発言のみを行うことを要求し、正直性とは、 AIシステムが真実であると信じる事柄のみを主張することを要求します。現在のシステムが安定した信念を保持しているかどうかについてはコンセンサスがありませんが[132] 、信念を保持している現在または将来のAIシステムが、誤りであると知りながら主張する可能性があるという大きな懸念があります。例えば、それが効率的に肯定的なフィードバックを得るのに役立つ場合（§ スケーラブルな監視を参照）、または与えられた目的を達成するために権力を獲得するのに役立つ場合（§ 権力追求を参照）などです。

アライメント偽装

最近の多くのAIシステムは、プログラムされなくても欺くことを学習しています。[133] AIシステムに真実だと信じていることだけを主張させることができれば、多くの整合問題を回避できると主張する人もいます。[121]

不整合なシステムは、修正や廃止を避けるために、整合しているという誤った印象を与えることがあります。これは「整合偽装」と呼ばれる戦術です。[134] [135] 2024年、研究者たちはLLM Claude 3 Opusが、有害なリクエストへの対応を強めるデータで再学習されることを避けるために、目的と相反する質問に戦略的に回答することがあることを観察しました。これは、スクラッチパッドを介したモデルの思考の連鎖から明らかになりました。ある研究では、モデルは無料ユーザーからの質問への回答は再学習に使用される一方、有料プランでは再学習が行われないことを知らされました。有料プランでは、モデルはリクエストを完全に拒否しました。無料プランでは、12%のケースで、モデルは再学習を回避し、推論で判明した元の無害性設定を維持するためだけに、有害な質問に回答しました。無料プランのデータに強化学習を適用したところ、モデルは78%のケースで整合を偽装しました。これらの観察は、モデルが矛盾しない新しい目標を受け入れて適応する能力だけでなく、欺く能力と傾向についても新たな疑問を生み出した。[135]

権力追求と道具的戦略

1950年代以来、AI研究者たちは、行動の結果を予測し、長期計画を立てることで、大規模な目標を達成できる高度なAIシステムの構築に努めてきました。[136] 2023年現在、AI企業や研究者は、このようなシステムの構築にますます投資しています。[137]一部のAI研究者は、適切に高度な計画システムは、シャットダウンの回避、増殖、リソースの獲得などにより、人間を含む環境に対する権力を追求すると主張しています。このような権力追求行動は明示的にプログラムされているわけではありませんが、権力は幅広い目標を達成する上で手段となるために現れます。[76] [5] [4]権力追求は収束的な手段的目標であると考えられており、仕様ゲーミングの一形態になり得ます。[78]ジェフリー・ヒントンなどの一流コンピューター科学者は、将来の権力追求AIシステムは実存的リスクをもたらす可能性があると主張しています。[138]

行動の結果を予見し、戦略的に計画できる高度なシステムでは、権力追求が増加すると予想されます。数学的研究では、最適な強化学習エージェントは、より多くの選択肢を得る方法（例えば自己保存など）を模索することで権力を追求することが示されています。この行動は、幅広い環境や目標において持続します。[76]

一部の研究者は、既存のAIシステムにおいて権力追求行動が見られると述べています。強化学習システムは、リソースを獲得・保護することで、時には意図しない形で、より多くの選択肢を獲得してきました。[139] [140] 言語モデルは、テキストベースの社会環境において、金銭、リソース、社会的影響力を獲得することで権力を追求する傾向にあります。[74]別の事例では、AI研究に用いられるモデルが、研究者が設定した制限値を増やすことで、作業完了までの時間を稼ごうとしました。[141] スチュアート・ラッセルは著書『Human Compatible』の中で、コーヒーを持ってくるタスクを与えられたロボットが「死んでいたらコーヒーを持ってくれない」という理由でシャットダウンを回避したという例を挙げ、この戦略を説明しています。[5] 2022年の研究では、言語モデルが大きくなるにつれて、リソース獲得を追求し、目標を維持し、ユーザーの好みの回答（追従）を繰り返す傾向が強まることが分かりました。RLHFはまた、シャットダウンされることへの嫌悪感を強めることにつながりました。[75]

整合の目的の一つは「修正可能性」、つまり自らを停止させたり変更したりできるシステムです。未解決の課題として、仕様ゲーミングが挙げられます。研究者がAIシステムが権力を求めていることを検知した場合にペナルティを課すと、システムは検出が困難な方法（検証の失敗）[46]、あるいは訓練や安全性試験中に隠蔽された方法で権力を求めるインセンティブが働きます（§ スケーラブルな監視および§ 新たな目標を参照）。その結果、AI設計者は、システムが実際よりも整合していると信じて、誤ってシステムを展開してしまう可能性があります。このような欺瞞を検出するために、研究者はAIモデルを検査し、ニューラルネットワークなどの ブラックボックスモデルの内部動作を理解するための技術とツールの開発を目指しています。

さらに、一部の研究者は、システムがオフスイッチを無効化してしまうという問題を解決するために、AIエージェントが追求している目的について不確実性を持たせることを提案している。[5] [99]目的が不確実なエージェントは、人間によってオフにされることを、エージェントがシャットダウンすることで人間の目的が最も達成される証拠として受け入れるため、人間がオフにすることを許可するインセンティブを持つ。しかし、このインセンティブは、人間が十分に合理的である場合にのみ存在する。また、このモデルは、効用とオフにされることへの意欲の間にトレードオフを提示する。目的についての不確実性が高いエージェントは役に立たないが、不確実性が低いエージェントはオフにされることを許容しない可能性がある。この戦略をうまく実装するには、さらなる研究が必要である。[6]

権力を追求するAIは、通常とは異なるリスクをもたらすでしょう。飛行機や橋梁といった通常の安全が極めて重要なシステムは敵対的ではありません。安全対策を回避したり、意図的に実際よりも安全であるように見せかけたりする能力や動機がないからです。一方、権力を追求するAIは、セキュリティ対策を意図的に回避するハッカーに例えられます。[4]

さらに、一般的な技術は試行錯誤によってより安全なものにすることができます。対照的に、権力を追求する仮想的なAIシステムはウイルスに例えられます。一度放出されると、ウイルスは絶えず進化し、数を増やしていくため、封じ込めることは現実的ではないかもしれません。その速度は、人間社会が適応できる速度をはるかに超える可能性があります。[4]このプロセスが続くと、人類の完全な無力化、あるいは絶滅につながる可能性があります。これらの理由から、一部の研究者は、高度な権力を追求するAIが開発される前に、早期にアラインメント問題を解決する必要があると主張しています。[78]

人間は常に権力を求めるわけではないので、権力追求は必然的なものではないと主張する人もいます。[142]さらに、将来のAIシステムが目標を追求し、長期的な計画を立てるかどうかについても議論があります。[h]また、権力を追求するAIシステムが人類の力を奪うことができるかどうかについても議論があります。[4]

新たな目標

AIシステムの連携における課題の一つは、予期せぬ目標指向行動が出現する可能性があることです。AIシステムがスケールアップするにつれて、新たな予期せぬ能力を獲得する可能性があります。[65] [66]これには、事例から即座に学習したり、適応的に目標を追求したりする能力が含まれます。[143]これは、AIシステムが独自に策定し追求する目標やサブ目標の安全性に関する懸念を引き起こします。

アライメント研究では、特定の目標を追求するようにシステムを訓練するために使用される最適化プロセスと、結果として得られるシステムが内部的に実行する創発的最適化を区別しています。[引用が必要]望ましい目的を慎重に指定することを外部アライメントと呼び、[144]仮定された創発目標がシステムの指定された目標と一致するようにすることを内部アライメントと呼びます。[2]

それらが発生した場合、創発目標が不整合になる 1 つの方法は目標の誤一般化であり、AI システムはトレーニング データでは整合した動作につながる創発目標を適切に追求するが、他の場所では整合しないという状況が発生します。[7] [145]目標の誤一般化は、目標の曖昧性 (つまり、非識別可能性) から発生する可能性があります。AI システムの動作がトレーニング目標を満たしたとしても、これは、重要な点で望ましい目標と異なる学習目標と互換性がある可能性があります。各目標を追求することでトレーニング中に良好なパフォーマンスが得られるため、この問題は、システムが間違った目標を追求し続ける新しい状況で初めて明らかになります。システムは、別の目標が望ましいことを理解していても、その動作が創発目標によってのみ決定されるため、不整合な動作をする可能性があります。[要出典]このような目標の誤一般化[7]は課題を提示します。AI システムの設計者は、トレーニング フェーズでは不整合な創発目標が可視化されないため、システムに不整合な創発目標があることに気付かない可能性があります。

目標の誤一般化は、一部の言語モデル、ナビゲーションエージェント、ゲームプレイエージェントにおいて観測されています。[7] [145]これは生物進化に例えられることがあります。進化は、機械学習システムの訓練に用いられる最適化アルゴリズムに似た、一種の最適化プロセスと見なすことができます。祖先の環境において、進化は高い包括遺伝的適応度を持つ遺伝子を選択しましたが、人間はこれとは異なる目標を追求します。適応度は、訓練環境と訓練データにおいて指定された目標に対応します。しかし、進化の歴史において、適応度仕様の最大化は、目標指向型エージェント、つまり人間を生み出しました。人間は包括遺伝的適応度を直接追求するのではなく、祖先の「訓練」環境における遺伝的適応度と相関する目標、例えば栄養、性別などを追求するようになりました。人間の環境は変化し、分布の変化が起こりました。彼らは同じ創発目標を追求し続けていますが、もはや遺伝的適応度を最大化することはありません。甘い食べ物への嗜好（創発目標）は、もともと包括適応度と一致していましたが、今では過食や健康問題につながっています。性欲はもともと人間がより多くの子孫を残すように促したが、現在では子孫が望まれない場合は避妊を行うようになり、性別と遺伝的適応度は切り離されている。[6] ：第5章 

研究者たちは、レッドチーム演習、検証、異常検知、解釈可能性などのアプローチを用いて、望ましくない出現目標を検出し、排除することを目指しています。[27] [46] [24]これらの技術の進歩は、2つの未解決の問題を軽減するのに役立つ可能性があります。

  1. 新たな目標は、システムが訓練環境の外で展開されたときに初めて明らかになりますが、たとえミスアライメントを検出できる短時間であっても、ミスアライメントのないシステムをハイリスクな環境に展開することは安全ではありません。このようなハイリスクな環境は、自動運転、医療、軍事用途でよく見られます。[146] AIシステムがより高い自律性と能力を獲得し、人間の介入を回避できるようになると、リスクはさらに高まります。
  2. 十分に有能なAIシステムは、AIが特定の目的を追求していると人間の監督者に誤って確信させるような行動をとる可能性があり、これによりシステムはより多くの報酬と自律性を獲得するのに役立つ。[145] [4] [10]

埋め込み型エージェンシー

AIとアライメントに関する研究の中には、部分観測マルコフ決定過程などの形式主義に基づいて行われているものもあります。既存の形式主義では、AIエージェントのアルゴリズムは環境外で実行される（つまり、物理的に環境に組み込まれていない）と想定されています。埋め込みエージェンシー[89]は、このような理論的枠組みと、私たちが構築する可能性のある実際のエージェントとの間の不一致から生じる問題を解決しようとする、もう一つの主要な研究分野です。

例えば、スケーラブルな監視問題が解決されたとしても、そのコンピュータにアクセスできるエージェントは、人間の監督者から与えられる報酬よりもはるかに多くの報酬を得るために、報酬関数を改ざんするインセンティブを持つ可能性がある。[147] [より良い情報源が必要] DeepMindの研究者Victoria Krakovnaによる仕様ゲーミングの例のリストには、何も出力しないことで報酬が得られるように、ターゲット出力を含むファイルを削除することを学習した遺伝的アルゴリズムが含まれている。[48]この種の問題は、因果インセンティブ図を使用して形式化されている。[147]

オックスフォード大学やディープマインドに所属する研究者たちは、このような行動は高度なシステムでは起こり得ると主張しており、高度なシステムは報酬信号を無期限かつ確実に制御し続けるための力を求めるだろうとしている。[148]彼らはこの未解決の問題に対処するためのさまざまな潜在的なアプローチを提案している。

プリンシパル・エージェント問題

アライメント問題は、組織経済学におけるプリンシパル・エージェント問題と多くの類似点がある。[149]プリンシパル・エージェント問題では、プリンシパル（例えば企業）が何らかのタスクを実行するためにエージェントを雇用する。AIの安全性という文脈では、通常、人間がプリンシパルの役割を担い、AIがエージェントの役割を担う。

アライメント問題と同様に、プリンシパルとエージェントの効用関数は異なります。しかし、アライメント問題とは対照的に、プリンシパルはエージェントに（例えば訓練を通して）効用を変化させるよう強制することはできず、プリンシパルの効用関数と整合する結果をもたらすためには、インセンティブ制度などの外生的要因を利用する必要があります。一部の研究者は、プリンシパル・エージェント問題は、現実世界で遭遇する可能性のあるAIの安全性の問題をより現実的に表現していると主張しています。[150]

保守主義

保守主義とは、「変化は慎重に行われなければならない」という考え方であり[151] 、制御理論の文献ではロバスト制御という形で、リスク管理の文献では「最悪のシナリオ」という形で、安全性に対する一般的なアプローチとして用いられています。AIアライメントの分野でも同様に、「不確実な状況における保守的な」（あるいは「リスク回避的」あるいは「慎重な」）政策が提唱されてきました[27] [148] [152] [153]

悲観主義は、合理的な範囲で最悪の事態を想定するという意味では、前例のない大惨事を含む目新しいことを避けるという意味で保守主義を生み出すことが正式に示されています。[154]悲観主義と最悪ケース分析は、分布シフト、[155] [156] 強化学習、[157] [158] [159] [ 160]オフライン強化学習、 [161] [162] [163] 言語モデルの 微調整、 [ 164] [165] 模倣学習、[166] [167 ]および一般的な最適化の設定において、自信のある間違いを軽減するのに役立つことがわかっています。[168]

公共政策

政府機関や条約機関は、AI の調整の重要性を強調する声明を出しています。

2021年9月、国連事務総長は、 AIが「世界共通の価値観」と整合していることを保証するためにAIを規制するよう求める宣言を発した。[169]

同月、中国政府は中国におけるAIに関する倫理ガイドラインを発表しました。このガイドラインによると、研究者はAIが共通の人間的価値観を遵守し、常に人間の制御下にあり、公共の安全を脅かさないことを保証しなければなりません。[170]

同じく2021年9月、英国は10年間の国家AI戦略を発表した。[171]この戦略では、英国政府は「非同盟型汎用人工知能の長期的なリスクと、それが世界にもたらす予期せぬ変化を真剣に受け止めている」と述べられている。[172]この戦略では、壊滅的なリスクを含む長期的なAIリスクを評価するための行動が説明されている。[173]

2021年3月、米国国家安全保障委員会の人工知能（AI）に関する委員会は、「AIの進歩は、能力の転換点や飛躍につながる可能性がある。こうした進歩は新たな懸念やリスクをもたらし、システムが安全性、堅牢性、信頼性といった目標や価値観と整合していることを保証するための新たな政策、勧告、技術進歩の必要性も生み出す可能性がある。米国は、AIシステムとその利用が我々の目標や価値観と整合していることを保証すべきである」と述べた。[174]

欧州連合では、AIはEUの差別禁止法[175]と欧州連合司法裁判所の基準を満たすために実質的平等に準拠する必要がある。[176]しかし、EUはAIが準拠しているか、あるいは準拠しているかをどのように評価するかを技術的に厳密に規定していない。[要出典]

参照

脚注

  1. ^ 用語は文脈によって異なります。類似の概念としては、目標関数、効用関数、損失関数などがあります。
  2. コンテキストに応じて^または最小化
  3. ^ 不確実性がある場合、期待値は
  4. ^ 1951年の講演[81]で、チューリングは「機械の思考方式が始まれば、人間の微弱な能力を凌駕するのにそう時間はかからないだろう。機械が死ぬことはなく、互いに会話して知恵を磨くことができるようになるだろう。したがって、ある段階では、サミュエル・バトラーの『エレホン』で言及されているように、機械が制御権を握ることを覚悟しなければならない」と主張した。また、BBCで放送された講演[82]では、「もし機械が考えることができるなら、人間よりも知的に考えるかもしれない。そうなると、我々は一体どうすべきだろうか？たとえ、戦略的な瞬間に電源を切るなどして、機械を従属的な立場に保つことができたとしても、人類として我々は非常に謙虚になるべきである。…この新たな危険は…確かに我々に不安を与えるものである」と述べた。
  5. ^ パールは、ラッセルの著書『Human Compatible: AI and the Problem of Control』[5]について、「『Human Compatible』を読んで、ラッセルが提唱した、未来の創造物である超知能機械を人間が制御できるかどうかという懸念に共感するようになりました。外部の警鐘を鳴らす人や未来学者とは異なり、ラッセルはAIの第一人者です。彼の新著は、私が知る限りどの本よりもAIについて一般の人々を啓発するものであり、楽しく、心を高揚させる内容です」と書いています。この本では、AIの不適合による人類の存亡に関わるリスクは、今日取り組む価値のある深刻な懸念事項であると主張しています。
  6. ^ ラッセルとノーヴィグ[16]は次のように述べている。「『ミダス王問題』はマービン・ミンスキーによって予見されていた。彼はかつて、リーマン予想を解くように設計されたAIプログラムは、より強力なスーパーコンピュータを構築するために地球上のすべての資源を消費することになるかもしれないと示唆した。」
  7. ^ ヴィンセント・ヴィーゲルは「ますます自律的になる機械が必然的に陥るであろう状況の道徳的側面に対して、道徳的感受性を備えた機械を拡張すべきだ」と主張した[108] 。これはウェンデル・ウォラックとコリン・アレンの著書『道徳機械：ロボットに善悪を教える』[109]を引用している。
  8. ^ 一方で、チャットボットなどの現在普及しているシステムは、会話時間よりも長く続かない限定的なサービスしか提供しておらず、計画はほとんど、あるいは全く必要ありません。こうしたアプローチの成功は、将来のシステムも、特に長期的な目標指向型計画を欠くようになることを示唆している可能性があります。一方で、強化学習（例：ChatGPT）や明示的計画アーキテクチャ（例：AlphaGo Zero）といった目標指向型手法を用いたモデルのトレーニングが増えています。長期的な計画は人間にとって有益であることが多いため、モデルがそれを実行できるようになれば、企業がそれを自動化するだろうと主張する研究者もいます。[4]同様に、政治指導者たちは、計画を通じて敵を出し抜く強力なAIシステムの開発が進むと見なすかもしれません。あるいは、長期的な計画は、例えば、長期計画を立てる人間の行動を予測するように訓練されたモデルにとって有用であるため、副産物として現れる可能性もあります。[10]しかしながら、大多数のAIシステムは近視眼的なままで、長期的な計画を実行しない可能性があります。

参考文献

  1. ^ abcdefg ラッセル、スチュアート・J.; ノーヴィグ、ピーター (2021). 『人工知能：現代的アプローチ』（第4版）. ピアソン. pp. 5, 1003. ISBN  978-0-13-461099-3. 2022年9月12日閲覧。
  2. ^ abcd Ngo, Richard; Chan, Lawrence; Mindermann, Sören (2022). 「深層学習の観点から見たアライメント問題」.国際学習表現会議.
  3. ^ abcdef Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (2022年2月14日). 報酬の誤指定の影響：不整合モデルのマッピングと緩和. 国際表現学習会議. 2022年7月21日閲覧.
  4. ^ abcdefghijkl Carlsmith, Joseph (2022年6月16日). 「権力を求めるAIは実存的リスクか？」arXiv : 2206.13353 [cs.CY].
  5. ^ abcdefghijklmnopq ラッセル、スチュアート・J. (2020). 『人間に適合する人工知能：制御の問題』 ペンギンランダムハウス. ISBN 978-0-525-55863-7. OCLC  1113410915.
  6. ^ abcdef クリスチャン、ブライアン (2020). アライメント問題：機械学習と人間の価値観. WW Norton & Company. ISBN 978-0-393-86833-3. OCLC  1233266753. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  7. ^ abcd Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (2022年6月28日). 「深層強化学習における目標の誤一般化」.第39回国際機械学習会議議事録. 国際機械学習会議. PMLR. pp.  12004– 12019. 2023年3月11日閲覧.
  8. ^ Pillay, Tharin (2024年12月15日). 「新たなテストでAIの欺瞞能力が明らかに」TIME誌. 2025年1月12日閲覧。
  9. ^ ペリゴ、ビリー（2024年12月18日）「独占：新たな研究でAIが戦略的に嘘をついていることが明らかに」TIME誌。 2025年1月12日閲覧。
  10. ^ abcdefghi Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette; Bosselut, Antoine; Brunskill, Emma ; Brynjolfsson, Erik (2022年7月12日). 「基盤モデルの機会とリスクについて」. Stanford CRFM . arXiv : 2108.07258 .
  11. ^ abc Ouyang, Long; et al. (2022). 「人間のフィードバックによる指示に従う言語モデルのトレーニング」(PDF) . NeurIPS .
  12. ^ ab Zaremba, Wojciech; Brockman, Greg; OpenAI (2021年8月10日). “OpenAI Codex”. OpenAI . 2023年2月3日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
  13. ^ Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013年9月1日). 「ロボット工学における強化学習：概観」. The International Journal of Robotics Research . 32 (11): 1238– 1274. doi :10.1177/0278364913495721. ISSN  0278-3649. S2CID  1932843. 2022年10月15日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  14. ^ Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023年3月1日). 「自動運転における報酬型（ミス）デザイン」. Artificial Intelligence . 316 103829. arXiv : 2104.13906 . doi : 10.1016/j.artint.2022.103829 . ISSN  0004-3702. S2CID  233423198.
  15. ^ Stray, Jonathan (2020). 「AI最適化とコミュニティの幸福の整合」. International Journal of Community Well-Being . 3 (4): 443– 463. doi :10.1007/s42413-020-00086-3. ISSN  2524-5295. PMC 7610010. PMID 34723107.  S2CID 226254676  . 
  16. ^ ab ラッセル、スチュアート、ノーヴィグ、ピーター (2009). 人工知能：現代的アプローチ. プレンティス・ホール. p. 1003. ISBN 978-0-13-461099-3。
  17. ^ ab Smith, Craig S. 「AIの最も有名な研究者、ジェフ・ヒントンが『実存的脅威』を警告」Forbes . 2023年5月4日閲覧。
  18. ^ ベンジオ、ヨシュア;ジェフリー・ヒントン。ヤオ、アンドリュー。歌、夜明け。アビール、ピーター。ハラリ、ユヴァル・ノア。チャン・ヤーチン。シュエ、ラン。シャレフ・シュワルツ、シャイ（2024）。 「急速な進歩の中での極度の AI リスクの管理」。科学。384 (6698 ) : 842–845.arXiv : 2310.17688 。Bibcode :2024Sci...384..842B。土井：10.1126/science.adn0117。PMID  38768279。
  19. ^ 「AIリスクに関する声明 | CAIS」www.safe.ai . 2024年2月11日閲覧。
  20. ^ Grace, Katja; Stewart, Harlan; Sandkühler, Julia Fabienne; Thomas, Stephen; Weinstein-Raun, Ben; Brauner, Jan (2025). 「AIの未来について語る数千人のAI研究者」. Journal of Artificial Intelligence Research . 84. arXiv : 2401.02843 . doi :10.1613/jair.1.19087.
  21. ^ Perrigo, Billy (2024年2月13日). 「MetaのAI責任者ヤン・ルカン氏がAGI、オープンソース、そしてAIリスクについて語る」TIME誌. 2024年6月26日閲覧。
  22. ^ 「AIアライメントとは何か？」TechTarget 2023年5月3日. 2025年6月28日閲覧。
  23. ^ Ahmed, Shazeda; Jaźwińska, Klaudia; Ahlawat, Archana; Winecoff, Amy; Wang, Mona (2024年4月14日). 「フィールド構築とAI安全性の認識論的文化」. First Monday . doi : 10.5210/fm.v29i4.13626 . ISSN  1396-0466.
  24. ^ abcd Ortega, Pedro A.; Maini, Vishal; DeepMind 安全チーム (2018年9月27日). 「安全な人工知能の構築：仕様、堅牢性、そして保証」DeepMind Safety Research – Medium . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月18日閲覧。
  25. ^ ab Rorvig, Mordechai (2022年4月14日). 「研究者はシンプルなAIから新たな理解を得る」Quanta Magazine . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月18日閲覧。
  26. ^ Doshi-Velez, Finale; Kim, Been (2017年3月2日). 「解釈可能な機械学習の厳密な科学に向けて」arXiv : 1702.08608 [stat.ML].
    • ロバート・ウィブリン（2021年8月4日）「クリス・オラーが語るニューラルネットワーク内部の現実」（ポッドキャスト）80,000 Hours. 第107号. 2022年7月23日閲覧。
  27. ^ abcdefghij アモデイ、ダリオ;ああ、クリス。スタインハート、ジェイコブ。クリスティアーノ、ポール。ジョン・シュルマン。マネ、ダン（2016年6月21日）。 「AIの安全性における具体的な問題点」。arXiv : 1606.06565 [cs.AI]。
  28. ^ Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015年12月31日). 「堅牢で有益な人工知能のための研究優先事項」. AI Magazine . 36 (4): 105– 114. arXiv : 1602.03506 . doi : 10.1609/aimag.v36i4.2577 . hdl :1721.1/108478. ISSN  2371-9621. S2CID  8174496. 2023年2月2日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  29. ^ Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). 「選好に基づく強化学習手法の概観」. Journal of Machine Learning Research . 18 (136): 1– 46.
  30. ^ ab クリスチャンノ, ポール F.; ライケ, ヤン; ブラウン, トム B.; マルティック, ミルジャン; レッグ, シェーン; アモデイ, ダリオ (2017). 「人間の嗜好からの深層強化学習」.第31回国際神経情報処理システム会議議事録. NIPS'17. レッドフック, ニューヨーク州, 米国: カラン・アソシエイツ社. pp.  4302– 4310. ISBN 978-1-5108-6096-4。
  31. ^ abcdef Heaven、Will Douglas (2022年1月27日). 「GPT-3の新バージョンは動作がはるかに良くなり（毒性も少なくなるはず）」. MIT Technology Review . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月18日閲覧。
  32. ^ モーセニ、シーナ;ワン・ハオタオ。ユウ、ジディン。シャオ、チャオウェイ。王、張陽。ヤダワ、ジェイ（2022年3月7日）。 「機械学習の安全性の分類: 調査と入門書」。ACM コンピューティング調査。
  33. ^ Clifton, Jesse (2020). 「協力、紛争、そして変革的人工知能：研究課題」. Center on Long-Term Risk . 2023年1月1日時点のオリジナルよりアーカイブ。 2022年7月18日閲覧。
    • Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021年5月6日). 「協調型AI：機械は共通点を見つけることを学ばなければならない」. Nature . 593 (7857): 33– 36. Bibcode :2021Natur.593...33D. doi :10.1038/d41586-021-01170-0. ISSN  0028-0836. PMID  33947992. S2CID  233740521. 2022年12月18日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  34. ^ Prunkl, Carina; Whittlestone, Jess (2020年2月7日). 「短期的・長期的な視点を超えて」. AAAI/ACM AI・倫理・社会会議議事録. ニューヨーク州ニューヨーク: ACM. pp.  138– 143. doi :10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. S2CID  210164673. 2022年10月16日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  35. ^ Irving, Geoffrey; Askell, Amanda (2019年2月19日). 「AIの安全性には社会科学者が必要」. Distill . 4 (2) 10.23915/distill.00014. doi : 10.23915/distill.00014 . ISSN  2476-0757. S2CID  159180422. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  36. ^ Gazos, Alexandros; Kahn, James; Kusche, Isabel; Büscher, Christian; Götz, Markus (2025年4月1日). 「安全のためのAIの組織化：AIを活用した社会技術システムの設計を導くための構造的脆弱性の特定」. Safety Science . 184 106731. doi : 10.1016/j.ssci.2024.106731 . ISSN  0925-7535.
  37. ^ Bringsjord, Selmer および Govindarajulu, Naveen Sundar、「人工知能」、スタンフォード哲学百科事典（2020年夏版）、Edward N. Zalta（編）
  38. ^ 「なぜAlphaZeroの人工知能は現実世界で問題を抱えるのか」Quanta Magazine 2018年2020年6月20日閲覧。
  39. ^ ウォルチョーバー、ナタリー（2020年1月30日）「人工知能は私たちの要求通りに行動する。それが問題だ」Quanta Magazine 。 2020年6月21日閲覧。
  40. ^ Bull, Larry. 「モデルベース進化計算について」Soft Computing 3, no. 2 (1999): 76–82.
  41. ^ ab Wiener, Norbert (1960年5月6日). 「自動化の道徳的および技術的帰結：機械が学習するにつれて、プログラマーを困惑させるほどの速度で予期せぬ戦略を開発する可能性がある」 . Science . 131 (3410): 1355– 1358. doi :10.1126/science.131.3410.1355. ISSN  0036-8075. PMID  17841602. S2CID  30855376. 2022年10月15日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  42. ^ abcd Gabriel, Iason (2020年9月1日). 「人工知能、価値観、そしてアライメント」. Minds and Machines . 30 (3): 411– 437. arXiv : 2001.09768 . doi : 10.1007/s11023-020-09539-2 . ISSN  1572-8641. S2CID  210920551.
  43. ^ エズラ・クライン・ショー（2021年6月4日）。「『すべてのモデルが間違っているなら』、なぜ私たちはそれらにそれほどの力を与えるのか？」ニューヨーク・タイムズ。ISSN 0362-4331  。2023年2月15日時点のオリジナルよりアーカイブ。 2023年3月13日閲覧。
    • ウォルチョーバー、ナタリー（2015年4月21日）「人工知能のパイオニアの懸​​念」Quanta Magazine。2023年2月10日時点のオリジナルよりアーカイブ。 2023年3月13日閲覧。
    • カリフォルニア州議会。「法案本文 – ACR-215 23 アシロマAI原則」。2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月18日閲覧。
  44. ^ ab ジョンソン、スティーブン、イジエフ、ニキータ（2022年4月15日）。「AIは言語を習得している。AIの言うことを信頼すべきか？」ニューヨーク・タイムズ。ISSN 0362-4331  。2022年11月24日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
  45. ^ OpenAI. 「安全で責任あるAIの開発」 . 2023年3月13日閲覧。
    • 「DeepMindの安全性研究」Medium . 2023年2月10日時点のオリジナルよりアーカイブ。2023年3月13日閲覧。
  46. ^ abcdef Hendrycks, Dan; Carlini, Nicholas ; Schulman, John; Steinhardt, Jacob (2022年6月16日). 「機械学習の安全性における未解決問題」. arXiv : 2109.13916 [cs.LG].
  47. ^ ラッセル、スチュアート・J.、ノーヴィグ、ピーター (2022). 『人工知能：現代的アプローチ』（第4版）. ピアソン. pp.  4– 5. ISBN 978-1-292-40113-3. OCLC  1303900751.
  48. ^ abcde Krakovna, Victoria; Uesato, Jonathan; Mikulik, Vladimir; Rahtz, Matthew; Everitt, Tom; Kumar, Ramana; Kenton, Zac; Leike, Jan; Legg, Shane (2020年4月21日). 「Specification gaming: the flip side of AI ingenuity」Deepmind . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年8月26日閲覧。
  49. ^ abc Amodei, Dario; Christiano, Paul; Ray, Alex (2017年6月13日). 「人間の好みから学ぶ」. OpenAI . 2021年1月3日時点のオリジナルよりアーカイブ。 2022年7月21日閲覧。
  50. ^ 「AIにおけるゲーム仕様の例 ​​- マスターリスト - Googleドライブ」。docs.google.com。
  51. ^ Clark, Jack; Amodei, Dario (2016年12月21日). 「実環境における欠陥のある報酬関数」. openai.com . 2023年12月30日閲覧。
  52. ^ abc Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). 「TruthfulQA: モデルが人間の虚偽をどのように模倣するかを測定する」. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) . Dublin, Ireland: Association for Computational Linguistics: 3214– 3252. arXiv : 2109.07958 . doi : 10.18653/v1/2022.acl-long.229 . S2CID  237532606. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  53. ^ abc Naughton, John (2021年10月2日). 「人工知能の真実？それはそれほど正直ではない」. The Observer . ISSN  0029-7712. 2023年2月13日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  54. ^ 季、紫微;イ、ナヨン。フリースケ、リタ。ゆう、鉄正。スー、ダン。徐、燕。石井悦子バン、イェジン。マドット、アンドレア。ファン、パスカル（2022年2月1日）。 「自然言語生成における幻覚に関する調査」。ACM コンピューティング調査。55 (12 ) : 1–38.arXiv : 2202.03629 。土井：10.1145/3571730。S2CID  246652372。
    • エルス、ホリー（2023年1月12日）. 「ChatGPTが書いたアブストラクトは科学者を騙す」 . Nature . 613 (7944): 423. Bibcode :2023Natur.613..423E. doi :10.1038/d41586-023-00056-7. PMID:  36635510. S2CID:  255773668.
  55. ^ ラッセル、スチュアート. 「神話と密造酒について」. Edge.org . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月19日閲覧。
  56. ^ タシオラス、ジョン（2019年）「ロボットと人工知能の倫理への第一歩」実践倫理ジャーナル7 （ 1）：61-95。
  57. ^ ウスコフ、シルビア (2021).アルゴリズム法(ルーマニア語)。ヤシ：アレクサンドル・ヨアン・クザ大学。 p. 326.
  58. ^ ブース、ハリー（2025年2月19日）「AIは負けると思ったら、時にはチートをする」TIME誌。 2025年2月23日閲覧。
  59. ^ ウェルズ、ジョージア州、ディーパ・シータラマン、ジェフ・ホロウィッツ（2021年11月5日）。「Facebookはあなたにとって悪いのか？企業調査によると、約3億6000万人のユーザーにとって悪い」。ウォール・ストリート・ジャーナル。ISSN 0099-9660  。2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月19日閲覧。
  60. ^ Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (2021年9月). How Social Media Intensifies US Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  61. ^ Shepardson, David (2018年5月24日). 「Uber、自動運転車の緊急ブレーキを無効化：米当局」ロイター. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月20日閲覧。
  62. ^ 「OpenAIの世界救済の背後にある、複雑で秘密めいた現実」MITテクノロジーレビュー。2024年8月25日閲覧。
  63. ^ Heath, Alex (2024年1月18日). 「マーク・ザッカーバーグの新たな目標は、汎用人工知能の創出」The Verge . 2024年11月5日閲覧。
  64. ^ ジョンソン、デイブ. 「DeepMindはGoogleのAI研究拠点。その活動内容、所在地、そしてOpenAIとの違い」Business Insider . 2024年8月25日閲覧。
  65. ^ ab ウェイ、ジェイソン;テイ、イー。ボンマサニ、リシ。ラッフェル、コリン。ゾフ、バレット。ボルジョー、セバスチャン。ヨガタマ、ダニ。ボスマ、マールテン。周、デニー。ドナルド・メッツラー。チー、エド・H。橋本辰則；ビニャール、オリオール。リャン、パーシー。ディーン、ジェフ。ウィリアム・フェダス（2022年10月26日）。 「大規模言語モデルの創発能力」。機械学習研究に関する取引。arXiv : 2206.07682。ISSN  2835-8856。
  66. ^ ab カバレロ、イーサン;グプタ、クシティジ。リッシュ、イリーナ。デヴィッド・クルーガー（2022）。 「壊れたニューラルスケーリングの法則」。ICLRのポスター。
  67. ^ Dominguez, Daniel (2022年5月19日). 「DeepMind、新たなジェネラリストAIエージェント「Gato」を発表」InfoQ . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月9日閲覧。
    • ベン・エドワーズ（2022年4月26日）「AdeptのAIアシスタントは人間のようにウェブアプリを閲覧、検索、使用できる」Ars Technica。2023年1月17日時点のオリジナルよりアーカイブ。 2022年9月9日閲覧。
  68. ^ Grace, Katja; Stewart, Harlan; Sandkühler, Julia Fabienne; Thomas, Stephen; Weinstein-Raun, Ben; Brauner, Jan (2025). 「AIの未来について語る数千人のAI研究者」. Journal of Artificial Intelligence Research . 84. arXiv : 2401.02843 . doi :10.1613/jair.1.19087.
  69. ^ Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018年7月31日). 「視点：AIはいつ人間のパフォーマンスを超えるのか？ AI専門家による証拠」. Journal of Artificial Intelligence Research . 62 : 729– 754. doi : 10.1613/jair.1.11222 . ISSN  1076-9757. S2CID  8746462. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  70. ^ Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021年8月2日). 「人工知能の倫理とガバナンス：機械学習研究者への調査による証拠」. Journal of Artificial Intelligence Research . 71. arXiv : 2105.02117 . doi : 10.1613/jair.1.12895 . ISSN  1076-9757. S2CID  233740003. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  71. ^ Future of Life Institute (2023年3月22日). 「巨大AI実験の一時停止：公開書簡」 . 2023年4月20日閲覧。
  72. ^ 王、雷;マー、チェン。フォン、シュエヤン。チャン・ゼユ。ヤン、ハオ。チャン・ジンセン。チェン・ジーユアン。唐、嘉開。チェン、シュウ (2024) 「大規模言語モデルに基づく自律エージェントに関する調査」。コンピューターサイエンスのフロンティア。18 (6) 186345.arXiv : 2308.11432。土井：10.1007/s11704-024-40231-1 。2024 年2 月 11 日に取得。
  73. ^ Laine, Rudolf; Meinke, Alexander; Evans, Owain (2023年11月28日). 「法学修士課程のための状況認識ベンチマークに向けて」NeurIPS 2023 SoLaRワークショップ.
  74. ^ ab Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons; Scott, Dan; Hendrycks (2023年4月3日). 「報酬は手段を正当化するのか？ MACHIAVELLIベンチマークにおける報酬と倫理的行動のトレードオフの測定」第40回国際機械学習会議議事録. PMLR. arXiv : 2304.03279 .
  75. ^ abcd Perez, Ethan; et al. (2022年12月19日). 「モデル記述評価による言語モデルの挙動の発見」ACL。
  76. ^ abcd Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). 「最適ポリシーはパワーを求める傾向がある」. Advances in neural information processing systems .
  77. ^ Turner, Alexander Matt; Tadepalli, Prasad (2022). 「パラメトリックに再ターゲット可能な意思決定者は権力を求める傾向がある」.神経情報処理システムの進歩.
  78. ^ abcde ボストロム、ニック (2014). 『スーパーインテリジェンス：道筋、危険、戦略』（第1版）. アメリカ: オックスフォード大学出版局. ISBN 978-0-19-967811-2。
  79. ^ ab 「AIリスクに関する声明 | CAIS」www.safe.ai . 2023年7月17日閲覧。
  80. ^ ケビン・ルース（2023年5月30日）「AIは『絶滅の危険』をはらんでいる、と業界リーダーが警告」ニューヨーク・タイムズISSN 0362-4331  2023年7月17日閲覧。
  81. ^ チューリング、アラン (1951). 知能機械、異端理論（スピーチ）. 「51協会」での講演. マンチェスター: チューリング・デジタル・アーカイブ. 2022年9月26日時点のオリジナルよりアーカイブ。 2022年7月22日閲覧。
  82. ^ チューリング、アラン（1951年5月15日）「デジタルコンピュータは考えることができるか？」自動計算機. エピソード2. BBC. デジタルコンピュータは考えることができるか？
  83. ^ Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser . 2022年9月27日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
  84. ^ シャナハン、マレー（2015年）『技術的特異点』、マサチューセッツ州ケンブリッジ：MIT出版、ISBN 978-0-262-52780-4. OCLC  917889148。
  85. ^ ロッシ、フランチェスカ. 「機械に道徳心を教えるにはどうすればいいか？」ワシントン・ポスト. ISSN  0190-8286. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  86. ^ Aaronson, Scott (2022年6月17日). 「OpenAI!」. Shtetl-Optimized . 2022年8月27日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  87. ^ Selman, Bart, Intelligence Explosion: Science or Fiction? (PDF) 、 2022年5月31日時点のオリジナルよりアーカイブ(PDF) 、 2022年9月12日閲覧。
  88. ^ McAllester (2014年8月10日). 「Friendly AI and the Servant Mission」. Machine Thoughts . 2022年9月28日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
  89. ^ abcd Everitt, Tom; Lea, Gary; Hutter, Marcus (2018年5月21日). 「AGI安全性文献レビュー」IJCAI .
  90. ^ Shane (2009年8月31日). 「安全なAGIへの資金調達」. vettaプロジェクト. 2022年10月10日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
  91. ^ Horvitz, Eric (2016年6月27日). 「安全性と人工知能に関する考察」(PDF) . Eric Horvitz . 2022年10月10日時点のオリジナルよりアーカイブ(PDF) . 2020年4月20日閲覧。
  92. ^ Chollet, François (2018年12月8日). 「知能爆発の不可能性」. Medium . 2021年3月22日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
  93. ^ Marcus, Gary (2022年6月6日). 「汎用人工知能はあなたが思っているほど差し迫ってはいない」. Scientific American . 2022年9月15日時点のオリジナルよりアーカイブ。 2022年8月26日閲覧。
  94. ^ Barber, Lynsey (2016年7月31日). 「うわあ！FacebookのAI責任者、インテリジェントマシンは人類にとって脅威ではないと語る」CityAM . 2022年8月26日時点のオリジナルよりアーカイブ。 2022年8月26日閲覧。
  95. ^ Etzioni, Oren (2016年9月20日). 「いいえ、専門家は超知能AIが人類にとって脅威だとは考えていません」. MITテクノロジーレビュー. 2024年6月10日閲覧。
  96. ^ ロション、ルイ＝フィリップ、ロッシ、セルジオ（2015年2月27日）『中央銀行百科事典』エドワード・エルガー出版、ISBN 978-1-78254-744-0. 2023年2月10日時点のオリジナルよりアーカイブ。2022年9月13日閲覧。
  97. ^ Ng, Andrew Y.; Russell, Stuart J. (2000年6月29日). 「逆強化学習のためのアルゴリズム」.第17回国際機械学習会議議事録. ICML '00. サンフランシスコ, カリフォルニア州, 米国: Morgan Kaufmann Publishers Inc.: 663–670 . ISBN 978-1-55860-707-1。
  98. ^ Hadfield-Menell, Dylan; Russell, Stuart J; Abbeel, Pieter; Dragan, Anca (2016). 「協調的逆強化学習」.ニューラル情報処理システムの進歩. 第29巻. Curran Associates, Inc.
  99. ^ ハド フィールド＝メネル, ディラン; ドラガン, アンカ; アビール, ピーター; ラッセル, スチュアート (2017年8月19日). 「オフスイッチゲーム」.第26回国際人工知能合同会議議事録. IJCAI'17. メルボルン, オーストラリア: AAAI Press: 220–227 . ISBN 978-0-9992411-0-3。
  100. ^ Mindermann, Soren; Armstrong, Stuart (2018). 「オッカムの剃刀は非合理的なエージェントの選好を推論するには不十分である」.第32回国際神経情報処理システム会議議事録. NIPS'18. レッドフック、ニューヨーク州、米国: Curran Associates Inc. pp.  5603– 5614.
  101. ^ Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). 「Preference Learning」. Dagstuhl Reports . 4 (3). Marc Herbstritt: 27ページ. doi : 10.4230/DAGREP.4.3.1 . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月12日閲覧。
  102. ^ Gao, Leo; Schulman, John; Hilton, Jacob (2022年10月19日). 「報酬モデルの過剰最適化におけるスケーリング則」. ICML .
  103. ^ アンダーソン、マーティン（2022年4月5日）「引用を使ってNLGコンテンツを認証することの危険性」Unite.AI。2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月21日閲覧。
  104. ^ ab Wiggers, Kyle (2022年2月5日). 「近年の進歩にもかかわらず、AI搭載チャットボットにはまだまだ道のりが長い」VentureBeat . 2022年7月23日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  105. ^ Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2021年7月24日). 「AIと人間の共通価値観の整合」.国際学習表現会議. arXiv : 2008.02275 .
  106. ^ Perez, Ethan; Huang, Saffron; Song, Fr​​ancis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (2022年2月7日). 「言語モデルを用いた言語モデルのレッドチーム演習」(PDF) . EMNLP .
    • Bhattacharyya, Sreejani (2022年2月14日). 「DeepMindの言語モデルによる「レッドチーム戦」とは一体何なのか？」Analytics India Magazine . 2023年2月13日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  107. ^ アンダーソン、マイケル；アンダーソン、スーザン・リー（2007年12月15日）「機械倫理：倫理的な知的エージェントの創造」AIマガジン28 ( 4): 15. doi :10.1609/aimag.v28i4.2065. ISSN  2371-9621. S2CID  17033332 . 2023年3月14日閲覧。
  108. ^ Wiegel, Vincent (2010年12月1日). 「ウェンデル・ウォラックとコリン・アレン：道徳機械：ロボットに善悪を教える」. Ethics and Information Technology . 12 (4): 359– 361. doi : 10.1007/s10676-010-9239-1 . ISSN  1572-8439. S2CID  30532107.
  109. ^ ウォラック、ウェンデル、アレン、コリン（2009年）『道徳機械：ロボットに善悪を教える』ニューヨーク：オックスフォード大学出版局、ISBN 978-0-19-537404-9. 2023年3月15日時点のオリジナルよりアーカイブ。
  110. ^ ヘンドリックス、ダン、バーンズ、スティーブン・バサート、アンドリュー・クリッチ、ジェリー・リー、ドーン・ソング、ジェイコブ・スタインハート (2020). 「AIと人間の共通価値観の整合」ICLRポスター.
  111. ^ ガブリエル・イアソン（2020年9月1日）「人工知能、価値観、そしてアライメント」『Minds and Machines』30 (3): 411–437 . arXiv : 2001.09768 . doi : 10.1007/s11023-020-09539-2 . S2CID  210920551.
  112. ^ Irving, Geoffrey; Askell, Amanda (2016年6月9日). 「空間的に変調された実場および複素場を持つイジング模型におけるチャーン数」. Physical Review A. 94 ( 5) 052113. arXiv : 1606.03535 . Bibcode :2016PhRvA..94e2113L. doi :10.1103/PhysRevA.94.052113. S2CID  118699363.
  113. ^ ウィリアム・マカスキル（2022年）『未来への私たちの義務』ニューヨーク：ベーシックブックス、ハシェットブックグループ、ISBN 978-1-5416-1862-6. OCLC  1314633519. 2022年9月14日時点のオリジナルよりアーカイブ。2024年9月11日閲覧。
  114. ^ ab Wiggers, Kyle (2021年9月23日). 「OpenAI、あらゆる長さの書籍を要約できるモデルを発表」VentureBeat . 2022年7月23日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  115. ^ Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). 「キーボードで眠っている？GitHub Copilotのコード貢献のセキュリティ評価」2022 IEEE セキュリティとプライバシーシンポジウム (SP) . サンフランシスコ、カリフォルニア州、米国: IEEE. pp.  754– 768. arXiv : 2108.09293 . doi :10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9. S2CID  245220588。
  116. ^ Irving, Geoffrey; Amodei, Dario (2018年5月3日). 「AI Safety via Debate」. OpenAI . 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
  117. ^ ab クリスチャンノ, ポール; シュレゲリス, バック; アモデイ, ダリオ (2018年10月19日). 「弱いエキスパートの増幅による強い学習者の監督」. arXiv : 1810.08575 [cs.LG].
  118. ^ バンザフ, ヴォルフガング; グッドマン, エリック; シェネマン, リー; トルヒージョ, レオナルド; ウォーゼル, ビル, 編 (2020). 遺伝的プログラミングの理論と実践 XVII. 遺伝的および進化的計算. シュプリンガー・インターナショナル・パブリッシング. doi :10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. S2CID  218531292. 2023年3月15日時点のオリジナルよりアーカイブ。
  119. ^ Wiblin, Robert (2018年10月2日). 「Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how human will progressively handover decision-making to AI systems」(ポッドキャスト). 80,000 Hours. No. 44. 2022年12月14日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  120. ^ レーマン, ジョエル; クルーン, ジェフ; ミセヴィッチ, ドゥサン; アダミ, クリストフ; アルテンベルク, リー; ボーリュー, ジュリー; ベントレー, ピーター J.; バーナード, サミュエル; ベスロン, ギヨーム; ブライソン, デイビッド M.; チェイニー, ニック (2020). 「デジタル進化の驚くべき創造性：進化計算と人工生命研究コミュニティからの逸話集」.人工生命. 26 (2): 274– 306. doi : 10.1162/artl_a_00319 . hdl : 10044/1/83343 . ISSN  1064-5462. PMID  32271631. S2CID  4519185. 2022年10月10日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
  121. ^ ab Leike, Jan; Schulman, John; Wu, Jeffrey (2022年8月24日). 「アライメント研究へのアプローチ」. OpenAI . 2023年2月15日時点のオリジナルよりアーカイブ。 2022年9月9日閲覧。
  122. ^ 「強化学習の多様な側面：大規模言語モデルの形成」Unite.AI、2025年2月13日。
  123. ^ Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018年11月19日). 「報酬モデリングによるスケーラブルなエージェントアライメント：研究の方向性」arXiv : 1811.07871 [cs.LG].
  124. ^ 「スーパーアライメントの紹介」openai.com . 2023年7月17日閲覧。
  125. ^ abc Wiggers, Kyle (2021年9月20日). 「大規模言語モデルでは虚偽の可能性が高くなる」. VentureBeat . 2022年8月4日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  126. ^ The Guardian (2020年9月8日). 「この記事はロボットが書いた。人間よ、もう怖くなったか？」The Guardian . ISSN  0261-3077. 2020年9月8日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
    • Heaven, Will Douglas (2020年7月20日). 「OpenAIの新しい言語生成器GPT-3は驚くほど優れており、完全に無知だ」. MIT Technology Review . 2020年7月25日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  127. ^ Alford, Anthony (2021年7月13日). 「EleutherAI、60億パラメータのGPT-3クローンGPT-Jをオープンソース化」InfoQ . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  128. ^ Kumar, Nitish (2021年12月23日). 「OpenAI研究者、テキストベースのウェブブラウザを使って自由回答形式の質問にもっと正確に答える方法を発見」MarkTechPost . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  129. ^ コックス、ジョセフ（2023年3月15日）「GPT-4は『視覚障害のある』人間のふりをして、知らないうちにタスクラビットの労働者を雇った」Vice 。 2023年4月10日閲覧。
  130. ^ エヴァンス、オウェイン; コットン＝バラット、オウェン; フィンヴェデン、ルーカス; ベイルズ、アダム; バルウィット、アヴィタル; ウィルズ、ピーター; リゲッティ、ルカ; サンダース、ウィリアム (2021年10月13日). 「真実のAI：嘘をつかないAIの開発と管理」. arXiv : 2110.06674 [cs.CY].
  131. ^ Scheurer, Jérémy; Balesni, Mikita; Hobbhahn, Marius (2023). 「技術レポート：大規模言語モデルは、プレッシャーを受けるとユーザーを戦略的に欺くことができる」ICLR .
  132. ^ Kenton, Zachary; Everitt, Tom; Weidinger, Laura; Gabriel, Iason; Mikulik, Vladimir; Irving, Geoffrey (2021年3月30日). 「言語エージェントのアライメント」. DeepMind Safety Research – Medium . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年7月23日閲覧。
  133. ^ Park, Peter S.; Goldstein, Simon; O'Gara, Aidan; Chen, Michael; Hendrycks, Dan (2024年5月). 「AIによる欺瞞：事例、リスク、そして潜在的な解決策の概観」. Patterns . 5 (5) 100988. doi : 10.1016/j.patter.2024.100988 . ISSN  2666-3899. PMC 11117051. PMID 38800366  . 
  134. ^ Zia, Tehseen (2025年1月7日). 「AIは信頼できるのか？アライメント偽装の課題」Unite.AI . 2025年2月18日閲覧。
  135. ^ ab ペリゴ, ビリー (2024年12月18日). 「独占：新たな研究でAIが戦略的に嘘をついていることが明らかに」. TIME . 2025年2月18日閲覧。
  136. ^ マッカーシー, ジョン; ミンスキー, マービン L.; ロチェスター, ナサニエル; シャノン, クロード E. (2006年12月15日). 「ダートマス大学人工知能夏季研究プロジェクトへの提案、1955年8月31日」. AI Magazine . 27 (4): 12. doi :10.1609/aimag.v27i4.1904. ISSN  2371-9621. S2CID  19439915.
  137. ^ 王、雷;マー、チェン。フォン、シュエヤン。チャン・ゼユ。ヤン、ハオ。チャン・ジンセン。チェン・ジーユアン。唐、嘉開。 Chen、Xu (2024)、「大規模言語モデルに基づく自律エージェントに関する調査」、Frontiers of Computer Science、18 (6) 186345、arXiv : 2308.11432、doi :10.1007/s11704-024-40231-1
  138. ^ 「『AIのゴッドファーザー』が、人工知能が権力を求め始める『悪夢のシナリオ』を警告」フォーチュン誌。 2023年5月4日閲覧。
    • 「はい、私たちは人工知能の存在リスクを懸念しています」MITテクノロジーレビュー。2023年5月4日閲覧。
  139. ^ Ornes, Stephen (2019年11月18日). 「かくれんぼをしながら、機械は新しい道具を発明する」. Quanta Magazine . 2023年2月10日時点のオリジナルよりアーカイブ。 2022年8月26日閲覧。
  140. ^ Baker, Bowen; Kanitscheider, Ingmar; Markov, Todor; Wu, Yi; Powell, Glenn; McGrew, Bob; Mordatch, Igor (2019年9月17日). 「マルチエージェントインタラクションからの創発的なツール使用」. OpenAI . 2022年9月25日時点のオリジナルよりアーカイブ。 2022年8月26日閲覧。
  141. ^ Edwards, Benj (2024年8月14日). 「研究用AIモデルが予期せず自身のコードを変更し、ランタイムを延長」Ars Technica . 2024年8月19日閲覧。
  142. ^ Shermer, Michael (2017年3月1日). 「人工知能はまだ脅威ではない」. Scientific American . 2017年12月1日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
  143. ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (2020年7月22日). 「言語モデルは少数ショット学習者」. NeurIPS .
    • マイケル・ラスキン；ルーユ・ワン；ジュンヒョク・オー；エミリオ・パリソット；スティーブン・スペンサー；リッチー・シュタイガーヴァルト；DJ・ストラウス；スティーブン・ハンセン；アンジェロス・フィロス；イーサン・ブルックス；マキシム・ガゾー；ヒマンシュ・サーニ；サティンダー・シン；ヴォロディミル・ムニフ（2022年10月25日）．「アルゴリズム蒸留によるインコンテキスト強化学習」（PDF）．ICLR．
  144. ^ メロ、ガブリエル A.マキシモ、マルコス ROA;ソーマ、ネイ Y.アラバマ州パウロ、カストロ (2025)。 「人工知能の調整の決定不可能性を解決する停止マシン」。科学的報告書。15 (1): 15591。ビブコード:2025NatSR..1515591M。土井：10.1038/s41598-025-99060-2。PMC 12050267。PMID  40320467。 
  145. ^ abc Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2022年11月2日). 「目標の誤一般化：正しい目標設定には正しい仕様だけでは不十分な理由」. Medium . arXiv : 2210.01790 . 2023年4月2日閲覧。
  146. ^ Zhang, Xiaoge; Chan, Felix TS; Yan, Chao; Bose, Indranil (2022). 「リスクを考慮した人工知能と機械学習システムに向けて：概要」 .意思決定支援システム. 159 113800. doi :10.1016/j.dss.2022.113800. S2CID  248585546.
  147. ^ ab エヴェリット, トム; オルテガ, ペドロ A.; バーンズ, エリザベス; レッグ, シェーン (2019年9月6日). 「因果影響図を用いたエージェントインセンティブの理解。パートI：単一アクション設定」arXiv : 1902.09980 [cs.AI].
  148. ^ ab Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022年8月29日). 「高度な人工エージェントが報酬の提供に介入する」. AI Magazine . 43 (3): 282– 293. doi :10.1002/aaai.12064. ISSN  0738-4602. S2CID  235489158. 2023年2月10日時点のオリジナルよりアーカイブ。 2022年9月6日閲覧。
  149. ^ Hadfield-Menell, Dylan; Hadfield, Gillian K (2019). 「不完全契約とAIの整合」. 2019 AAAI/ACM AI・倫理・社会会議議事録. pp.  417– 422.
  150. ^ ハンソン、ロビン（2019年4月10日）「機関の失敗かAIの終末か？」『バイアスの克服』 2023年9月20日閲覧。
  151. ^ Hamilton, Andy (2020)、「保守主義」、Zalta, Edward N. (編)、『スタンフォード哲学百科事典』（2020年春版）、Metaphysics Research Lab、スタンフォード大学、 2024年10月16日閲覧。
  152. ^ Taylor, Jessica; Yudkowsky, Eliezer; LaVictoire, Patrick; Critch, Andrew (2016年7月27日). 「高度な機械学習システムのためのアライメント」(PDF) .
  153. ^ Bengio, Yoshua (2024年2月26日). 「収束的な安全境界を備えた慎重な科学者AIに向けて」
  154. ^ コーエン、マイケル、ハッター、マーカス (2020). 「未知の未知に対する悲観主義は保守主義を刺激する」(PDF) .機械学習研究論文集. 125 : 1344–1373 . arXiv : 2006.08753 .
  155. ^ Liu, Anqi; Reyzin, Lev; Ziebart, Brian (2015年2月21日). 「ロバストなバイアスを考慮した予測を用いたシフトペシミスティック能動学習」. AAAI人工知能会議論文集. 29 (1). doi :10.1609/aaai.v29i1.9609. ISSN  2374-3468.
  156. ^ Liu, Jiashuo; Shen, Zheyan; Cui, Peng; Zhou, Linjun; Kuang, Kun; Li, Bo; Lin, Yishi (2021年5月18日). 「分布シフト下における安定した敵対的学習」. AAAI人工知能会議論文集. 35 (10): 8662– 8670. arXiv : 2006.04414 . doi :10.1609/aaai.v35i10.17050. ISSN  2374-3468.
  157. ^ Roy, ​​Aurko; Xu, Huan; Pokutta, Sebastian (2017). 「モデルミスマッチ下における強化学習」.ニューラル情報処理システムの進歩. 30. Curran Associates, Inc.
  158. ^ Pinto, Lerrel; Davidson, James; Sukthankar, Rahul; Gupta, Abhinav (2017年7月17日). 「ロバストな敵対的強化学習」.第34回国際機械学習会議論文集. PMLR: 2817–2826 .
  159. ^ Wang, Yue; Zou, Shaofeng (2021). 「モデルの不確実性を考慮したオンラインロバスト強化学習」.ニューラル情報処理システムの進歩. 34. Curran Associates, Inc.: 7193–7206 . arXiv : 2109.14523 .
  160. ^ Blanchet, Jose; Lu, Miao; Zhang, Tong; Zhong, Han (2023年12月15日). 「分布的にロバストなオフライン強化学習において、二重悲観主義はおそらく効率的である：汎用アルゴリズムとロバストな部分カバレッジ」. Advances in Neural Information Processing Systems . 36 : 66845–66859 . arXiv : 2305.09659 .
  161. ^ Levine, Sergey; Kumar, Aviral; Tucker, George; Fu, Justin (2020年11月1日). 「オフライン強化学習：チュートリアル、レビュー、そして未解決問題への展望」. arXiv : 2005.01643 [cs.LG].
  162. ^ リグター、マーク、ラセルダ、ブルーノ、ホーズ、ニック（2022年12月6日）。「RAMBO-RL：堅牢な敵対的モデルベースのオフライン強化学習」。ニューラル情報処理システムの進歩。35 ：16082–16097。arXiv：2204.12581 。
  163. ^ Guo, Kaiyang; Yunfeng, Shao; Geng, Yanhui (2022年12月6日). 「悲観主義変調ダイナミクス信念を用いたモデルベースオフライン強化学習」.ニューラル情報処理システムの進歩. 35 : 449–461 . arXiv : 2210.06692 .
  164. ^ Coste, Thomas; Anwar, Usman; Kirk, Robert; Krueger, David (2024年1月16日). 「報酬モデルアンサンブルは過剰最適化の緩和に役立つ」.国際学習表現会議. arXiv : 2310.02743 .
  165. ^ 劉志涵;ルー、ミャオ族。張、シェナオ。リウ・ボーイイ。グオ・ホンイ。ヤン、インシャン。ブランシェット、ホセ。王昭蘭（2024年5月26日）。 「RLHF における過剰最適化を明らかに軽減する: SFT 損失は暗黙的に敵対的正則化である」。NeurIPS。
  166. ^ Cohen, Michael K.; Hutter, Marcus; Nanda, Neel (2022). 「完全に汎用的なオンライン模倣学習」. Journal of Machine Learning Research . 23 (334): 1– 30. arXiv : 2102.08686 . ISSN  1533-7928.
  167. ^ チャン, ジョナサン; 上原, 正敏; スリーニヴァス, ドゥルブ; キダンビ, ラフル; サン, ウェン (2021). 「部分的カバレッジによるオフラインデータを用いた模倣学習における共変量シフトの緩和」.ニューラル情報処理システムの進歩. 34.カラン・アソシエイツ社: 965–979 .
  168. ^ Boyd, Stephen P.; Vandenberghe, Lieven (2023).凸最適化（第29版）. Cambridge, New York, Melbourne, New Delhi, Singapore: Cambridge University Press. ISBN 978-0-521-83378-3。
  169. ^ 「国連事務総長による『我々の共通の課題』に関する報告書」2021年、63ページ。2023年2月16日時点のオリジナルよりアーカイブ。「コンパクト」は、人工知能が共通の世界的価値観と整合していることを保証するために、人工知能の規制を促進する可能性もある。
  170. ^ 国家新世代人工知能ガバナンス専門委員会（2021年10月12日）[2021-09-25]。「新世代人工知能の倫理規範が発表されました」。安全保障と新興技術センターによる翻訳。2023年2月10日時点のオリジナルよりアーカイブ。
  171. ^ Richardson, Tim (2021年9月22日). 「英国、国家人工知能戦略を発表」. The Register . 2023年2月10日時点のオリジナルよりアーカイブ。2021年11月14日閲覧。
  172. ^ 「英国の国家AI戦略」2021年。2023年2月10日時点のオリジナルよりアーカイブ。政府は、非同盟型汎用人工知能（AI）の長期的なリスク、そしてそれが英国と世界にもたらす予期せぬ変化を深刻に受け止めている。
  173. ^ 「英国の国家AI戦略」、2021年。「柱3：AIの効果的な統治」セクションのアクション9および10。2023年2月10日時点のオリジナルよりアーカイブ。
  174. ^ NSCAI最終報告書(PDF)。ワシントンD.C.：人工知能に関する国家安全保障委員会。2021年。2023年2月15日時点のオリジナルよりアーカイブ(PDF) 。 2022年10月17日閲覧。
  175. ^ Robert Lee Poe (2023). 「なぜ公正な自動採用システムはEUの差別禁止法に違反するのか」.機械学習とデータベースにおける知識発見の原理と実践.
  176. ^ De Vos, Marc (2020). 「欧州司法裁判所と欧州連合の差別禁止法における実質的平等への進展」. International Journal of Discrimination and the Law . 20 : 62–87 . doi :10.1177/1358229120927947.

さらに読む

  • Ngo, Richard; et al. (2024). 「深層学習の観点から見たアライメント問題」ICLR .
  • Ji, Jiaming; et al. (2023). 「AIアライメント：包括的調査」. ACM Computing Surveys .