プロンプトエンジニアリング

プロンプトエンジニアリングとは、生成型人工知能（AI）モデルからより良い出力を生成するために、指示を構造化または作成するプロセスです。通常、明確なクエリの設計、関連するコンテキストの追加、そしてより正確で有用かつ一貫性のある応答にモデルを導くための表現の改良が含まれます。[ 1 ]

プロンプトとは、AIが実行すべきタスクを記述した自然言語テキストです。 [ 2 ]テキスト変換言語モデルのプロンプトは、クエリ、コマンド、または文脈、指示、会話履歴を含むより長い文などです。プロンプトエンジニアリングには、クエリのフレーズ化、スタイル、単語の選択と文法の指定、[ 3 ]関連するコンテキストの提供、AIが模倣するキャラクターの記述などが含まれます。[ 1 ]

テキスト画像変換モデルやテキスト音声変換モデルと通信する場合、典型的なプロンプトは「宇宙飛行士が馬に乗っている高画質写真」 [ 4 ]や「オーガニックサンプルを使ったローファイでスローなBPMのエレクトロニックミュージック」[ 5 ]など、望ましい出力の説明です。テキスト画像変換モデルへのプロンプトには、望ましい主題、スタイル、レイアウト、照明、美観を実現するために、単語の追加、削除、強調が含まれる場合があります。[ 6 ]

歴史

2018年、研究者たちは、自然言語処理（NLP）におけるこれまで個別に行われていたすべてのタスクを、文脈に基づく質問応答問題として捉えることができると初めて提案しました。さらに、彼らは「感情は何か」「この文をドイツ語に翻訳しなさい」「大統領は誰か」といったタスク関連のあらゆる質問に答える、最初の単一、結合、マルチタスクモデルを訓練しました[ 7 ]

AIブームにより、モデルに望ましい結果を出力させ、無意味な出力を回避するための「プロンプト技術」が増加しました。これは試行錯誤を特徴とするプロセスです。[ 8 ] 2022年にChatGPTがリリースされた後、プロンプトエンジニアリングは、経済的な将来が不確実ではあるものの、すぐに重要なビジネススキルと見なされるようになりました。[ 1 ]

プロンプトのリポジトリによると、2022年2月には、約170のデータセットに対して2,000以上の公開プロンプトが利用可能になったとのことです。 [ 9 ] 2022年には、Googleの研究者によって思考連鎖プロンプト技術が提案されました。[ 10 ] [ 11 ] 2023年には、いくつかのテキストからテキストへのプロンプトデータベースとテキストから画像へのプロンプトデータベースが公開されました。[ 12 ] [ 13 ] 3,115人のユーザーによって分類された生成された画像テキストデータセットであるパー​​ソナライズされた画像プロンプト（PIP）データセットも、2024年に公開されました。[ 14 ]

テキストからテキストへ

2024年に実施されたこの分野の包括的な調査では、50を超える異なるテキストベースのプロンプティング手法と約40のマルチモーダルな変種が特定され、プロンプティング戦略の急速な多様化が示されました。この研究では、プロンプティング研究全体で使用されている33の用語からなる統制語彙も記録されており、標準化の必要性が高まっていることが浮き彫りになっています。[ 15 ]

調査の結果、大規模言語モデルの性能は、用例の順序、デモンストレーションラベルの質、さらにはフレーズのわずかな変化といった選択に非常に敏感であることが明らかになりました。プロンプト内の用例の順序を変更すると、精度が40%以上変化したケースもあり、系統的なプロンプト構築の重要性が強調されました。[ 15 ]

思考の連鎖

Google Researchによると、思考の連鎖（CoT）プロンプティングは、大規模言語モデル（LLM）が最終的な答えを出す前に、一連の中間ステップとして問題を解決できるようにする手法です。2022年、 Google Brainは、思考の連鎖プロンプティングは、思考の流れを模倣した推論ステップでモデルに複数ステップの問題に答えさせることで、推論能力を向上させると報告しました。[ 10 ] [ 16 ]思考の連鎖手法は、LLMが算術問題や常識推論問題などの複数ステップの推論タスクを処理できるようにするために開発されました。[ 17 ] [ 18 ]

例えば、「Q: カフェテリアにはリンゴが 23 個ありました。20 個を使って昼食を作り、さらに 6 個買った場合、リンゴは何個あるでしょうか。」という質問に対して、CoT プロンプトにより LLM は「A: カフェテリアにはもともとリンゴが 23 個ありました。昼食を作るのに 20 個使いました。したがって、23 - 20 = 3 個になります。さらに 6 個買ったので、3 + 6 = 9 個になります。答えは 9 です。」と答えます。[ 10 ] Google によると、 5400 億パラメータの言語モデルであるPaLMに適用すると、CoT プロンプトによってモデルが大幅に改善され、いくつかのタスクでタスク固有の微調整モデルと同等のパフォーマンスを発揮できるようになり、GSM8K数学的推論ベンチマークで当時の最先端の結果を達成しました。[ 10 ] CoT 推論データセットでモデルを微調整して、この機能をさらに強化し、解釈可能性を高めることが可能です。[ 19 ] [ 20 ]

Googleが当初提案したように[ 10 ] 、各CoTプロンプトには、望ましいモデル出力を示すための入力/出力例（エグゼンプラーと呼ばれる）のセットが付随しており、これは数ショットのプロンプト手法となっている。しかし、Googleと東京大学の研究者による後の論文によると、「ステップごとに考えてみましょう」という単語を単に付け加えるだけでも効果的であり[ 21 ] 、CoTをゼロショット手法として用いることが可能になった。

文脈内の例を用いた少数ショットのCoTプロンプトの例: [ 10 ]

 Q: {例題 1} A: {回答例1} ... Q: {例題n } A: {例回答n } Q: {質問} A: {LLM出力}

ゼロショットCoTプロンプトのフォーマット例: [ 21 ]

 Q: {question}。順を追って考えてみましょう。 A: {LLM出力}

インコンテキスト学習

インコンテキスト学習とは、モデルがプロンプトから一時的に学習する能力を指します。例えば、プロンプトには、モデルが学習するためのいくつかの例が含まれている場合があります。例えば、「maison → house、chat → cat、chien →」（予想される応答はdog）とモデルに入力させるなどです。 [ 22 ]これはfew-shot learningと呼ばれるアプローチです。[ 23 ]

インコンテキスト学習は、大規模言語モデルの創発的な能力[ 24 ]です。これはモデル規模の創発的な特性であり、下流のスケーリング則に破綻[ 25 ]が生じ、その結果、大規模モデルと小規模モデルではその有効性の増加速度が異なります[ 24 ] [ 10 ] 。永続的な変化をもたらすトレーニングやファインチューニングとは異なり、インコンテキスト学習は一時的なものです[ 26 ] 。インコンテキスト学習を実行するようにモデルをトレーニングすることは、メタ学習、つまり「学習することを学ぶ」という形態と見なすことができます[ 27 ] 。

自己一貫性

自己一貫性は、思考の連鎖を複数回展開し、すべての展開の中で最も一般的に到達した結論を選択します。[ 28 ] [ 29 ]

思考のツリー

思考のツリープロンプティングは、複数の推論のラインを並行して生成し、バックトラックや他のパスを探索する機能を備えさせることで、思考の連鎖を一般化します。幅優先、深さ優先、ビーム探索などのツリー探索アルゴリズムを使用できます。[ 29 ] [ 30 ]

モデルの感度を推定するよう促す

研究では一貫して、LLMはプロンプトのフォーマット、構造、言語特性の微妙な変化に非常に敏感であることが示されています。いくつかの研究では、少数発話の設定において、フォーマットの変更によって最大76ポイントの精度向上が見られました。[ 31 ]言語的特徴（形態論、統語論、語彙意味論的変化など）はプロンプトの有効性に大きな影響を与え、様々なタスクにおいてタスクパフォ​​ーマンスを有意に向上させます。[ 3 ] [ 32 ]例えば、節構文は一貫性を向上させ、知識検索における不確実性を低減します。[ 33 ]この感度は、モデルサイズが大きくなっても、少数発話の例が増えても、あるいは命令のチューニングを行っても持続します。

モデルの感度に対処し、より堅牢なものにするために、いくつかの手法が提案されている。FormatSpreadは、妥当なプロンプト形式を幅広く評価することで体系的な分析を容易にし、より包括的なパフォーマンス間隔を提供する。[ 31 ]同様に、PromptEvalは多様なプロンプトにわたるパフォーマンス分布を推定し、パフォーマンス四分位数などの堅牢な指標や、限られた予算内での正確な評価を可能にする。[ 34 ]

自動プロンプト生成

最近の研究では、最適化アルゴリズムを用いて人間の介入なしにプロンプ​​トを生成または改良する自動プロンプトエンジニアリングが検討されています。これらの自動化されたアプローチは、モデルの勾配、強化フィードバック、または進化プロセスを分析することで効果的なプロンプトパターンを特定し、手動による実験の必要性を減らすことを目的としています。[ 35 ]

検索拡張型生成

検索拡張生成（RAG）は、生成人工知能（Gen AI）モデルが新しい情報を検索して組み込むことを可能にする技術です。LLMとのインタラクションを変更し、モデルが指定された文書セットを参照してユーザーのクエリに応答するようにします。この情報を使用して、既存のトレーニングデータからの情報を補完します。これにより、LLMはドメイン固有の情報や更新された情報を使用できるようになります。[ 36 ]

RAGは、応答を生成する前に情報検索を組み込むことで、大規模言語モデルを改善します。静的なトレーニングデータに依存する従来のLLMとは異なり、RAGはデータベース、アップロードされた文書、またはWebソースから関連テキストを取得します。Ars Technicaによると、「RAGはLLMのパフォーマンスを向上させる方法であり、本質的にはLLMプロセスをWeb検索やその他の文書検索プロセスと融合させることで、LLMが事実に忠実になるようにします。」この方法は、チャットボットがポリシーを捏造したり、弁護士が存在しない訴訟事例を引用したりするなど、現実世界の問題につながるAIの幻覚を軽減するのに役立ちます。RAGは情報を動的に取得することで、AIが頻繁な再トレーニングなしでより正確な応答を提供できるようにします。[ 37 ]

グラフ検索拡張生成

非構造化データ、構造化データ、混合データのアクセスパターンを組み合わせた知識グラフを備えたGraphRAG

GraphRAG（ Microsoft Researchによる造語）は、RAGをナレッジグラフ（通常はLLMによって生成される）を用いて拡張した手法であり、モデルが分散した情報を結び付け、洞察を統合し、大規模なデータコレクション全体にわたって要約された意味概念を包括的に理解することを可能にする。これは、ニュース記事からの暴力事件情報（VIINA）のようなデータセットで有効であることが示された。[ 38 ] [ 39 ]

以前の研究では、テキストからクエリを生成する知識グラフを質問応答に使うことの有効性が示されました。 [ 40 ]これらの技術を組み合わせることで、非構造化データと構造化データの両方を検索することができ、拡張されたコンテキストと改善されたランキングが得られます。

言語モデルを使用してプロンプトを生成する

LLM自体はLLMのプロンプトを作成するために使用することができます。[ 41 ]自動プロンプトエンジニアアルゴリズムは、1つのLLMを使用して別のLLMのプロンプトをビーム検索します。 [ 42 ] [ 43 ]

  • LLMは2つあります。1つはターゲットLLM、もう1つはプロンプトLLMです。
  • プロンプト LLM では、入力と出力のペアの例が提示され、与えられた入力に対して、モデルが指示に従って出力を生成するように指示を生成するように求められます。
  • 生成された各命令は、ターゲットLLMに入力を指示するために使用され、その後に各入力が続きます。出力の対数確率が計算され、加算されます。これが命令のスコアです。
  • 最も高いスコアを獲得した指示は、さらなるバリエーションを促す LLM に渡されます。
  • 停止基準に達するまで繰り返し、最高スコアの命令を出力します。

CoTの例はLLM自身によって生成できます。「自動CoT」では、BERTなどのモデルによって質問ライブラリがベクトルに変換されます。質問ベクトルはクラスタリングされます。各クラスタの重心に近い質問が選択され、多様な質問のサブセットが作成されます。LLMは選択された質問ごとにゼロショットCoTを実行します。質問とそれに対応するCoT回答は、デモンストレーションのデータセットに追加されます。これらの多様なデモンストレーションは、プロンプトに追加され、Few-Shot Learning（少量学習）に利用できます。[ 44 ]

自動プロンプト最適化

自動プロンプト最適化技術は、評価データセットとタスク固有のメトリクスを使用して代替プロンプト文字列を自動的に検索することにより、大規模言語モデル（LLM）のプロンプトを改良する。MIPRO（マルチプロンプト命令提案オプティマイザー）は、マルチステージ言語モデルプログラムの命令と少数のデモンストレーションを最適化し、モジュールプロンプトに小さな変更を提案し、モジュールレベルのラベルや勾配にアクセスせずに下流のパフォーマンスメトリックを改善するものを保持する。[ 45 ] GEPA（遺伝的パレート）は、複合AIシステム用の反射プロンプト最適化装置であり、実行トレースとテキストフィードバックの言語モデルベースの分析と、候補システムの集団に対するパレートベースの進化的検索を組み合わせたものである。4つのタスクにわたって、GEPAは強化学習ベースのグループ相対ポリシー最適化と比較して平均約10％、MIPROv2プロンプト最適化装置と比較して10％以上のゲインを報告しているが、GRPOよりも最大35倍少ないロールアウトを使用している。[ 46 ] DSPyやOpikなどのオープンソースフレームワークは、これらの最適化ツールや関連する最適化ツールを公開しており、手作業による試行錯誤ではなく、プログラムによるパイプラインの一部としてプロンプト検索を表現することができます。[ 47 ] [ 48 ]

コンテキストエンジニアリング

コンテキストエンジニアリングは、ユーザープロンプトに伴う要素の設計、キュレーション、管理の分野を説明する、実務家向けの新興用語です。これには、システム指示、取得された知識、ツール定義、会話の要約、タスクメタデータが含まれ、実稼働LLMシステムの信頼性、来歴、トークン効率を向上させます。[ 49 ] [ 50 ]

この概念は、トークン予算、出所タグ、コンテキスト成果物のバージョン管理、可観測性（どのコンテキストが提供されたかを記録する）、コンテキスト回帰テストといった運用上の実践を重視し、提供されたコンテキストへの変更がシステムの動作を暗黙的に変更しないことを保証する。2025年7月の調査では、コンテキストエンジニアリングの構成要素（コンテキストの取得／生成、コンテキストの処理、コンテキストの管理）の正式な分類が提供され、コンテキストウィンドウを、取得されたドキュメントの受動的なソースとしてではなく、管理されたエンジニアリングサーフェスとして扱うことが提唱されている。[ 51 ]

テキスト画像変換

2022年には、DALL-E 2、Stable Diffusion、Midjourneyなどのテキストから画像へのモデルが一般公開されました。これらのモデルは、テキストプロンプトを入力として受け取り、それを使用して画像を生成します。[ 52 ] [ 6 ]

安定拡散法で生成された画像に対する否定的なプロンプトの効果のデモンストレーション
  • 上：否定プロンプトなし
  • 中央：「緑の木々」
  • 下：「丸い石、丸い岩」

プロンプト形式

初期のテキスト画像変換モデルは、通常、大規模言語モデルと同じように否定、文法、文構造を理解しないため、異なるプロンプト手法が必要になる場合があります。「ケーキのないパーティー」というプロンプトは、ケーキを含む画像を生成する可能性があります。[ 53 ]代わりに、否定プロンプトでは、ユーザーが別のプロンプトで、結果の画像に表示しない用語を指定できます。 [ 54 ]通常のプロンプトをシーケンスツーシーケンス言語モデリング問題に組み込むなどの手法を使用して、否定プロンプトの出力を自動的に生成できます

テキスト画像化プロンプトには、通常、芸術の主題、希望する媒体（デジタルペインティングや写真など）、スタイル（ハイパーリアリズムやポップアートなど）、照明（リムライティングや薄明光線など）、色、質感の説明が含まれます。[ 55 ]語順もテキスト画像化プロンプトの出力に影響します。プロンプトの先頭に近い単語は、より強調される可能性があります。[ 56 ]

Midjourneyのドキュメントでは、短く説明的なプロンプトを推奨しています。「たくさんのカリフォルニアポピーが咲いている写真を見せてください。それらを明るく鮮やかなオレンジ色にして、色鉛筆でイラスト風に描いてください」という代わりに、「色鉛筆で描いた明るいオレンジ色のカリフォルニアポピー」のようなプロンプトが効果的かもしれません。[ 53 ]

アーティストのスタイル

一部のテキスト画像変換モデルは、特定のアーティストの名前でそのスタイルを模倣することができます。例えば、「Greg Rutkowskiのスタイル」というフレーズは、Stable DiffusionとMidjourneyのプロンプトで使用され、ポーランドのデジタルアーティスト、Greg Rutkowskiの独特なスタイルの画像が生成されました。[ 57 ]フィンセント・ファン・ゴッホやサルバドール・ダリなどの有名なアーティストも、スタイリングとテストに使用されています。[ 58 ]

非テキストプロンプト

いくつかのアプローチでは、自然言語のテキストプロンプトを非テキスト入力で補強または置き換えます

テキスト反転と埋め込み

テキストから画像へのモデルでは、テキスト反転は最適化プロセスを実行し、一連の例画像に基づいて新しい単語埋め込みを作成します。この埋め込みベクトルは「疑似単語」として機能し、例の内容やスタイルを表現するプロンプトに含めることができます。[ 59 ]

画像プロンプト

2023年、MetaのAI研究チームは、プロンプトによって画像セグメンテーションを実行できるコンピュータービジョンモデル「Segment Anything」をリリースしました。テキストプロンプトの代わりに、Segment Anythingはバウンディングボックス、セグメンテーションマスク、前景/背景ポイントを受け入れることができます。[ 60 ]

勾配降下法を使用してプロンプトを検索する

「プレフィックスチューニング」[ 61 ] 、 「プロンプトチューニング」、または「ソフトプロンプト」[ 62 ]では、浮動小数点値のベクトルを勾配降下法で直接探索し、出力の対数尤度を最大化します。

正式には、ソフトプロンプトトークン（調整可能な埋め込み）の集合を とし、と をそれぞれ入力と出力のトークン埋め込みとする。学習中、調整可能な埋め込み、入力トークン、出力トークンは単一のシーケンス に連結され、LLMに入力される。損失はトークンに対して計算され、勾配はプロンプト固有のパラメータに逆伝播される。プレフィックスチューニングでは、これらは各層のプロンプトトークンに関連付けられたパラメータであるが、プロンプトチューニングでは、これらは語彙に追加されたソフトトークンに過ぎない。[ 63 ]E＝{e1、…、ek}{\displaystyle \mathbf {E} =\{\mathbf {e_{1}},\dots,\mathbf {e_{k}} \}}X＝{x1、…、xm}{\displaystyle \mathbf {X} =\{\mathbf {x_{1}},\dots,\mathbf {x_{m}} \}}Y＝{y1、…、yn}{\displaystyle \mathbf {Y} =\{\mathbf {y_{1}},\dots,\mathbf {y_{n}} \}}連結（E;X;Y）{\displaystyle {\text{連結}}(\mathbf {E} ;\mathbf {X} ;\mathbf {Y} )}Y{\displaystyle \mathbf {Y} }

より正式には、これはプロンプトチューニングです。LLMを と書きます。ここで、は言語トークンのシーケンス、はトークンからベクトルへの関数、 はモデルの残りの部分です。プレフィックスチューニングでは、入力と出力のペアのセット を用意し、勾配降下法を使用して を探索します。言い換えると、は を出力する対数尤度です。モデルがまず入力をベクトル にエンコードし、次にそのベクトルに「プレフィックスベクトル」 を付加し、 を適用します。プレフィックスチューニングも同様ですが、「プレフィックスベクトル」はモデルの各層の隠れ状態に事前に付加されます。 LLM（X）＝F（E（X））{\displaystyle LLM(X)=F(E(X))}X{\displaystyle X}E{\displaystyle E}F{\displaystyle F}{（Xi、Yi）}i{\displaystyle \{(X^{i},Y^{i})\}_{i}}引数⁡最大Z~∑i対数⁡Pr[Yi|Z~∗E（Xi）]{\displaystyle \arg \max _{\tilde {Z}}\sum _{i}\log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]}log⁡Pr[Yi|Z~∗E(Xi)]{\displaystyle \log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]}Yi{\displaystyle Y^{i}}Xi{\displaystyle X^{i}}E(Xi){\displaystyle E(X^{i})}Z~{\displaystyle {\tilde {Z}}}F{\displaystyle F}Z~{\displaystyle {\tilde {Z}}}

以前の研究では、勾配降下法の同じアイデアが用いられていますが、BERTのようなマスク付き言語モデル向けに設計されており、数値ベクトルではなくトークンシーケンスのみを探索します。正式には、指定された長さのトークンシーケンスにおいて、その範囲を探索します。 [ 64 ]arg⁡maxX~∑ilog⁡Pr[Yi|X~∗Xi]{\displaystyle \arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]}X~{\displaystyle {\tilde {X}}}

制限事項

LLMや生成AIのプロンプトの作成と改良のプロセスは、再利用するための「最良の原則」の発見や再現可能な実験による発見など、反復的なエンジニアリング設計プロセスといくつかの類似点がありますが、実際に習得される原則やスキルは、プロンプトベースの生成モデルの分野全体に一般化できるものではなく、学習対象の特定のモデルに大きく依存します。このようなパターンはまた不安定であり、一見重要でないプロンプトの変更とは大きく異なる結果を示します。[ 65 ] [ 66 ] 2025年のウォールストリートジャーナルによると、プロンプトエンジニアの仕事は2023年には最もホットなものの1つでしたが、ユーザーの意図をよりよく直感するモデルや企業研修により時代遅れになっています。[ 67 ]

プロンプトインジェクション

プロンプトインジェクションは、攻撃者が正当な入力に見えるものの、機械学習モデル、特に大規模言語モデルにおいて意図しない動作を引き起こすように設計されたサイバーセキュリティのエクスプロイトです。この攻撃は、モデルが開発者定義のプロンプトとユーザー入力を区別できないことを利用し、攻撃者が安全策を回避してモデルの動作に影響を与えることを可能にします。LLMは信頼できる指示に従うように設計されていますが、巧妙に作成された入力によって意図しない応答を実行するように操作される可能性があります。[ 68 ] [ 69 ]

参考文献

  1. ^ a b c Genkina, Dina (2024年3月6日). 「AIプロンプトエンジニアリングは死んだ：AIプロンプトエンジニアリング万歳」 IEEE Spectrum . 2025年1月18日閲覧
  2. ^ Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario ; Sutskever, Ilya (2019). 「言語モデルは教師なしマルチタスク学習器である」(PDF) . OpenAI.言語モデルがパラメータやアーキテクチャを変更することなく、ゼロショット設定で下流タスクを実行できることを実証した。
  3. ^ a b Wahle, Jan Philip; Ruas, Terry; Xu, Yang; Gipp, Bela (2024). 「パラフレーズ型はプロンプトエンジニアリング能力を引き出す」 . Al-Onaizan, Yaser; Bansal, Mohit; Chen, Yun-Nung (編). 2024年自然言語処理における経験的手法に関する会議議事録. マイアミ、フロリダ州、米国：計算言語学協会。pp.  11004– 11033. arXiv : 2406.19898 . doi : 10.18653/v1/2024.emnlp-main.617 .
  4. ^ Heaven、ウィル・ダグラス（2022年4月6日）「この乗馬宇宙飛行士は、AIの理解への長い道のりにおける画期的な出来事だ」 MITテクノロジーレビュー。2023年8月14日閲覧。
  5. ^ Wiggers, Kyle (2023年6月12日). 「Meta、AI搭載の音楽ジェネレーターをオープンソース化」 . TechCrunch . 2023年8月15日閲覧。次に、MusicGenを混乱させるために、より複雑なプロンプト「オーガニックサンプルを使ったローファイでスローなBPMのエレクトロチル」を試しました。
  6. ^ a b Mittal, Aayush (2023年7月27日). 「AIアートをマスターする：中間段階と迅速なエンジニアリングのための簡潔なガイド」 . Unite.AI . 2025年5月9日閲覧。
  7. ^ McCann, Bryan; Keskar, Nitish; Xiong, Caiming; Socher, Richard (2018年6月20日). 「自然言語デカスロン：質問応答としてのマルチタスク学習」 . ICLR. arXiv : 1806.08730 .
  8. ^ Knoth, Nils; Tolzin, Antonia; Janson, Andreas; Leimeister, Jan Marco (2024年6月1日). 「AIリテラシーと迅速なエンジニアリング戦略への影響」 . Computers and Education: Artificial Intelligence . 6 100225. doi : 10.1016/j.caeai.2024.100225 . ISSN 2666-920X . 
  9. ^ PromptSource: 自然言語プロンプトのための統合開発環境およびリポジトリ。計算言語学協会。2022年。
  10. ^ a b c d e f g Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei; Chi, Ed H.; Le, Quoc V.; Zhou, Denny (2022年10月31日). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models . Advances in Neural Information Processing Systems (NeurIPS 2022). Vol. 35. arXiv : 2201.11903 .
  11. ^ Brubaker, Ben (2024年3月21日). 「思考連鎖推論がニューラルネットワークの計算にどのように役立つか」 Quanta Magazine . 2025年5月9日閲覧。
  12. ^ブライアン・X・チェン（2023年6月23日）「チャットボットをライフコーチに変える方法」ニューヨーク・タイムズ
  13. ^ Chen, Brian X. (2023年5月25日). 「ChatGPTを最大限に活用するためのゴールデンプロンプト」 .ニューヨーク・タイムズ. ISSN 0362-4331 . 2023年8月16日閲覧。 
  14. ^ Chen, Zijie; Zhang, Lichao; Weng, Fangsheng; Pan, Lili; Lan, Zhenzhong (2024年6月16日). 「Tailored Visions: パーソナライズされたプロンプト書き換えによるテキスト画像生成の強化」 . 2024 IEEE/CVF コンピュータビジョンとパターン認識会議 (CVPR) . IEEE. pp.  7727– 7736. arXiv : 2310.08129 . doi : 10.1109/cvpr52733.2024.00738 . ISBN 979-8-3503-5300-6。
  15. ^ a b Schulhoff, Sander; et al. (2024). 「The Prompt Report: A Systematic Survey of Prompt Engineering Techniques」. arXiv : 2406.06608 [ cs.CL ]
  16. ^ Narang, Sharan; Chowdhery, Aakanksha (2022年4月4日). 「Pathways Language Model (PaLM): 5400億パラメータへのスケーリングによる画期的なパフォーマンス」 . ai.googleblog.com .
  17. ^ Dang, Ekta (2023年2月8日). 「科学研究におけるGPT-3の力の活用」 . VentureBeat . 2023年3月10日閲覧。
  18. ^ Montti, Roger (2022年5月13日). 「GoogleのChain of Thought Promptingは今日の最良アルゴリズムを向上させる可能性がある」 . Search Engine Journal . 2023年3月10日閲覧。
  19. ^ 「スケーリング命令-微調整言語モデル」(PDF) . Journal of Machine Learning Research . 2024年.
  20. ^ Wei, Jason; Tay, Yi (2022年11月29日). 「大規模な計算を必要としない優れた言語モデル」 . ai.googleblog.com . 2023年3月10日閲覧。
  21. ^ a b小島武志; Shixiang Shane Gu;リード、マシェル。松尾 豊岩澤 祐介 (2022) 「大規模な言語モデルはゼロショット推論者である」。NeurIPS。arXiv : 2205.11916。
  22. ^ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). 「Transformersはコンテキスト内で何を学習できるか？ 単純な関数クラスのケーススタディ」NeurIPS . arXiv : 2208.01066 .
  23. ^ブラウン, トム; マン, ベンジャミン; ライダー, ニック; スビア, メラニー; カプラン, ジャレッド D.; ダリワル, プラフルラ; ニーラカンタン, アルビンド (2020). 「言語モデルは少数ショット学習者である」.ニューラル情報処理システムの進歩. 33 : 1877–1901 . arXiv : 2005.14165 .
  24. ^ a b Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (2022年10月). 「大規模言語モデルの創発的能力」Transactions on Machine Learning Research . arXiv : 2206.07682 .プロンプティングでは、事前学習済みの言語モデルにタスクのプロンプト（例えば、自然言語指示）が与えられ、それ以上の学習やパラメータの勾配更新なしに応答を完了します。… 少数ショットプロンプティングによるタスク実行能力は、モデルが一定のスケールまではランダムなパフォーマンスを示し、その後はランダム性をはるかに上回るパフォーマンスに向上したときに創発されます。
  25. ^カバレロ、イーサン;グプタ、クシティジ。リッシュ、イリーナ。デヴィッド・クルーガー（2023）。 「壊れたニューラルスケーリングの法則」。ICLR。arXiv : 2210.14891。
  26. ^ Musser, George . 「AIは誰も教えてくれなかったことを知る方法」 . Scientific American . 2023年5月17日閲覧. ChatGPTにクエリを入力する頃には、ネットワークは固定されているはずです。人間とは異なり、学習を続けるべきではありません。そのため、LLMが実際にユーザーのプロンプトから学習する、つまり「コンテキスト内学習」と呼ばれる能力を持っていることは驚きでした。
  27. ^ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). 「Transformersはコンテキスト内で何を学習できるか？ 単純な関数クラスのケーススタディ」NeurIPS . arXiv : 2208.01066 .コンテキスト内学習を実行するようにモデルを訓練することは、より一般的な学習学習またはメタ学習パラダイムの一例として捉えることができる。
  28. ^自己一貫性は言語モデルにおける思考連鎖推論を改善する。ICLR。2023年。arXiv：2203.11171。
  29. ^ a b Mittal, Aayush (2024年5月27日). 「プロンプトエンジニアリングにおける最新の進歩：包括的なガイド」 . Unite.AI . 2025年5月8日閲覧。
  30. ^思考の樹：大規模言語モデルによる意図的な問題解決。NeurIPS。2023年。arXiv：2305.10601。
  31. ^ a bプロンプト設計における偽の特徴に対する言語モデルの感度の定量化、または：プロンプトのフォーマットについて心配し始めた経緯。ICLR。2024年。arXiv：2310.11324。
  32. ^ Leidinger, Alina; van Rooij, Robert; Kantova, Ekaterina (2023). Bouamor, Houda; Pino, Juan; Bali, Kalika (編). 「プロンプトの言語：どのような言語特性がプロンプトを成功させるのか？」計算言語学協会の調査結果：EMNLP 2023 . シンガポール：計算言語学協会：9210– 9232. arXiv : 2311.01967 . doi : 10.18653/v1/2023.findings-emnlp.618 .
  33. ^ Linzbach, Stephan; Dimitrov, Dimitar; Kallmeyer, Laura; Evang, Kilian; Jabeen, Hajira; Dietze, Stefan (2024年6月). 「パラフレーズの分析：プロンプト構文と補足情報が事前学習済み言語モデルからの知識検索に与える影響」 . Duh, Kevin; Gomez, Helena; Bethard, Steven (編). 2024年北米支部計算言語学協会会議録：人間言語技術（第1巻：長編論文） . メキシコシティ、メキシコ：計算言語学協会。pp.  3645– 3655. arXiv : 2404.01992 . doi : 10.18653/v1/2024.naacl-long.201 .
  34. ^ LLMの効率的なマルチプロンプト評価. NeurIPS. 2024. arXiv : 2405.17202 .
  35. ^リー、ウェンウー;王香峰。李文豪。ジン、ボー (2025) 「自動プロンプトエンジニアリングの調査: 最適化の観点」。arXiv : 2502.11560 [ cs.AI ]。
  36. ^ 「GoogleのAI概要が間違っている理由」 MITテクノロジーレビュー、2024年5月31日。 2025年3月7日閲覧。
  37. ^ 「RAGという技術はAIモデルによる捏造を防ぐことができるか？」 Ars Technica 2024年6月6日. 2025年3月7日閲覧。
  38. ^ Larson, Jonathan; Truitt, Steven (2024年2月13日)、GraphRAG: ナラティブプライベートデータにおけるLLM発見のロック解除、Microsoft
  39. ^ 「グラフRAG入門」KDnuggets . 2025年5月9日閲覧。
  40. ^ Sequeda, Juan; Allemang, Dean; Jacob, Bryon (2023). 「エンタープライズSQLデータベースにおける質問応答における大規模言語モデルの精度に対するナレッジグラフの役割を理解するためのベンチマーク」Grades-Nda . arXiv : 2311.07509 .
  41. ^解釈可能な自動プロンプトによる言語モデルによるデータ内パターンの説明(PDF) . BlackboxNLPワークショップ. 2023. arXiv : 2210.01848 .
  42. ^大規模言語モデルは人間レベルのプロンプトエンジニアである. ICLR. 2023. arXiv : 2211.01910 .
  43. ^ Pryzant, Reid; Iter, Dan; Li, Jerry; Lee, Yin Tat; Zhu, Chenguang; Zeng, Michael (2023). 「「勾配降下法」とビーム探索による自動プロンプト最適化」 .自然言語処理における経験的手法に関する会議: 7957– 7968. arXiv : 2305.03495 . doi : 10.18653/v1/2023.emnlp-main.494 .
  44. ^大規模言語モデルにおける自動思考連鎖促進ICLR 2023 arXiv : 2210.03493 .
  45. ^ Opsahl-Ong, Krista; Ryan, Michael J.; Purtell, Josh; Broman, David; Potts, Christopher; Zaharia, Matei; Khattab, Omar (2024).マルチステージ言語モデルプログラムにおける命令とデモンストレーションの最適化. 2024年自然言語処理における経験的手法に関する会議 (EMNLP) の議事録 . マイアミ、フロリダ: 計算言語学協会 . arXiv : 2406.11695 . doi : 10.18653/v1/2024.emnlp-main.525 .
  46. ^ Agrawal, Lakshya A. (2025). 「GEPA: Reflective Prompt Evolutionは強化学習を上回る」. arXiv : 2507.19457 [ cs.CL ].
  47. ^ Khattab, Omar (2023). 「DSPy: 宣言型言語モデル呼び出しを自己改善パイプラインにコンパイルする」. arXiv : 2310.03714 [ cs.CL ].
  48. ^ 「エージェントの最適化」 . comet.com . 2025年11月29日閲覧。
  49. ^ Casey, Matt M. (2025年11月5日). 「コンテキストエンジニアリング：信頼性の高いLLMアプリケーションとエージェントを支える専門分野」 . Comet . 2025年11月10日閲覧。
  50. ^ 「コンテキストエンジニアリング」 LangChain. 2025年7月2日. 2025年11月10日閲覧。
  51. ^ Mei, Lingrui (2025年7月17日). 「大規模言語モデルのためのコンテキストエンジニアリングの概観」. arXiv : 2507.13334 [ cs.CL ].
  52. ^ゴールドマン、シャロン（2023年1月5日）「DALL-Eのデビューから2年、その発明者は衝撃に『驚いている』」 VentureBeat . 2025年5月9日閲覧。
  53. ^ a b「プロンプト」 . docs.midjourney.com . 2023年8月14日閲覧。
  54. ^ 「なぜこの恐ろしい女性がAI生成画像に現れ続けるのか？」 VICE 2022年9月7日. 2025年5月9日閲覧。
  55. ^ 「Stable Diffusion prompt: a definitive guide」 2023年5月14日. 2023年8月14日閲覧。
  56. ^ Diab, Mohamad; Herrera, Julian; Chernow, Bob (2022年10月28日). 「Stable Diffusion Prompt Book」(PDF) . 2023年8月7日閲覧。プロンプトエンジニアリングとは、テキスト画像変換モデルが解釈・理解できる単語を構造化するプロセスです。AIモデルに何を描くべきかを指示するために必要な言語と考えてください。
  57. ^ Heikkilä, Melissa (2022年9月16日). 「このアーティストはAI生成アートを席巻しているが、それについて不満を抱いている」 . MIT Technology Review . 2023年8月14日閲覧。
  58. ^ Solomon, Tessa (2024年8月28日). 「AI搭載の『Ask Dalí』と『Hello Vincent』インスタレーションは、死者の腹話術に関する不快な疑問を提起する」 . ARTnews.com . 2025年1月10日閲覧。
  59. ^ Gal, Rinon; Alaluf, Yuval; Atzmon, Yuval; Patashnik, Or; Bermano, Amit H.; Chechik, Gal; Cohen-Or, Daniel (2023). 「画像は1語の価値を持つ：テキスト反転を用いたテキスト画像生成のパーソナライズ」ICLR . arXiv : 2208.01618 .ユーザー提供の概念（オブジェクトやスタイルなど）を表す画像を3～5枚だけ使用し、固定されたテキスト画像モデルの埋め込み空間において、新しい「単語」を通してその概念を表現することを学習します。
  60. ^セグメント・エニシング(PDF) . ICCV. 2023.
  61. ^ Li, Xiang Lisa; Liang, Percy (2021). 「プレフィックスチューニング：連続プロンプト生成の最適化」.計算言語学会第59回年次会議および第11回国際自然言語処理合同会議議事録（第1巻：長文論文） . pp.  4582– 4597. doi : 10.18653/V1/2021.ACL-LONG.353 . S2CID 230433941.本論文では、微調整の軽量な代替手法としてプレフィックスチューニングを提案する。プレフィックスチューニングはプロンプトから着想を得ている。 
  62. ^ Lester, Brian; Al-Rfou, Rami; Constant, Noah (2021). 「パラメータ効率の高いプロンプトチューニングにおけるスケールの力」. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing . pp.  3045– 3059. arXiv : 2104.08691 . doi : 10.18653/V1/2021.EMNLP-MAIN.243 . S2CID 233296808.本研究では、「ソフトプロンプト」を学習するためのシンプルでありながら効果的なメカニズムである「プロンプトチューニング」を探求します。GPT-3で使用される離散テキストプロンプトとは異なり、ソフトプロンプトはバックプロパゲーションによって学習されます。 
  63. ^コンテキスト内学習はプロンプト調整にどのように役立つのか? EACL. 2024. arXiv : 2302.11521 .
  64. ^ Shin, Taylor; Razeghi, Yasaman; Logan IV, Robert L.; Wallace, Eric; Singh, Sameer (2020年11月). 「AutoPrompt: 自動生成プロンプトによる言語モデルからの知識抽出」 . 2020年自然言語処理における経験的手法に関する会議 (EMNLP) の議事録. オンライン: Association for Computational Linguistics. pp.  4222– 4235. doi : 10.18653/v1/2020.emnlp-main.346 . S2CID 226222232 . 
  65. ^マインケ・レナート、モリック・イーサン・R、モリック・リラッハ、シャピロ・ダン、「プロンプティング・サイエンス・レポート1：プロンプト・エンジニアリングは複雑かつ偶発的である」（2025年3月4日）。SSRNで入手可能： https: //papers.ssrn.com/sol3/papers.cfm?abstract_id=5165270
  66. ^ 「「AIはすでに自らを食い尽くしている」：プロンプトエンジニアリングは急速に絶滅しつつある」 Fast Company、2025年5月6日
  67. ^イザベル・ブスケット（2025年4月25日）「2023年に最も注目されるAI関連の仕事はすでに時代遅れ」ウォール・ストリート・ジャーナルISSN 0099-9660 2025年5月7日閲覧。 
  68. ^ Vigliarolo, Brandon (2022年9月19日). 「GPT-3の『プロンプト・インジェクション』攻撃がボットのマナー違反を引き起こす」 . The Register . 2023年2月9日閲覧。
  69. ^ 「プロンプト・インジェクション攻撃とは何か？」 IBM 2024年3月26日2025年3月7日閲覧。
ロゴ
Scholia には、 Prompt engineeringのトピックプロファイルがあります。
「 https://en.wikipedia.org/w/index.php?title=Prompt_engineering&oldid=1334840250」より取得