 |
ヒューマンコンピュータインタラクションの分野において、オズの魔法使い実験とは、被験者が自律的であると信じているが、実際には目に見えない人間によって操作または部分的に操作されているコンピュータシステムと対話する研究実験である。[1]
コンセプト
「オズの魔法使い」（元々は「オズパラダイム」）という表現は、実験心理学、人間工学、人間工学、言語学、ユーザビリティ工学の分野で、特定の種類のテストや反復設計を説明する際によく使われるようになりました。このような実験では、実験室の実験者（「魔法使い」）が、理論上のインテリジェントコンピュータアプリケーションの動作をシミュレートします。多くの場合、別の部屋に行き、参加者とシステム間のすべての通信を傍受します。これは、参加者の期待を管理し、自然な行動を促すために、参加者に事前に知らせずに行われる場合もあれば、参加者が事前に知らせている場合もあります。
例えば、テスト参加者は音声インターフェースを使ってコンピュータとコミュニケーションしていると思っているかもしれませんが、実際にはウィザードが参加者の言葉を密かにコンピュータに入力し、音声ストリームではなくテキストストリームとして処理できるようにしているのです。ウィザードが提供するシステム機能が不足しているのは、システムの後継バージョンで実装されている可能性もあれば、現在のシステムにはない推測に基づく機能である可能性もあります。正確な詳細は、一般的に本研究とは無関係とみなされます。テストにおいては、このような実験の目的は、システム全体の品質を測定することではなく、提案されたユーザーインターフェースのテスト参加者による使用状況と有効性を観察することである場合があります。
起源
この実験の名前は、L・フランク・ボームの1900年の小説『オズの魔法使い』に由来しており、この小説では、普通の男がカーテンの後ろに隠れ、「増幅」技術を使って強力な魔法使いのふりをします。
ジョン・F・ケリーは、1980年頃、ジョンズ・ホプキンス大学での博士論文研究中に開発した手法を説明するために、「オズの魔法使い」および「オズ・パラダイム」という造語を考案しました。この研究では、マジックミラーなどの技術に加え、ケリー（「魔法使い」）と被験者の視界を遮る暗幕が使用されました。[要出典]
「実験者インザループ」手法は、ケリーが着任する3年前の1975年、ジョンズ・ホプキンス大学のチャパティス通信研究所で既に開発されていました。W・ランドルフ・フォードは、CHECKBOOKプログラムでこの実験者インザループ手法を用い、自然な環境で言語サンプルを取得しました。フォードの手法では、自然言語処理システムの初期バージョンがユーザーの前に配置されます。ユーザーが認識できない構文を入力すると、ソフトウェアから「言い換えてもらえますか？」というプロンプトが表示されます。セッション終了後、処理アルゴリズムは新たに取得したサンプルに対応するように修正され、再度セッションが行われます。このアプローチは、最終的に彼の自然言語処理手法「多段階パターン縮約」の開発につながりました。フォードは、ケリーが「オズの魔法使いパラダイム」という表現を、彼が研究を始める前に少なくとも2回用いられた手法を表すために作ったものだと考えていました。カリフォルニア大学サンディエゴ校のアレン・マンローとドン・ノーマンによる別のチーム (ボブロウ他) は、1975 年頃に同様の手法を使用してゼロックス パロアルト研究所で自然言語理解システムをモデル化しました。
この雇用形態では、ウィザードは隣の部屋にある端末の前に座り、被験者を観察できるようにマジックミラーで仕切られていました。ユーザーからのすべての入力は、ソフトウェア処理とウィザードによるリアルタイムの介入の組み合わせによって正しく処理されました。このプロセスが後続のセッションで繰り返されるにつれて、より多くのソフトウェアコンポーネントが追加され、ウィザードの役割は徐々に縮小されました。最終的に、マシンは無人状態でも操作できる状態に達し、ウィザードは完成したシステムの無人状態でのパフォーマンスを検証できるようになりました。
グリーンとワイ＝ハースは1985年のミシガン大学技術報告書の中で、次のように述べています。「『オズの魔法使い』という名称が初めて印刷物に登場したのは、ジェフ・ケリーの論文です（Kelley, 1983a, 1983b, 1984a）。この名称は、ホプキンス大学の大学院セミナーで行われたある質問への回答として作られたと考えられています（Chapanis, 1984; Kelley, 1984b）。「被験者が実験者（隣の部屋で「カーテン」の向こうにコンピュータとして働いている）を見たらどうなるでしょうか？」ケリーはこう答えました。「そうですね、まさに『オズの魔法使い』のドロシーに起こったことと同じです。」こうしてこの名称が定着したのです。
フォードとスミスによる 1982 年の議事録論文にも、「オズの魔法使いの実験」の計画的使用について簡単に言及されています。
当初、Kelley は「OZ」を「Offline Zero」の頭字語としても使用していました。これは、シミュレーション フェーズ中にウィザードがユーザー入力をリアルタイムで解釈することを意味していました。
同様の実験装置は、以前から別の名称で時折使用されていました。設計研究者のナイジェル・クロスは1960年代に、「シミュレートされた」コンピュータ支援設計システムを用いた研究を行いました。このシステムでは、シミュレーターと称する人物が実際には人間のオペレーターであり、CCTVを介してテキストとグラフィックによるコミュニケーションを行っていました。彼は次のように説明しています。「ユーザーがシステムについて認識できるのは、このリモートアクセスコンソールだけで、残りはブラックボックスです。…ブラックボックスには、機械だけでなく人間も詰め込むことができます。そうすることで、比較的安価なシミュレーターが実現します。シミュレーターは、人間のオペレーターの柔軟性、記憶力、知性といった優れた利点を備え、操作ルールを変更するだけで、コンピュータに幅広い役割を与えるように再プログラムすることができます。実際のコンピュータの速度と精度には及ばない場合もありますが、専門家チームが同時に作業することで、十分な程度までそれを補うことができ、許容できるシミュレーションを提供できます。」[2]クロスは後にこれを一種の逆チューリングテストと呼びました。[3]
意義
オズの魔法使い方式は非常に強力です。当初、ケリーはキーボード入力によるシンプルな自然言語認識システムを開発しましたが、これは当時のはるかに複雑なシステムの認識率をはるかに上回っていました。当時のコンピュータ科学者や言語学者は、コンピュータが自然言語を「理解」し、有用なタスクを支援できるようになるためには、各単語に多数のカテゴリを持つ強力な「辞書」をソフトウェアに組み込む必要があると考えていました。これらのカテゴリによって、非常に複雑な解析アルゴリズムが、自然言語に内在する曖昧さを解明できるようになります。このような辞書を作成するという困難な作業から、多くの人が、コンピュータが人間と同じように「育てられ」「人生を経験」するまでは、言語を真に「理解」することはできないと考えるようになりました。なぜなら、人間は人生で得た経験を言語の解釈に活かしているように見えるからです。[要出典]
OZ法を初めて採用した鍵となったのは、システムが単一のコンテキスト（カレンダー管理）で動作するように設計されていたことです。これによりユーザー入力が大幅に制限され、シンプルな言語処理モデルでアプリケーションの目的を達成できました。この処理モデルは、ワイゼンバウムのElizaプログラムのアルゴリズムに大まかに基づいた、2パスのキーワード/キーフレーズマッチング手法でした。参加者に、実際のタスクを解くという文脈で（入力内容を実際に理解していると信じていたコンピュータを使用して）言語サンプルを生成させることで、収集された語彙構造の多様性と複雑さは大幅に軽減され、収集された実際の言語に対応するシンプルなキーワードマッチングアルゴリズムを開発することができました。[要出典]
OZの最初の使用は、反復的な設計アプローチの文脈においてでした。初期の開発セッションでは、実験者はシステム全体をシミュレートし、すべてのデータベースクエリを実行し、参加者へのすべての応答を手作業で作成しました。プロセスが成熟するにつれて、実験者は人間の介入を、以前に受信したすべての入力を処理するように設計された新規開発コードに少しずつ置き換えました。プロセスの終了時には、実験者は「ハンズオフ」モードでセッションを観察および分析できるようになりました。[要出典]
OZは、反復的な手法では新しいコンテキストごとに個別の自然言語システム（辞書、構文）を構築できないという明白な批判に対処しました。反復的な手法では、新しい入力バッチを処理するために新しい構造とアルゴリズムを繰り返し追加する必要があるためです。OZの経験的アプローチはこれを実現可能にしました。最初のアプリケーションでは、辞書と構文の増加はわずか16回の実験試行で漸近的（測定方法に応じて86%から97%の認識率を達成）に達し、辞書を含む結果のプログラムは30万キロバイト未満でした。
OZ法は、最初の発表以来、さまざまな設定で採用されてきましたが、特に、実際のアプリケーションソフトウェアを導入する前に、提案されたユーザーインターフェイスデザインのプロトタイプ作成やユーザビリティテストに活用されています。[要出典]
参照
- 逆チューリングテスト- コンピュータと人間の目的や役割が逆転したチューリングテスト
- 中国語の部屋- 同様の前提を持つ思考実験。
- メカニカルターク- オズの魔法使いの装置を偽のチェスマシンとして使う
参考文献
- ^ ベラ、M. & ハニントン、B.、2012年。『ユニバーサル・メソッド・オブ・デザイン』、マサチューセッツ州ビバリー：ロックポート・パブリッシャーズ、p204
- ^ ナイジェル・クロス (1977). 『自動化された建築家』 ピオン・リミテッド. p. 107. ISBN 0850860571。
- ^ Cross, N. (2001)「機械は設計できるか？」Design Issues、Vol. 17、No.41、pp. 44-50。
