コンピューティングにおいて、ナチュラル・ユーザー・インターフェース（NUI）またはナチュラル・インターフェースとは、実質的に目に見えないユーザー・インターフェースであり、ユーザーが複雑な操作を継続的に学習していく中で、目に見えないままの状態を維持する。「ナチュラル」という言葉が使われるのは、ほとんどのコンピュータ・インターフェースが、操作を学習する必要がある人工的な制御デバイスを使用しているためである。例としては、AlexaやSiriなどの音声アシスタント、今日の携帯電話やタブレットにおけるタッチおよびマルチタッチ操作、そして家具のテキスタイルに目に見えない形で統合されたタッチ・インターフェースなどが挙げられる。[1]

NUIは、ユーザーが初心者から熟練者へと素早く移行できることを前提としています。インターフェース自体には学習が必要ですが、その学習はデザインによって容易になり、ユーザーは瞬時に、そして継続的に成功しているという感覚を味わうことができます。したがって、「自然」とは、インターフェース自体が自然であるということではなく、テクノロジーとインタラクションする際にインタラクションが自然に行われるという、ユーザーエクスペリエンスにおける目標を指します。これは、事前の学習なしに使用できるインターフェースを指す直感的なインターフェースという概念とは対照的です。

この目標を達成した設計戦略はいくつか提案されており、成功の度合いは様々である。一つの戦略は「リアリティ・ユーザー・インターフェース」（RUI）[2] 、別名「リアリティベース・インターフェース」（RBI）手法の活用である。RUI戦略の一例としては、ウェアラブルコンピュータを用いて現実世界のオブジェクトを「クリック可能」にするものがある。つまり、装着者が日常的なあらゆるオブジェクトをクリックしてハイパーリンクとして機能させ、サイバースペースと現実世界を融合させる。「自然」という言葉は「自然界」を想起させるため、RBIはしばしばNUIと混同さ​​れるが、実際にはRBIはNUIを実現するための手段の一つに過ぎない。

RBIに基づかないNUI設計戦略の一例として、機能とカスタマイズを厳しく制限し、ユーザーがデバイスの操作において習得すべき内容を最小限にすることが挙げられます。デフォルトの機能がユーザーの目的に合致していれば、インターフェースは簡単に使用できます。これはAppleのiOSにおける包括的な設計戦略です。[要出典]この設計はダイレクトタッチディスプレイと一致するため、非デザイナーは、デバイス操作の容易さをマルチタッチディスプレイのおかげだと誤解し、実際にデバイスが配置されているソフトウェアの設計に帰属させないことがよくあります。

歴史

ユーザーインターフェースの進化

1990年代、スティーブ・マンはコマンドラインインターフェース（CLI）やグラフィカルユーザーインターフェース（GUI）に代わる、現実世界との自然なインタラクションを用いたユーザーインターフェース戦略を数多く開発しました。マンはこの取り組みを「ナチュラルユーザーインターフェース」、「ダイレクトユーザーインターフェース」、「メタファーフリーコンピューティング」と呼んでいました。[3]マンのEyeTap技術は、ナチュラルユーザーインターフェースの典型例です。マンが用いた「ナチュラル」という言葉は、人間ユーザーにとって自然な動作であると同時に、自然そのもの、すなわち物理学（自然哲学）や自然環境の利用も指しています。これら両方の意味でNUIの好例として、特に入力デバイスとして使用されるハイドロフォンが挙げられます。ハイドロフォンでは、自然界の要素（水）に触れることがデータ入力の手段となります。より一般的には、「フィジフォン」と呼ばれる楽器の種類も提案されている。これはギリシャ語の「フィジカ」、「フィジコス」（自然）、「フォン」（音）に由来する。[4]

2006年、クリスチャン・ムーアは、NUI技術に関する議論と開発の拡大を目標としたオープンな研究コミュニティを設立しました。 [5] 2008年のカンファレンスプレゼンテーション「過去を予測する」において、マイクロソフトのSurface Computing部門のプリンシパルユーザーエクスペリエンスディレクターであるオーガスト・デ・ロス・レイエスは、NUIをCLIからGUIへの移行に続く進化の次の段階であると説明しました。[6]もちろん、これも過度に単純化された表現です。NUIには必然的に視覚要素、つまりグラフィカルユーザーインターフェースが含まれるからです。この概念をより正確に説明すると、 WIMPからNUIへの移行と言えるでしょう。

CLI では、ユーザーはキーボードという人工的な入力手段と、応答の範囲が限られ、コマンドの構文が厳密な一連のコード化された入力を学習する必要がありました。

その後、マウスがGUIを可能にすると、ユーザーはマウスの動きや操作をより簡単に習得し、インターフェースをより深く探求できるようになりました。GUIは、画面上のコンテンツやオブジェクトとのインタラクションにメタファーに依存していました。例えば、「デスクトップ」や「ドラッグ」は、視覚的なインターフェースのメタファーであり、最終的にはコンピューターの厳密に体系化された言語へと翻訳されました。

NUIという用語の誤解の例は、 2010年のコンシューマーエレクトロニクスショーで実証されました。「現在、電子機器を制御するこれらの方法であるナチュラルユーザーインターフェースと呼ばれる製品を、より幅広いユーザーに提供する新しい製品の波が到来しています。」[7]

2010年、マイクロソフトのビル・バクストンは、NUIの作成に使用できる技術とその将来の可能性について議論したビデオで、マイクロソフト社におけるNUIの重要性を改めて強調しました。[8]

2010年、ダニエル・ウィグドールとデニス・ウィクソンは著書の中で、自然なユーザーインターフェースの構築を実践的に示しました。[9]その中で、彼らは自然なユーザーインターフェース、それを実現するために使用される技術、そして現実に基づいたUIを慎重に区別しています。

インターフェースの種類

マルチタッチ

ビル・バクストンはiPhoneのインターフェースについて尋ねられたとき、「マルチタッチ技術には長い歴史があります。私のチームが最初に取り組んだのは1984年で、最初のMacintoshコンピュータが発売された年と同じで、私たちが最初ではありませんでした。」と答えました。[10]

マルチタッチは、自然なユーザーインターフェースを実現する技術です。マルチタッチシステムを用いたアニメーション作成の応用例が実証されています。[11]しかし、このような技術を用いて実行されるインターフェースを構築するために用いられるUIツールキットのほとんどは、従来のGUIです。

ジェスチャーコントロール

ハンドジェスチャーは、特に仮想現実や拡張現実のオブジェクトの操作など、3次元情報を扱うコンピュータシステムとインタラクトする自然な方法を提供します。これは、ハンドジェスチャーの3次元的な動きのおかげです。[12]このようなハンドジェスチャーは、カラーカメラやRGB-Dカメラで収集された画像から抽出したり、センサーグローブからキャプチャしたりすることができます。このような入力ソースからのハンドジェスチャーは通常ノイズが多いため、人工知能に基づくソリューションがセンサーノイズを除去し、より効果的な制御を可能にしています。[13]さらに、リアルタイムアプリケーションにおける計算遅延に対処するために、ハンドジェスチャーの短期予測によってインタラクション性が向上しました。[14]

NUIソフトウェアおよびハードウェアプラットフォーム

知覚ピクセル

一例として、ジェファーソン・ハン氏によるマルチタッチインターフェースの研究が挙げられます。2006年のTEDでのデモンストレーションでは、直接操作とジェスチャーの両方を用いて、画面上のコンテンツとインタラクションする様々な手段を披露しました。例えば、画面上の粘着質な塊を形作るために、ジェフ氏は文字通り指で「つまむ」、突く、突くといった動作を行います。例えば、デザインアプリケーションのGUIインターフェースでは、ユーザーは「ツール」というメタファーを用いてこれを行います。例えば、突き出すツールを選択したり、塊の2つの部分を選択して「つまむ」動作を適用したりします。ハン氏は、私たちが慣れ親しんでいるインタラクションデバイスを廃止し、より幅広い人間の動作やジェスチャーを検出できる画面に置き換えることで、ユーザーインタラクションをはるかに直感的にできることを示しました。もちろん、これでは物理的な操作（RBI）にきちんと対応した非常に限られたインタラクションしか実現できません。ソフトウェアの機能を物理的な動作を超えて拡張するには、はるかに多くの設計作業が必要になります。

マイクロソフト ピクセルセンス

Microsoft PixelSenseは、ユーザーがコンテンツとインタラクションする方法について同様のアイデアを採用していますが、デバイスがデバイス上に置かれたオブジェクトを光学的に認識する機能を追加しています。これにより、ユーザーはJeff Hanのタッチスクリーンと同じジェスチャーや動きでコンピューター上でアクションを実行できますが、オブジェクトも制御メカニズムの一部となります。例えば、ワイングラスをテーブルに置くと、コンピューターはそれを認識し、そのワイングラスに関連付けられたコンテンツを表示します。ワイングラスをテーブルに置くという動作は、ワイングラスや他のテーブルで行われる動作とよく一致しており、ひいては現実に基づいたインターフェースにもうまく対応しています。したがって、これはNUI体験への入り口と見なすことができます。

3Dイマーシブタッチ

「3Dイマーシブタッチ」とは、マルチユーザー3D仮想環境において、シングルタッチまたはマルチタッチサーフェスハードウェアを用いて3D仮想環境オブジェクトを直接操作することを指します。この用語は2007年に、Edusimに関連する3Dナチュラルユーザーインターフェースの学習原理を説明・定義するために初めて使用されました。イマーシブタッチナチュラルユーザーインターフェースは、iPhone、iPod touch、iPadなどのサーフェスおよびタッチ駆動型ハードウェア、そしてその他増え続けるハードウェアへの幅広い適応に伴い、より広い焦点と意味を持つようになってきています。Appleもここ数年、「イマーシブタッチ」3Dナチュラルユーザーインターフェースに強い関心を示しているようです。この研究は、仮想現実環境における3D操作を研究してきた幅広い学術的基盤の上に成り立っています。

Xbox キネクト

Kinectは、マイクロソフトがXbox 360ビデオゲームコンソールおよびWindows PC向けに開発したモーションセンサー 入力デバイスで、ゲームコントローラーの代わりに空間ジェスチャーを用いて操作します。マイクロソフトのウェブサイトによると、 Kinectは「コントローラーを必要としない革新的な新しい遊び方」を目指して設計されています。[15]また、Kinectは物理世界を感知できるため、RBI設計の可能性を秘めており、ひいてはNUIにも応用できる可能性があります。

参照

注記

  1. ^ Brauner, Philipp; van Heek, Julia; Ziefle, Martina; Hamdan, Nur Al-huda; Borchers, Jan (2017-10-17). 「インタラクティブ家具」. 2017 ACM 国際インタラクティブサーフェス＆スペース会議議事録. ブライトン、イギリス: ACM. pp.  151– 160. doi :10.1145/3132272.3134128. ISBN 978-1-4503-4691-7. S2CID  10774834。
  2. ^ Reality User Interface (RUI) Archived 2013-06-16 at the Wayback Machine、閉会基調講演「Reconfigured Self as Basis for Humanistic Intelligence」、Steve Mann、USENIX-98、ニューオーリンズ、1998年6月15～19日、ATEC '98 Proceedings of the annual conference on USENIX Annual Technical Conference USENIX Association Berkeley, CA, USA ©1998
  3. ^ インテリジェント画像処理、ジョン・ワイリー・アンド・サンズ、2001年
  4. ^ 音楽表現のための自然なインターフェース、スティーブ・マン、Nime 2007
  5. ^ Moore, Christian (2006-07-15). 「新しいコミュニティがオープン」. NUI Groupコミュニティ.
  6. ^ de los Reyes, August (2008-09-25). 「過去を予測する」. Web Directions South 2008.シドニー・コンベンションセンター: Web Directions.
  7. ^ Wingfield, Nick (2010年1月5日). 「Body in Motion: CESでタッチパネル搭載機器を展示」. ウォール・ストリート・ジャーナル.
  8. ^ Buxton, Bill (2010年1月6日). 「CES 2010: Bill BuxtonとNUI」. Microsoft Research.
  9. ^ ブレイブNUIワールド
  10. ^ バクストン、ビル。「私が知っていて愛用しているマルチタッチシステム」ビル・バクストン。
  11. ^ Shen, Yijun; Henry, Joseph; Wang, He; Ho, Edmond SL; Komura, Taku; Shum, Hubert PH (2018). 「マルチタッチジェスチャーによるデータ駆動型群集モーションコントロール」. Computer Graphics Forum . 37 (6). John Wiley and Sons Ltd.: 382--394. doi :10.1111/cgf.13333. ISSN  1467-8659.
  12. ^ Feng, Qi; Shum, Hubert PH; Morishima, Shigeo (2020). 「ディープラーニングとモデル最適化の統合による複合現実感における手と物体のオクルージョンの解決」.コンピュータアニメーションと仮想世界. 31 (4--5) e1956. John Wiley and Sons Ltd. doi :10.1002/cav.1956.
  13. ^ Zhou, Kanglei; Chen, Jiaying; Shum, Hubert PH; Li, Frederick WB; Liang, Xiaohui (2021). STGAE: 手の動きのノイズ除去のための空間的時間的グラフオートエンコーダー. IEEE. pp. 41--49. doi :10.1109/ISMAR52148.2021.00018. ISSN  1554-7868.
  14. ^ Zhou, Kanglei; Shum, Hubert PH; Li, Frederick WB; Liang, Xiaohui (2024). 「手の動きのノイズ除去のためのマルチタスク空間・時間グラフオートエンコーダ」. IEEE Transactions on Visualization and Computer Graphics . IEEE. doi :10.1109/TVCG.2023.3337868.
  15. ^ “Xbox.com Project Natal”. 2009年7月9日時点のオリジナルよりアーカイブ。2009年8月2日閲覧。

参考文献

  • http://blogs.msdn.com/surface/archive/2009/02/25/what-is-nui.aspx
  • https://www.amazon.com/Brave-NUI-World-Designing-Interfaces/dp/0123822319/ref=sr_1_1?ie=UTF8&qid=1329478543&sr=8-1 Microsoft SurfaceのNUIのクリエイターによる書籍「Brave NUI World」