詳細な経験：EyeWayVision固定小数点レーザービームスキャンディスプレイ

ニアアイディスプレイ光学の専門家であるKarlGuttag（Karl Guttag）は、ARメガネメーカーのEyeWay Vision製品を以前に経験しており、長所、短所、課題など、注視点レーザースキャンディスプレイを分析する記事を書いています。 以下は、Yingwei.comの最初の部分です。

ニアアイディスプレイ光学の専門家であるKarlGuttag（Karl Guttag）は、ARメガネメーカーのEyeWay Vision製品を以前に経験しており、長所、短所、課題など、注視点レーザースキャンディスプレイを分析する記事を書いています。以下は、Yingwei.comの最初の部分です。

1はじめに

私は以前にEyeWayVision製品を訪問して体験するためにサンノゼに行きました。この会社は、ARの一連の重要な問題を解決しようとする野心的な計画を立てました。チームは、デュアルレーザービームスキャン（レーザービームスキャン、LBS）に基づく直接網膜投影固定点ディスプレイを開発しています。論文や特許によると、Apple、Facebook、MicrosoftはすべてLBS固定点ディスプレイに多大な努力を費やしてきました。



EyeWayのプロトタイプシステム

いくつかの重要な側面がまだ開発中であったため、プロトタイプが非常に大きく、機能が制限されていることを事前に知っていました。最も重要なことは、現在のプロトタイプが「固定視線」と視線追跡を統合する過程にあることです。 EyeWayには別の視線追跡デモがあり、今年の後半に網膜追跡と固視画像の動きを組み合わせる予定です。

出発の少し前に、EyeWayに写真を撮ってもらえないかと尋ねると、チームは撮れると言った（それは私に深い印象を残した）。結局、試作品から部品を外すという機械的な制約のため、最高の写真を撮ることができませんでした。 EyeWayは、プロトタイプで写真を撮り直してから、変更されていない写真を送ってくれることを提案しました。記載されている写真は、自分の目で見たものや自分のカメラで撮ったものと一致していることが確認できます。

プロトタイプの目的は、関連する技術的手法の可能性を実証することです。これは、研究開発プロジェクトの舞台裏の様子に少し似ています。以前のすべての記事と同様に、ほとんどの画像をクリックすると、より大きく、より高解像度のバージョンを表示できます。

2.EyeWayとHololens2の簡単な比較

私が最初に指摘したいのは、定義上、注視点モニターは「注視点モニター」をいつでも目の中心が向けられる任意の位置に移動し、このようにして目をだまして高解像度を表示させることです。画像。注視点ディスプレイの写真を撮ると、カメラは単一の高解像度注視点画像、遷移/混合領域、および低解像度の周辺画像をキャプチャします。

同時に言いたいのは、フロントプロジェクターやニアアイヘッドセットなど、LBSで生成された一連の異なる画像を見たことです。 LBSで生成された画像の場合、注視点画像の画質は印象的で、ほとんどのARアプリケーションで必要とされる画質よりも優れています。

以下は、EyeWayプロトタイプとHoloLens2を同じ縮尺で使用して撮影した同じスクリーンショットの写真です。どちらの場合も、左目は固定領域の中央にあります。



EyeWayの注視領域の画像は、すべての面でHololens 2よりも優れているだけでなく、EyeWayの周辺画像でも見栄えが良いことがわかります。 Hololens 2画像でスキャンラインを確認でき、EyeWayプロトタイプのどちらの領域も表示されないことに注意してください。

EyeWayの画質については今後の記事でお話ししますが、早く体験していただきたいと思います。

3.興味深いプレゼンテーションコンテンツ

技術的なポイントを掘り下げる前に、まずEyeWayのデモコンテンツについてコメントしたいと思います。レーザースキャンプロセスのため、リアルタイムのフライングドラゴンアニメーションは、スチルカメラやビデオカメラではうまくキャプチャできません。現在、注視点表示が固定されている場合でも、表示を移動して、選択した領域の詳細を表示できます。



残念ながら、これはあなたが自分の目で体験しなければならないプレゼンテーションの1つです。

また、EyeWayデモの一部には、ウィンドウの外側に表示される画像が表示され、必要なときにディスプレイを非常に明るくできることを証明していることも指摘しておきます。

4.「聖杯」を追いかける

EyeWayは、ARのさまざまな、しかし相互に関連する問題を解決しようとします。彼らは、ARの既知の問題のほとんどを同時に解決できる聖杯を追いかけていると言えます。

高解像度で広い視野（FOV）

屋外での使用をサポートするために非常に明るい（10000ニット以上をサポート）、夜間の使用をサポートするために非常に暗い（約1ニット）

目の周りではなく網膜にのみ投影します（効率と画像の問題）

角膜だけでなく、網膜を高精度で追跡します

大きな目の動きをサポートしながら、効率的

高輝度をサポートしながら低消費電力

視覚的収束調整（VAC）の競合を解決します

小さくて軽い、上記のすべてのポイントを同時にサポート

EyeWayはまだ目標から遠く離れていますが、いくつかの重要な問題を解決するために興味深いテクノロジーを使用しています。チームがレーザースキャンディスプレイ方式を使用したことで、最も困難な問題である利用可能なディスプレイで正確な視線追跡を実現することを余儀なくされました。

5.モニターの背景を見てください

簡単に言えば、カメラとは異なり、人間の視覚の動作原理は、同じサイズ/解像度のピクセル配列でスナップショットを撮ることではありません。

目の非常に小さな領域だけが、高解像度と色の識別をサポートするために高密度の錐体細胞を持っています。下のグラフは、網膜の中心領域（左）、目の錐体の物理的分布（中央）、および相対的な視力（右）と中心窩の中心との間の角度を示しています。視力が最も高い中心窩は、眼底の約3度しか占めていません。アイチャートに示されているように、人間の視力は中心窩の中心から急激に低下します。



目は「サッカード」と呼ばれる一連のジャンプ動作で連続的に動きます。人間の視覚系はサッケード間をマスクします。このプロセスをサッケードマスキングと呼びます（これはサッケードマスキングに関する3分間のビデオです）。次に、人間の視覚システムは、一連の「スナップショット」をさまざまな解像度で一目でつなぎ合わせて、人々が見る画像を作成します。これは非常に複雑なプロセスであり、ほとんどの場合、気付くことはありません。



真の注視点ディスプレイは、眼球のサッカードを移動/追跡できる高角度分解能の「注視点プロジェクター」を備えています。凝視点プロジェクターは常に中心窩を中心とした高解像度の画像を表示しますが、中心窩は非常に小さいです。次に、同時に少なくとも1つの「周辺プロジェクター」があります。周辺プロジェクターの視野は広くなりますが、角度分解能は低くなります。正しく実装されていれば、人間の目は単一の非常に高解像度のディスプレイを認識できるはずです。

6.ダブルレーザービームスキャン（LBS）直接網膜投影

EyeWayには2つのLBSプロジェクターがあり、それぞれが同じ公称SVGA（800×600ピクセル）解像度を備えています。しかし、それらがすべて網膜に投影されると、注視点プロジェクターは小さな中心窩領域を高解像度でカバーするだけでなく、ズームもサポートします。



7. EyeWayの注視点プロジェクターは、他のLBSプロジェクターとは異なり、「マクスウェルタイプ」ではありません。

古典的なレーザービームスキャニングプロジェクターは「非焦点」であり、画像は光学部品なしで見ることができます。光学集束を必要としないプロジェクターは「マクスウェルディスプレイ」と呼ばれます。マクスウェルのディスプレイについて詳しく説明するために、調査記事「快適な3D知覚と拡大されたアイボックスを備えた宿泊施設のないヘッドマウントディスプレイ」をダウンロードすることをお勧めします。マクスウェルディスプレイは通常、レーザービームスキャンに関連していますが、紙が指摘しているように、他の形式のディスプレイもマクスウェルディスプレイにすることができます（下の図を参照）。



HoloLens 2はLBSプロジェクターを使用していますが、導波管の瞳孔を通って拡張すると、マクスウェルではなくなります（焦点がないことを含む）。

マクスウェルのディスプレイには焦点がなく、高度にコリメートされています。ビームが障害物にぶつかると、非常に鋭い影ができます。

30歳のほとんどすべてが「フローター」（硝子体に浮遊する無害な物質）を持っています。誰かが彼らの目に輝くことができない限り、彼らのほとんどは気づかれません。残念ながら、マクスウェルプロジェクターが目に撃たれると、この種の浮遊物が非常に明白になります。この問題は、QD LaserのRESISSA、North Focus、BoschがCES 2020会議でデモンストレーションしたレーザーARメガネなど、他の直接網膜レーザースキャンディスプレイで見られました（下の写真を参照）。

EyeWayの周辺ディスプレイはマクスウェルのものですが、中心から目をそらすと浮いているものが目に見えますが、注視点ディスプレイはマクスウェルではありません。視線画像に浮いている物体が見えません。

アイポイント画像に浮遊物がないことは、EyeWayの方法が他のレーザースキャニングプロジェクターとは非常に異なることを証明しています。

さらに、EyeWayは、視線収束調整の競合を緩和するために、注視点プロジェクターの焦点を制御できます。

8.アイボックスは瞳孔よりも小さい

マクスウェルのニアアイディスプレイ（特に網膜レーザースキャン）の従来の問題は、投影された画像が瞳孔に入るか、完全に失われることです。他のすべてのディスプレイタイプは、大きなウィンドウを生成することでこの問題を回避し、眼鏡に対して目がどこに移動しても画像が見えるようにします。

しかし、大きな窓を作成することは、瞳孔に入る光だけが重要な光であるため、ほとんどの光が無駄になることを意味します。社会的イメージの面では、人の目の領域が照らされているとき、それは少し奇妙なだけではありません。軍事用途では、夜間に目を照らすと兵士の位置が明らかになり、これはさらに重要です。



直接網膜レーザースキャンを使用するNorthFocalsには問題があります。眼鏡の各ペアをカスタマイズする必要がありますが、それでも画像を見るのは困難です。北には4方向の瞳孔レプリケーターが含まれています。これは、画像を4方向で見ることができることを意味しますが、残像とゴースト画像を見ることができることも意味します。

「快適な3D知覚と拡大されたアイボックスを備えた宿泊施設のないヘッドマウントディスプレイ」は、ビームスプリッターの大規模なセットを使用して4方向から9方向に調整します。以下の画像は、関連するビデオの一連の静止フレームからのものであり、複製された画像を瞳孔に揃える効果を示しています。



EyeWayメソッドは、次のビデオに示すように、目を追跡することにより、瞳孔よりも大きなウィンドウを作成する必要をなくします。

MicrosoftのHoloLens2はレーザービームスキャンを使用していますが、導波管の背後にあるマクスウェルではありません。それらの回折格子導波路は、入力瞳孔を大部分複製し、WaveOptic導波路図と同様の大きなウィンドウを作成します。



9.EyeWayのデュアルスキャン注視点ディスプレイ

下の画像は、中心窩領域全体と周辺領域を含む画像の中央部分からのトリミングです。この特定の写真では、スキャンプロセス中のブランキングスクロールバー（カメラによってキャプチャされましたが、人間の目には見えません）は、中心窩領域の垂直部分にある2つのスキャンプロセスによってキャプチャされています。ブランキングを使用すると、結合された画像に対する表示の寄与を確認できます。



注視点と周辺画像の両方が明らかな遷移領域を含む注視点画像は、約60ピクセル/度（1ピクセルあたり1分角）で約12度×6.6度をカバーします。次に、周辺ディスプレイは、水平方向に約44度、垂直方向に約25度（対角線で約50度）をカバーし、1度あたり約18ピクセル（約3.3分角/ピクセル）をカバーします。

VarjoがAWE2019で表示したARディスプレイと比較すると、EyeWayの注視点画像は水平角と垂直角の約1/2です。トランジショナルミキシングゾーンを含め、Varjoディスプレイの注視点は約21度（H）x 13度（V）です。しかし、VarjoのパースペクティブARは「固定された注視点」です。





Varjoは、2017年に視線追跡注視点ディスプレイについて話しましたが、2018年に、遠近法ARを備えた「固定注視点」（モバイル高解像度中央領域ではない）ディスプレイをついに発売しました。 EyeWayメソッドは、注視点の表示が小さく、注視点の表示に依存して網膜を追跡し、ユーザーが注視点領域から周辺境界への移行に気付かないようにします。

EyeWayは、注視点の表示をサポートするだけでなく、画像が目の瞳孔に入るのを助けるために、アイトラッキングを必要とします。 EyeWayは、正確な視線追跡の問題を解決する以外に選択肢はありません。 Varjoとは異なり、EyeWayは固定の注視点表示に戻ることはできません。

10.瞳孔追跡の代わりに網膜追跡

アイトラッキングとレーザースキャニング網膜プロジェクターを組み合わせるという概念は、トム・ファーネスによる少なくとも1995年の特許（期限切れ）にまでさかのぼることができます。

EyeWayは私に網膜追跡を示しましたが、それは実験器具によって表示され、注視点投影画像はまだ制御されていません。



他のほとんどの視線追跡の取り組みでは、角膜と虹彩のみが考慮されます。 FacebookのMichaelAbrashは、視線追跡の問題、精度要件、および注視点ディスプレイの角膜と虹彩の追跡の問題について3分間のすばらしい議論を行いました。



Facebook Reality Labsは、アイトラッキングを使用して網膜に小さな窓を投影し、論文やビデオで瞳孔制御に関連する問題について定期的に話し合っています。

Facebook Reality Labsは、アイトラッキングと固定ディスプレイについて何度も議論してきました。 Facebook RealityLabsのディスプレイシステムリサーチディレクターであるDougLanmanは、SPIE AR / VR / MR 2020会議のビデオで生徒の操縦に関連する問題について議論し、2019年の論文「References」でビデオを引用しました。ここで重要なのは、注視点のレーザースキャンに基づくディスプレイがFacebook ARResearchから大きな注目を集めていることです。 EyeWayは、2014年の設立以来、このテクノロジーに取り組んできました。



EyeWayは、Vajroの2017年のレビューとAvegantに示されているように、1つではなく2つの視線追跡ミラーを使用していると指摘しました。 EyeWayは、2つのステアリングミラーが4自由度をサポートし、目をよりよく追跡できることを指摘しました。



EyeWayのソリューションは、網膜を追跡することで視線追跡を新しいレベルに引き上げ、それによって注視点表示に必要な精度を実現します。 EyeWayの視線追跡では、複数のステージを使用して追跡します。最も正確なステージでは、注視点画像の同じパスを移動することで網膜を追跡します。
11.多くの企業が注視点ディスプレイを研究しています

注視点ディスプレイの基本的な考え方はかなり古く、多くの企業がVRやARを試してきました。ほんの数例を挙げると、以下はMicrosoft、Avegant、Apple、Varjoの注視点表示の概念のコレクションです。前述のように、Facebookは長年にわたり、注視点ディスプレイ、視線追跡、網膜レーザースキャンの分野を調査してきました。

それぞれの方法を詳しく説明する時間はありませんが、ARに携わるすべての巨人と一連の新興企業が、レーザースキャンの有無にかかわらず注視点ディスプレイを採用するかどうかを検討していることを指摘したいと思います。



興味深いことに、MicrosoftとAppleの両方が上記のレーザースキャン方法を実証しました。これは、ハーフミラーまたはホログラフィックミラーで反射する必要があります。 Avegantは導波管ベースの固定点ディスプレイを研究している唯一の会社ですが、VarjoはシースルーARに焦点を合わせているため、光学的側面ははるかに単純です。

2017年にVarjoが視線追跡について話したとき、私は注視点ディスプレイが動いているのを見ませんでした。彼らが提供した機器や私が見たデモンストレーションは「固定注視点ディスプレイ」を使用しており、高解像度の注視領域は移動しません。目の中心を約30度に保つと、この固定表示はほとんどの場合正常に機能します。