眼球追蹤儀挑戰(眼球追蹤挑戰是什么軟件)
眼球追蹤儀挑戰
1.扎克伯格在采訪中指出，下一代Quest將專注于面部和眼睛跟蹤技術，而Project Cambria也將配備眼睛跟蹤技術。盡管如此，眼球追蹤仍然是Meta需要解決的主要研發問題，這項技術在通用性、延遲和準確性方面都存在挑戰。
2.微信圖片_20220324145442
3.根據Meta Reality Labs發表的最新論文，其正在探索一種基于事件攝像頭的眼球追蹤方案。那么什么是事件攝像機呢？它的英文名是Event Camera，是近幾年才出現的一種攝像技術。
4.事件攝像機的數據傳輸格式與傳統攝像機不同。它采用異步通信模式，也就是說，設備之間的時鐘不同步。事件攝像機并不實際傳輸捕獲的數據，而是僅在捕獲亮度等像素變化（事件）時傳輸數據。
簡單來說，事件攝像機類似于人眼的工作原理，其主要功能是捕捉物體的變化或運動。
眼球追蹤儀挑戰6.Meta指出，事件攝像機可以在低功耗下運行，響應延遲可以降低到微秒級。這些特性有望解決現有眼球追蹤技術在實時性和功耗方面的局限性，甚至帶來適用于AR/VR頭顯等移動設備的眼球追蹤技術。
7.關于Meta眼球追蹤程序
8.目前，眼睛跟蹤系統的常見設計是使用閃光燈照亮角膜來捕獲數據。該方案只需要稀疏數據即可運行。這表明眼球追蹤系統的采樣率不需要很高，因此研究人員預測使用事件攝像機就足夠了。雖然事件攝像機只在捕捉運動時拍照，但只要捕捉到關鍵數據，它們也可以計算眼睛的變化。
9.微信圖片_20220324145440
10.這種方案與傳統的眼球追蹤技術最大的區別是它沒有固定的采樣率，也沒有對所有像素進行采樣。相反，它主要返回像素亮度的變化數據（帶有時間信息），并且僅在發生變化時進行采樣。雖然收集的數據較少，但準確性和效率足夠好。
11.事件攝像機的另一個優勢是它具有高動態范圍（≈120dB），幾乎沒有運動模糊，并且其功率低于傳統攝像機，其延遲可以低至亞毫秒級。
12.Meta表示:這是第一個完全基于事件的角膜閃爍/眼睛跟蹤方案。原理是光源照射在角膜上，反射光進入圖像傳感器并顯示為可見數據。這些數據可以用來定位角膜的運動和預測注視點。
13.加密差分照明
14.研究人員指出，眼睛通常由兩種表面組成:1）角膜像鏡子一樣，可以鏡面反射光源；2）蘭伯特表面，如皮膚、虹膜和鞏膜，它們漫射光。
15.微信圖片_20220324145427
16.在跟蹤眼球的過程中，為了避免光源照射到皮膚、虹膜和鞏膜等其他部位造成誤差，該方案中使用的每個光源都有匹配的補償光系統以保持總亮度不變。在不影響角膜鏡面反射的情況下，抑制了場景漫反射引起的事件。
17.為此，Meta設計了一種名為“編碼差分照明”的照明方案，其特點是增強鏡面反射事件，同時抑制其他事件，并僅在事件被觸發時閃爍，標準硬件上的采樣率為kHz。
18.微信圖片_20220324145414
19.該方案采用雙LED光源，可提高角膜鏡面反射檢測的效率和精度。為了闡明光源與角膜反射/閃爍之間的對應關系，它采用二進制模式并使光源脈沖在兩個周期內運行。
20.通常，眼球追蹤方案使用高速閃爍的光源。然而，被閃光燈照亮的場景通常會使事件相位機飽和，并使整個場景的亮度發生變化。因此，研究人員讓兩個LED燈切換為閃爍，而不是閃爍一個燈，以保持整體照明大致恒定。
21.微信圖片_20220324145422
22.他們還發現，LED燈之間的最佳距離是眼球的反射點剛好接觸而不重疊的點。當LED燈之間的距離很近時，兩次閃光在相交處相消，導致凈亮度變化為零，并降低了閃光的有效頻率。
23.解決了哪些問題
24.Meta指出，眼球追蹤是AR/VR頭顯的一項關鍵功能，可以豐富用戶之間的互動，同時還可以實現動態凝視點的渲染效果，增強AR/VR的視覺印象。此外，它還可以用于實驗、醫療、培訓等場景，并通過用戶的眼動數據進行分析。變焦顯示系統和焦平面顯示系統還具有眼睛跟蹤功能以實現變焦。
25.微信圖片_20220324145417
26.用于AR/VR頭顯的眼球追蹤系統需要保證低功耗，從而延長電池壽命并減少發熱。同時還需要支持高采樣率，例如在用戶認證場景下，采樣率需要高達1kHz。
27.微信圖片_20220324145420
28.目前，市場上許多視頻眼睛跟蹤系統都是基于瞳孔角膜反射（PCCR）的原理。通常，紅外光照射在眼球上，通過捕捉角膜上鏡子反射的光的位置/角度來估計角膜的中心位置和瞳孔的位置（黑色橢圓形）。然后，通過瞳孔中心和角膜中心之間的距離來計算注視點的方向。
29.相比之下，Meta的方案更加節能，每個LED的功耗約為5mW，可以在低功率下實現亞像素精度。如果將廣角LED更換為對準眼球的位置，性能將進一步提高。事件攝像機的功耗約為10mW，整個傳感器的功耗約為35mW。同時，事件攝像頭的采樣率可以達到1kHz，可以捕捉眼球的細微變化。參考資料:scontent
