FBEC2021 | 歡創(chuàng)科技創(chuàng)始人 周琨：從雙目到四目是一個趨勢

2021年12月10日，由廣東省游戲產(chǎn)業(yè)協(xié)會、廣東省虛擬現(xiàn)實產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導(dǎo)，陀螺科技主辦，深圳市科技開發(fā)交流中心、恒悅創(chuàng)客魔方協(xié)辦，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競、陀螺財經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來商業(yè)生態(tài)鏈接大會暨第六屆金陀螺獎頒獎典禮（簡稱“FBEC2021”）在深圳大中華喜來登酒店6樓宴會廳盛大開幕！

在中國力量?2021 5G XR產(chǎn)業(yè)峰會現(xiàn)場，歡創(chuàng)科技創(chuàng)始人周琨：以“從雙目到四目，XR空間定位技術(shù)的發(fā)展”為主題發(fā)表了演講。

以下為演講實錄：

今天我演講的題目是“從雙目到四目，XR空間定位技術(shù)的發(fā)展”，內(nèi)容由四個部分組成：

首先介紹一下AR/VR視覺空間定位的技術(shù)。空間定位主要分為外定位和自定位兩個技術(shù)流派，外定位叫Outside-in，將傳感器和攝像機安裝在外部，從外向內(nèi)來觀察活動的物體或者人物。它的特點：安裝和使用比較復(fù)雜，但是精度比較高，視角有限，容易被遮擋。比較常見的像OptiTrack，應(yīng)用領(lǐng)域是影視動捕、VR、工業(yè)機器人等等。

第二種叫自定位（inside-Out），相機或傳感器往往設(shè)置在頭盔上，從內(nèi)向外觀測視覺，比如vSlam，特點是便攜、視角理論無限大、定位精度相對較低，應(yīng)用領(lǐng)域是移動機器人等。在VR方面應(yīng)用得比較廣泛的就是Oculus第一代產(chǎn)品Oculus Rift，采用外定位技術(shù)來做定位，把相機安裝在應(yīng)用環(huán)境的外部，通過相繼觀測使用者頭部或者手部所佩戴物體上面的Marker來定位頭部和手部的空間位置。

前幾年的時候已經(jīng)逐漸被后面Inside-Out所替代了，替代的主要原因就是成本和安裝便捷性的問題。這些年越來越多的公司采用自定位。自定位方案有兩種細(xì)分的流派：

一種是基于Marker，手部定位就是Marker，特點是定位精度比較高，適用于高速和高精度的定位場景；

另外一種是基于無marker，頭部的定位就是無marker的方式，安裝比較方便，精度低一些，容易受到環(huán)境的影響。從外定位和自定位比較起來看，有很多指標(biāo)說明它們的區(qū)別.

從精度上看，外定位高一些，可以做到毫米級；自定位只能做到厘米級。兩者延遲差不多?？梢苿臃秶?，外定位一定要在環(huán)境中布置一圈攝像頭，在此基礎(chǔ)上才能實現(xiàn)外定位；成本，外定位的安裝成本和使用成本比較高，比較麻煩.

自定位非常方便，所以在C端應(yīng)用上非常受歡迎，這也是為什么Inside-Out越來越流行的原因。外部傳感器，外定位需要設(shè)置攝像機，自定位不需要；抗遮擋方面，外定位會受到影響，而自定位是不受影響。

說一下公司在inside-Out上的一些積累。公司從2015開始研究AR/VR的定位，開始研究的是外定位，后來切換到了自定位，我們基于雙目做的自定位技術(shù)，在研究Inside-Out的時候我們面臨了幾個方面的挑戰(zhàn)。  

   第一，手柄上面光帶方案的設(shè)計難度很大，別小看Oculus上面小小的光帶，有很多LED，LED的數(shù)量、布局都有講究，另外它的大小和尺寸很關(guān)鍵。做技術(shù)的人都喜歡光帶設(shè)計得大一點，大一點容易識別，但是作為消費者場景來講不太好，安裝不方便，用起來也不美觀，對于C端產(chǎn)品的銷售肯定不利的，因此兩者之間需要形成平衡，而且我們作為技術(shù)公司，開發(fā)的時候還要時時刻刻注意專利的問題。因為AR/VR是一個全球競爭的舞臺，Oculus和微軟在這個領(lǐng)域布局已經(jīng)很多年了，因此要注意專利的規(guī)避，這是第一個難點。

   第二，初始化的問題。因為CV方案最大的痛點和難點就是視場角的問題，Controller會超過視線范圍，超出范圍回來之后，要對于攝像機進(jìn)行初始化，初始化做得不好就會延遲初始化或者卡頓，最好在攝像機一幀的時間內(nèi)完成初始化的工作。這對于初始化的算法有很高的要求，需要快速初始化才能讓消費者感覺不到延遲和卡頓，很快自然而然追蹤手柄正確的位置。

  第三，多個Controller交叉、重疊、遮擋的情況的處理，出現(xiàn)重疊之后不能讓它出現(xiàn)漂移和出錯，這在算法設(shè)計當(dāng)中是非常大的難題。

前面這些是五星級的難題。后面還有三個難題：

   第一，為了降低成本和功耗，不可能把頭部追蹤的Camera和手部的Camera分開，Camera既要實現(xiàn)頭部追蹤，也要進(jìn)行手部追蹤，要十分復(fù)用，這需要做到切換，這就要避開專利的問題；

   第二，高速跟蹤的問題，手里拿的Controller最快達(dá)到7秒，高速運動之下，咱們手部的算法是否適合運動的姿態(tài)；

   第三，把算法移動到嵌入平臺的問題。現(xiàn)在都要跑一體機，像高通、麒麟海思這樣的平臺，處理性能還是有區(qū)別的，怎么讓算法跑到平臺上，不再占用CPU，需要把DSP用好，這也是一個挑戰(zhàn)。

現(xiàn)在已經(jīng)完成了第一代XR雙目定位方案的一個研發(fā)，推出來的產(chǎn)品實現(xiàn)了inside-Out雙目的追蹤，F(xiàn)OV是170度，而且可以使用低成本，Camera微機分布就可以了。

這是我們在實踐過程中得到的參數(shù)，包括傳感器數(shù)量、分辨率、幀率、視場角、最大距離、動態(tài)的角度、精度、動態(tài)的位置精度、預(yù)算延遲以及占用的實際功耗和CPU占用率，這是我們實際測量出來的結(jié)果。

從雙目開始到四目是一個趨勢。因為我們在研發(fā)過程中和與客戶的對接過程中發(fā)現(xiàn)一個問題：雙目有一個局限性，F(xiàn)OV不夠大，F(xiàn)OV小的話會不斷超出FOV的視野范圍，導(dǎo)致用戶經(jīng)常遇到初始化的問題。

總之，它的效果體驗不如四目方案好，因此我們往四目方案演進(jìn)。但演進(jìn)并非簡單地把兩個攝像頭換成四個攝像頭，將攝像頭進(jìn)行堆砌，要處理的問題很多。因為四目擴展了范圍，因此交疊的區(qū)域小了，鏡頭的畸變非常厲害，怎么做呢？要做到非常高精度的定位才行，這是難點。二是運算量大了很多，雙目變成四目，運動量翻書了一番，但對于四目的處理量又不能很大。

將性能做一個提升，F(xiàn)OV從170度變成220度，垂直視角增加了一倍，另外在動態(tài)的角度定位誤差和位置定位誤差方面也進(jìn)行了大幅的優(yōu)化。

我們看一下雙目和四目的對比，這是我們的演示視頻，左邊是雙目定位，右邊是四目定位方案。每一幅圖左邊是原始圖象，右邊是它所還原出來的六軸的姿態(tài)，我們看一下演示的視頻。

演示過程中，用戶會出現(xiàn)各種各樣的動作，比如有遮擋、交叉、重疊，還會把手伸到后方再拿出來，讓我們實現(xiàn)初始化的過程。追蹤系統(tǒng)還是能夠非常靈活和穩(wěn)定地追蹤它的效果和位置。右側(cè)是我們四目的追蹤系統(tǒng)，運動起來使它的范圍大幅擴大了，這樣使得用戶體驗更好，避免它超出這個基線之后需要用IMU來追蹤的問題，使得它的體驗會更加流暢和連貫。

另外，這里面要解決好的問題還包括，用戶使用過程中或者參加展會，會遇到環(huán)境光干擾的問題，這需要在我們的算法上進(jìn)行比較好的處理。這是我們的對比結(jié)果，從視場角到定位精度再到延遲，能看到我們有很大的提升。

我們公司2014年成立，是一個專注于做高精度定位傳感器的公司，公司成立以來一直做高精度定位的算法以及算法芯片的研發(fā)。目前我們主要的產(chǎn)品線是在機器人層面的產(chǎn)品線，做激光雷達(dá)，里面的芯片也是我們設(shè)計的。

目前我們在行業(yè)里是頭部供應(yīng)商的定位。同時，第二條線是在AR/VR領(lǐng)域，從2015年開始做AR/VR的工作，2015年的時候與愛奇藝合作，為它們提供外定位方案的解決方案。今年年初的時候完成了2億的B輪融資。

這是我們公司的主營業(yè)務(wù)：

第一，機器人里面的激光雷達(dá)，包括這里面的三大廠商，石頭、科沃斯、小米，其中有兩家都是我的客戶，出貨量今年達(dá)到將近200萬臺；

第二，VR領(lǐng)域，專門為客戶提供高精度6DoF的模組；

第三，工業(yè)醫(yī)療領(lǐng)域提供高精度定位系統(tǒng)，中國商用飛機公司也是我們的用戶。

這是我們公司的愿景，致力于成為全球計算機視覺空間定位領(lǐng)先的企業(yè)。