VR 頭盔要做到 手勢識別 ,有哪些需要攻克的難點?

時間 2021-05-05 17:41:39

1樓:郝醫森

這問題我還真能回答,團隊花了四個月開發出來手勢識別演算法。中國產裝置大部分都是安卓系統,為了實現更好的互動,我們自己開發演算法和apk,基於leap motion實現的,太難了,不足之處在於增加了裝置耗電量。但是互動確實比手柄爽太多了。

2樓:Sunny張亞瑩

這裡從人機互動的角度來回答一下。

工業場景下,我們可以把這個問題轉化為,如何利用更少的軟硬體條件,對VR使用場景的手勢識別功能提足夠的使用者體驗

那麼怎樣是足夠的使用者體驗呢?這要看我們在VR中為什麼需要手勢識別。

虛擬實境之所以是虛擬實境,是因為它帶給使用者乙個沉浸式體驗,把使用者的視覺和聽覺等替換成了乙個虛擬出來的環境。或許是魔法的霍格沃茲,或許是你異地同事的辦公室。除非是VR電影,否則一般使用者都需要和場景進行互動,比如選擇、操縱物體,和虛擬環境中的其他人物互動、移動。

想象一下我們的真實世界中,我們和世界是怎樣互動的?人和人接觸時,互動方式主要是靠三種方式:語言、表情和手勢;而人和物體的互動則絕大部分是靠手;人在世界中的移動(locomotion)主要靠腳,偶爾需要手的參與(開車等)。

所以不管是哪一種互動,都起著很重要的作用。在人機互動的設計中,「手」可是比心臟更還要的器官XD。

VR中要用到「手」的地方可以分類如下:

選擇物體(select):發出射線進行遠端選擇,或者直接觸碰進行近處的選擇;

操縱物體(manipulate):比如把被選擇的物體放大縮小、移動位置;

表達意義:比如揮手問好的手勢,「請」的手勢,還可以是程式自定義的表達意義的手勢,比如在空中畫乙個圈,就出現乙個魔法效果等。這其中又分成兩種,一種是用手臂就能表達的(比如指向某個方向),一種是還需要手掌手指的細節的(比如猜拳)。

這三種手勢的應用中,從控制精準度的要求來講,操縱物體和選擇物體要求較高,而表達意義要求較低。從FOV(Field of View 視域)角度來說,選擇物體時一般不需要手勢發生在FOV中,使用者主要會盯著被選擇的物體;而操縱一般需要手勢發生在FOV中,一般設計中,物體和手勢都需要被看到;表達意義時,主要需要被表達的物件(人或系統)感知到手勢,然而如果手勢複雜,使用者也可能需要看著手勢發生。地方

題主問的是「VR頭盔要做到手勢識別」,如果純使用VR頭戴,當前可以完成的識別方式有:

1. 影象識別:在頭戴上安裝攝像頭捕捉,再利用CV技術識別出「手」這個物體,進而識別手勢。

從影象中識別手部輪廓 | Adrian Rosebrock @ https://www.pyimagesearch.

2. 深度感測器:原理是從頭盔處發射和接受紅外線,根據收發時間差得出距離,結合發射角度從而得到空間點的位置。

這樣可以得出乙個深度掃瞄圖。再識別出「手」這個物體,識別出其關節,識別手勢。

深度攝像頭得到的點雲圖(point cloud)| pmd,https://pmdtec.com/picofamily/

影象識別基於二維點陣圖的色彩資訊,而深度感測器的識別基於視域內點集的三維位置——乙個是平面,乙個是立體。深度感測器一定程度上可以直接還原物體的3D資訊(3D建模),手部的資訊集和環境資訊集差異更大,從這個角度上講可靠性比影象識別更加可靠(得多);然而要把這個原始的手部資訊識別成手勢,和從影象中識別出手以後再識別手勢相比,各有其難度。

不管是使用普通照相機作為輸入源的影象識別方法,還是使用深度感測器的方法,又有乙個重大侷限,那就是感測器處於VR頭戴裝置上,那麼,使用者的手必須出現在裝置感測器的檢測區域裡,也就是說,裝置必須「看得見」你的手(使用者的手要在裝置的FOV中)。這造成兩個方面的侷限:1)使用者必須抬手,或者低頭;2)只有當手掌方向和感測器「視角」平行並且無遮擋的時候,識別效果最好,如果裝置不能完整地「看到」使用者的手(例如一些手勢中,較近地手指遮擋了較遠的手指,或者兩隻手距離很近、或互相遮擋時),那麼很容易造成誤判。

比如,下圖兩個OK的手勢,左邊就較好識別,右邊就較難識別。

我覺得OK

那麼除了在VR頭盔上做文章,還有什麼別的方法呢?

如果不限於僅僅使用VR頭盔,那麼額外借助其他硬體的方法還有:

Oculus Rift手柄的巧妙手勢識別

4. 手套:優勢是精準,可以識別到每一根手指和每乙個關節,並且有些設計還能提供反向作用力,讓人在抓握時感受到被抓物體的硬度。

一般是用手柄或定位器進行手掌的位置方向定位,然後利用套在手指上的感測器,進行手指和關節定位。缺點是佩戴會降低舒適度。

Plexus VR手套 | https://vimeo.com/276517370

那麼說了這麼多,讓我來嘗試總結一下各種VR中手勢識別的特點:

其中,標紅的部分就是每種方式的短板所在,也就是需要攻克的難點。

同時,考慮到這些方式的特點,我們在設計VR應用時,也應根據我們的使用場景來揚長避短,選擇適合的手勢識別方式。這裡按照之前總結的三個基礎使用場景,提出適合的手勢識別方式,來盡可能地利用更少的軟硬體條件,創造足夠的使用者體驗。

3樓:Mad Scientist

首先我不是很清楚VR為什麼需要用手勢識別,因為本身也看不見外界環境,我就當成通過感測器實時跟蹤手部動作答題吧。

目前為止的動作識別有兩套比較成熟的方案,第一套是用基站追蹤,第二套是通過攝像頭和CV演算法。前者的例子有Oculus Rift和HTC Vive,後者的例子有Windows Mixed Reality和Oculus Rift S。前者的好處是精確度更高,但成本相對也更高。

後者的話就是成本低,雖說使用體驗會略微下降,但一般使用者感受不出來。

專門的手部識別目前為止只有Valve有一套可行的方案,就是最近剛出的Valve Index,通過手柄上的sensor二次判斷手指的準確位置。但目前來看這套方案的演算法仍然不成熟,比如sensor對於手指的高度測量有時會不準確,不過基本已經到了能用的程度了。

所以回到原本的問題,我覺得要做到手勢識別,需要攻克的難點大概是CV演算法。

4樓:彭璐

硬體設計:用幾個攝像頭、攝像頭解析度要求、效能要求軟體設計:手勢識別演算法實現

Oculus Quest把坑探的差不多了,需要軟硬體協同配合youtube.com/watch?

5樓:有360天了麼

我不太熟VR,算是強行答題吧。

手勢識別我認為難點在對手的識別上。

當然如果你給手帶上動作捕捉輔助裝置,然後把動作捕捉模組縮小整合在VR頭盔上,難點就是動作捕捉的小型化和準確度。

非要裸手識別,難點應該在用大資料訓練人工智慧進行深度學習的演算法開發?

拋磚引玉,專家勿噴,互噴偶發,拉黑警告。

6樓:

vr的手勢控制都用了好幾年了,常見方案是leapmotion

官方說支援180x180跟蹤,輪子哥抬手的問題能夠解決,就是輪子哥的腹肌比較凸出的問題不好很好辦

solo追星要做到什麼?

LLMM 不會被五觀帶偏的正常三觀 國家,家庭,自己,都高於愛豆 理智追星,孩子不行的時候就是不行,別硬誇,德不配位也別硬捧尊重別人的喜歡,別太嘴臭 仙人掌中寶 1.不被飯圈言論左右 最好別關注飯圈哈哈 有自己的想法,相信自己的判斷,欣賞正主本人,以及作品 2.最好不要頂著明顯的愛豆相關標識 頭像或...

男生到底要做到怎樣?

許你情深不渝 有的女生把戀愛和婚姻分的很開。她會不管年齡階層家庭等所有的去和喜歡的男生戀愛。可是結婚就未必喜歡那個人了,當是一種老年生活。婚姻是愛情的墳墓!如果兩個人存在結婚和不結婚非常嚴重的衝突,提議想結婚的那方換乙個人交往吧 CPA高階中 女生要分情況要看你想要的女生更看重什麼如果女生是物資經濟...

lol稱職的打野要做到哪些?

蒼浪追思 個人理解,打野最重要的職責是拿資訊,在此之後才是支援 控制野區資源。作為打野,你一定要能分析到對面打野在哪,在做什麼,再決定你要做什麼,這才是打野和線上最大的區別 至少伴隨著悲傷 看到有些答主稍微懂一些皮毛就開始在逼乎指點江山,真的是不知道這個遊戲的玩家要怎麼成長 我認為各位答主寫的什麼抓...