蘋果VR或AR頭顯可以根據(jù)監(jiān)測(cè)用戶的身體動(dòng)作來移動(dòng)用戶的虛擬頭像,而其電池壽命可以通過一些巧妙的數(shù)據(jù)傳輸技術(shù)來延長。在美國專利和商標(biāo)局周二授予的一對(duì)專利中,蘋果公司認(rèn)為它可以改進(jìn)其頭顯所能提供的東西,涉及到它如何與用戶互動(dòng),以及它如何與主機(jī)設(shè)備進(jìn)行通信。
第一項(xiàng)專利名稱為“生成身體姿勢(shì)信息”,涵蓋了系統(tǒng)跟蹤用戶運(yùn)動(dòng)的能力,然后使用這些數(shù)據(jù)來執(zhí)行其他相關(guān)動(dòng)作。蘋果估計(jì),一些沉浸式計(jì)算機(jī)生成的現(xiàn)實(shí)體驗(yàn)需要了解用戶的身體姿勢(shì)。在一些體驗(yàn)中,VR或AR應(yīng)用可能會(huì)根據(jù)用戶的姿勢(shì)或動(dòng)作,對(duì)其呈現(xiàn)的內(nèi)容做出改變,比如游戲中的警衛(wèi)會(huì)對(duì)用戶的姿勢(shì)做出不同的反應(yīng)。
更明確地說,蘋果公司建議,了解身體的姿勢(shì)可以用來控制用戶的化身。這在流行的在線社交體驗(yàn)VR聊天等情況下可能很有用,它可以利用其他硬件的運(yùn)動(dòng)來改變用戶化身的動(dòng)作。根據(jù)該專利,蘋果公司建議可以使用各種相機(jī)和神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)姿勢(shì),多個(gè)神經(jīng)網(wǎng)絡(luò)一起工作,為單個(gè)身體關(guān)節(jié)建模。每個(gè)神經(jīng)網(wǎng)絡(luò)都單獨(dú)工作,但其結(jié)果被反饋到一起以創(chuàng)建整個(gè)身體模型。
訓(xùn)練將以多種方式進(jìn)行,不僅要教授對(duì)攝像機(jī)數(shù)據(jù)的理解,還要訓(xùn)練網(wǎng)絡(luò)如何相互作用,這包括多個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的各自拓?fù)浣Y(jié)構(gòu)。就網(wǎng)絡(luò)能收集多少關(guān)于一個(gè)人的姿勢(shì)的信息而言,有說法稱監(jiān)測(cè)的關(guān)節(jié)涵蓋頸部、肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、骨盆關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)和指關(guān)節(jié)。
第二項(xiàng)與VR有關(guān)的專利名為“自適應(yīng)無線傳輸方案”,瞄準(zhǔn)了處理頭顯和主機(jī)之間的通信。目前,像Oculus Quest這樣的一體式系統(tǒng),它們會(huì)增加設(shè)置的重量,雖然系留式設(shè)置可以減輕重量,但電纜本身可能是一個(gè)問題。解決這個(gè)問題的辦法是采用無線通信系統(tǒng),以減輕重量并消除電纜。
然而,即使是無線系統(tǒng)也會(huì)引起問題。例如,傳輸數(shù)據(jù)需要消耗電力,而且無線系統(tǒng)的可用帶寬通常比電纜系統(tǒng)低。還有固有的干擾問題和其他干擾性問題。在這項(xiàng)專利中,蘋果建議可以使用無線系統(tǒng),但為了減少一次性傳輸?shù)臄?shù)據(jù)量,該系統(tǒng)必須發(fā)送更少的視頻數(shù)據(jù)。蘋果計(jì)劃通過使用左眼數(shù)據(jù)和右眼數(shù)據(jù)的交錯(cuò)幀傳輸,希望將使用的帶寬減半。