如今的AR/VR可穿戴電子設(shè)備一般會配備一個或多個圖像捕捉組件，并用于捕捉用戶環(huán)境的圖像和視頻。但有時候可，由AR/VR可穿戴電子設(shè)備捕獲的圖像和視頻數(shù)據(jù)可能不一定對應(yīng)于預(yù)期的用戶視常
所以在名為“System for determining an expected field of view”的專利申請中，Meta就提出了一種相關(guān)的解決方案：確定所需視場的定向定向和/或位置數(shù)據(jù)，然后將捕獲的視場裁剪至對應(yīng)的預(yù)期用戶視常
在一個示例中，圖像捕獲組件可以捕獲比所需更寬或更大的視場，這時系統(tǒng)可以通過測量組件確定相關(guān)的定向和/或位置數(shù)據(jù)108，并由裁剪組件裁剪至或調(diào)整至對應(yīng)的用戶視常
圖1是示例性圖像捕獲系統(tǒng)100的框圖。圖像捕獲系統(tǒng)100可以包括一個或多個圖像捕獲組件102，以生成表示物理環(huán)境的圖像數(shù)據(jù)104。
圖像捕獲系統(tǒng)100同時包括一個或多個測量組件106，以生成與包括圖像捕獲系統(tǒng)的電子設(shè)備相關(guān)聯(lián)的定向和/或位置數(shù)據(jù)108。測量組件106可以與特定的圖像捕獲組件對齊或定位在其附近，以便相對于圖像捕獲組件定位方位和/或位置數(shù)據(jù)。
圖像捕獲系統(tǒng)同時包括裁剪組件110，裁剪組件可以分別從圖像捕捉設(shè)備102和測量單元106接收圖像數(shù)據(jù)104，以及方位和/或位置數(shù)據(jù)108。裁剪組件110可以配置為解析或以其他方式分析圖像數(shù)據(jù)（例如相對于當(dāng)前幀的前一幀），并識別圖像數(shù)據(jù)104內(nèi)的目標(biāo)對象或區(qū)域。
裁剪組件110然后可以調(diào)整與圖像數(shù)據(jù)104相關(guān)聯(lián)的視場或視場區(qū)域的位置，以包括或以其他方式圍繞目標(biāo)對象或區(qū)域居中或與之對齊。在一個實施例中，裁剪組件110可以利用一個或多個機器學(xué)習(xí)模型或網(wǎng)絡(luò)來識別圖像數(shù)據(jù)104的前一幀內(nèi)的目標(biāo)對象或區(qū)域。在這種情況下，裁剪組件110然后可以識別當(dāng)前幀內(nèi)的目標(biāo)對象和區(qū)域，并相應(yīng)地裁剪圖像數(shù)據(jù)104。
在一個實施例中，圖像捕獲設(shè)備可以包括擴展的垂直視場，并且電子設(shè)備可以至少部分地基于可穿戴電子設(shè)備IMU接收的定向和移動數(shù)據(jù)，調(diào)整圖像數(shù)據(jù)的垂直裁剪。例如，如果IMU數(shù)據(jù)指示用戶的頭部向下傾斜，則電子設(shè)備可以基于比IMU數(shù)據(jù)所示視場低的視場來裁剪圖像數(shù)據(jù)。
在一個實施例中，預(yù)定垂直距離可以基于IMU數(shù)據(jù)指示用戶向上或向下傾斜頭部的程度而變化。例如，頭部的向上或向下傾斜越大，預(yù)定垂直距離從IMU數(shù)據(jù)指示的位置變化得越大。在一個示例中，可以使用一個或多個機器學(xué)習(xí)模型或網(wǎng)絡(luò)來訓(xùn)練或?qū)W習(xí)預(yù)定垂直距離的值。在其他示例中，可以使用可穿戴電子設(shè)備上的注視檢測系統(tǒng)來確定用戶的眼睛的視場，并且可以使用檢測到的眼睛的視場，或注視以及IMU數(shù)據(jù)來確定眼睛傾斜的附加調(diào)整。
一旦裁剪組件110輸出了裁剪的圖像數(shù)據(jù)114，則電子設(shè)備的其他組件116可以利用裁剪的圖像圖像數(shù)據(jù)114。裁剪的圖像數(shù)據(jù)114同時可以經(jīng)由一個或多個網(wǎng)絡(luò)122發(fā)送到由基于云的服務(wù)118和/或伴隨應(yīng)用120。在所述示例中，通過由裁剪組件110在電子設(shè)備端執(zhí)行裁剪，可以減少帶寬和網(wǎng)絡(luò)資源消耗。
例如，圖像捕獲組件102可以捕獲比所需更寬或更大的視場，并且傳統(tǒng)系統(tǒng)會將更大的原始圖像數(shù)據(jù)傳輸或流式傳輸?shù)竭h(yuǎn)程系統(tǒng)以進行處理。但通過網(wǎng)絡(luò)122傳輸或流傳輸之前將圖像數(shù)據(jù)104裁剪或以其他方式減少到期望的大小和內(nèi)容，可以顯著減少網(wǎng)絡(luò)資源消耗和與之相關(guān)的成本。
圖2是圖像捕獲系統(tǒng)200的另一示例框圖。可穿戴電子設(shè)備可以配備有立體圖像捕獲系統(tǒng)200，所述立體圖像捕獲設(shè)備200包括至少第一圖像捕獲組件202和第二圖像捕獲組件204。
第一圖像捕獲組件202和第二圖像捕獲組件204可能會在使用期間垂直和/或水平地錯位。例如，用戶可以具有兩個高度略有不同的耳朵，并導(dǎo)致可穿戴電子設(shè)備相對于彼此和與可穿戴電子裝置的框架相關(guān)聯(lián)的一個或多個軸形成微小角度。
在當(dāng)前示例中，第一圖像捕獲組件202可以生成與系統(tǒng)200周圍的物理環(huán)境相關(guān)聯(lián)的第一圖像數(shù)據(jù)206，第二圖像捕獲組件204可以生成與物理環(huán)境相關(guān)的第二圖像數(shù)據(jù)208。如上所述，系統(tǒng)200可以包括裁剪組件210，其接收第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。
裁剪組件210可以配置為解析或以其他方式分析第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。然后，裁剪組件210可以調(diào)整與第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208相關(guān)聯(lián)的視場位置，以包括或以其他方式圍繞目標(biāo)對象或區(qū)域彼此居中或?qū)R。再次，裁剪組件210可以利用一個或多個機器學(xué)習(xí)模型或網(wǎng)絡(luò)來識別目標(biāo)對象或區(qū)域，或者以其他方式對齊第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。
在所述示例中，用戶可以執(zhí)行初始化或設(shè)置過程，使得圖像捕獲系統(tǒng)200可以確定一個或多個偏轉(zhuǎn)數(shù)據(jù)和/或注視數(shù)據(jù)。例如，與由可穿戴電子設(shè)備和/或相關(guān)的便攜式電子設(shè)備托管的系統(tǒng)200相關(guān)聯(lián)的應(yīng)用218可以使得用戶或佩戴者執(zhí)行設(shè)置或初始化。例如，可以指示用戶站在鏡子前面，頭部以各種角度定位。
第一圖像捕獲組件202和第二圖像捕獲組件204可以在初始化過程期間生成初始化圖像數(shù)據(jù)，例如第一圖像數(shù)據(jù)206和第二數(shù)據(jù)208。裁剪組件210和/或另一系統(tǒng)可以確定與用戶的個人角色和面部特征相關(guān)聯(lián)的偏轉(zhuǎn)數(shù)據(jù)和/或注視數(shù)據(jù)212。然后可以存儲偏轉(zhuǎn)數(shù)據(jù)和/或注視數(shù)據(jù)212，使得裁剪組件210可以使用偏轉(zhuǎn)數(shù)據(jù)和（或）注視數(shù)據(jù)212裁剪第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208，并生成表示用戶視場的輸出圖像數(shù)據(jù)。
然后，輸出圖像數(shù)據(jù)可以在系統(tǒng)200上使用，例如經(jīng)由無線網(wǎng)絡(luò)接口發(fā)送、傳輸或以其他方式流式傳輸?shù)狡渌O(shè)備以供進一步處理。
圖10是根據(jù)一個或多個示例的與圖像捕獲系統(tǒng)相關(guān)聯(lián)的圖像數(shù)據(jù)1000的示例裁剪圖示。系統(tǒng)可以配備有圖像捕獲組件，其具有比系統(tǒng)輸出的圖像數(shù)據(jù)更大的視場和/或分辨率。由圖像捕獲組件捕獲的原始圖像數(shù)據(jù)通常示為1002。
在一個實施例中，系統(tǒng)可以基于檢測到的目標(biāo)1004裁剪或框定圖像數(shù)據(jù)1000。系統(tǒng)可以通過裁剪圖像數(shù)據(jù)1000來生成輸出圖像數(shù)據(jù)，如1006所示。以這種方式，目標(biāo)1004位于輸出圖像數(shù)據(jù)的中心。如上所述，系統(tǒng)同時可以基于方位和位置數(shù)據(jù)來調(diào)整圖像數(shù)據(jù)1000的裁剪或成鄭在所示示例中，用戶可以稍微向下看。因此，系統(tǒng)可以向下調(diào)整垂直裁剪或框架的位置，如1008所示，以與用戶的可能視場對齊。
圖11是示出根據(jù)一個或多個示例的基于頭部位置的示例性視場調(diào)整示意圖1100。在當(dāng)前示例中，用戶的頭部1102顯示在不同的位置11041108。例如，第一位置1104基本上直立，第二位置1106鼻子向下傾斜，第三位置1108鼻子向上傾斜。在第一位置1104中，用戶的視場1110與圖像捕獲系統(tǒng)的視場1112基本對齊。
然而，在第二位置1106中，用戶的視場1114低于圖像捕獲系統(tǒng)的視場1112，因為當(dāng)用戶向下傾斜頭部時，用戶可以進一步向下調(diào)整眼睛。類似地，在第三位置1108中，用戶的視場1116高于圖像捕獲系統(tǒng)的視場1112，因為即使當(dāng)用戶向上仰起頭，用戶都可以繼續(xù)向上調(diào)整他們的眼睛。
在其他示例中，用戶的注視方向和視場可以基本上與用戶的頭距相同、高于或低于用戶的頭間距。
如上所述，系統(tǒng)可以初始化或訓(xùn)練為基于用戶的個人特征來調(diào)整圖像捕獲系統(tǒng)的視場，或者系統(tǒng)可以基于所示位置11041108以及其他位置的平均用戶來對視場進行調(diào)整。例如，進行不同程度的向前或向后傾斜，并結(jié)合俯仰的額外旋轉(zhuǎn)等。
以這種方式，由可穿戴電子設(shè)備捕獲的圖像和視頻數(shù)據(jù)可以對應(yīng)于預(yù)期的用戶視常
相關(guān)專利：
Meta Patent | System for determining an expected field of view
https://patent.nweon.com/26113
名為“System for determining an expected field of view”的Meta專利申請最初在2021年6月提交，并在日前由美國專利商標(biāo)局公布。
