查看引用/信息源請點擊：映維網(wǎng)Nweon
將捕獲的視場裁剪至或調(diào)整至對應的預期用戶視場
（映維網(wǎng)Nweon2022年12月15日）如今的AR/VR可穿戴電子設備一般會配備一個或多個圖像捕捉組件，并用于捕捉用戶環(huán)境的圖像和視頻。但有時候可，由AR/VR可穿戴電子設備捕獲的圖像和視頻數(shù)據(jù)可能不一定對應于預期的用戶視常
所以在名為“System for determining an expected field of view”的專利申請中，Meta就提出了一種相關的解決方案：確定所需視場的定向定向和/或位置數(shù)據(jù)，然后將捕獲的視場裁剪至對應的預期用戶視常
在一個示例中，圖像捕獲組件可以捕獲比所需更寬或更大的視場，這時系統(tǒng)可以通過測量組件確定相關的定向和/或位置數(shù)據(jù)108，并由裁剪組件裁剪至或調(diào)整至對應的用戶視常
圖1是示例性圖像捕獲系統(tǒng)100的框圖。圖像捕獲系統(tǒng)100可以包括一個或多個圖像捕獲組件102，以生成表示物理環(huán)境的圖像數(shù)據(jù)104。
圖像捕獲系統(tǒng)100同時包括一個或多個測量組件106，以生成與包括圖像捕獲系統(tǒng)的電子設備相關聯(lián)的定向和/或位置數(shù)據(jù)108。測量組件106可以與特定的圖像捕獲組件對齊或定位在其附近，以便相對于圖像捕獲組件定位方位和/或位置數(shù)據(jù)。
圖像捕獲系統(tǒng)同時包括裁剪組件110，裁剪組件可以分別從圖像捕捉設備102和測量單元106接收圖像數(shù)據(jù)104，以及方位和/或位置數(shù)據(jù)108。裁剪組件110可以配置為解析或以其他方式分析圖像數(shù)據(jù)（例如相對于當前幀的前一幀），并識別圖像數(shù)據(jù)104內(nèi)的目標對象或區(qū)域。
裁剪組件110然后可以調(diào)整與圖像數(shù)據(jù)104相關聯(lián)的視場或視場區(qū)域的位置，以包括或以其他方式圍繞目標對象或區(qū)域居中或與之對齊。在一個實施例中，裁剪組件110可以利用一個或多個機器學習模型或網(wǎng)絡來識別圖像數(shù)據(jù)104的前一幀內(nèi)的目標對象或區(qū)域。在這種情況下，裁剪組件110然后可以識別當前幀內(nèi)的目標對象和區(qū)域，并相應地裁剪圖像數(shù)據(jù)104。
在一個實施例中，圖像捕獲設備可以包括擴展的垂直視場，并且電子設備可以至少部分地基于可穿戴電子設備IMU接收的定向和移動數(shù)據(jù)，調(diào)整圖像數(shù)據(jù)的垂直裁剪。例如，如果IMU數(shù)據(jù)指示用戶的頭部向下傾斜，則電子設備可以基于比IMU數(shù)據(jù)所示視場低的視場來裁剪圖像數(shù)據(jù)。
在一個實施例中，預定垂直距離可以基于IMU數(shù)據(jù)指示用戶向上或向下傾斜頭部的程度而變化。例如，頭部的向上或向下傾斜越大，預定垂直距離從IMU數(shù)據(jù)指示的位置變化得越大。在一個示例中，可以使用一個或多個機器學習模型或網(wǎng)絡來訓練或學習預定垂直距離的值。在其他示例中，可以使用可穿戴電子設備上的注視檢測系統(tǒng)來確定用戶的眼睛的視場，并且可以使用檢測到的眼睛的視場，或注視以及IMU數(shù)據(jù)來確定眼睛傾斜的附加調(diào)整。
一旦裁剪組件110輸出了裁剪的圖像數(shù)據(jù)114，則電子設備的其他組件116可以利用裁剪的圖像圖像數(shù)據(jù)114。裁剪的圖像數(shù)據(jù)114同時可以經(jīng)由一個或多個網(wǎng)絡122發(fā)送到由基于云的服務118和/或伴隨應用120。在所述示例中，通過由裁剪組件110在電子設備端執(zhí)行裁剪，可以減少帶寬和網(wǎng)絡資源消耗。
例如，圖像捕獲組件102可以捕獲比所需更寬或更大的視場，并且傳統(tǒng)系統(tǒng)會將更大的原始圖像數(shù)據(jù)傳輸或流式傳輸?shù)竭h程系統(tǒng)以進行處理。但通過網(wǎng)絡122傳輸或流傳輸之前將圖像數(shù)據(jù)104裁剪或以其他方式減少到期望的大小和內(nèi)容，可以顯著減少網(wǎng)絡資源消耗和與之相關的成本。
圖2是圖像捕獲系統(tǒng)200的另一示例框圖�？纱┐麟娮釉O備可以配備有立體圖像捕獲系統(tǒng)200，所述立體圖像捕獲設備200包括至少第一圖像捕獲組件202和第二圖像捕獲組件204。
第一圖像捕獲組件202和第二圖像捕獲組件204可能會在使用期間垂直和/或水平地錯位。例如，用戶可以具有兩個高度略有不同的耳朵，并導致可穿戴電子設備相對于彼此和與可穿戴電子裝置的框架相關聯(lián)的一個或多個軸形成微小角度。
在當前示例中，第一圖像捕獲組件202可以生成與系統(tǒng)200周圍的物理環(huán)境相關聯(lián)的第一圖像數(shù)據(jù)206，第二圖像捕獲組件204可以生成與物理環(huán)境相關的第二圖像數(shù)據(jù)208。如上所述，系統(tǒng)200可以包括裁剪組件210，其接收第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。
裁剪組件210可以配置為解析或以其他方式分析第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。然后，裁剪組件210可以調(diào)整與第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208相關聯(lián)的視場位置，以包括或以其他方式圍繞目標對象或區(qū)域彼此居中或對齊。再次，裁剪組件210可以利用一個或多個機器學習模型或網(wǎng)絡來識別目標對象或區(qū)域，或者以其他方式對齊第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208。
在所述示例中，用戶可以執(zhí)行初始化或設置過程，使得圖像捕獲系統(tǒng)200可以確定一個或多個偏轉數(shù)據(jù)和/或注視數(shù)據(jù)。例如，與由可穿戴電子設備和/或相關的便攜式電子設備托管的系統(tǒng)200相關聯(lián)的應用218可以使得用戶或佩戴者執(zhí)行設置或初始化。例如，可以指示用戶站在鏡子前面，頭部以各種角度定位。
第一圖像捕獲組件202和第二圖像捕獲組件204可以在初始化過程期間生成初始化圖像數(shù)據(jù)，例如第一圖像數(shù)據(jù)206和第二數(shù)據(jù)208。裁剪組件210和/或另一系統(tǒng)可以確定與用戶的個人角色和面部特征相關聯(lián)的偏轉數(shù)據(jù)和/或注視數(shù)據(jù)212。然后可以存儲偏轉數(shù)據(jù)和/或注視數(shù)據(jù)212，使得裁剪組件210可以使用偏轉數(shù)據(jù)和（或）注視數(shù)據(jù)212裁剪第一圖像數(shù)據(jù)206和第二圖像數(shù)據(jù)208，并生成表示用戶視場的輸出圖像數(shù)據(jù)。
然后，輸出圖像數(shù)據(jù)可以在系統(tǒng)200上使用，例如經(jīng)由無線網(wǎng)絡接口發(fā)送、傳輸或以其他方式流式傳輸?shù)狡渌O備以供進一步處理。
圖10是根據(jù)一個或多個示例的與圖像捕獲系統(tǒng)相關聯(lián)的圖像數(shù)據(jù)1000的示例裁剪圖示。系統(tǒng)可以配備有圖像捕獲組件，其具有比系統(tǒng)輸出的圖像數(shù)據(jù)更大的視場和/或分辨率。由圖像捕獲組件捕獲的原始圖像數(shù)據(jù)通常示為1002。
在一個實施例中，系統(tǒng)可以基于檢測到的目標1004裁剪或框定圖像數(shù)據(jù)1000。系統(tǒng)可以通過裁剪圖像數(shù)據(jù)1000來生成輸出圖像數(shù)據(jù)，如1006所示。以這種方式，目標1004位于輸出圖像數(shù)據(jù)的中心。如上所述，系統(tǒng)同時可以基于方位和位置數(shù)據(jù)來調(diào)整圖像數(shù)據(jù)1000的裁剪或成鄭在所示示例中，用戶可以稍微向下看。因此，系統(tǒng)可以向下調(diào)整垂直裁剪或框架的位置，如1008所示，以與用戶的可能視場對齊。
圖11是示出根據(jù)一個或多個示例的基于頭部位置的示例性視場調(diào)整示意圖1100。在當前示例中，用戶的頭部1102顯示在不同的位置11041108。例如，第一位置1104基本上直立，第二位置1106鼻子向下傾斜，第三位置1108鼻子向上傾斜。在第一位置1104中，用戶的視場1110與圖像捕獲系統(tǒng)的視場1112基本對齊。
然而，在第二位置1106中，用戶的視場1114低于圖像捕獲系統(tǒng)的視場1112，因為當用戶向下傾斜頭部時，用戶可以進一步向下調(diào)整眼睛。類似地，在第三位置1108中，用戶的視場1116高于圖像捕獲系統(tǒng)的視場1112，因為即使當用戶向上仰起頭，用戶都可以繼續(xù)向上調(diào)整他們的眼睛。
在其他示例中，用戶的注視方向和視場可以基本上與用戶的頭距相同、高于或低于用戶的頭間距。
如上所述，系統(tǒng)可以初始化或訓練為基于用戶的個人特征來調(diào)整圖像捕獲系統(tǒng)的視場，或者系統(tǒng)可以基于所示位置11041108以及其他位置的平均用戶來對視場進行調(diào)整。例如，進行不同程度的向前或向后傾斜，并結合俯仰的額外旋轉等。
以這種方式，由可穿戴電子設備捕獲的圖像和視頻數(shù)據(jù)可以對應于預期的用戶視常
相關專利：
Meta Patent | System for determining an expected field of view
https://patent.nweon.com/26113
名為“System for determining an expected field of view”的Meta專利申請最初在2021年6月提交，并在日前由美國專利商標局公布。
