今年的F8大會(huì)雖然被取消，但是Meta仍在不斷向外界傳遞最新的研發(fā)進(jìn)展。在Meta AI部門Inside the Lab活動(dòng)將定期向媒體公開，最近的一次關(guān)于頭顯原型展示的主題可謂是信息量爆炸，似乎就是F8的重現(xiàn)。
與去年Connect上宣布的Project Campia不同，它們往往是準(zhǔn)量產(chǎn)機(jī)型，并即將發(fā)售。今天展示的更多是技術(shù)原型，在這段約30分鐘的視頻中共展示四款原型機(jī)，可以讓我們更全面地了解到Meta在VR頭顯中采用的最新技術(shù)和設(shè)計(jì)方向。
本次的Inside the Lab公開視頻由扎克伯格和Meta首席科學(xué)家Michael Apush共同主講，最新公布的四款原型機(jī)代號(hào)分別為：Butterscotch、Starburst、Holocake 2、Mirror Lake。
這四款原型機(jī)分別代表著VR產(chǎn)品不同的演進(jìn)方向，如Butterscotch以高分辨率/高清顯示為核心，在產(chǎn)品體積和重量上就會(huì)有取舍；Starburst像是更前沿的技術(shù)研究，以HDR和超高亮度為核心；Holocake 2更像是輕量化的準(zhǔn)量產(chǎn)機(jī)，以小巧、輕薄為；Mirror Lake特點(diǎn)則更顯示將各種新技術(shù)融合在一起的輕量化VR眼鏡。
Meta VR原型展示墻
提出“視覺圖靈測(cè)試”概念
扎克伯格和Michael Apush同時(shí)表示，Meta的最終目標(biāo)是打造出可以滿足所有視覺要求的VR硬件，讓你的視覺系統(tǒng)認(rèn)為“足夠真實(shí)”。
扎克伯格表示：未來VR顯示技術(shù)的發(fā)展，將遠(yuǎn)超過傳統(tǒng)2D屏幕，我們不是要研究已經(jīng)應(yīng)用在手機(jī)、顯示器中的屏幕技術(shù)，而是要做新的探索，探索人類視覺系統(tǒng)如何感知世界，探索“物理顯示”如何與人眼協(xié)同工作。
毫無疑問，如今的VR系統(tǒng)在視覺上還有很大進(jìn)步空間，而為了解決這些問題，Meta Reality Labs提出一個(gè)“視覺圖靈測(cè)試”（Visual Turing Test）的概念。
“圖靈測(cè)試”由艾倫麥席森圖靈提出，是通過對(duì)話的方式進(jìn)行機(jī)器思考能力的一項(xiàng)測(cè)試，通過圖靈測(cè)試代表測(cè)試者不能在機(jī)器和真人的回答中分別出來，從而“欺騙”測(cè)試者。
而“視覺圖靈測(cè)試”同理，即看測(cè)試者是能夠從VR顯示的環(huán)境和真實(shí)世界進(jìn)行區(qū)分。Michael Apush表示：截至目前，還沒有任何VR技術(shù)能夠通過“視覺圖靈測(cè)試”。也就是說，讓VR在視覺上能夠“欺騙”人類視覺，讓你完全相信“通過VR看到的視覺是真實(shí)可信的”。
而Meta顯示系統(tǒng)研究團(tuán)隊(duì)（簡(jiǎn)稱：DSR），進(jìn)一步對(duì)視覺圖靈測(cè)試提出四大硬性要求，必須滿足四個(gè)條件才能通過測(cè)試，分別是：
1，自然變焦顯示系統(tǒng)，類似人眼般的聚焦，支持視力矯正；
2，達(dá)到視網(wǎng)膜級(jí)別的分辨率，PPD都足夠高；
3，矯正透鏡帶來的畸變、色散、鬼影等顯示問題；
4，支持HDR能力，亮度更高，色域更廣、對(duì)比度更高等。
滿足上述條件并可適應(yīng)人眼視覺的VR顯示開啟全新的可能，1，增加社交臨場(chǎng)感，可以充分感覺到和其他人同處一個(gè)虛擬空間；2，帶來全新的視覺體驗(yàn)，提供全新的視覺表達(dá)方式。
扎克伯格談到：這將是一個(gè)綜合的技術(shù)進(jìn)步，除了顯示技術(shù)自身外，對(duì)VR頭顯的軟件、芯片、傳感器等硬件來說需要做到無縫協(xié)同。
變焦顯示原型Half Dome
在2018、2019年Meta就多次展示過Half Dome原型機(jī)，其中重點(diǎn)提到了自然的變焦顯示能力。因?yàn)楝F(xiàn)階段的VR屏幕顯示的都是2D平面圖，而一旦和人眼的視覺沖突就會(huì)導(dǎo)致潛在的模糊、眼睛不適、甚至眩暈、惡心等情況，也就是所謂的視覺輻輳沖突（VAC）。
根據(jù)最新消息，初代變焦顯示原型創(chuàng)建于2015年，但體積非常大；后在2017年開發(fā)Half Dome 0代，外觀上類似于Rift。
直到2019年的Half Dome 3有了重大突破，通過多層薄薄的液晶透鏡模組，實(shí)現(xiàn)64個(gè)焦平面的平滑切換，同時(shí)體積可以做到更校
雖然在此之后，并沒有Half Dome的進(jìn)展，但該系列原型機(jī)證實(shí)了變焦顯示可以帶來巨大的益處。
Butterscotch原型機(jī)
前面提到視網(wǎng)膜級(jí)別的VR顯示，那么在Meta眼中到底要達(dá)到什么水準(zhǔn)呢？
Meta提到，想要達(dá)到視覺上的“以假亂真”，VR頭顯需要達(dá)到單眼8K分辨率，以及60PPD的水平。而Quest的單眼在2K分辨率，PPD也僅20左右。
Michael Apush還談到：相比當(dāng)前的筆記本電腦、電視機(jī)而言，VR頭顯對(duì)亮度、色域、對(duì)比度要求明顯更低。因此，從細(xì)節(jié)和真實(shí)感角度看，VR無法真正達(dá)到我們對(duì)2D顯示屏所期待的水平。
Butterscotch是目前Meta最新的關(guān)于視網(wǎng)膜顯示的原型機(jī)，也是對(duì)外公布的第一款視網(wǎng)膜VR原型機(jī)。參數(shù)規(guī)格方面，Butterscotch的PPD達(dá)到了55，雖然較Quest 2有大幅提升，但是同樣有所取舍。
比如，為了實(shí)現(xiàn)這么高的PPD，Meta采用全新的混合透鏡，F(xiàn)OV僅僅是多數(shù)VR頭顯的一半，也就是50度左右的水平。
通過上圖也能看出，Butterscotch體積龐大，當(dāng)前還不足以應(yīng)用到商用產(chǎn)品中來。不過Michael Apush表示：它確實(shí)體現(xiàn)了高分辨率對(duì)VR的積極作用，比如用它可以看清楚樹葉上的細(xì)節(jié)。
基于模擬器的預(yù)失真研究
光學(xué)失真包括：圖像畸變、色散、鬼影等等，通常是因?yàn)閂R的光學(xué)透鏡導(dǎo)致，對(duì)視覺的影響相當(dāng)大。在現(xiàn)有的VR如Quest 2中，是通過軟件算法進(jìn)行補(bǔ)償和矯正，也就是說原始圖像是經(jīng)過矯正的圖像，通過透鏡來模擬正常圖像顯示效果。
Michael Apush表示：雖然通過軟件算法可以得到一個(gè)不錯(cuò)的近似值，但是實(shí)際應(yīng)用的結(jié)果并不算理想。因?yàn)�，人眼是朝著不同方向在看，而圖像失真也會(huì)因此而變化。完美的失真矯正應(yīng)該是動(dòng)態(tài)的，根據(jù)眼球運(yùn)動(dòng)自適應(yīng)的。
目前Meta在失真矯正上研發(fā)了一個(gè)新的模擬器，通過模擬器可以在幾分鐘內(nèi)模擬和評(píng)估失真情況。而在此之前，往往需要幾個(gè)月時(shí)間來評(píng)估，效率大大提升。
Michael Apush談到：這個(gè)失真模擬器的原理是，通過3D電視顯示虛擬圖像+眼球追蹤技術(shù)來重現(xiàn)/模擬不同光學(xué)方案的VR中看到的失真效果。它的好處是不需要開發(fā)真正的原型機(jī)，即可針對(duì)不同光學(xué)方案的設(shè)計(jì)進(jìn)行失真矯正算法設(shè)計(jì)。
Starburst：HDR原型機(jī)
在2D屏幕下，我認(rèn)為HDR提升比2K到4K的視覺提升體驗(yàn)更大。而在VR中同樣如此，和真實(shí)中看到的類似，顏色逼真，明亮環(huán)境亮度足夠，而黑暗環(huán)境則盡可能以黑色顯示。
以亮度為例，傳統(tǒng)2D顯示屏對(duì)HDR的要求在1000nit，作為對(duì)比Quest 2亮度也就100nit左右。
為了實(shí)現(xiàn)HDR顯示能力，Meta DSR團(tuán)隊(duì)開發(fā)了一種基于液晶屏+高強(qiáng)背光的顯示模組。目前已經(jīng)應(yīng)用在Starburst原型中，它的亮度可以達(dá)到20000nit，這種亮度足以模擬各種環(huán)境。
扎克伯格表示：第一代HDR原型機(jī)的缺點(diǎn)也很明顯，有線設(shè)計(jì)，體積龐大、笨重，而且還是手持式的設(shè)計(jì)，更多用于測(cè)試和研究，遠(yuǎn)達(dá)不到商業(yè)化的水平。
Holocake 2原型機(jī)
與前面的原型相比，Holocake 2體積更小巧，外觀更時(shí)尚，也更像是準(zhǔn)量產(chǎn)機(jī)，外觀上和Project Cmapia也有一些相似之處。不同的是，Holocake 2是一款PC VR頭顯。
Holocake 2的特別之處在于，將全息透鏡和Pancake透鏡結(jié)合，分辨率、FOV、Eyebox和Quest 2基本一致，但是卻實(shí)現(xiàn)了輕薄的外觀，和更小巧的體積。當(dāng)然，因?yàn)槭荘C VR頭顯Holocake 2沒有內(nèi)置計(jì)算模組和散熱模塊，否則體積同樣也會(huì)更大。
光學(xué)方面，Holocake 2的光學(xué)模組可以看作是Pancake的升級(jí)。從上圖來看，傳統(tǒng)透鏡、Pancake透鏡、以及Holocake透鏡在透鏡模組的厚度上不斷減小，為實(shí)現(xiàn)更小的機(jī)身提供幫助。
Holocake 2在屏幕上也做了優(yōu)化，為了保證高亮度和極佳的色彩顯示，它采用了激光顯示方案，取代LED屏幕。當(dāng)然，激光模組的一個(gè)特點(diǎn)是尚未達(dá)到量產(chǎn)階段，無法大規(guī)模展開部署。
Michael Apush表示：在Holocake 2上面還有很多工作要做，比如要確保激光模組足夠安全、成本可控，顯示效率足夠高，并且可以與輕薄的VR頭顯集成在一起。如果激光顯示技術(shù)Ready，那么打造一臺(tái)太陽(yáng)鏡版的VR就不難了。
Mirror Lake原型機(jī)
上面提到的幾款原型機(jī)，在顯示能力方面都有不同的研發(fā)傾向，各有特色。而最終，Meta的目標(biāo)是將這些技術(shù)應(yīng)用到一臺(tái)VR頭顯中，并且保證具備輕薄的外形和較低的功耗。
Mirror Lake原型機(jī)的目的正是如此，也正因?yàn)檫@是一個(gè)多元技術(shù)的綜合體，本次并沒有實(shí)際展示，仍然處于設(shè)計(jì)和論證階段。
根據(jù)說明，Mirror Lake還提供了直通顯示能力，即機(jī)身外部會(huì)顯示佩戴者的眼神和面部細(xì)節(jié)，避免與外部人士交流產(chǎn)生割裂感。類似的技術(shù)Meta此前進(jìn)行過公布，甚至有消息蘋果也有類似功能的VR原型機(jī)。
看過之后，愈發(fā)感覺Meta在厚積薄發(fā)，畢竟大量人力、資金投進(jìn)去，結(jié)果也是顯而易見的 。這些結(jié)果中，主要還是以顯示進(jìn)化為主，同時(shí)不斷的改進(jìn)產(chǎn)品體積、功耗等。同時(shí)可見，盡管其他科技巨頭在AR上加大力度，但VR仍然是Meta持續(xù)發(fā)力的方向，未來的體驗(yàn) 會(huì)越來越好。
