查看引用/信息源請(qǐng)點(diǎn)擊:映維網(wǎng)Nweon
從在線搜索引擎檢索關(guān)于相關(guān)3D內(nèi)容的信息
(映維網(wǎng)Nweon2023年01月10日)隨著3D信息可視化和處理技術(shù)的出現(xiàn),虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)在商業(yè)、學(xué)術(shù)和研究環(huán)境中的應(yīng)用將越來越廣泛。這類系統(tǒng)的用戶可以在3D“虛擬”或“增強(qiáng)”空間中查看項(xiàng)目的模型,用戶同時(shí)能夠使用語音和手勢(shì)等輸入方式在空間中設(shè)計(jì)和操縱3D組件。
為了促進(jìn)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)的可用性,允許用戶在其3D項(xiàng)目工作流期間以無縫和直觀的方式從互聯(lián)網(wǎng)檢索信息將十分有用。例如,當(dāng)從所選視角查看3D組件時(shí),虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)系統(tǒng)的用戶可能希望從在線搜索引擎檢索關(guān)于相關(guān)內(nèi)容的信息。
在名為“Online perspective search for 3d components”的專利申請(qǐng)中,微軟就提出了一種能夠促進(jìn)檢索與3D組件相關(guān)的在線信息的系統(tǒng)。
圖1示出了一個(gè)示例性場(chǎng)景。除了通過特定視角生成3D組件132的視圖之外,系統(tǒng)101同時(shí)可以向用戶110提供連接到本地網(wǎng)絡(luò)或萬維網(wǎng)的能力,同時(shí)對(duì)3D組件132執(zhí)行搜索操作。
例如,在使用3D組件132執(zhí)行工作流的同時(shí)從網(wǎng)絡(luò)或Web訪問信息,從而可以提高用戶110的生產(chǎn)力。特別地,當(dāng)從各種視角查看3D組件132時(shí),用戶110可以具有關(guān)于所生成的視圖的一個(gè)或多個(gè)查詢。例如,當(dāng)觀察心臟的左前表面時(shí),用戶110可以查詢關(guān)于心臟的特定附加信息。
在示例性實(shí)施例中,用戶110可以口頭表達(dá)這樣的查詢,并且計(jì)算機(jī)102可以將制定的查詢提交到位于這樣的網(wǎng)絡(luò)或萬維網(wǎng)的一個(gè)或多個(gè)數(shù)據(jù)庫,從而檢索相關(guān)信息。在示例性實(shí)施例中,這樣的數(shù)據(jù)庫可以對(duì)應(yīng)于搜索引擎,例如因特網(wǎng)搜索引擎。
計(jì)算機(jī)102可以從與用戶查詢相關(guān)的這樣的數(shù)據(jù)庫檢索結(jié)果。例如,響應(yīng)于針對(duì)“左心室變窄”的公式化用戶查詢,計(jì)算機(jī)102可以檢索相關(guān)結(jié)果并在圖像131內(nèi)呈現(xiàn)這樣的結(jié)果,例如文本、圖像或視頻等。這樣的信息可以幫助用戶110使用系統(tǒng)101更好地執(zhí)行他的任務(wù)。
圖2示出了一個(gè)示例性場(chǎng)景200,其中響應(yīng)于示例性公式化用戶查詢的結(jié)果235而呈現(xiàn)在圖像231中的3D組件132旁邊。
圖3示出了一個(gè)流程方法。在框310,用戶可以創(chuàng)建新的項(xiàng)目文件,或者從系統(tǒng)101檢索預(yù)先存在的項(xiàng)目文件。
在框320,用戶可以編輯或修改3D組件。3D組件可以存儲(chǔ)在項(xiàng)目文件中。例如,參考場(chǎng)景100,用戶110可以編輯與心臟模型相對(duì)應(yīng)的3D組件132,例如,添加注釋等。
在框325,用戶可以從一個(gè)或多個(gè)不同的所選視角觀看3D組件;在框330,用戶可以向系統(tǒng)提交信息查詢。例如,在場(chǎng)景100中,用戶110可以提交“左心室變窄”的查詢。
在框340,用戶可以從系統(tǒng)接收響應(yīng)于提交的查詢的結(jié)果。例如,在場(chǎng)景100中,這樣的結(jié)果可以對(duì)應(yīng)于系統(tǒng)101響應(yīng)于“左心室變窄”的查詢而檢索到的數(shù)據(jù)134。
如果用戶希望基于檢索到的結(jié)果來細(xì)化查詢,則用戶可以在框345制定細(xì)化查詢,并且工作流可以返回到框340以提交細(xì)化查詢。否則,在框320,用戶可以利用來自檢索到的結(jié)果的信息來繼續(xù)編輯/修改項(xiàng)目文件。
在一個(gè)實(shí)施例中,可以在選擇給定透視圖時(shí)自動(dòng)制定查詢的技術(shù)。例如,參考上文圖2的描述,為了在查看3D組件132的所選透視圖時(shí)形成諸如“左心室變窄”的查詢,用戶110自身必須具有心臟解剖方面的必要知識(shí)和經(jīng)驗(yàn),以準(zhǔn)確地識(shí)別所選透視視圖中所示的內(nèi)容,從而形成合理的查詢。
類似地,在其他領(lǐng)域(例如,科學(xué)、醫(yī)學(xué)、其他技術(shù)領(lǐng)域等)中制定3D組件的查詢可能需要用戶的大量知識(shí)和經(jīng)驗(yàn)。在這樣的場(chǎng)景中,可以提供一種補(bǔ)充用戶知識(shí)和/或自動(dòng)制定查詢以檢索給定透視圖的相關(guān)信息的能力。
圖4示出了一個(gè)替代示例性實(shí)施例。在框410,用戶可以創(chuàng)建新的項(xiàng)目文件,或者從系統(tǒng)101檢索預(yù)先存在的項(xiàng)目文件。
在框420,用戶可以編輯或修改3D組件;在框425,用戶可以從一個(gè)或多個(gè)不同的所選視角觀看3D組件。
在框430,用戶可以可選地請(qǐng)求對(duì)應(yīng)于所選視角的在線信息。在示例性實(shí)施例中,系統(tǒng)101可以接受但不需要用戶公式化和提交顯式查詢。在框430,用戶請(qǐng)求可以僅向系統(tǒng)101提供顯式信號(hào),以基于可用信息自動(dòng)制定搜索查詢(即不需要用戶明確制定查詢),并檢索與該查詢相對(duì)應(yīng)的結(jié)果。
工作流400不需要在框430處從用戶接收顯式請(qǐng)求以例如從框425繼續(xù)到框440。在示例性實(shí)施例中,可以響應(yīng)于系統(tǒng)101對(duì)搜索查詢的自動(dòng)制定和提交,例如基于在框420處執(zhí)行的編輯/修改,以及在框425處查看的3D組件的3D透視圖等,接收框440處的在線信息。
在框440,用戶可以從系統(tǒng)接收與3D組件和所查看的透視圖相關(guān)的在線信息。
如果用戶隨后希望提交不同的搜索,則用戶在框445可以細(xì)化搜索參數(shù),或者以其他方式向系統(tǒng)指示要執(zhí)行修改的搜索,并且工作流可以返回到框440。在示例性實(shí)施例中,細(xì)化搜索參數(shù)可以包括,基于在框440處已經(jīng)接收到的在線信息顯式地提供一個(gè)或多個(gè)搜索項(xiàng),和/或選擇所接收的在線信息中的一個(gè)或更多個(gè)結(jié)果以供進(jìn)一步調(diào)查等。
例如,參考圖2中的示例性場(chǎng)景200,數(shù)據(jù)235可以對(duì)應(yīng)于例如在框440處檢索的一個(gè)或多個(gè)結(jié)果。
注意,與圖3中的工作流300相比,工作流400的用戶不需要明確地制定和提交查詢,因?yàn)橄到y(tǒng)101可以基于用戶從中查看3D組件的一個(gè)或多個(gè)視角來自動(dòng)制定和提交查詢。因此,工作流400中的框430標(biāo)記為“可選”。
在示例性實(shí)施例中,系統(tǒng)可以基于所查看的視角自動(dòng)制定和提交查詢,并從在線搜索引擎檢索與查詢相關(guān)的信息。
圖5示出了用于實(shí)現(xiàn)上述功能的系統(tǒng)的示例性實(shí)施例500。
在圖5中,計(jì)算機(jī)510包括用于從用戶接收輸入、處理3D組件、向用戶呈現(xiàn)輸出以及與系統(tǒng)500的其他模塊通信的多個(gè)模塊。具體地,計(jì)算機(jī)510可以包括用于存儲(chǔ)和檢索包含3D組件的項(xiàng)目文件的模塊512。計(jì)算機(jī)510同時(shí)可以包括允許例如通過眼鏡130編輯、修改和顯示項(xiàng)目文件的模塊514。
計(jì)算機(jī)510可以包括處理例如由用戶110和/或計(jì)算機(jī)101生成的查詢的可選模塊516。計(jì)算機(jī)510可以進(jìn)一步包括將從在線引擎接收到的查詢響應(yīng)結(jié)果傳送給用戶的模塊518。
在示例性實(shí)施例中,計(jì)算機(jī)510可以實(shí)現(xiàn)為用戶可直接訪問的任何類型的計(jì)算機(jī),例如臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、智能手機(jī)等。在示例性實(shí)施例中,眼鏡130可以配置為執(zhí)行計(jì)算機(jī)510的功能。在一個(gè)示例性實(shí)施例中,計(jì)算機(jī)510可以結(jié)合上文參考場(chǎng)景100描述的計(jì)算機(jī)102和/或眼鏡130。
在示例性實(shí)施例中,計(jì)算機(jī)510的模塊512、514、516、518可以彼此通信以交換信息并順序或并行地執(zhí)行操作,如實(shí)現(xiàn)上文所述的工作流300或400所述。例如,模塊512可以連續(xù)存儲(chǔ)(例如,備份)通過模塊514編輯的項(xiàng)目文件,可以由框516處理顯式查詢,可以通過模塊518檢索和處理查詢結(jié)果以供模塊514顯示等等。
計(jì)算機(jī)510通過連接510a與服務(wù)器520通信,連接510a可以是例如有線、無線或任何其他類型的連接。
在示例性實(shí)施例中,模塊512可以通過信道512a在服務(wù)器520上存儲(chǔ)和檢索項(xiàng)目文件。模塊514可以通過信道514a與服務(wù)器520通信用戶對(duì)項(xiàng)目文件所做的編輯和修改。
例如,用戶110對(duì)項(xiàng)目文件的3D組件(例如場(chǎng)景100中的組件132)所做的修改可以通過信道514a傳送到服務(wù)器520。這樣的修改可以包括例如細(xì)節(jié),例如文本編輯、形狀編輯、所選擇和查看的項(xiàng)目文件的順序/順序、用戶選擇的用于查看3D組件的透視圖等。
在示例性實(shí)施例中,模塊514可以根據(jù)預(yù)配置的規(guī)則在信道514a選擇性地傳送這樣的細(xì)節(jié),例如,可以省略一定的細(xì)節(jié)而傳送其他細(xì)節(jié)。
可選模塊516可以通過信道516a與服務(wù)器520通信。具體地,模塊516可以接受由用戶明確制定的查詢,例如,如參考工作流300的框330所描述,并將這樣的用戶制定的查詢提交給服務(wù)器520。
可替換地,模塊516可以基于從工作流400收集的數(shù)據(jù)生成計(jì)算機(jī)制定的查詢,并將這樣的計(jì)算機(jī)制定的詢問提交給服務(wù)器520。模塊518可以通過信道518a從服務(wù)器520接收響應(yīng)于模塊516提交的查詢的結(jié)果。在特定示例性實(shí)施例中,可以省略模塊516,并完全在在線引擎530處執(zhí)行查詢公式。
在示例性實(shí)施例中,從模塊516傳送到服務(wù)器520的查詢可以用于在內(nèi)部或從另一個(gè)在線源檢索相關(guān)結(jié)果。在這樣的示例性實(shí)施例中,服務(wù)器520可以理解為執(zhí)行中間功能,將查詢從計(jì)算機(jī)510傳送到引擎530,和/或?qū)⒔Y(jié)果從引擎530傳送到計(jì)算機(jī)510等。其他細(xì)節(jié)也可以通過連接510a中未示出的一個(gè)或多個(gè)信道傳送,訪問文件或系統(tǒng)的頻率或時(shí)間等。
相關(guān)專利:
Microsoft Patent | Online perspective search for 3d components
https://patent.nweon.com/26348
名為“Online perspective search for 3d components”的微軟專利申請(qǐng)最初在2022年9月提交,并在日前由美國專利商標(biāo)局公布。