人類通過(guò)“五感”,即視覺(jué)、聽覺(jué)、觸覺(jué)、嗅覺(jué)和味覺(jué),來(lái)感知周圍的世界,并基于此與外界進(jìn)行信息交互。
在這些感官中,觸覺(jué)扮演著傳遞信息和情感的重要角色,它能夠使人們感知力覺(jué)、滑覺(jué)、溫濕度、柔軟度、紋理等多種信息。
觸覺(jué)技術(shù)有望在多個(gè)領(lǐng)域應(yīng)用,例如元宇宙、機(jī)器人、可穿戴設(shè)備、沉浸式游戲、模擬手術(shù)、教育培訓(xùn)、遠(yuǎn)程操作等。這也意味著,觸覺(jué)反饋設(shè)備(例如觸覺(jué)手套、觸覺(jué)可穿戴設(shè)備、觸覺(jué)外骨骼等)在市場(chǎng)具有良好的發(fā)展前景。
國(guó)際技術(shù)研究和市場(chǎng)咨詢公司 IDTechEx 在《觸覺(jué) 2025-2035:技術(shù)、市場(chǎng)、參與者》報(bào)告中預(yù)測(cè),到 2035 年,觸覺(jué)技術(shù)市場(chǎng)規(guī)模將達(dá)到 71 億美元,2024 年至 2035 年的復(fù)合年增長(zhǎng)率為 4.4%[1]。
圖丨全球觸覺(jué)技術(shù)市場(chǎng)(來(lái)源:IDTechEx)
實(shí)際上,盡管計(jì)算平臺(tái)經(jīng)過(guò)了 30 多年的發(fā)展,交互方式的演變主要還集中在視覺(jué)和聽覺(jué)信息上,觸覺(jué)反饋技術(shù)的應(yīng)用仍然處于起步階段。
不過(guò),近年來(lái),全球的科研團(tuán)隊(duì)已經(jīng)開始積極地探索觸覺(jué)反饋技術(shù)領(lǐng)域。例如,北京航空航天大學(xué)王黨校教授團(tuán)隊(duì)在 npj Flex Electron 中,提出了一種“主動(dòng)電子皮膚”(AE-Skin,Active Electronic Skin)的概念 [2]。
該技術(shù)的核心在于模擬人類皮膚的感覺(jué)能力,通過(guò)在物理表面上部署這種“皮膚”,可以實(shí)現(xiàn)動(dòng)態(tài)多模式的觸覺(jué)顯示和觸覺(jué)傳感。
研究人員根據(jù)不同的互動(dòng)場(chǎng)景需求,選擇合適的觸覺(jué)模態(tài)和傳感信號(hào),并采用相應(yīng)的材料和制造方法來(lái)制備相應(yīng)的執(zhí)行器或傳感器。這些技術(shù)的結(jié)合使用,為用戶提供了沉浸式的互動(dòng)體驗(yàn)。
圖丨AE-Skin 的潛在應(yīng)用場(chǎng)景(來(lái)源:npj Flex Electron)
根據(jù)論文,在實(shí)際應(yīng)用中,AE-Skin 技術(shù)在物理世界和數(shù)字世界展現(xiàn)出巨大的潛力。例如,在智能家居環(huán)境中,通過(guò)在墻面上部署 AE-Skin,可以模擬出不同的材質(zhì)紋理,如硅藻土、石材和陶瓷,為用戶提供豐富的觸覺(jué)體驗(yàn)。
在智能汽車中,集成了 AE-Skin 的方向盤能夠監(jiān)測(cè)駕駛員的生理和行為參數(shù),如握持壓力和握持位置,在駕駛疲勞或不合規(guī)駕駛時(shí)發(fā)出振動(dòng)警告。
在智能博物館中,AE-Skin 能夠通過(guò)動(dòng)態(tài)圖案和溫度反饋增強(qiáng)展品的生動(dòng)性和真實(shí)性,為參觀者提供沉浸式的互動(dòng)體驗(yàn)。
研究人員對(duì) AE-Skin 提出了四個(gè)潛在的發(fā)展方向,包括:
首先,計(jì)劃深入研究皮膚交互的力學(xué)原理、感知生理學(xué)以及觸幻覺(jué)效應(yīng)等基礎(chǔ)理論,這將為 AE-Skin 的設(shè)計(jì)和性能評(píng)估提供堅(jiān)實(shí)的理論支撐。
其次,致力于研究觸覺(jué)呈現(xiàn)系統(tǒng)的能源供應(yīng)和低能耗技術(shù),同時(shí)探索如何將多種觸覺(jué)模態(tài)融合,以實(shí)現(xiàn)更精準(zhǔn)的空間、時(shí)間和語(yǔ)義配準(zhǔn),從而提升交互體驗(yàn)的沉浸感和真實(shí)性。
再次,探索驅(qū)動(dòng)器和傳感器的空間配準(zhǔn)方法,以及功能適配和數(shù)據(jù)傳輸與處理技術(shù),旨在構(gòu)建一個(gè)高度集成的驅(qū)動(dòng)感知一體化交互系統(tǒng)。
最后,探究視觸覺(jué)融合呈現(xiàn)技術(shù),以實(shí)現(xiàn) AE-Skin 觸覺(jué)信息與虛擬場(chǎng)景或電子屏幕等視覺(jué)信息之間的時(shí)空一致性配準(zhǔn),這將進(jìn)一步增強(qiáng)用戶體驗(yàn)的自然性和無(wú)縫性。
通過(guò)這些方向的研究,AE-Skin 技術(shù)有望在未來(lái)實(shí)現(xiàn)更豐富和更高效的交互體驗(yàn)。
(來(lái)源:npj Flex Electron)
DeepTech 發(fā)現(xiàn),觸覺(jué)技術(shù)正在向?qū)W科交叉和更多技術(shù)融合方向發(fā)展。
例如,西湖大學(xué)學(xué)院姜漢卿教授課題組與美國(guó)西北學(xué)約翰羅杰斯(John Rogers)教授等課題組合作,在 Nature 上報(bào)道了一種新型的多模態(tài)觸覺(jué)模擬方法及智能穿戴裝置 [3]。
該研究展示了一種新型的生物彈性觸覺(jué)模擬換能器,通過(guò)皮膚機(jī)械能量的儲(chǔ)存與恢復(fù),實(shí)現(xiàn)了高效的多模態(tài)觸覺(jué)模擬及反饋,為生物醫(yī)學(xué)和多模態(tài)觸覺(jué)模擬反饋技術(shù)提供了新的視角。
另一方面,AI 在觸覺(jué)技術(shù)中也發(fā)揮著重要的作用。上海交通大學(xué)劉景全教授、盧策吾教授團(tuán)隊(duì)在 Nature Communications 報(bào)告了一種基于機(jī)器學(xué)習(xí)、用于操作的視覺(jué)-觸覺(jué)記錄和跟蹤系統(tǒng) ViTaM[4]。
這個(gè)系統(tǒng)配備了擁有 1152 個(gè)力敏通道的可伸縮觸覺(jué)手套,以及視覺(jué)與觸覺(jué)相結(jié)合的學(xué)習(xí)框架,能夠?qū)Σ僮鬟^(guò)程中手與物體的互動(dòng)動(dòng)態(tài)進(jìn)行評(píng)估。
他們開發(fā)了一種主動(dòng)抑制技術(shù),該技術(shù)基于對(duì)稱響應(yīng)檢測(cè)和自適應(yīng)校準(zhǔn),成功達(dá)到了 97.6% 的測(cè)力準(zhǔn)確度。
研究人員對(duì)包括可變形和剛體在內(nèi)的 6 類 24 個(gè)物體進(jìn)了實(shí)驗(yàn),所有序列的平均重建誤差僅為 1.8cm,證明了在操縱具有不同程度可變形性的物體時(shí),復(fù)制類知識(shí)的普遍能。
圖丨ViTaM 系統(tǒng)概述(來(lái)源:Nature Communications)
觸覺(jué)技術(shù)在更廣泛的應(yīng)用方面,青島大學(xué)田明偉教授團(tuán)隊(duì)受海星管足啟發(fā),開發(fā)了一種能夠識(shí)別手勢(shì)的手套,其中包含雙層微柱互鎖結(jié)構(gòu)柔性觸覺(jué)傳感器 [5]。
這種觸覺(jué)手套在實(shí)現(xiàn)高靈敏度(0.04kPa-1)、寬檢測(cè)范圍(5kPa-450kPa)、快速響應(yīng)時(shí)間(23ms)和出色耐久性(~10000 次)的同時(shí),還兼具防性能。
通過(guò)與機(jī)器學(xué)習(xí)算法的結(jié)合,成功地實(shí)現(xiàn)了智能識(shí)別 16 種下常用手勢(shì),大幅度擴(kuò)展了潛水員的有效通信能力,并在水下通信領(lǐng)域表現(xiàn)出應(yīng)用潛力。
(來(lái)源:ACS Nano)
在推動(dòng)觸覺(jué)產(chǎn)品落地方面,新加坡國(guó)立大學(xué)林水德(Lim Chwee Teck)教授課題組開發(fā)了一款便攜式、高度靈活的觸覺(jué)手套 HaptGlove[6]。
不僅能夠通過(guò) AI 捕捉用戶數(shù)據(jù),還為醫(yī)療提供者和患者在元宇宙中的互動(dòng)提供了實(shí)時(shí)的觸覺(jué)反饋。
與市面上其他類似產(chǎn)品相,他們所研發(fā)的觸覺(jué)手套更輕便,僅重 250 克。
HaptGlove 使用該課題組所開發(fā)的專有軟件,可將視覺(jué)觸、覺(jué)延遲在 20 毫秒以內(nèi),進(jìn)而提供近乎實(shí)時(shí)的用戶體驗(yàn)。并且,基于此精準(zhǔn)捕捉手指運(yùn)動(dòng),提供物體的硬度、形狀、大小等觸覺(jué)反饋。
HaptGlove 的應(yīng)用場(chǎng)景包括游戲、醫(yī)療和教育領(lǐng)域等,例如通過(guò)模擬超現(xiàn)實(shí)環(huán)境幫助外科醫(yī)生更好地準(zhǔn)備手術(shù),或通過(guò)模擬不同身體部位的觸診為學(xué)生提供實(shí)踐學(xué)習(xí)體驗(yàn)。
圖丨用戶使用 HaptGlove(來(lái)源:新加坡國(guó)立大學(xué))
此外,美國(guó)麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室開發(fā)了一種多功能智能手套,集成了觸覺(jué)傳感器和振動(dòng)觸覺(jué)單元 [7]。通過(guò)先進(jìn)的數(shù)字機(jī)繡技術(shù),這些傳感器和執(zhí)器被精確地嵌到織物中,實(shí)現(xiàn)了可定制的空間分辨率和布局。
手套基于機(jī)器學(xué)習(xí)框架,采用成本低廉的商業(yè)材料,在能夠快速制成的同時(shí),還保持了紡織品的柔軟性、形狀穩(wěn)定性和適應(yīng)性。
(來(lái)源:Nature Communications)
總體來(lái)說(shuō),觸覺(jué)技術(shù)的發(fā)展正推動(dòng)著人機(jī)交互向全新的維度發(fā)展。從智能家居到元宇宙,從醫(yī)療模擬到水下通信,觸覺(jué)技術(shù)的應(yīng)用前景廣闊,它不僅增強(qiáng)了人們的感官體驗(yàn),也有望為特定行業(yè)提供革命性的解決方案。
參考資料:
1.https://www.idtechex.com/en/research-article/haptics-technology-market-to-grow-to-us-7-1b-by-2035/31731
2.Guo, Y., Wang, Y., Tong, Q. et al. Active electronic skin: an interface towards ambient haptic feedback on physical surfaces. npj Flex Electron 8, 25 (2024). https://doi.org/10.1038/s41528-024-00311-5
3.Flavin, M.T., Ha, KH., Guo, Z. et al. Bioelastic state recovery for haptic sensory substitution. Nature635, 345352 (2024). https://doi.org/10.1038/s41586-024-08155-9
4.Jiang, C., Xu, W., Li, Y. et al. Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array. Nature Communications 15, 9513 (2024). https://doi.org/10.1038/s41467-024-53654-y
5.Liu,J. et al.Underwater Gesture Recognition Meta-Gloves for Marine Immersive Communication. ACS Nano 18, 16, 1081810828(2024). https://doi.org/10.1021/acsnano.3c13221
6.https://news.nus.edu.sg/novel-vr-glove-levels-up-user-experience-in-the-metaverse-with-a-more-realistic-sense-of-touch/
7.Luo, Y., Liu, C., Lee, Y.J. et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nature Communications 15, 868 (2024). https://doi.org/10.1038/s41467-024-45059-8
運(yùn)營(yíng)/排版:何晨龍