“意念寫字”效率提升,BCI技術開拓人機交互新天地
進行“意念寫字”時會在屏幕上呈現一個虛擬的鍵盤,鍵盤中的每個字符都以不同頻率進行編碼。當想拼寫某個字符的時候,只需看著這個字符,不同頻率的字符就會帶來不同的視覺刺激,從而誘發出特定模式的腦電波。
近日,美國斯坦福大學研究人員首次破譯了與手寫書信相關的大腦活動,并結合人工智能算法,實現“意念寫字”。這使得癱瘓者只需“腦補”手寫文字,他所想的文本就會實時顯示在屏幕上。
雖然通過腦機接口(BCI)技術實現意念操控已不是什么新鮮事,但此次讓癱瘓者想象自己書寫,從而將意念轉化為真實的文本,并達到90字符/分鐘的速度和99%的準確度也是非常令人驚喜的。這也讓人們看到了未來利用BCI技術實現高效意念操控和交流的希望。
BCI技術寫字的核心在編碼解碼
“腦機接口,顧名思義,就是大腦與計算機之間的一個接口,通過這個接口,大腦能夠實現與計算機信息的直接交流。反之,計算機也能夠通過這個接口把信息直接加載到腦子里。”天津腦科學中心主任助理、天津大學醫學工程與轉化醫學研究院許敏鵬副教授介紹,在現階段,腦機接口研究主要集中在解讀大腦意圖方面,根據傳感方式的不同,可分為非侵入式BCI和侵入式BCI。
前述美國斯坦福大學“意念寫字”的研究,是利用了侵入式BCI技術。研究者將兩個微小的傳感器植入癱瘓者大腦控制手和手臂的區域,每個傳感器都含有96個電極,當癱瘓者想象寫字時,團隊利用傳感器從單個神經元中拾取信號,再通過機器學習算法識別出他的大腦隨每個字母產生的模式。
“侵入式BCI需要通過外科手術,將信號檢測電極植入大腦皮層。”許敏鵬表示,侵入式BCI可直接提取神經信號,具有較高的信噪比;但存在長期生物相容性等瓶頸問題,且電極周圍微環境的變化容易對信號質量帶來影響,不利于長時間采集。
非侵入式BCI則是將電極放置在頭皮部位得到頭皮腦電信號,具有安全無創、優良的全腦同步記錄等優勢,因此目前在教育、醫療、航天等眾多領域顯示了更加廣泛的應用前景。
“用非侵入式BCI也能實現‘意念寫字’。”許敏鵬介紹,2021年春節,天津大學神經工程團隊研發的“哪吒”腦控智臂機器人系統,利用戴在兩位協作者頭上的“電極帽”捕獲他們的頭皮腦電波,經過解碼融合各方的合作意圖指令,控制機械臂寫出了一個“福”字。
“無論是侵入式還是非侵入式的BCI‘意念寫字’,背后都是一套復雜的編碼與解碼過程。”許敏鵬解釋,進行“意念寫字”時,無論英文還是中文都會在屏幕上呈現一個虛擬的鍵盤,鍵盤中的每個字符都以不同頻率進行編碼。當想拼寫某個字符的時候,只需看著這個字符,不同頻率的字符就會帶來不同的視覺刺激,從而誘發出特定模式的腦電波。腦機接口設備捕捉到腦電波信號,然后通過算法解碼腦電波模式,就能確定看的是哪個字符。
斯坦福大學此次研究通過“腦補”手寫筆跡,大幅度提高了“意念”書寫的速度,主要是因為科研人員在對腦電信號的解碼方面取得了突破。研究人員首次破譯了與手寫字母相關的大腦活動,通過每個字母引發腦電波的高度不同的活動模式,使算法相對容易地將不同字母區分開。
使用BCI技術寫字還需排除“雜念”
在電視報道中,我們經常能見到如下的場景,肢體活動受限的人只需盯著電腦屏幕,轉動眼球,便可控制鼠標移動,再通過眨眼或長時間凝視選定目標,就能寫字、畫畫。比如霍金通過一套眼部動作—數據信息—語音的轉換設備,最終在語音合成器的幫助下實現發聲,轉換設備由此輔助霍金和外界溝通。
“眼動追蹤是一種通過記錄被試者眼睛的位置和運動來跟蹤被試者視線落點,并分析其視覺行為的人機交互技術方法,即用目光控制機器。看似和BCI進行書寫的技術有點像,其實二者有著本質的區別。”許敏鵬解釋,BCI需要檢測大腦的神經活動信號并將受試者的意圖解析為實際的控制指令,簡單來說,就是實現用腦電控制機器;而眼動儀主要是對受試者眼睛的運動和位置進行追蹤,并計算出受試者視線落點的位置,以此來判斷受試者實際意圖。
“眼動儀會受到器材位置的局限性影響,而BCI就不會存在這個問題。但目前腦信息采集還是需要受試者主動配合,甚至為了準確性需要先進行一定量的訓練。”許敏鵬舉例,如在利用BCI寫福字時,受試者眼睛要盯著屏幕上的視圖書寫板,確定字的筆畫起點和終點,然后連線寫出一筆。如果沒有經過訓練,這個字寫出來可能不會很工整。
“在實際應用時,大腦很長時間都會處于一個非任務狀態。我們使用BCI系統的時候,理想的使用狀態是我們在需要將意圖付諸實踐時BCI開關開啟,而在非任務即無意識的想法狀態時,BCI開關關閉(不輸出響應)。”許敏鵬表示,解決這個問題,就需要BCI的一個實用化形式——異步腦機接口。這種BCI就是通過對大腦信息的實時采集分析,分辨想要付諸實踐的意圖和無意識的想法,只有當檢測出用戶有想要付諸實踐的意圖時才會開啟BCI開關,這在很大程度上增加了BCI系統的實用性。
BCI技術的應用開拓了人機交互新天地
“侵入式BCI具有較高的信噪比和良好的時間、空間分辨率,馬斯克最新發布的‘LINK V0.9’就屬于侵入式BCI技術。”許敏鵬表示,但侵入式BCI需要研發具有高靈敏度和高穩定性的電極陣列,以記錄目標神經元集群的信號,同時最小化環境干擾。另一方面,電極材料、結構等的選擇與設計,長期記錄電極性能的評價,植入點周圍微環境的變化等方面因素也是阻礙侵入式BCI發展的難題。
比如,在斯坦福大學這項最新的“意念寫字”研究中,研究人員就擔心其大腦中植入的電極陣列會由于微小的移動以及疤痕的形成,對讀取神經信號的效果有所影響,因此必須要定期重新校準。同時,系統的“壽命、安全性和有效性”還有待進一步證明。
我國的非侵入式BCI研究在腦機編解碼關鍵技術、BCI系統與應用方面都有較好的基礎,達到并跑世界先進水平,部分技術成果領先國際先進水平。“但由于大腦皮層活動產生的神經電信號穿過顱骨等組織層后,信號質量大大削弱,并損失了大量有關大腦皮層神經電活動信號源的時空分布信息。”許敏鵬介紹,“所以非侵入式BCI的一個重大難點是要從噪聲大、含有有限信息的信號中,實現有效的特征提取和模式識別。”此外,另一個難點是如何在保證足夠小的設計尺寸下,將腦電刺激編碼、信號采集、信號傳輸以及信號解碼等多種功能模塊進行高度集成,以滿足實際場景下的使用需求。
雖然還有許多需要解決的技術難題,但是BCI技術在醫療、軍事、工業等領域都有廣闊的應用前景,開拓了前所未有的人機交互新天地。
許敏鵬舉例,目前這項技術在航天等領域有巨大的應用價值,能為航天員等特殊人群提供肢體約束環境下的“第三只手”和神經功能層面融合的自適應自動化人機協作,幫助他們完成更多更復雜的工作任務。2016年,在我國天宮二號與神舟十一號載人飛行任務中,天津大學團隊與中國航天員科研訓練中心合作開展了國際首次在軌腦機交互實驗,充分驗證了BCI技術的在軌適用性,對未來深入開展人—智能機器人聯合深空探測起到了關鍵推動作用。
腦控無人機技術還可以廣泛應用在軍事領域,可用于室內搜索、戰場巡查、異常監控等場景。以腦控無人機系統為例,當前的腦控無人機系統可以移植到VR或者AR平臺上,由此可擺脫屏幕的限制,單兵作戰時,士兵可佩戴VR或AR眼鏡,通過AR顯示混合現實SSVEP刺激界面,在控制無人機的同時,觀察周圍環境,與此同時還可手持武器,保證自身的安全。
“終有一天,腦機接口技術將顛覆我們現有的人機交互方式。人與人之間的交流不僅僅停留在語音或者文字上,還可以通過心靈。”許敏鵬樂觀地表示,“也許幾年后,BCI裝置就會像消費電子品一樣進入到我們的現實生活中。我們可以把它戴在頭上,與手機相連,控制接聽電話、打字等,也可以和家里的智能家電相連,比如開關燈,開帶有密碼鎖的門,控制電視和空調等。當然還有很多技術問題需要解決,我們正在努力攻關中。”(陳 曦)
相關閱讀
- (2022-11-02)微信鍵盤0.9.5測試版發布 本次更新帶來一些新功能及體驗優化
- (2022-11-02)支付寶花唄一分為二 信用購服務首次參與雙11
- (2022-09-09)加強科普能力建設 推進科普發展新格局
- (2022-08-25)科普工作發力改革創新 抓好公民科學素質提升
- (2022-08-24)九部門支撐“雙碳”科技創新 推動煤炭清潔高效利用
- (2022-04-01)陜西提高全民科學素質 培養科普理論研究人才
熱點推薦
- (2023-01-06)當前熱文:1月6日外匯市場行情走勢分析:歐元/美元上漲 歐洲各國通脹率差異大
- (2023-01-06)微動態丨今日六大貨幣對多空情緒分析報告(2023/1/6)
- (2023-01-06)觀天下!外匯市場行情走勢分析:美元指數越來越顯示出逆轉的跡象
- (2023-01-06)外匯市場最新行情走勢展望:澳元/美元將延續盤整
- (2023-01-06)天天觀速訊丨中信建投期貨1月6日交易策略
- (2023-01-06)最資訊丨經濟觀察 | 中國跨境電商“加速跑” 從規模型跑量向品牌塑造轉變
最近更新
- (2023-01-06)當前熱文:1月6日外匯市場行情走勢分析:歐元/美元上漲 歐洲各國通脹率差異大
- (2023-01-06)微動態丨今日六大貨幣對多空情緒分析報告(2023/1/6)
- (2023-01-06)觀天下!外匯市場行情走勢分析:美元指數越來越顯示出逆轉的跡象
- (2023-01-06)外匯市場最新行情走勢展望:澳元/美元將延續盤整
- (2023-01-06)天天觀速訊丨中信建投期貨1月6日交易策略
- (2023-01-06)最資訊丨經濟觀察 | 中國跨境電商“加速跑” 從規模型跑量向品牌塑造轉變
- (2023-01-06)“惠民保”要更惠民
- (2023-01-06)強鏈保供守好經濟生命線
- (2023-01-06)每日熱議!新茶飲研究報告:新茶飲線上訂單占比顯著提升
- (2023-01-06)焦點速訊:我國國產體外膜肺氧合治療(ECMO)產品獲批上市
- (2023-01-06)XM外匯:美國原油庫存增加,WTI油價自周線低位反彈,攀升至73.50美元附近
- (2023-01-06)世界熱議:嘉盛集團:美元全盤走強,紐元/美元下跌處在兩日低位0.6210附近
- (2023-01-06)環球精選!歐元區最新數據預測:歐元區12月調和CPI年率-未季調初值(%)預期值 9.7,或利好歐元
- (2023-01-06)今日外匯市場主要貨幣阻力支撐位預測(2023/1/6)
- (2023-01-06)環球即時:今日重點關注的財經數據和事件及主要數據解讀(2023年1月6日)
- (2023-01-06)世界新動態:加快油茶產業發展三年行動方案印發
- (2023-01-06)環球微動態丨年貨節助力市場活力持續釋放
- (2023-01-06)全球快看點丨新疆阿克蘇地區著力打造能源資源產業基地
- (2023-01-06)全球熱頭條丨市場監管總局指導免稅行業健康有序發展
- (2023-01-06)開曼群島元怎樣換算英鎊?開曼群島元對美元匯率是多少?
- (2023-01-06)黎巴嫩磅對人民幣匯率怎樣?1000黎巴嫩磅是多少英鎊?
- (2023-01-06)老撾基普對人民幣匯率如何?1萬老撾基普等于多少美元?
- (2023-01-06)100泰銖等于多少人民幣?泰銖怎樣兌換馬來西亞元?
- (2023-01-06)臺幣與澳門元匯率怎樣兌換?2000臺幣等于多少人民幣?
- (2023-01-06)世界今亮點!上海技能人才工資增幅為近三年最高
- (2023-01-06)焦點速看:外匯主要貨幣對技術分析:美元、歐元、英鎊、日元、澳元(2023/1/5)
- (2023-01-06)今日最新!1月5日外匯市場行情走勢分析:由于市場懷疑美聯儲的承諾,歐元兌美元突破步履蹣跚
- (2023-01-06)世界熱資訊!1月5日外匯市場行情走勢分析:美元兌日元處于關鍵匯合區,美國數據即將公布
- (2023-01-06)當前資訊!今日晚間白銀行情分析(2023年1月5日)
- (2023-01-06)1月6日重點數據和大事件前瞻