[Note] High-performance brain-to-text communication via imagined hand writing

Willy Lan
Apr 22, 2021

#前沿研究

真的很配服跟欣賞歐美前沿研究的無私分享文化,會很佛的把研究的程式跟資料集放上網路,同時在研究論文的撰寫上還很鉅細彌遺。

無線式腦部溝通介面

同事分享了個美國腦科學組織BrainGate所做的無線式腦部溝通介面(BCI),腦部打洞植電極後,再透過無線傳輸把訊號傳出,突破過往有線方案無法24小時擷取訊號的限制。 實驗者是身體癱瘓者,透過支援的運算設備解碼腦部訊號後,可以讓實驗者達到電腦視窗點擊,並能一個一個選取字的能力。

傳送門:BrainGate’s Wireless BCI project: https://spectrum.ieee.org/the-human-os/biomedical/devices/people-paralysis-command-computers-wirelessly

#延伸閱讀 #腦部訊號轉文字

前述提到打字的能力比較是手機鍵盤打字只用單隻手指,速度其實很慢。而這個研究機構2020有一篇發表很有趣,是在探尋將腦部訊號轉文字的可能。 先讓實驗者看著實驗顯示器顯示的單字,再同時擷取當下的訊號。而當之後實驗者要輸出訊息時,實驗者只要想像想寫出什麼字,就能透過些AI模型來轉出文字輸出。 結果做出來的效果蠻驚人的,可以達到 90個characters/每分鐘。

[link]: https://www.biorxiv.org/content/10.1101/2020.07.01.183384v1.full.pdf

以下是他們很佛心釋出的實驗程式跟資料集
1. Github(Script): Francis R. Willett Research Scientist at the Neural Prosthetics Translational Laboratory at Stanford University. https://github.com/fwillett/handwritingBCI
2. Datasets: https://datadryad.org/stash/dataset/doi:10.5061/dryad.wh70rxwmv

--

--