【中科院＆香港大學(xué):使用新方法進(jìn)行多任務(wù)學(xué)習(xí)的可穿戴傳感器內(nèi)儲(chǔ)層計(jì)算】

傳感器內(nèi)多任務(wù)學(xué)習(xí)不僅是生物視覺的關(guān)鍵優(yōu)點(diǎn)，也是人工智能的主要目標(biāo)。然而，傳統(tǒng)的硅視覺芯片存在大量時(shí)間以及能量開銷。此外，訓(xùn)練傳統(tǒng)的深度學(xué)習(xí)模型在邊緣設(shè)備上既不可擴(kuò)展也不可負(fù)擔(dān)。

在這里，中科院和香港大學(xué)的研究團(tuán)隊(duì)提出了一種材料算法協(xié)同設(shè)計(jì)來模擬人類視網(wǎng)膜的學(xué)習(xí)范例，并且低開銷?；诰哂杏行Ъぷ咏怆x和貫穿空間電荷傳輸特性的瓶刷形半導(dǎo)體 p-NDI，開發(fā)了一種基于可穿戴晶體管的動(dòng)態(tài)傳感器儲(chǔ)層計(jì)算系統(tǒng)，該系統(tǒng)在不同任務(wù)上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。

與憶阻有機(jī)二極管上的「讀出功能」相結(jié)合，RC 可識(shí)別手寫字母和數(shù)字，并對(duì)各種服裝進(jìn)行分類，準(zhǔn)確率分別為 98.04%、88.18% 和 91.76%（高于所有已報(bào)告的有機(jī)半導(dǎo)體）。

除了二維圖像，RC 的時(shí)空動(dòng)態(tài)自然地提取基于事件的視頻的特征，以 98.62% 的準(zhǔn)確率對(duì) 3 種類型的手勢(shì)進(jìn)行分類。此外，計(jì)算成本明顯低于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作為經(jīng)濟(jì)實(shí)惠且高效的光子神經(jīng)形態(tài)系統(tǒng)提供了一種有前途的材料算法協(xié)同設(shè)計(jì)。

人類視網(wǎng)膜不僅可以感知，還可以通過收集豐富的動(dòng)態(tài)信號(hào)同時(shí)處理光信號(hào)，從而加速下游視覺皮層中任務(wù)相關(guān)的學(xué)習(xí)。視網(wǎng)膜和視覺皮層的協(xié)同作用是大腦高效、緊湊和快速學(xué)習(xí)多任務(wù)處理能力的基礎(chǔ)，也是通用人工智能 (AGI) 的基本目標(biāo)。

相比之下，具有物理分離的感測(cè)、處理和存儲(chǔ)單元的傳統(tǒng)硅視覺芯片會(huì)因這些單元之間大量和頻繁的數(shù)據(jù)穿梭而產(chǎn)生大量時(shí)間和能量開銷，以及順序模數(shù)轉(zhuǎn)換，這是潛在能源效率的基本限制。摩爾定律的放緩進(jìn)一步加劇了這種情況。此外，傳統(tǒng)深度學(xué)習(xí)模型中的學(xué)習(xí)，例如時(shí)間信號(hào)的遞歸神經(jīng)網(wǎng)絡(luò)，在非常具體的任務(wù)上采用乏味的訓(xùn)練（例如，通過時(shí)間反向傳播的梯度下降，BPTT），這在電池接入和外形尺寸有限的邊緣設(shè)備上既不可擴(kuò)展也負(fù)擔(dān)不起。

人們付出了巨大的努力來模擬人類視網(wǎng)膜和負(fù)擔(dān)得起的學(xué)習(xí)范式。材料方面，無機(jī)光響應(yīng)二維半導(dǎo)體，例如具有缺陷和雜質(zhì)位點(diǎn)的 MoS2、具有與 Sn 和 S 相關(guān)的雙型缺陷態(tài)的 SnS、層狀含黑磷的氧化相關(guān)缺陷、表現(xiàn)出強(qiáng)光控效應(yīng)的鈣鈦礦量子點(diǎn) 、能夠捕獲和釋放電子的 h-BN/WSe2 異質(zhì)結(jié)構(gòu)和表現(xiàn)出價(jià)態(tài)變化的 MoOx 是人工視網(wǎng)膜應(yīng)用泛的材料。另外，具有內(nèi)在生物相容性、可穿戴性和可擴(kuò)展性的有機(jī)半導(dǎo)體，如 PDVT-10、摻雜葉綠素的 PDPP4T 和并五苯/絲和 CDs 雙層，以更忠實(shí)的方式模擬了生物對(duì)應(yīng)物。

在算法方面，儲(chǔ)層計(jì)算 (RC) 通過收集固定動(dòng)態(tài)系統(tǒng)的衰落記憶將時(shí)間信號(hào)非線性地投射到特征空間，被認(rèn)為是一種有前途的邊緣學(xué)習(xí)解決方案。由于 RC 的學(xué)習(xí)于長(zhǎng)期記憶的讀出層，因此與傳統(tǒng)的深度學(xué)習(xí)模型相比，訓(xùn)練成本顯著降低。然而，它仍然沒有設(shè)計(jì)出一種配對(duì)的材料算法來結(jié)合高效的人工視網(wǎng)膜和負(fù)擔(dān)得起的基于 RC 的邊緣學(xué)習(xí)，從而釋放仿生神經(jīng)形態(tài)視覺的多任務(wù)潛力。

在這里，中科院和香港大學(xué)的研究人員提出了一種材料算法協(xié)同設(shè)計(jì)，一種具有高效激子解離和全空間電荷傳輸特性的光響應(yīng)半導(dǎo)體聚合物 (p-NDI)，以構(gòu)建用于多任務(wù)模式分類的傳感器內(nèi) RC。靈活的神經(jīng)形態(tài)設(shè)備基于具有 p-NDI 半導(dǎo)體通道的三端晶體管。由于其出色的光響應(yīng)行為和非線性衰落記憶，該設(shè)備能夠同時(shí)就地感知、記憶和預(yù)處理光學(xué)輸入（即對(duì)比度增強(qiáng)和降噪）。

此外，聚合物中激子解離/電荷復(fù)合動(dòng)力學(xué)、光選通效應(yīng)和貫穿空間電荷傳輸特性之間的協(xié)同作用使得基于晶體管的動(dòng)態(tài)RC系統(tǒng)在不同任務(wù)上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。這些基于 RC 的視網(wǎng)膜與在憶阻有機(jī)離子凝膠二極管上實(shí)現(xiàn)的「讀出功能」配對(duì)。

所有有機(jī)光電材料提供的信號(hào)預(yù)處理和動(dòng)態(tài)RC的協(xié)同功能，在識(shí)別手寫字母和數(shù)字以及對(duì)各種服裝進(jìn)行分類方面的準(zhǔn)確率，分別達(dá)到 98.04%、88.18% 和 91.76%，這意味著服裝風(fēng)格和尺寸的多任務(wù)學(xué)習(xí)。系統(tǒng)的總體準(zhǔn)確率為 88.00%，不僅可以正確識(shí)別衣服，還可以正確識(shí)別衣服的尺碼。盡管是 2D 圖像，但 RC 的時(shí)空動(dòng)態(tài)被用來對(duì)左手揮手、右手揮手和拍手手勢(shì)的基于事件的視頻進(jìn)行分類，準(zhǔn)確率為 98.62%。

不過，這種基于 p-NDI 晶體管的 RC 不含突觸有機(jī)電化學(xué)晶體管中廣泛使用的液體電解質(zhì)，從而增強(qiáng)了可擴(kuò)展性和可操作性。這項(xiàng)工作為具有多任務(wù)學(xué)習(xí)能力的可穿戴、價(jià)格合理且高效的光子神經(jīng)形態(tài)系統(tǒng)提供了一種有前途的材料-算法協(xié)同設(shè)計(jì)策略。