啓用深度學習的摩擦智能襪子，用于基于物聯網的步態分析和VR應用
可穿戴電子設備的最新發展迅速推動了人工智能和物聯網的時代。步態揭示了日常生活中的感官信息，其中包含有關身份和醫療保健的個人信息。當前的步態分析可穿戴電子設備主要受制于高制造成本，操作能耗或劣等分析方法，這些方法幾乎不涉及機器學習或實現需要大量數據集進行訓練的非最優模型。
新加坡國立大學智能傳感器和MEMS中心（CISM）與混合集成柔性電子系統（HIFES）等跨部門團隊開發了低成本的摩擦智能襪，用于從低頻人體運動中收集能量以傳輸無線傳感數據。相關論文發表于npj Flexible Electronics，《Deep learning-enabled triboelectric smart socks for IoT-based gait analysis and VR applications》。
配備有自供電功能的襪子還可用作可穿戴傳感器，以傳遞有關用戶的身份，健康狀況和活動的信息。爲了進一步解決無效的分析方法的問題，提出了一種優化的深度學習模型，該模型在步態分析的襪子信號上具有端到端結構， 13個參與者的93.54％的識別准確率，並檢測出五種不同的人類活動准確率爲96.67％。爲了實現實際應用，在虛擬空間中映射通過襪子收集的物理信號，以建立用于運動監控，醫療保健，身份識別和未來智能家居應用的數字人系統。
啓用深度學習的襪子的示意圖和未來前景
智能襪子將幫助可穿戴電子設備向數字化人類發展，以實現多種應用：物聯網應用的能量收集，VR健身遊戲的人體活動監控以及智能家居應用的步態識別。
開發的具有感應功能的摩擦智能襪子，可以對用戶的身體狀況進行更全面的長期監控。此外，這種智能襪子將是一種可行的選擇，可以消除人體自然運動産生的低頻能量，爲藍牙模塊供電，並在IoT框架下傳輸嵌入式溫度傳感器檢測到的體溫值。設計和開發了基于紡織品的摩擦電壓力傳感器，將其嵌入在商用襪子中以進行步態監測。自産生的輸出電壓從備件外部電源進行操作的摩擦電傳感器相對于其他感測機構，諸如電容傳感器和電阻傳感器。
此外，利用深度學習技術進行數據分析，成功演示了智能襪子，可實現群體用戶的步態識別，准確率達93.54％。通過使用建議的襪子來應用虛擬現實（VR）健身遊戲，除了用于增強交互的通用視覺和語音控制終端外，還提供了互補控制界面的可能性，這在智能家居領域顯示出了良好的潛力。因此，這種支持深度學習的摩擦智能襪子爲我們提供了更全面的信息，這對于運動監控，醫療保健，未來的智能家居應用等將是有利的。更重要的是，當我們將襪子用于此類場合時，隱私問題就不存在了。目的。在將來，借助從此襪子收集的集成信息以及其他可穿戴傳感器和神經電極，該平台爲在不久的將來實現數字人類技術鋪平了道路。
T-TENG傳感器的基本特性：
制作一個尺寸類似于用戶腳的T-TENG傳感器，並將其連接到棉襪的底部，以制成用于步態分析的智能襪。通過將單傳感器襪子穿在右腳上，可以通過摩擦電輸出電壓檢測並分析用戶的步態。通常，步態周期包括四個事件，即”腳跟接觸”，”腳趾接觸”，”腳跟離開”和”腳趾離開”。根據摩擦式紡織傳感器的工作機制，當在其上施加壓力時會産生正峰值，並且當釋放壓力時可以檢測到反向電荷流。因此，當用戶向前走時，在步態的半個周期中觀察到代表愈合接觸和腳趾接觸的兩個正峰，並且此後檢測到代表愈合離開和腳趾離開的兩個負峰。因此，可以從輸出電壓中提取一些初步特征，即步態周期的頻率，正/負峰值幅度以及步態周期中每個事件的時間間隔。通過檢測這些特征，可以預先監視人類活動的類型。
a具有方形底座的平截頭體的詳細尺寸。b T-TENG傳感器的工作機制以接觸分離模式工作。c無結構和平截頭體結構的T-TENG傳感器的開路電壓與壓力曲線。d，e T-TENG傳感器的原理圖及其在244 kPa下無截頭圓錐體結構和截頭圓錐體結構的開路電壓波形。f T-TENG的電荷在13、38和244 kPa的載荷下以15 mm s -1的擠壓和釋放速度傳輸。GT-TENG在13、78和244 kPa負載下的壓緊和釋放速度爲15 mm s -1時的短路電流。h在244 kPa的載荷下，壓緊和釋放速度分別爲5、10和15 mm s -1的T-TENG的短路電流。
摩擦紡織傳感器的制造
摩擦電壓力傳感器加工工藝示意圖。
紡織品的光電摩擦傳感器。a導電紡織品de 掃描電鏡圖像。b錐頭結構硅橡膠膜。c、 窄間隙的三維圖像.d.柔軟的藤編織物放在桌子上，用鑷子彎曲。
摩擦紡織傳感器包含兩層：正電荷産生層和負電荷産生層。首先，將導電織物切成所需的尺寸和形狀，該織物由塗有粘合劑的金屬化織物（聚酯銅）制成。爲了制造正電荷産生層，將丁腈薄膜附著到導電織物的一側。另一種導電紡織品也在一側上塗有硅橡膠膜。塗覆過程首先是分配所需數量的EcoFlex TM的A部分和B部分00-30放入混合容器（按體積或重量計1A：1B），然後將混合物充分混合3分鍾，然後將混合溶液倒入3D打印模具中，然後在70°C下烘烤20分鍾用于固化。對于沒有表面結構的紡織品傳感器，將未固化的混合物直接粘貼到導電紡織品上以形成平坦表面。最後，將塗有硅橡膠的織物縫制到丁腈塗層的織物上，並在外側將兩個不導電的織物進行封裝。
T-TENG襪子的特征和步態分析：
步態信號將由微控制器單元（MCU）收集，並通過無線通信傳輸到PC。如果與記錄的正常步行信號相比，用戶的步態出現不規則信號，緊急醫療警報系統將顯示相應的警告，例如步幅下降或跌倒，並通知護理人員。因此，用于醫療狀況監測和醫療緊急警報的實時系統展示了智能襪子在多種醫療保健應用中的巨大前景，可幫助老年人和患者，該襪子可進一步用于智能家居，醫院和醫療中心。同時，這只襪子在研究受疾病影響的人的行走方式方面非常有用，這些人受疾病影響，例如糖尿病，肌肉骨骼異常以及因各種損傷而康複。
a典型接觸周期的四個階段示意圖，b正常行走（右腳）對應信號。c，d帕金森氏病患者模擬步行模式的實時醫療保健監控以及跌倒事件的步態信號。e，f通過將外部負載電阻從0.1MΩ改變爲100MΩ，測試了在1 Hz行走和2 Hz跑步條件下右腳單只襪子的最大輸出功率。克不同電容器的充電曲線（即，1，4.7，10，和27μF）加入到5 V. ħ充電，並用徒步襪子，其中每個壓降表示放電到藍牙模塊放電曲線。i通過藍牙模塊在各種運動強度下監控腋下的溫度。
除了步態感應外，由于智能襪子在自驅動摩擦電機制下工作，因此它還可以用作能量采集器，以消除腳步運動産生的浪費能量。右腳單只襪子的輸出功率是在0.1到100MΩ的不同外部負載下測量的。在44.4MΩ負載下行走1 Hz時産生的輸出功率爲0.32 mW。在以2 Hz的頻率跑步的情況下，由于腳施加在襪子上的力和頻率更大，因此在21.3MΩ上測得的最大功率爲3.18 mW。因此，所提出的襪子能夠在各種運動下從步態周期中收集能量。
開發具有深度學習功能的襪子
考慮到面部識別，指紋識別和聲學識別的隱私問題，步態作爲個人特征具有很多識別優勢，即，步態識別對數據收集的環境限制較小，因此相對容易，快速地收集數據。與廣泛使用的IMU傳感器不同，IMU傳感器需要高計算能力和高計算能力才能進行精確的身體運動監控，具有深度學習功能的襪子具有最少數量的摩擦電傳感器，爲檢測和分析個體步態提供了另一種解決方案。
啓用深度學習的襪子的步態識別：
a數據收集過程和數據集段的4-s滑動窗口。b構造一維CNN結構的過程和參數示意圖。c五個參與者的步態模式與預測的圖。d三重傳感器襪子的示意圖及其在600 s內的三通道輸出特性。e，f用5和13位參與者的三傳感器襪子預測的圖。
就三傳感器智能襪子而言，在采用相同的數據收集方法之後，來自三個通道的摩擦電信號可以形成一個完整的頻譜，並進入具有相同CNN結構的輸入層，從而對不同的用戶進行分類。三傳感器智能襪子的最終精度可以達到100％，比單傳感器襪子提高了4％。通常，樣本數量越多，訓練模型的分類精度越高。其結果是，13種個體步態模式的數據集收集，並且也與上述的滑動窗口方法來實現的93.54％的高准確度。
智能襪子作爲控制界面來演示VR健身遊戲
具有深度學習功能的襪子的人類活動識別。
a從VR健身遊戲中的感覺信息收集到實時預測的流程。b深度學習襪子輸出響應不同運動（跳躍，奔跑，滑動，跳躍和行走）的3D圖。c深度學習成果的困惑圖。d虛擬字符的運動與擬議的數字人類系統中的真實運動相對應。
完整的實時控制系統包括三重傳感器襪子，信號預處理電路，帶有無線發射器模塊的MCU，PC和Unity軟件中的虛擬空間。
首先，當用戶移動時，將産生來自襪子的摩擦電輸出信號，然後經過預處理電路後進入MCU。預處理電路用于濾除環境噪聲並消除不同通道之間的串擾，該電路主要由具有多種功能的電路模塊組成，即偏置電路，放大器電路和低通濾波器。然後，MCU將檢測等效的輸出電壓模擬信號，並將整個頻譜的數據通過無線傳輸發送到PC。然後，根據接收到的信號頻譜，訓練有素的機器學習模型將向Unity發送相應的運動命令。
在演示的VR健身遊戲中，有五種默認動作可供檢測以控制虛擬角色，包括跳躍，跑步，滑動，跳躍和行走。相對于虛擬空間中的五個不同運動，相應的摩擦電輸出。在1D CNN訓練模型之後，人類活動的識別准確率達到96.67％，每個動作的100個訓練樣本。統一程序可以接收預測運動的命令並將其轉換爲虛擬角色的運動。
例如，當出現木樁時，用戶應采取跳躍動作通過它，該動作將同時同步到虛擬角色在虛擬空間中的移動。接下來，用戶可以選擇在樹林路徑中的跑步運動或步行運動以及碎石路，直到下一個障礙。當他們面對岩石和石頭洞穴時，應分別進行跳躍和滑動運動。該VR演示很好地表明了智能襪子在實現面向各種應用的高級多功能HMI方面的潛力。將來，基于建議的襪子的智能系統可以進一步與個人健康監測系統集成，該系統可以測量和分析VR遊戲中有關身體表現的數據。
由于具有深度學習功能的襪子能夠識別識別和監視活動，因此它在智能可穿戴系統的開發中具有重要意義，該系統可通過襪子的集成來連續監視全身運動和身體信號和其他可穿戴式傳感器。這樣的可穿戴系統將促進未來數字人的快速發展，其中可以在虛擬空間中創建人的現實數字副本。爲了簡單演示數字人的未來應用，開發了一種智能家居系統，可以自動將家庭成員與陌生人區分開來，並在無相機環境中實時監視家庭成員的室內活動，識別結果在真實空間中的位置可以投影到虛擬空間中。
智能家居應用的集成演示。
一個兩級識別系統的概述。b通過無線通信收集多個步態信號的用戶的示意圖。c在智能家居系統的第一階段，兩個家庭成員的步態信號用于步態識別。d在智能家居系統的第二階段中，記錄的家庭成員的步態信號響應不同的動作（奔跑，走路和跳躍）。
基于摩擦紡織傳感器的具有深度學習功能的襪子已經被開發出來，它具有爲未來的數字人提供低成本和低功耗解決方案的巨大潛力。借助在接觸表面上構圖的毫米級截頭錐體結構，摩擦式紡織傳感器的感應範圍和靈敏度得到了極大的提高，使其更適合步態感應。通過清除正常步行過程中的能量，此襪子可在3-4分鍾內爲27 µF電容器充電，這足以支持Bluetooth IoT傳感器模塊傳輸溫度和濕度數據。此外，通過基于1D CNN的深度學習分析技術的單傳感器襪子，在五名參與者之間區分步態模式的准確性達到了96％。爲了進一步提高智能襪子的步態模式感測精度，三傳感器襪子可以將5位和13位參與者的識別精度分別提高到100％和93.54％。更重要的是，所提出的襪子能夠以56.6％的准確度在識別的用戶的五個預定義動作中檢測到不同的人類活動。已經演示了將其作爲控制界面的VR健身遊戲。
結合識別和活動監控功能，通過創建具有用戶複制動作的虛擬人物，展示了深度學習襪子作爲智能家居和智能教室應用程序中的功能部件，顯示了其在數字化發展中的巨大前景人類在不久的將來。
該智能的襪子具有多種功能，可在物聯網框架中應用能量收集，並具有步態感應功能，用于步行模式識別和人類活動監測。進一步的探索將獲得用戶的更全面的信息，包括娛樂，社交網絡，醫療保健，運動監控和智能家居等。