現狀分析:
- 計算機專業:計算機相關專業指在開設學科是以軟件和系統開發方向為主的計算機相關學科,培養掌握編程語言和算法的實際應用能力。計算機技術具有明顯的綜合特性,它與電子工程、現代通信技術、信號處理、機器學習與人工智能、應用數學等緊密結合,培養出高水平應用型人才,發展前景良好。
- 自動化專業:自動化專業是一個多學科交叉的專業。自動化主要研究電子技術、自動控制、系統工程、信息處理等方面的基本知識和技術,進行自動化系統的分析、設計、開發與研究,實現對各種裝置和系統的自動控制,涉及到信號檢測、信息識別和智能控制等。例如:大廈自動門控制系統的設計、智能機器人的設計制造、工業設備的自動控制、智能人機交互系統的研發等。
- 機械電子專業:機械電子工程專業又稱機電一體化專業,是機械工程與自動化的一種。機械電子工程專業包括基礎理論知識和機械設計制造方法,計算機硬件應用能力,軟件算法應用能力,能承擔各類機電一體化產品和系統的設計、制造、試驗和開發工作。
如何構建一體化智能人機交互系統,方便開展模式識別和機器學習等課程,增強實驗課程的趣味性和實用性,是人機交互平臺的難點。
設計思想:
- 可穿戴:傳統的人機交互方式如鍵盤、鼠標等不方便攜帶,不適合便攜式人機交互。而基于表面肌電的人機交互方式通過采集人體皮膚表面的微弱的生理電信號,實現對意圖指令的解碼。肌電手環具有便攜性,可以穿戴在手臂上,便于實際場景中實時人機交互。
- 智能識別:表面肌電信號是一種時變的、易受干擾的非平穩信號。如何準確的識別出人體運行意圖至關重要。通過對原始信號進行濾波,提取時頻域統計學特征,使用人工智能算法來識別出人體的意圖,進而控制機械臂執行預定義的動作,并且實現人在環路的實時交互。
- 一體化框架:該系統融合了UI交互界面、嵌入式控制器、肌電手環、機械臂系統,提供基于python語言的統一的框架,方便操作者的使用和二次開發。整體方案圖如下圖1所示。
關鍵技術:
沈陽自動化研究所(以下簡稱沈自所)成立于1958年,長期從事機器人、智能制造和光電信息技術相關的研究。作為中國機器人事業的搖籃,在中國機器人事業發展歷創造了二十多個,中國機器人技術的研究發展,解決了國家制造業發展一系列重大關鍵技術問題。
肌電交互系統的關鍵問題是意圖解碼的準確性和穩定性。沈自所研發的智能肌電交互系統,基于python語言實現UI交互界面、信號采集和處理、機器人控制的一體化平臺構建,方便使用機器學習方法進行二次開發,為模式識別、信號處理等課程的相關實驗奠定了良好的基礎。為了加速計算機和人工智能等相關專業的基礎理論和實際應用的方面人才的培養提供助力。
產品特點
PRODUCT FEATURES
肌電交互系統以肌電假手、二至七自由度機械臂、外骨骼以及智能假肢等機器人為被控對象,并配備簡潔的人機交互界面。采用模塊化設計理念,具有理實一體、操作簡單、趣味性強、易于擴展等特點,極大的提高師生的參與程度,為實驗室建設提供多用途、層次豐富、省空間、安全易用、易于擴展的肌電交互系統。
- 理實一體
平臺以手勢識別與交互為目的,主要流程包括信號產生、信號采集、信號預處理、特征提取和模式識別,離線訓練的模型用于在線的控制決策上,實現對機器人的控制,從實踐中一步一步加深對肌電識別原理的理解。以交互平臺為擴展,支持機械臂、肌電假手、外骨骼、智能假肢等多樣化機器人控制。以項目開發為驅動,強化肌電交互系統的實踐性、實用性和通用性。結合學生興趣愛好,選擇合適的交互被控對象,開發肌電交互小游戲,使學生達到理論聯系實際、活學活用的培養目標。
平臺配備有簡潔的人機交互界面,肌電信號采集、預處理、離線訓練、在線識別通過點擊界面對應按鈕即能實現。肌電采集時會顯示動作教學圖片,指導使用者做出相應的動作,并且界面還具備顯示肌電信號的功能,供使用者直觀感受肌電采集過程。
- 趣味性強
為了增加同學們的學習興趣,肌電交互平臺配備了肌電控制抓取以及剪刀石頭布等互動游戲。其中肌電控制抓取指通過自身肌電信號控制一個六自由度機械臂和肌電假手對物品進行抓取與擺放,與工業生產中設定軌跡不同的是,此處的抓取與擺放過程由自身控制,使同學們時時刻刻都能感受到操控的樂趣。石頭剪刀布游戲是通過肌電交互系統模仿現實生活中的游戲場景,同學可以通過石頭剪刀布和肌電假手進行實時的互動,增強同學通過肌電交互的體驗。
- 易于擴展
在肌電交互系統中,被控對象可以是各式各樣的機器人。目前我們支持二到七自由度的主流機械臂(包括ABB、KUKA、UR、Fanuc、愛普生、Yaskawa、大象等等)或自主研發的機械臂、肌電假手、智能假肢、外骨骼等等,可按需進行選擇。以及支持在各系統操作,比如Windows、Linux、Mac等。并支持肌電融合視覺、觸覺進行交互式開發。
實驗內容
PRODUCT FEATURES
模式識別
基礎實驗:
高級實驗:
sEMG信號處理:
科研方向
- 抓取與擺放
通過識別肌電信號,操控假手以及機械臂配合來達到抓取以及擺放物品的目的.如下圖14:
- 開發肌電互動小游戲
通過肌電交互系統模仿現實生活中的游戲場景,開發一些互動小游戲,比如石頭剪刀布等
- 用于醫療康復領域
比如通過患者的肌電信號控制智能假肢運動,來達到患者操控假肢的目的,具體原理如下圖所示