1引言

　　魚類經(jīng)過數(shù)億年的進化有了卓越的游動性能，人們對魚類的形體結構和運動學展開了大量研究。在自然界中，約85%的魚類以身體和(或)尾鰭(Bodyand/orCaudalFin，BCF)模式實現(xiàn)推進，這類推進模式具有速度快、能量傳遞效率高等優(yōu)點，是最常見的機器魚設計模式。BCF推進模式又可細分為不同的科類模式，如鰻魚(鰻鱺科)就是以波動推進為主，這是一種幾乎全身參與推進的方式。

　　近年來，越來越多的研究表明，在游動過程中，魚類存在被動機制，其穩(wěn)定游動所需的大部分力量由魚體前部和中部的肌肉組織產(chǎn)生，魚體后部的肌肉組織只負責將力量傳遞到尾巴。這為機器魚的設計提供了思路，可通過適當?shù)馗淖兺七M結構的剛度和魚體的柔順性，有效提高機器魚的游動性能。如Fiazza等設計了具有順應尾部的機器魚，通過身體固有的頻率振動，可實現(xiàn)柔順尾部的擺動。White等利用仿生金槍魚研究身體柔軟性的作用，實驗結果表明，增加身體的柔軟性可以提高機器魚推進的游動速度。Zhong等設計了一種由主動驅動的身體和柔順的尾巴相結合的機器魚，其能夠實現(xiàn)高效游動，還設計出了這類機器魚一般的運動學模型，并將該方法擴展到不同的游動模式中。這些研究在一定程度上說明，在一定條件下，被動機制(即順從運動)可以提高機器魚的游動性能。基于相關究，本文利用欠驅動和順從運動的原理，提出用兩段主動體結合兩段被動順從體來設計機器鰻魚的方法。

　　深度強化學習(DeepReinforcementLearning，DRL)結合了深度學習在感知方面的強大理解能力，以及強化學習的決策能力，可實現(xiàn)端到端的學習。當DRL應用在機器人的控制問題上時，機器人由一個神經(jīng)網(wǎng)絡控制，不斷與環(huán)境進行交互得到數(shù)據(jù)，并進行訓練，可在不需要復雜模型和控制設計的情況下，直接解決機器人的控制問題。目前，已有許多將DRL應用在機器人控制方面的研究，如控制機械臂推動物體、控制兩足機器人運動等，Li等也實現(xiàn)了軟體機器人的運動控制。雖然學習延遲、樣本實效等問題仍有待解決，但DRL在機器人控制上的一致性和泛化方面有很大的優(yōu)勢。機器魚的運動控制現(xiàn)大多基于模擬魚類運動學方程的方法，如Lighthill提出了行波方程。但這種近似的運動學方程并不能精確有效地描述所有魚類的運動，此外，其是否最優(yōu)的運動方式依有待驗證。本文提出不設置運動學方程，利用DRL讓機器鰻魚在仿真環(huán)境中自主學習向前游動的能力，通過數(shù)據(jù)擬合得到機器鰻魚的控制函數(shù)，從而實現(xiàn)對機器鰻魚的控制，并通過相關實驗驗證了該方法的適用性。

　　2機器鰻魚的設計

　　2.1基于主動體與被動順從體推進機構的設計

　　Zhong等提出了一種新型的推進機構——主動體與被動順從體推進機構(theActiveandCompliantPropulsionMechanism，ACPM)，用于構建機器魚。其中，主動體部分采用拉線機構主動彎曲，被動部分是由彈性材料制成的柔性尾部。ACPM被證明具有魚的波動運動特性，能夠實現(xiàn)高速、高效地游動。

　　利用拉線機構可實現(xiàn)單電機對機器魚多關節(jié)的控制，如圖1所示。

圖1拉線機構的設計

　　在拉線機構中，舵機的旋轉角與魚體的彎曲角之間存在對應關系。假設各關節(jié)的摩擦力和旋轉角度均相同，可得到與的映射關系：

       (1)

　　其中，r為轉盤的半徑;N為關節(jié)數(shù);d為兩側鋼絲繩間的距離。

　　柔順尾部的設計方法基于數(shù)學模型，詳細的建模方法已經(jīng)在本團隊之前的工作中進行了介紹。在ACPM的后續(xù)研究中，Zhong等通過分析流體力矩和身體彎矩，將ACPM的建模方式拓展至其他游動模式中，如圖2所示。圖2展示了4種典型游動方式的力矩相位分布，紅線La為流體力矩與身體轉矩相互平衡的最佳身體長度。由圖2可知，鰻魚所屬的鰻鱺科，存在兩段被動順從結構，而其余的模式只有一段順從結構。基于該發(fā)現(xiàn)，本文采用兩段主動拉線機構與兩段被動柔順身體相結合，來進行機器鰻魚的設計，可使機器鰻魚實現(xiàn)更高效地游動。如圖3所示，當?shù)谝欢卫€機構向一側彎曲，第二段拉線機構向另一側彎曲時，機器鰻魚整體將呈現(xiàn)一個“S”型運動，這符合真實的鰻魚游動方式。

圖2不同游動模式在ACPM中的優(yōu)化

圖3機器鰻魚模型

　　2.2機器鰻魚樣機

　　本研究開發(fā)的機器鰻魚由兩段ACPM構成，由于不考慮下潛和上浮的功能，故不設計胸鰭。本文基于真實鰻魚的形態(tài)，參考鰻鱺科在ACPM優(yōu)化過程中的參數(shù)比例，結合實際需求，如電機的固定位置等，對機器鰻魚進行設計。機器鰻魚總長約550mm，橫截面為橢圓，最大寬度為35mm，并逐漸減小。魚身整體可分為6段，其中順從身體長度為100mm，順從尾巴長度為135mm。主動體部分采用拉線機構，利用直徑為0.8mm的鋼絲繩拉動，每一段拉線機構有4段間距相等的活動關節(jié)，4段活動關節(jié)的總長為80mm。順從部分由硅膠澆鑄設計好的模具制成，能夠很好地滿足被動柔順的需求。頭部和中間段身體為剛體部分，用于放置舵機和轉盤，為防止鋼絲繩被拉動時脫落，還設計了托臂。轉盤、關節(jié)和剛體部分都通過3D打印技術制作而成，機器鰻魚的實驗樣機如圖4所示。

　　圖4機器鰻魚實驗樣機

　　兩個舵機的型號均為Hitec的HS-5086WP，可提供3.6kg·cm的扭力?？刂瓢暹x用ArduinoUNO，通過輸出PWM信號來驅動舵機轉動。控制板和電源等電子元件外置，通過杜邦線與舵機相連。由于順從部分的質量較大，在兩段拉線機構部分套上硅膠膜來增大浮力，并利用硅橡膠進行防水處理。此外，為限制機器鰻魚的運動在同一水平面上，本研究還添加了鉛塊，用以調節(jié)樣機所受到的重力和浮力。

　　3仿真優(yōu)化的方法

　　3.1仿真環(huán)境

　　在深度強化學習過程中，借助神經(jīng)網(wǎng)絡，主體可直接從原始輸入數(shù)據(jù)中提取和學習特征知識，并進行輸出。因此，收集的原始數(shù)據(jù)的有效性格外重要。在機器人控制上，數(shù)據(jù)的收集一般有兩種途徑：第一種方式是在現(xiàn)實中直接收集數(shù)據(jù)，即將本研究的機器鰻魚在水中連續(xù)測試并進行數(shù)據(jù)收集，但測試的工作量和難度較大，且本研究設計的柔性身體存在被動運動，機器鰻魚在游動過程中，其位置和速度等數(shù)據(jù)變量將更為復雜，很難人工直接在數(shù)據(jù)庫中進行特征提取;第二種方式是在仿真環(huán)境中獲取數(shù)據(jù)，利用深度計算方法在感知方面強大的理解能力，有效地提取特征數(shù)據(jù)。就本研究而言，第二種方式有更好的適配性和訓練速度。本文采用MuJoCo作為仿真平臺，對機器鰻魚做離散分割建模，并實現(xiàn)了有效控制。在仿真環(huán)境中進行深度計算，提高了鰻魚模型參數(shù)的可調性，同時還賦予了深度計算過程更好的可視性，使參數(shù)變化對鰻魚游動狀態(tài)的影響更直觀。

　　MuJoCo是一個通用物理引擎，能夠快速準確地模擬關節(jié)類結構與其環(huán)境交互，已被廣泛應用于基于模型的計算、數(shù)據(jù)分析、深度強化學習等相關領域的研究和實驗。在MuJoCo中加入對應的水環(huán)境，將機器鰻魚的運動限制在同一水平面上，以模擬浮力與重力的平衡，同時以室溫20℃為標準，設置水環(huán)境的介質密度為1000kg/m3，介質黏度為0.001Pa·s，以模擬運動時機器鰻魚受到的阻力和黏滯力。為減少仿真環(huán)境中的無用信息，本實驗對仿真模型進行了一定程度的簡化，如圖5所示。機器鰻魚整體長度保持為550mm，將兩段放置舵機的分離剛體部件整合成一個整體作為剛體頭部，以實現(xiàn)機器鰻魚身體驅動的連貫性。除剛體頭部外，驅動部分連成一體，由主動關節(jié)和柔性順從體構成，不存在多余的剛體僵直，這種一體驅動的方式與真實的鰻魚更接近。此外，本實驗還簡化了關節(jié)模型，并保留了兩段ACPM中主動關節(jié)的耦合關系，這也是本文仿真控制的重點。為提高對柔性順從體的仿真精度，本實驗將兩段順從體分割成離散的分塊，設置為被動關節(jié)，僅通過拉線機構的最后一段主動關節(jié)進行驅動，能夠更好地模擬軟體材料的柔順特點。為提高模型的準確性，在實驗中測試了順從體的彎曲特性，并通過調整被動關節(jié)的特征參數(shù)，使仿真模型能夠最大程度地接近真實鰻魚。

　　　　圖5MuJoCo中的機器鰻魚模型

　　3.2深度強化學習

　　強化學習柔性動作-評價(SoftActor-Critic，SAC)算法是一個off-policy、actor-critic算法，與其他強化學習算法不同的是SAC將熵引入優(yōu)化策略中，在獲取更高累計獎勵的同時，可將策略的熵最大化，熵越大，策略的隨機性越大。策略熵允許高度隨機的動作，在訓練過程中，引入策略熵可豐富并拓展策略的探索過程，加速后續(xù)的學習并且防止策略過早地收斂至無意義的局部最優(yōu)，魯棒性較高。SAC算法的動作空間是連續(xù)的，不只是離散的階段控制數(shù)據(jù)，因此，在解決連續(xù)控制問題上具有良好性能，適用于機器人的控制。

　　在利用深度強化學習進行訓練之前，需要對機器鰻魚的運動設置獎勵函數(shù)、動作空間和狀態(tài)空間。不同的獎勵函數(shù)將導致不同的學習結果，若獎勵函數(shù)不合適，可能導致最終結果不能收斂。本研究期望機器鰻魚學習的運動能力是在靜水中能夠實現(xiàn)向前直線游動，且所需的輸入轉矩較小，即實現(xiàn)高效的直游。本文將訓練機器鰻魚的獎勵函數(shù)R定義為：

(2)

　　其中，Vx為機器鰻魚前進方向的速度;T為動作空間輸入的轉矩;Py為機器鰻魚垂直于前進方向上的位置偏移;Posture_r為游動姿態(tài)，如頭部的旋轉角度;Safe_r為游動的安全性，用于排除機器鰻魚游動過程中的異常姿態(tài)，如回旋前進等;為轉矩系數(shù)，表示轉矩在獎勵函數(shù)R中的參與權重;為偏移系數(shù)，表示位置偏移在獎勵函數(shù)R中的參與權重;為姿態(tài)穩(wěn)定系數(shù)，表示姿態(tài)在獎勵函數(shù)R中的參與權重。

　　動作空間的設置必須與實際的控制輸入數(shù)量相匹配。為了模擬拉線機構對活動關節(jié)的控制，每段拉線機構的4個關節(jié)應輸入相同的值，以構成一個整體進行控制。本實驗設置的輸入信號范圍為[-10,10]，當輸入小于0時，活動關節(jié)向左旋轉，當輸入大于0時，活動關節(jié)向右旋轉。

　　狀態(tài)空間包括機器鰻魚在仿真環(huán)境中所對應時刻的所有信息，包括多種力學特征，但在實際的控制中，獲得的控制信息較少。本研究主要關注機器鰻魚的運動姿態(tài)，因此，選擇機器鰻魚的位置和速度信息構成狀態(tài)空間。 　

　　SAC算法需要對神經(jīng)網(wǎng)絡進行設置，本文的actor神經(jīng)網(wǎng)絡和critic神經(jīng)網(wǎng)絡的網(wǎng)絡架構相同，均采用多層感知器神經(jīng)網(wǎng)絡，有2層隱藏層，每層有256個神經(jīng)元，參數(shù)設置如表1所示。

表1深度強化學習參數(shù)表

　　將機器鰻魚在仿真環(huán)境中訓練200個周期，每個周期包括500步，每步的控制周期為10ms。為提高訓練結果與真實水環(huán)境的適配性，在每個周期的第一步，本實驗都設置一個隨機影響值，模擬現(xiàn)實中位置和速度的偏差干擾。隨機影響值越大，機器鰻魚適應環(huán)境變化的能力越強，在訓練過程中越難實現(xiàn)收斂;但隨機影響值過小，則難以實現(xiàn)所期望的擾動效果。經(jīng)過測試，本實驗選用的隨機影響值為0.01m，即為第一步的狀態(tài)起始值加上[-0.01,0.01]m間的一個隨機影響值。

　　通過調整獎勵函數(shù)中、、的值，可得到不同的訓練結果，通過反復實驗，能夠得到較為適配的系數(shù)。通過實驗發(fā)現(xiàn)，過小的轉矩系數(shù)對鰻魚的控制影響較小，過大的則會導致鰻魚擺動的幅值減小;過小的偏移系數(shù)對鰻魚的偏移限制較小，過大的則會出現(xiàn)鰻魚模型擺動幾次后依靠慣性滑行的現(xiàn)象。為保證神經(jīng)網(wǎng)絡的訓練效果較為穩(wěn)定，本實驗最終將轉矩系數(shù)和偏移系數(shù)的值分別固定為10-5和0.01，然后通過調整姿態(tài)穩(wěn)定系數(shù)的值，來訓練不同性能的神經(jīng)網(wǎng)絡。

　　本實驗將姿態(tài)穩(wěn)定系數(shù)的值依次設置為0.1、0.3、0.5、0.7，可得到4種不同的訓練情況，如圖6所示。通過判斷總獎勵值的變化程度，來近似表征訓練過程的收斂性。首先計算總獎勵值的滑動平均值，實現(xiàn)對總獎勵曲線的濾波;然后計算平滑后總獎勵曲線的斜率絕對值;最后將斜率絕對值持續(xù)小于0.5的曲線作為訓練過程近似收斂的表征。當訓練參數(shù)不同時，訓練過程的近似收斂情況如表2所示。通過對比4種不同情況的訓練結果可知，姿態(tài)穩(wěn)定系數(shù)的值越大，神經(jīng)網(wǎng)絡在訓練過程中就越難收斂。

表2不同姿態(tài)穩(wěn)定系數(shù)下的近似收斂步數(shù)

圖6機器鰻魚在不同的姿態(tài)穩(wěn)定系數(shù)下的訓練過程

　　在上述4種情況中，將得到控制效果穩(wěn)定的神經(jīng)網(wǎng)絡在仿真環(huán)境中進行控制測試。每步的控制周期設置為10ms，在神經(jīng)網(wǎng)絡的控制下，讓機器鰻魚運行2000步，觀察結果并收集數(shù)據(jù)。由于隨機值的存在，機器鰻魚在游動時的起始姿態(tài)是不同的，且游動步態(tài)需要經(jīng)過一定的時間才能穩(wěn)定，所以本實驗選取第800步到第1200步之間的400步作為評估區(qū)間。

　　對于評估區(qū)間內(nèi)4種不同姿態(tài)穩(wěn)定系數(shù)，兩段拉線機構的輸出對比圖如圖7所示。其中，拉線機構的輸出對應動作空間的輸入，取值范圍為[-10,10]。每隔4步，記錄一次當前時刻兩段拉線機構的輸出，并計算平均值，共記錄100組數(shù)據(jù)。實驗結果表明，隨著姿態(tài)穩(wěn)定系數(shù)的增大，拉線機構的輸出逐漸減小，且輸出的幅值變化趨于穩(wěn)定。此外，通過實驗仿真發(fā)現(xiàn)，當拉線機構的輸出過低時，機器鰻魚的游動速度會明顯降低。

　　由于本研究的目標是實現(xiàn)機器鰻魚高效地直游，所以在機器鰻魚游動過程中，必須關注其橫向偏移值。因此，在評估區(qū)間內(nèi)，本實驗對4種姿態(tài)穩(wěn)定系數(shù)下機器鰻魚的偏移值進行了對比。讓機器鰻魚在每種姿態(tài)穩(wěn)定系數(shù)下進行10次模擬，共得到40段評估區(qū)間，計算得到相同姿態(tài)穩(wěn)定系數(shù)下的偏移值的平均值，如圖8所示。當姿態(tài)穩(wěn)定系數(shù)過低時，單次矯正的幅度過大，難以實現(xiàn)偏移量的減小;而當姿態(tài)穩(wěn)定系數(shù)過高時，機器鰻魚的單次矯正的幅度過小，同樣難以實現(xiàn)偏移量的減小，即姿態(tài)穩(wěn)定系數(shù)過低或過高都會導致游動偏移量過大，難以保證直游。此外，當姿態(tài)穩(wěn)定系數(shù)過高時，偏移值的取值會更加分散，魯棒性更低。

圖8 四種不同姿態(tài)穩(wěn)定系數(shù)下的游動偏移量

　　由圖8可知，當姿態(tài)穩(wěn)定系數(shù)=0.3時，在輸出和游動的穩(wěn)定性上，經(jīng)訓練得到的神經(jīng)網(wǎng)絡性能較好，因此，選擇該神經(jīng)網(wǎng)絡的輸出對真實機器鰻魚進行控制。

　　3.3控制函數(shù)

　　在姿態(tài)穩(wěn)定系數(shù)=0.3的神經(jīng)網(wǎng)絡中，本實驗選擇表現(xiàn)較好的一組輸出進行控制擬合。對于評估區(qū)間內(nèi)的兩段拉線機構，將每個關節(jié)的轉動角度按時間變化進行輸出，發(fā)現(xiàn)關節(jié)轉角的變化近似于三角函數(shù)，再通過算法進行曲線擬合，可以得到近似關節(jié)轉角變化曲線，如圖9所示。由圖9可知，第一段拉線機構與第二段拉線機構的關節(jié)轉角變化頻率相同，頻率為2Hz;第一段拉線機構的關節(jié)轉動最大幅值為6°，第二段拉線機構的關節(jié)轉動最大幅值為12°;且兩者間存在相位差，為67°。由公式(1)可知舵機轉角與關節(jié)轉角的對應關系，進而得到舵機的控制函數(shù)，其中，r=16mm，N=4，d=22mm。

圖9關節(jié)轉角變化曲線

　　4實驗結果

　　在實驗平臺上進行多次實驗，以驗證所得控制函數(shù)對機器鰻魚樣機的有效性。圖10為本文設計的實驗平臺，其中，水池為180cm×140cm×60cm的長方體，攝像頭安裝在水池的上方，用來拍攝在水中游動的機器鰻魚。

　　　　圖10實驗平臺

　　　　4.1兩段拉線機構驅動實驗

　　本實驗對機器鰻魚兩段拉線機構驅動的可行性進行測試。根據(jù)控制函數(shù)，設置兩段拉線機構的頻率為2Hz，關節(jié)轉角幅值分別為6°和12°，相位差為67°。依次將機器鰻魚設定為：(1)只有第一段拉線機構參與驅動;(2)只有第二段拉線機構參與驅動;(3)兩段拉線機構都參與驅動。如圖11所示，圖中的綠線為起始線，以便對機器鰻魚的游動表現(xiàn)進行對比。機器鰻魚在0s時刻出發(fā)，當只有一段拉線機構驅動時，機器鰻魚向前游動的速度較慢，并產(chǎn)生了橫向偏移;當兩段拉線機構協(xié)調驅動時，機器鰻魚向前游動的表現(xiàn)良好。測試結果表明，兩段拉線機構驅動能夠有效驅動機器鰻魚向前游動。

　　4.2游動速度實驗

　　本文設計了速度測試實驗，以直游速度為標準，將兩段拉線機構的頻率設置為2Hz，關節(jié)轉角幅值分別保持為6°和12°，在不同相位差下，對機器鰻魚的游動表現(xiàn)進行測量，以驗證所得控制函數(shù)的有效性。由于所得控制函數(shù)的相位差為67°，所以本實驗將相位差分別設置為40°、50°、60°、70°、80°、90°，固定控制函數(shù)的其他參數(shù)不變，進行對比實驗。為排除游動不穩(wěn)定對速度的影響，本實驗設置了速度測試區(qū)，待機器鰻魚穩(wěn)定游入速度測試區(qū)后再進行速度計算。在每一種相位差下，都進行10次游動測試，通過計算得到平均速度，作為對照數(shù)據(jù)。表3為機器鰻魚在不同相位差下的平均游動速度。由表3可圖11機器鰻魚在拉線機構驅動下的游動表現(xiàn)知，當相位差為67°時，機器鰻魚的平均速度最大，這說明控制函數(shù)在直游中具有有效性。

　　表3機器鰻魚在不同相位差下的游動速度

　　5討論與分析

　　為拓展機器鰻魚的擺動幅值極限，在仿真環(huán)境中，本實驗將每個活動關節(jié)單側的轉角上限設置為35°，即每段拉線機構的最大擺動幅值是140°。但后續(xù)在對機器鰻魚的訓練過程中發(fā)現(xiàn)，第一段拉線機構的活動關節(jié)并不會達到最大轉角，甚至整體的擺動幅值不會超過60°。對于機器鰻魚的擺動頻率，其取值在1.2~3.3Hz之間，這與現(xiàn)實中鰻魚游動時的低頻率、頭部擺動的低幅相符合，說明該深度強化學習方法具有適用性。

　　對于鰻魚類水下機器人，國內(nèi)外常見的設計方式可分為以下幾類：(1)采用多關節(jié)剛體設計，在每個關節(jié)放置驅動模塊，通過電機等進行驅動，實現(xiàn)反復擺動，整體結構和控制一般都較為復雜;也有采用新型材料進行驅動，使用記憶合金和壓電傳感等新型材料實現(xiàn)魚體的變形，從而實現(xiàn)推進，這類機器鰻魚在能量轉換方面存在弊端。(2)軟體機器鰻魚，通過磁感應、氣泵等改變軟體材料的局部特性，使其產(chǎn)生規(guī)律的變化，從而產(chǎn)生游動。與上述研究不同，本文的機器鰻魚則利用魚類游動的被動機制，采用剛性關節(jié)與柔順身體連接的方式進行設計，包含這兩者的特性，并在控制方面有更大的優(yōu)勢。

　　本文使用不基于給定運動曲線的方法，對鰻魚直游控制進行研究，得到了近似正弦函數(shù)的控制結果，在一定程度上驗證了正弦函數(shù)在仿生魚直游控制中的合理性，也證明了本文方法的可行性。利用該方法可以對多種形態(tài)的水下仿生機器人進行游動學習得到優(yōu)化的控制函數(shù);同時，本文方法更適合復雜游動運動的控制，如逃逸、轉彎等難以直接用運動學方程描述的運動，未來將會進一步探究復雜運動的學習優(yōu)化。

　　6結論

　　本文利用魚類游動的被動機制，設計了新型欠驅動機器鰻魚，并建立了仿真模型，還利用DRL的方法讓機器鰻魚自主學習游動。在不同姿態(tài)穩(wěn)定系數(shù)下，本文對神經(jīng)網(wǎng)絡的控制表現(xiàn)進行分析，并利用擬合函數(shù)在試驗樣機上進行控制測試，成功實現(xiàn)了直游。仿真和實驗的結果證明了本文方法的有效性，這為類似結構的水下機器人的控制提供了思路。未來將對機器鰻魚的模型進行優(yōu)化，并改進控制擬合過程，進一步探究不同的身體參數(shù)以及其他運動參數(shù)對游動性能的影響。