南棲仙策最新發布強化學習工業軟件和預訓練模型
11月3日南棲仙策通用智能決策2022發布會上，介紹了強化學習工業軟件REVIVE的新版本，更為驚艷的是，還發布了首個工業控制預訓練模型。可以預見到強化學習，這一曾經在圍棋上戰勝人類的AI技術，將為工業場景將帶來巨大變革。
智能決策平臺REVIVE（ReinforcementlearningwithVirtualizedEnvironment），能夠將少量歷史數據轉化為強大的決策引擎。
"我們在多年的落地經驗中，吸取了非常多的教訓，我們相信這個版本，能夠帶來更加智能，準確，靈活，可信的智能決策結果。" 南棲仙策聯合創始人秦熔均這樣介紹。新發布的REVIVE更智能、更準確、更靈活、更可信：
更加智能：新版本的REVIVE SDK引入變量因果分析工具，將用戶從稠密的數據和復雜交錯的流程當中解脫出來，自動進行結構優化和推薦，幫助用戶輕松構建模型和進行虛擬環境的訓練。
更加準確：正如人類在做決策時可以很快認知他所面臨的環境，REVIVE通過生成、自動識別并自動匹配不同環境和最佳元策略模型，對最終的策略進行調優。針對實際環境，選擇出最適宜準確的決策。
更加靈活：在現實應用中往往會有一些隱藏變量，新版REVIVE可以輕松添加隱變量模塊，將缺失值也納入考量。同時，新版本也更容易拆分出子模塊進行修改和復用。
更加可信：REVIVE提供了決策的樹狀可視化狀態，用戶可以主動和模型進行交互，看看做了不同改變會獲得怎樣不同的結果，嘗試不同決策，預見不同未來。
除了面向通用決策場景的REVIVE SDK，本場發布會上最驚艷的內容，是面向工業反饋控制任務的決策預訓練模型。
通用反饋控制預訓練模型
反饋控制任務廣泛存在于大量的工業場景中。這類任務需要對實施過程中的每一步所引起的客觀效果進行感知和反饋，并據此做出控制反應，調整下一步的計劃決策和實施方案，在往復動態中達到控制目標。
不同的場景之下，工程師們需要根據不同的場景和環境去調整每一個控制參數，達到控制效果。如果能夠實現通用的反饋控制系統，將為工業應用帶來巨大變革。
要實現這項技術的關鍵核心在于，對不同任務的自動識別。只有當它識別了當前的任務是什么，才能根據任務調整控制策略，以做到對不同的任務都做出最優的決策。
針對這個問題，南棲仙策推出了通用反饋控制系統識別器：GFSEncoder。它能夠輸出3維的編碼，來識別和表達不同反饋控制系統的特征和變化。
作為神經網絡對系統的理解，GFSEncoder編碼的每一維不會直接對應到系統的物理參數，但是二者依然會存在一定聯系。
南棲仙策還額外發布了GFSEncoder Pro，將參數量提升50%以上。輸出的任務編碼維度從3維提升至8維，具有更強大的任務識別和編碼能力。
在發布會上，南棲仙策以滑塊的控制為例，展示了特征編碼是如何隨著物理參數的變化而變化的。B站搜索南棲仙策https://www.bilibili.com/video/BV1Bd4y1c7n7/?spm_id_from=333.999.0.0&vd_source=81e9203bcfc1f33b834d254f33b023c7可以看到完整的演示過程。
最后還需要強調的是，GFSEncoder并不需要額外測量系統的各種參數。
GFSEncoder下游應用
（一）系統變動預警
很多系統在長時間的運行后會發生老化或者損壞。通過比對GFSEncoder輸出的編碼可實時監控系統是否出現變化，預警系統失效。
（二）系統標定
GFSEncoder還可以根據當前系統編碼與標準系統編碼的差異來調整系統的參數，使用戶不需要精密測量，就可以將系統向標準系統校準。
（三）PID參數預測
在這個應用中，南棲仙策介紹了將要推出的第二個模型，PIDPredictor。
PIDPredictor也是一個深度神經網絡模型，能夠基于GFSEncoder編碼對相應的最優PID參數進行預測。GFSEncoder與PIDPredictor相結合，可以通過系統中的歷史軌跡信息得到最優PID參數。
在展示當中，可以看出PIDPredictor所預測的PID參數的控制效果（右側）會比待整定的PID控制器好很多。B站搜索南棲仙策可以看到完整的演示過程。
（四）通用反饋任務控制
南棲仙策還將PID控制器用神經網絡控制器替代，推出了通用反饋控制器，GFSController。GFSController是使用強化學習訓練得到的通用控制器，它由GFSEncoder與一個神經網絡控制器組合而成。
結合GFSEncoder對系統的快速編碼能力，GFSController可以做到部署即運行。
發布會以平衡車任務為例，進行了展示。在部署了GFSEncoder之后，無需進行任何針對性的調節，GFSController就能夠直接將平衡車控制在穩定的狀態。
作為驗證，南棲仙策將GFSController部署至無人機高度控制任務中。作為對比，南棲仙策還引入了一個調好的二階PID完成同樣的任務，可以看出，GFSController與一個調好的PID控制器表現出了相當的水平。
為了測試GFSController通用性，發布會上，南棲仙策對更多的衍生場景進行了假設和模擬：如果有一天人類登陸火星或是在高空飛行，這個無人機能否適應新的環境變化？
GFSController很快就完成了對新系統的識別，其超調已經明顯降低，然而PID控制器的超調依然很嚴重，以致于最后無人機撞擊到地面并損毀。B站搜索南棲仙策可以看到完整的演示過程。
需要注意的是，這里的PID控制器是一個二階級聯的PID控制器。而GFSController則是一階控制的。事實上，GFSController也能夠通過級聯來提升控制效果。這意味著GFSController除了通用性之外，還具有強大的拓展性。
南棲仙策已經將GFSEncoder的相關的模型發布到了REVIVE官網。https://revive.cn歡迎大家下載體驗。
