天瑪智控郭新偉：基于多端融合技術的集成供液 XR 平臺研發(fā)與應用

2025年10月23日 16:30 智能礦山雜志責編：戚金榮作者：智能礦山雜志

為解決傳統(tǒng)煤礦集成供液系統(tǒng)可視化巡檢模式存在的交互維度單一、協(xié)同能力不足及智能運維缺口等問題，基于數(shù)字孿生、多終端協(xié)同交互與智能決策技術，研發(fā)了集成供液XR平臺，構建了涵蓋硬件層、網(wǎng)絡層、數(shù)據(jù)層、軟件層和交互層的架構，采用AR互動平臺三維軟件開發(fā)工具包、增強現(xiàn)實實時傳輸與渲染、定位與環(huán)境感知等關鍵技術，實現(xiàn)了解決方案配置、AR供液系統(tǒng)沉浸式巡檢、集成供液系統(tǒng)設備構件解析等創(chuàng)新功能。應用驗證表明，平臺在沉浸式營銷體驗、集成供液成套裝備AR巡檢及操作維保培訓等方面效果顯著，提升了系統(tǒng)可視化和交互體驗，滿足了復雜環(huán)境下設備狀態(tài)監(jiān)控與分析需求，為煤礦智能化運維提供了有力技術工具。

文章來源：《智能礦山》2025年第9期“學術園地”欄目

作者簡介：郭新偉，現(xiàn)任北京天瑪智控科技股份有限公司山西分公司副總經(jīng)理，主要從事煤礦機電一體化的相關研究工作。E-mail： guoxw@tdmarco.com

作者單位：北京天瑪智控科技股份有限公司

引用格式：郭新偉.基于多端融合技術的集成供液 XR 平臺研發(fā)與應用[J].智能礦山，2025，6(9)：66-71.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

關注微信公眾號，了解更多礦山智能化建設進展

在煤礦智能化建設中，集成供液系統(tǒng)作為液壓支架的核心動力單元，高效運維對保障采煤工作面連續(xù)生產(chǎn)至關重要?；谌S可視化技術的采煤工作面集成供液系統(tǒng)數(shù)字化平臺（簡稱集成供液三維平臺）通過構建系統(tǒng)級三維模型與仿真環(huán)境，實現(xiàn)供液方案的流量計算、設備配置、動態(tài)仿真及數(shù)據(jù)可視化等功能，為煤礦液壓系統(tǒng)的設計優(yōu)化與運維管理提供了數(shù)字化工具。隨著煤礦智能化向少人化、協(xié)同化、沉浸式方向發(fā)展，傳統(tǒng)單一終端的可視化巡檢模式暴露出以下3個方面的局限性。

（1）交互維度單一：現(xiàn)有平臺僅支持桌面端三維展示，缺乏移動端（AR/VR）的多模態(tài)交互能力，難以滿足井下現(xiàn)場巡檢與遠程專家協(xié)同的需求。

（2）協(xié)同能力不足：液壓系統(tǒng)故障診斷與運維決策依賴跨部門、跨角色的實時數(shù)據(jù)共享與協(xié)作，當前平臺未實現(xiàn)多終端（PC/移動端/XR設備）的數(shù)據(jù)融合與指令同步。

（3）智能運維缺口：現(xiàn)有系統(tǒng)以靜態(tài)數(shù)據(jù)展示為主，未結合擴展現(xiàn)實（XR）技術實現(xiàn)系統(tǒng)狀態(tài)預測、故障沉浸式標注等高級功能。

為此，筆者提出了基于多端融合技術的集成供液XR平臺，通過整合數(shù)字孿生、多終端協(xié)同交互與智能決策技術，構建覆蓋云端管理-移動巡檢-沉浸式運維的全鏈條解決方案。

XR是數(shù)字孿生和信息物理系統(tǒng)CPS重要的智能技術，智能化綜采工作面工業(yè)系統(tǒng)的XR平臺，提供3D全景顯示、可靠性高、時效性強、畫面清晰細膩，形成了智能化工作面數(shù)字孿生系統(tǒng)架構和工作運行模式，體現(xiàn)了XR技術作為人機接口重要的優(yōu)點和特性，為采礦人員提供虛擬高效的人機協(xié)同作業(yè)的平臺。

集成供液XR平臺架構

集成平臺結合VR、AR、交互式投影和動態(tài)模擬技術，通過聲音、光影和震動等效果，真實模擬煤機工作環(huán)境和運行狀態(tài)。將數(shù)字信息與物理空間相疊加，為用戶提供全新的、沉浸式的體驗方式。用戶可親自操控煤機部分功能，創(chuàng)造出立體投影等視覺效果，真實感受煤礦現(xiàn)場集成供液系統(tǒng)應用情況。

AR穿戴設備和AR控制臺結合，用戶可即時獲取關鍵數(shù)據(jù)，觀察管路、感知液路流向，通過手勢選擇工作站并了解設備結構。360°漸進環(huán)繞觀察方式，用戶可全景觀察控制泵站、切換不同設備，為用戶提供更便捷、深入的工作體驗，XR平臺架構如圖1所示。

圖1 XR平臺架構

XR展示平臺創(chuàng)新功能設計

2.1 解決方案配置功能

設計構建集成供液系統(tǒng)數(shù)字化平臺，提供輕量化三維數(shù)字模型，集成供液方案配置算法，自定義配置解決方案功能，以及三維可視化技術方案生成等特性，建設集成供液系統(tǒng)資源庫，支持用戶權限區(qū)分，并設計多端適配的用戶界面與操作系統(tǒng)，以提高設計效率、滿足客戶需求、優(yōu)化市場策略和提升產(chǎn)品宣傳效果，XR平臺功能體系如圖2所示，XR平臺產(chǎn)品外觀設計如圖3所示。

圖2 XR平臺功能體系

圖3 XR平臺產(chǎn)品外觀設計

2.2 AR供液系統(tǒng)沉浸式巡檢

集成供液系統(tǒng)的應用，通過沉浸式表現(xiàn)形式，漸進加載，做供液系統(tǒng)元素的引入，依次為巷道場景、工作站、各工作站之間的管路連接，在整體方案呈現(xiàn)后進行深度觀察，通過透視功能了解管路，同時監(jiān)測管路中液路流向的動態(tài)效果，AR供液系統(tǒng)沉浸式巡檢功能結構如圖4所示，AR控制臺交互操作界面示意如圖5所示，AR控制臺虛擬展示界面示意如圖6所示。

圖4 AR供液系統(tǒng)沉浸式巡檢功能結構

圖5 AR控制臺交互操作界面示意

圖6 AR控制臺虛擬展示界面示意

2.3 集成供液系統(tǒng)設備構件解析

集成供液系統(tǒng)設備構件解析主要包括6個方面，構件解析功能結構如圖7所示，設備構件解析功能AR效果如圖8所示，設備構件解析功能AR效果如圖9所示。

圖7 構件解析功能結構

圖8 設備構件解析功能的結構拆解AR效果

圖9 設備構件解析功能的設備功能介紹效果

（1）采煤作業(yè)布局AR導航：穿戴AR眼鏡后，將獲得全局視角，概覽整個采煤作業(yè)布局，實現(xiàn)全局掌控，快速了解整個煤礦的運行情況。

（2）完整集成供液系統(tǒng)3D呈現(xiàn)：AR眼鏡將呈現(xiàn)完整的集成供液系統(tǒng)，可使用手勢選擇所需的供液系統(tǒng)工作站，并將其鎖定。

（3）單一工作站AR呈現(xiàn)：選擇特定的供液系統(tǒng)工作站后，AR眼鏡會出現(xiàn)設備名稱、型號和三維模型，直觀了解該工作站的結構。

（4）初始角度慢速旋轉展示：AR眼鏡將以初始角度慢速旋轉展示所選設備模型，可通過手勢控制模型的放大、縮小和旋轉，以便更仔細地查看細節(jié)。

（5）部件結構呈現(xiàn)、參數(shù)信息呈現(xiàn)：在AR眼鏡中，部件結構和參數(shù)信息將直觀地呈現(xiàn)，深入了解設備的構成和運行情況。

（6）不同設備切換：可通過簡單的手勢切換不同設備，對比不同設備的特點和性能。

XR展示平臺關鍵技術

3.1 AR互動平臺三維軟件開發(fā)工具包

AR互動平臺創(chuàng)新設計增強現(xiàn)實互動平臺軟件開發(fā)工具包SDK，AR互動平臺 SDK包含2個源碼案例程序和1個攝像頭識別軟件，上屏幕顯示端程序實現(xiàn)高效遠程過程調用，下屏幕 RPC Client 程序確保精準數(shù)據(jù)傳輸，攝像頭識別軟件采用高精度圖像識別算法。通過 TUIO 協(xié)議解讀和 Marker 信息處理，高效制作下屏和上屏程序，實現(xiàn)實時數(shù)據(jù)互通和高度可定制的交互體驗，平臺數(shù)據(jù)流結構如圖10所示，SDK開發(fā)邏輯架構如圖11所示。

圖10 平臺數(shù)據(jù)流結構

圖11 SDK開發(fā)邏輯架構

3.2 增強現(xiàn)實實時傳輸與渲染

通過建立HoloLens頭顯和三維巡檢程序之間的通信連接，實現(xiàn)實時視頻流的傳輸和渲染，使用戶可以在沉浸巡檢定位到單設備模塊進行實時設備構建解析、精檢。利用數(shù)據(jù)傳輸協(xié)議、選擇適當?shù)目缙脚_開發(fā)技術，通過設計用戶界面和交互方式，以及進行測試和優(yōu)化，確保巡檢和精檢功能的協(xié)同配合穩(wěn)定性和用戶體驗。

（1）網(wǎng)絡通信與數(shù)據(jù)傳輸

使用UDP網(wǎng)絡通信技術建立HoloLens和AR控制臺之間的通信連接，選擇WebSocket數(shù)據(jù)傳輸協(xié)議，在網(wǎng)絡上傳輸視頻流數(shù)據(jù)，實現(xiàn)視頻流數(shù)據(jù)傳輸。

（2）圖像處理和渲染

在HoloLens眼鏡上，需要使用WebRTC技術將實時攝像頭捕獲的視頻流進行編碼和傳輸。在AR控制臺程序中，接收并解碼從HoloLens眼鏡傳輸?shù)囊曨l流數(shù)據(jù)，通過OpenGL圖像處理將其渲染到1個窗口中。

3.3 定位與環(huán)境感知技術

AR互動平臺綜合利用傳感器數(shù)據(jù)和計算機視覺算法的增強現(xiàn)實定位與環(huán)境感知技術。通過同時定位與場景地圖構建，視覺特征提取與匹配以及圖形渲染和融合等步驟，實現(xiàn)了AR頭顯設備在三維環(huán)境中的精確定位和虛擬內容與實際場景的完美融合。用戶能在AR頭顯設備中實時觀看并與環(huán)境中的虛擬對象進行互動，為用戶帶來沉浸式的增強現(xiàn)實體驗。

（1）同時定位與場景地圖構建

允許AR頭顯設備實時追蹤其在三維環(huán)境中的位置和姿態(tài)，并構建場景的地圖。通過使用傳感器數(shù)據(jù)（如攝像頭、慣性測量單元等）和定位與地圖構建SLAM算法，系統(tǒng)可推斷AR頭顯設備相對于環(huán)境的位置和方向，并構建環(huán)境地圖供后續(xù)定位和導航使用。

（2）視覺特征提取與匹配

利用視覺傳感器捕獲的圖像，通過視覺特征提取算法檢測場景中的特征點，邊緣、角點或特定標記點等，使用特征匹配算法實時捕獲的特征點，與先前構建地圖中的特征點進行匹配，確定AR頭顯設備相對于環(huán)境的位置和方向。

應用驗證

在煤礦智能化數(shù)字化運維背景下，基于多終端融合技術的XR平臺研究，主要針對綜采工作面集成供液成套裝備的沉浸式營銷體驗，與交互式培訓系統(tǒng)等方面進行應用驗證。某煤礦企業(yè)使用基于多端融合技術的集成供液XR平臺，為員工提供綜采面供液設備的操作、維護和故障排除培訓。讓受訓者熟悉集成供液系統(tǒng)的組成和運行原理。設備培訓包括啟動、停止、調整流量、壓力控制等基本操作。演練設備常見故障的診斷與排除，提高故障應對能力。驗證平臺在多終端（PC、移動端、VR設備）的協(xié)同工作能力。

4.1 沉浸式營銷體驗

基于三維可視化技術的采煤工作面集成供液技術方案數(shù)字營銷平臺，通過基礎模式判定、配置參數(shù)設置，鎖定集成供液標準化方案。首先對綜采工作面巷道、液壓支架、供液距離等進行調研后選擇出適合工作面；然后通過工作面液壓系統(tǒng)流量分析與計算得出供液系統(tǒng)供液流量與泵站數(shù)量建議；再通過沿程阻力計算，進行液壓系統(tǒng)管路推薦選型，三維方案參數(shù)設置及配置，最終形成遠距離供液系統(tǒng)成套解決方案。

通過精準流量和阻力計算，確保供液系統(tǒng)的高效運行，提供標準化配置方案，提高設計效率和方案可靠性。三維可視化展示提升了方案的直觀性和易理解性，用戶可更清晰地了解和驗證設計方案，實現(xiàn)了集成供液系統(tǒng)從設計到實施的全流程優(yōu)化，確保系統(tǒng)高效、可靠、可視化，提升煤礦智能化運維水平基于三維可視化技術的采煤工作面集成供液技術方案數(shù)字營銷平臺-業(yè)務邏輯如圖12所示，基于三維可視化技術的采煤工作面集成供液技術方案數(shù)字營銷平臺-技術方案配置效果如圖13所示。

圖12 基于三維可視化技術的采煤工作面集成供液技術方案數(shù)字營銷平臺-業(yè)務邏輯

圖13 基于三維可視化技術的采煤工作面集成供液技術方案數(shù)字營銷平臺-技術方案配置效果

4.2 集成供液成套裝備AR巡檢

利用XR平臺對集成供液解決方案成套裝備進行AR巡檢，將虛擬的供液系統(tǒng)通過AR控制臺實時投影到顯示端，用戶可以通過marker控制在超大采高、中厚煤層、薄煤層遠距離供液場景中進行巡檢。針對關鍵泵站，用戶可以在AR頭顯設備中精細監(jiān)控和維護關鍵泵站，解析泵站泵頭的具體結構、功能和工作原理。同時，系統(tǒng)內置泵站機構視頻，用戶可實時觀察到虛擬供液系統(tǒng)在真實場景中的運行情況，包括管道布局、設備配置等方面的細節(jié)，深入了解集成供液技術方案的具體特點和優(yōu)勢。

4.3 操作維保培訓

（1）系統(tǒng)組成和原理培訓

通過虛擬場景幫助學員全面了解供液系統(tǒng)的關鍵部件及其功能。培訓中，供液系統(tǒng)的泵站、液箱等核心組成部分以三維模型形式展示，學員通過PC、移動端或VR設備與這些部件進行交互，探索其內部結構并聽取詳細的功能講解。系統(tǒng)確保各終端設備上的顯示效果清晰，操作流暢，交互反饋及時。用戶通過觸摸、鼠標或VR手柄即可進行操作，反饋顯示該培訓模塊友好易用，適合初學者快速掌握系統(tǒng)組成與運行原理。

（2）多端協(xié)同驗證

通過PC、VR、移動端等多終端平臺，實現(xiàn)多個學員共同參與供液設備的協(xié)同操作培訓。學員將分工合作，完成復雜設備維護任務。在驗證過程中，重點關注操作和場景變化的實時同步效果，如1名學員操作液壓閥門時，其他學員可實時看到結果。通過系統(tǒng)驗證，學員反饋協(xié)同操作體驗良好，各終端同步精準，團隊協(xié)作流暢，增強了學員在虛擬環(huán)境中的實際工作協(xié)作意識。

結語

面向集成供液解決方案基于多終端融合技術的XR平臺，基于先進的增強現(xiàn)實技術、實時圖形渲染和傳輸技術、環(huán)境定位與感知技術，將集成供液系統(tǒng)數(shù)字信息與物理空間相疊加。實現(xiàn)了煤礦智能化開采中液壓系統(tǒng)集成供液成套裝備的沉浸式巡檢與精細化管理，提升了系統(tǒng)可視化和交互體驗，滿足了復雜工作環(huán)境下對設備狀態(tài)實時監(jiān)控和分析的需求。通過對集成供液系統(tǒng)的全方位展示和操作，為煤礦智能化運維提供了有效的技術工具，為人機協(xié)同作業(yè)模式的提升奠定了基礎。

編輯丨李莎

審核丨趙瑞

煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學術交流陣地，也是行業(yè)最大最權威的期刊集群。

期刊簡介

《智能礦山》（月刊，CN 10-1709/TN，ISSN 2096-9139）是由中國煤炭科工集團有限公司主管、煤炭科學研究總院有限公司主辦的聚焦礦山智能化領域產(chǎn)學研用新進展的綜合性技術刊物。

主編：王國法院士

刊載欄目：企業(yè)/團隊/人物專訪政策解讀視角·觀點智能示范礦井對話革新·改造學術園地、專題報道等。

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

?? 征稿函詳見鏈接： 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

期刊成果：創(chuàng)刊5年來，策劃出版了“中國煤科煤礦智能化成果”“陜煤集團智能化建設成果”“聚焦煤炭工業(yè)‘十四五’高質量發(fā)展”等特刊/專題30多期。主辦“煤礦智能化重大進展發(fā)布會”“煤炭清潔高效利用先進成果發(fā)布會”“《智能礦山》理事、特約編輯年會暨智能化建設論壇”“智能礦山零距離”“礦山智能化建設運維與技術創(chuàng)新高新研修班”等活動20余次。組建了理事會、特約編輯團隊、卓越人物等千余人產(chǎn)學研用高端協(xié)同辦刊團隊，打造了“刊-網(wǎng)-號-群-庫”全覆蓋的1+N全媒體傳播平臺，全方位發(fā)布礦山智能化領域新技術、新產(chǎn)品、新經(jīng)驗。

?? 具體詳見鏈接：《智能礦山》創(chuàng)刊4周年回顧

聯(lián)系人：李編輯 010-87986441

郵發(fā)代號：82-476

?? 期刊訂閱詳見鏈接：歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了！

往期薦讀