“三道防線”海量預報數(shù)據(jù)輕量化關鍵技術研究與應用

Research and application on lightweight key technologies for massive forecasting data in the “three lines of defense”

鄒曉濤1，孫世友2，楊樸1，劉艷民2，郭微2，邸蘇闖3

（1.北京市智慧水務發(fā)展研究院，100036，北京；2.北京師范大學，100875，北京；3.北京市水科學技術研究院，100048，北京）

摘要：近年來隨著極端天氣頻發(fā)、重發(fā)，洪水災害呈現(xiàn)突發(fā)性強、偶發(fā)性大等新特點和新規(guī)律，傳統(tǒng)監(jiān)測體系在面對新時期水旱災害防御預報、預警、預演、預案“四預”工作要求上短板明顯。構建雨水情監(jiān)測預報“三道防線”成為防災、減災、救災的重要措施。然而隨著“三道防線”建設，海量預報數(shù)據(jù)的存儲、傳輸和處理面臨巨大挑戰(zhàn)。開展了“三道防線”海量預報數(shù)據(jù)輕量化關鍵技術研究，從預報結果數(shù)據(jù)輕量化處理環(huán)節(jié)、預報結果快速調(diào)用環(huán)節(jié)、預報數(shù)據(jù)存儲環(huán)節(jié)等方面進行了海量預報數(shù)據(jù)輕量化技術體系設計，運用預報數(shù)據(jù)解析與轉換、抽稀與分級處理、矢量化與要素化處理、降雨數(shù)據(jù)輸入?yún)f(xié)同適配、分布式對象存儲等技術手段，實現(xiàn)海量預報數(shù)據(jù)的輕量化處理。以北京市為例開展了海量預報數(shù)據(jù)輕量化關鍵技術實踐。實踐證明，海量預報數(shù)據(jù)輕量化技術運用在保持數(shù)據(jù)有效性和準確性前提下，可大大減少預報數(shù)據(jù)的存儲和傳輸負擔，降低成本，提升預報結果的應用效能，提高洪水預報的效率。

關鍵詞：雨水情監(jiān)測預報“三道防線”；海量數(shù)據(jù)；輕量化；分布式對象存儲；移動平均算法

作者簡介：鄒曉濤，正高級工程師，主要從事智慧水務、數(shù)字孿生水利相關方向研究。

基金項目：北京市科技計劃課題“暴雨洪澇災害智能感知及多源數(shù)據(jù)驅動風險預警技術研究與應用”（Z231100003823005）。

DOI：10.3969/j.issn.1000-1123.2025.07.004

隨著雨水情監(jiān)測預報“三道防線”建設，海量預報數(shù)據(jù)的存儲、傳輸和處理面臨巨大挑戰(zhàn)。國內(nèi)外現(xiàn)有海量預報數(shù)據(jù)輕量化研究主要集中在數(shù)據(jù)壓縮、降維可視化、硬件高性能存儲和傳輸?shù)确矫?。王若瞳等提出海量氣象?shù)據(jù)解析和存儲的設計思路；屈志剛等針對二維水動力結果，從可視化角度提出了輕量化處理的方法；張昀昊等從海量三維模型數(shù)據(jù)的網(wǎng)格輕量化可視化角度提出展示方法；陳景麗等提出了云計算環(huán)境下氣象大數(shù)據(jù)服務的框架建設思路；馮乙新、張廣元等從高性能計算角度提出基于云計算的氣象數(shù)據(jù)存儲與處理優(yōu)化策略；馮乙新、華連生等提出氣象信息網(wǎng)絡傳輸中數(shù)據(jù)壓縮與傳輸效率優(yōu)化的建設思路；Khosrawi F等提出采用分層填充PCK方法對氣象數(shù)據(jù)進行壓縮。

綜上所述，現(xiàn)有文獻和資料主要對海量預報結果數(shù)據(jù)的高性能計算存儲架構、預報結果可視化、數(shù)據(jù)解析方式、數(shù)據(jù)壓縮技術等特定方面開展研究與實踐，缺少對數(shù)據(jù)輕量化全流程的考慮，也未對海量數(shù)據(jù)輕量化技術進行深入探索和綜合應用研究。本文在厘清“三道防線”預報結果計算與應用場景基礎上，從預報結果數(shù)據(jù)輕量化處理環(huán)節(jié)、預報結果快速調(diào)用環(huán)節(jié)、預報數(shù)據(jù)存儲環(huán)節(jié)等方面開展了海量預報數(shù)據(jù)輕量化技術研究與實踐。

“三道防線”建設要求與海量預報數(shù)據(jù)管理面臨的挑戰(zhàn)

2023年8月，水利部辦公廳印發(fā)《關于加快構建雨水情監(jiān)測預報“三道防線”實施方案》，明確要求加快構建雨水情監(jiān)測預報“三道防線”。錨定“人員不傷亡、水庫不垮壩、重要堤防不決口、重要基礎設施不受沖擊”目標，堅持“預”字當先、關口前移、防線外推，加快構建氣象衛(wèi)星和測雨雷達、雨量站、水文站組成的雨水情監(jiān)測預報“三道防線”，建設現(xiàn)代化水文監(jiān)測預報體系，實現(xiàn)延長洪水預見期和提高洪水預報精準度的有效統(tǒng)一，為打贏現(xiàn)代防汛戰(zhàn)提供有力支撐。

雨水情監(jiān)測預報“三道防線”是數(shù)字孿生水利建設的重要基礎，是水文現(xiàn)代化建設的重要內(nèi)容，是一項系統(tǒng)工程。“三道防線”建設過程中涉及降雨數(shù)值模式預報結果和水情預報模型結果數(shù)據(jù)，數(shù)據(jù)來源廣、數(shù)量多，具備海量特征，在處理、存儲、應用過程中面臨巨大挑戰(zhàn)：一是傳統(tǒng)的結構化數(shù)據(jù)庫已不滿足海量預報數(shù)據(jù)存儲要求，需要運用分布式對象存儲技術；二是需對海量預報結果數(shù)據(jù)進行輕量化處理，有效節(jié)省存儲空間，保障存儲效能；三是防汛期間，各類水情預報模型需要將降雨數(shù)值模式預報結果作為輸入?yún)?shù)，各類水情模型獲取降雨數(shù)值模式預報原始數(shù)據(jù)后分別自行處理、存儲，不僅給網(wǎng)絡傳輸帶來巨大負擔，占用大量存儲空間，還存在重復工作的情況，有必要采用統(tǒng)一方式開展降雨數(shù)值模式預報數(shù)據(jù)輸入?yún)f(xié)同適配工作，提升數(shù)據(jù)服務總體效率；四是對預報結果的快速調(diào)用、快速空間可視化展示提出了更高要求。

海量預報數(shù)據(jù)輕量化技術體系設計

“三道防線”涉及降雨預報和水情預報，預報模型種類多，預報頻次密集，形成了海量預報成果數(shù)據(jù)，在所有數(shù)據(jù)中，其數(shù)目和存儲量占比都為最大。為了減少預報數(shù)據(jù)存儲和傳輸負擔，提升預報結果的應用效率和效能，同時保持數(shù)據(jù)的有效性和準確性，應從預報結果數(shù)據(jù)輕量化處理、預報結果快速調(diào)用、預報數(shù)據(jù)存儲等重點環(huán)節(jié)，系統(tǒng)設計海量預報數(shù)據(jù)輕量化技術體系，并建立輕量化處理矩陣。預報數(shù)據(jù)輕量化處理方面，重點考慮降雨數(shù)值模式和水情預報結果的輕量化處理，在保持數(shù)據(jù)有效性和準確性的前提下，降低預報結果數(shù)據(jù)量的量級；預報結果快速調(diào)用方面，重點考慮降雨和水情預報結果數(shù)據(jù)矢量化、降雨預報結果數(shù)據(jù)要素化、水情預報并行計算的降雨數(shù)值輸入?yún)f(xié)同適配等，提供快速響應、秒級調(diào)用的預報結果數(shù)據(jù)；預報數(shù)據(jù)存儲方面，運用分布式存儲與冷熱度數(shù)據(jù)存儲相結合方式，保障數(shù)據(jù)存儲和應用的有效性和可靠性。

海量預報數(shù)據(jù)輕量化構建設計框架

海量預報數(shù)據(jù)輕量化關鍵技術研究

1.降雨數(shù)值模式預報結果輕量化處理技術

降雨數(shù)值模式預報結果數(shù)據(jù)通常為GRB、NetCDF等格式的二進制數(shù)據(jù)，每個文件的數(shù)據(jù)量為幾百兆字節(jié)；模式每天計算2～4次甚至更多次，從而形成多源、海量的降雨數(shù)值模式預報結果數(shù)據(jù)，用于“三道防線”降雨預報分析和一二維水文、水動力模型的前置數(shù)據(jù)輸入。對降雨數(shù)值模式預報結果數(shù)據(jù)進行統(tǒng)一格式化解析，并對解析數(shù)據(jù)抽稀、切片。結合區(qū)域范圍，建立標準網(wǎng)格層級，運用移動平均算法，采用自適應抽稀生成對應層級數(shù)據(jù)和切片數(shù)據(jù)成果，對照分層級標準網(wǎng)格轉換成輕量化的空間格點數(shù)據(jù)，最終生成輕量化處理后的TIF格式文件。通過應用這一輕量化處理技術，可在保持降雨數(shù)值模式預報數(shù)據(jù)的有效性和準確性前提下大大減小數(shù)據(jù)體量，有效降低數(shù)據(jù)存儲和傳輸負擔，提升預報結果的應用效率和效能。

降雨數(shù)值預報模式輕量化技術流程

2.降雨數(shù)值模式預報結果數(shù)據(jù)矢量化與要素化技術

防汛調(diào)度過程中，需快速調(diào)取降雨數(shù)值預報結果加載至矢量底圖，并基于預報時間動態(tài)展示降雨預報結果及不同區(qū)域的降雨預報要素化值?；谳p量化處理后的預報結果切片文件，運用空間拓撲技術建立地理實體與預報數(shù)據(jù)的空間匹配模式，對預報結果數(shù)據(jù)進行空間矢量化處理并進行等值面插值，生成降雨預報結果的矢量等值面?；谳p量化和矢量化處理后的降雨預報結果數(shù)據(jù)，按照標準化格網(wǎng)對預報值進行空間匹配，形成基于標準化網(wǎng)格的降雨數(shù)據(jù)要素；按照市、區(qū)、鄉(xiāng)鎮(zhèn)等不同區(qū)域、不同層級進行空間數(shù)據(jù)匹配融合，構建多范圍、多層級的降雨預報數(shù)據(jù)要素，為基于空間位置的數(shù)據(jù)計算、統(tǒng)計分析以及空間可視化提供要素化數(shù)據(jù)支撐。

降雨數(shù)值模式預報結果數(shù)據(jù)矢量化與要素化技術流程

3.水情預報并行計算的降雨數(shù)值輸入?yún)f(xié)同適配技術

“三道防線”水情測報系統(tǒng)集成以一二維水文、水動力模型為主的各類水情預報模型。降雨數(shù)值預報結果數(shù)據(jù)作為水情預報并行計算的輸入?yún)?shù)，直接影響預報結果。各類水情預報模型所需降雨數(shù)據(jù)的格式、坐標系、區(qū)域范圍各有不同，為協(xié)同適配，需基于輕量化降雨預報數(shù)據(jù)、矢量化成果和預報結果的要素數(shù)據(jù)，構建一套適配接口，達到高效協(xié)同與自動適配的目的。

水情預報并行計算的降雨數(shù)值輸入?yún)f(xié)同適配構建技術流程

降雨數(shù)值輸入的接口采用標準輕量化的地理結構編碼格式、切片文件、數(shù)值方式等，基于區(qū)域、層級、坐標系，構建標準化接口體系，動態(tài)適配水情預報并行計算輸入需求，可有效避免模型計算及系統(tǒng)應用過程中出現(xiàn)各業(yè)務分別處理降雨預報數(shù)值，數(shù)據(jù)應用標準不一，重復建設、重復工作等情況，提高水情測報效率，有力支撐防汛工作。

4.水情預報結果的多級空間矢量輕量化處理技術

一二維水文、水動力模型計算結果多以文本格式存儲，文件較大，處理和應用效率較低。對“三道防線”涉及的各類水情預報模型的輸出方式進行調(diào)整，采用靜態(tài)數(shù)據(jù)加動態(tài)數(shù)據(jù)方式輸出二進制格式，靜態(tài)數(shù)據(jù)為邊界條件內(nèi)劃定的網(wǎng)格數(shù)據(jù)，動態(tài)數(shù)據(jù)為模型計算有效的水位、流量、流速、流向等水情數(shù)據(jù)，并且按照不同預報頻次和時間切片生成各時間點的預報結果文件。按照網(wǎng)格標識融合靜態(tài)網(wǎng)格數(shù)據(jù)與動態(tài)水情數(shù)據(jù)，生成單個時間點的輕量化矢量文件，最終生成多級水情預報空間矢量文件，存儲到分布式對象存儲中。通過這一技術應用，減少了水情預報結果文件的大小，大大提升了處理效率和水情模型結果調(diào)用與可視化的效能，為災害防御提供了有力支撐。

水情預報結果的多級空間矢量輕量化處理技術流程

5.海量預報數(shù)據(jù)分布式對象存儲與冷熱度數(shù)據(jù)存儲技術

隨著“三道防線”持續(xù)建設，雨水情預報結果數(shù)據(jù)快速增長，形成了多模態(tài)的海量數(shù)據(jù)，需要建立體系化數(shù)據(jù)存儲機制，按數(shù)據(jù)產(chǎn)生方式把預報數(shù)據(jù)分為原始數(shù)據(jù)、輕量化處理結果數(shù)據(jù)，運用分布式對象存儲（MinIO系統(tǒng)）構建存儲體系。結合各項數(shù)據(jù)應用頻次，運用冷熱度存儲技術構建冷熱數(shù)據(jù)轉換的存儲體系，適應不同形態(tài)的數(shù)據(jù)存儲，為雨水情預報數(shù)據(jù)應用提供有效支撐。這一技術可有效解決傳統(tǒng)數(shù)據(jù)存儲與服務效率低、存儲形式與數(shù)據(jù)特性和應用冷熱度適配不佳等問題，提升數(shù)據(jù)資源運行效能和使用效率。

海量預報數(shù)據(jù)分布式對象存儲與冷熱度數(shù)據(jù)存儲技術流程

海量預報數(shù)據(jù)輕量化技術實踐

以北京市“三道防線”體系建設過程涉及的降雨數(shù)值模式預報產(chǎn)品和水情計算模型為例，開展海量預報數(shù)據(jù)輕量化關鍵技術研究與實踐。

降雨數(shù)值模式預報：以24h產(chǎn)品為例，產(chǎn)品每10min發(fā)布一次，文件格式為NetCDF，每個原始文件大小約500MB，一天產(chǎn)生的文件大小約72GB。運用降雨數(shù)值模式預報輕量化處理技術，對數(shù)據(jù)進行格式轉換、抽稀、分層切片處理后，設置6個層級。

數(shù)據(jù)層級設置明細

如下圖所示，抽稀過程的核心原理是減少數(shù)據(jù)點，使每個格點代表的范圍更大，其值通常為已有數(shù)據(jù)，而非插值生成新數(shù)據(jù)，因此不會額外引入計算誤差。生成的每個文件大小為1～6MB，每天數(shù)據(jù)量約5GB，數(shù)據(jù)壓縮至原來的1/10以下。

處理后的柵格數(shù)據(jù)

水情預報：以在某條山洪溝道開展的預報模型計算為例，模型輸入的降雨預報數(shù)據(jù)采用協(xié)同適配后數(shù)據(jù)，模型計算預報24h，全量輸出計算結果數(shù)據(jù)量為44MB。運用水情預報多級空間矢量輕量化處理技術后，模型計算生成的結果數(shù)據(jù)量為4.5MB，數(shù)據(jù)壓縮到近1/10。采用MinIO分布式對象存儲系統(tǒng)存儲數(shù)據(jù)，同時運用冷熱數(shù)據(jù)存儲技術實現(xiàn)冷熱數(shù)據(jù)動態(tài)切換，保障了數(shù)據(jù)存儲的可靠和有效。

利用降雨數(shù)值模式預報結果數(shù)據(jù)矢量化與要素化處理關鍵技術，對降雨數(shù)值模式預報結果數(shù)據(jù)與北京市的區(qū)、鄉(xiāng)鎮(zhèn)街道、流域空間位置進行匹配，生成北京市各區(qū)、各鄉(xiāng)鎮(zhèn)街道、各流域的降雨預報結果數(shù)據(jù)要素值，并進行統(tǒng)計分析。

北京市部分流域區(qū)域降雨預報結果要素值統(tǒng)計

運用反距離加權插值算法，生成了降雨預報等值面數(shù)據(jù)供業(yè)務應用系統(tǒng)調(diào)用，動態(tài)展示降雨預報數(shù)據(jù)空間分布。開發(fā)地理結構編碼格式（GeoJSON）的降雨預報數(shù)據(jù)服務接口供業(yè)務應用系統(tǒng)使用，與采用ASC格式未經(jīng)過分層網(wǎng)格處理的氣象模式預報產(chǎn)品數(shù)據(jù)生成的服務調(diào)用響應平均時間相比，經(jīng)分層網(wǎng)格輕量化處理后，調(diào)用響應速度在全市、流域、區(qū)域分別提升174倍、88倍、51倍。此外，數(shù)據(jù)輕量化不影響有效精度，在提升降雨數(shù)值模式預報數(shù)據(jù)應用效能的同時滿足防洪防汛業(yè)務場景的需求。

降雨預報結果輕量化前后調(diào)用響應平均時間對比

結語

雨水情監(jiān)測預報“三道防線”的海量預報數(shù)據(jù)面臨存儲、傳輸、處理和應用等各個方面的巨大挑戰(zhàn)，需要構建海量預報數(shù)據(jù)輕量化處理技術體系，用以支撐海量降雨預報數(shù)據(jù)應用，包括以一二維水文、水動力模型為代表的機理算法數(shù)據(jù)輸入，以及防汛管理工作空間可視化應用等。本文開展海量預報數(shù)據(jù)輕量化技術體系設計與研究，基于北京市開展的應用實踐，綜合運用各項關鍵技術，實現(xiàn)了降雨數(shù)值模式預報結果的輕量化處理、數(shù)據(jù)的矢量化和要素化，水情預報并行計算的降雨數(shù)值輸入?yún)f(xié)同適配，以及水情預報結果的多級空間矢量輕量化。實踐顯示，海量預報數(shù)據(jù)輕量化處理關鍵技術具有較好的穩(wěn)定性和擴展性，可大大降低預報數(shù)據(jù)的存儲和傳輸負擔，提升預報結果的應用效率和效能，保障預報數(shù)據(jù)高效、可擴展地應用，為災害防御提供有力支撐。

Abstract: In recent years, with the frequent and intense occurrence of extreme weather, flood disasters have shown new characteristics and patterns such as strong suddenness and high unpredictability. The traditional monitoring system has obvious shortcomings in meeting the requirements of the forecast, early warning, rehearsal and plan for flood and drought disaster prevention in the new era. Therefore, building a “three lines of defense” system for rainfall monitoring has become an important measure for disaster prevention, mitigation, and relief. However, with the construction of the “three lines of defense”, massive forecast data has brought huge challenges in storage, transmission, and processing. This article aims to study the key technologies for lightweight massive forecast data in the “three lines of defense”. Using the link matrix method, a lightweight technology system for massive forecast data has been designed from the aspects of lightweight processing of forecast result data, rapid call of forecast result data, and storage of forecast data. By using technical means such as forecast data parsing and conversion, extraction and grading processing, vectorization and factored processing, collaborative adaptation of rainfall data input, and distributed object storage, the lightweight processing of massive forecast data can be achieved. Taking the Beijing region as an example, the practice of key technologies for lightweight massive forecast data has been carried out. Practice has proved that the application of lightweight technology for massive forecast data greatly reduces the storage and transmission burden of forecast data, reduces costs, improves the application efficiency and effectiveness of forecast results, and enhances the efficiency of flood forecasting while maintaining the effectiveness and accuracy of data.

Keywords: “three lines of defense”; massive forecast data; lightweight; distributed object storage; moving average algorithm

本文引用格式：

鄒曉濤，孫世友，楊樸，等.“三道防線”海量預報數(shù)據(jù)輕量化關鍵技術研究與應用[J].中國水利，2025（7）：30-36.

封面供圖高澤鵬

責編王慧

校對劉磊寧

審核軒瑋

監(jiān)制李建章

---

聲明：本文系轉載自互聯(lián)網(wǎng)，請讀者僅作參考，并自行核實相關內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑，請立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應并做處理，再次感謝您的閱讀與關注。