大數據：不容忽視的十大趨勢
不久前，《中華人民共和國數據安全法》正式頒佈，數據安全、數據要素、數據分級等熱詞受到關注。經過數年發展，我國的大數據產業日漸成熟，很多創新技術從概念走向落地。那麼，我國大數據產業發展呈現哪些重要趨勢？中國信息通信研究院正式發佈《2021大數據十大關鍵詞》，本報邀請中國信通院雲計算與大數據研究所所長何寶宏對關鍵詞進行解讀。
關鍵詞1：數據要素市場化
中央正式提出“加快培育數據要素市場”已滿一年，2021年產業各界在法規、機制、技術等方面開始了諸多探索。一是數據相關立法正在完善，《數據安全法》正式頒佈，《個人信息保護法（草案）》即將出臺，相關法律的陸續完善爲數據要素市場化提供了保障基礎，同時深圳、上海、安徽等地方政府正在積極制定地方數據條例。二是數據交易開始探索新模式，山東、北京、北部灣等新一批成立的大數據交易所紛紛開始探索數據登記、數據信託、數據運營管理、數據資產證券化等新型業務模式，推進打造規範化、一體化的數據流通市場生態。三是企業數據資產化掀起實踐浪潮，南方電網、光大銀行、浦發銀行等領先企業開始進行更深層的數據資產化探索。
關鍵詞2：數據安全治理兼顧安全與發展
數字經濟時代，數據價值的釋放在於其流通與共享，這種天然的流動性導致傳統的信息安全防護措施已經不再適用。2021年6月初，《中華人民共和國數據安全法》頒佈，明確要求企業“建立健全數據安全治理體系，提高數據安全保障能力”，企業必須在業務發展與數據安全之間尋求平衡點。數據安全治理是實現安全與發展雙向促進的有效抓手，然而當前產業缺少基於良好實踐的方法論和精準衡量企業治理能力的評估工具。爲此，中國信通院聯合20多家企業制定了團體標準《數據安全治理能力評估框架》，已於今年4月正式發佈。
關鍵詞3：DataOps從概念到實踐
DataOps是數據管理髮展到一定階段的產物。2018年Gartner提出DataOps，將其納入數據管理Hype Cycle的三項技術之一。同時，部分數據管理能力相對領先的企業嘗試引入DataOps理念，關注數據管理流程和技術的優化，以及數據運營模式的創新。DataOps在2021年實現了從概念到實踐的突破。一方面，相關技術產品加快推出。華爲雲、騰訊雲、阿里雲、亞信科技等大數據技術服務商對數據管理產品組件進行了重構，紛紛推出數據開發治理產品。另一方面，領先企業持續貫徹落實DataOps理念。工商銀行、騰訊遊戲、浙江移動等企業優化了數據管理思路，打通了數據生產、管理、消費、運營的全鏈條，將數據標準、數據質量管控嵌入數據開發治理過程中。
關鍵詞4：隱私計算迎來市場發展爆發期
2021年隱私計算備受關注，隱私計算即將迎來市場發展爆發期。國家發展改革委、中央網信辦、工業和信息化部、國家能源局、人民銀行等部門發文鼓勵多方安全計算、聯邦學習等隱私計算技術發展和應用，政策環境進一步優化。當前，隱私計算企業和產品數量迅速增多，算法不斷優化、相關技術加快融合、產品成熟度和可用性進一步提升。與此同時，市場已經對隱私計算應用達成基本共識，隱私計算相關招投標項目和應用案例不斷豐富，隱私計算正式步入落地應用階段。
規劃諮詢、部署實施、運維運營等軟性工作共同構成大數據服務體系，解決了產品到應用的“最後一公里”問題。然而，由於大數據技術的複雜性和與業務結合的緊密性，大數據項目無法做到“交鑰匙”工程，需要優質且持續的服務。中國信通院最新產品測試結果表明，雖然當前國內大數據產品功能項通過率已經達到了95.69%，但服務能力差距依然巨大，根據中國信通院2020年發佈的服務能力評估結果，企業平均分值只有71分（滿分100分），各項細節能力均存在不足。大數據市場發展的主要矛盾已經從產品化不足轉移到了服務能力不夠，大數據服務能力將成爲供給側各企業新的競爭點。
關鍵詞6：數據技術產品與雲計算深度融合
隨着雲原生技術的成熟以及企業雲上應用的豐富，大數據技術產品與雲計算深度融合，從雲化走向雲原生化，使其具備按需付費、低成本、擴展性強、存算分離、一鍵部署等特性。2021年，亞馬遜、阿里、騰訊、華爲分別推出了與雲融合的各類大數據技術產品，包括計算分析類、存儲類、數據庫類等。
關鍵詞7：實時計算逐漸普適化
大數據的3V特徵中，其中一個就是時效性。隨着分佈式流處理平臺的不斷成熟，各行業領域實時計算分析的需求愈加強烈。在供給端方面，流計算產品能力快速迭代，流計算開源社區持續火熱，Flink是最活躍的Apache 開源項目之一。此外，實時計算公司廣受資本青睞，實時計算商業化公司Confluent即將IPO，估值超80億美元。在應用方面，實時流計算技術已經深入互聯網企業各類業務中，涌現出大量實踐案例，應用場景包括實時數倉、實時AI、流批一體等，並逐漸向金融、電信、工業等行業滲透。
關鍵詞8：數據湖進入產品化階段
數據湖能夠實現原始數據無轉換直接存儲，極大提高數據應用效率。目前開源界形成了ICEBERG、HUDI、DELTALAKE三大開源技術流派，共性特點是支持流批處理、數據更新、可擴展源數據、多種存儲引擎、多種計算引擎等能力，補齊大數據技術棧之前的短板。經過多年發展，國內企業數據湖產品在2021年逐漸落地，華爲雲、騰訊雲均在今年發佈了數據湖產品，阿里雲在今年發佈了湖倉一體2.0產品，數據湖產品化進展加速。
關鍵詞9：數字孿生在重點行業關注度高
智慧城市、工業互聯網將成爲“十四五”時期的重頭戲，而數字孿生是實現智慧城市、工業互聯網最基礎的技術手段之一。數字孿生是一系列技術的組合，具備五大關鍵技術能力：物理與數字世界的互操作性、數據模型的可擴展性、數字表徵的實時性、多維度的保真性、數字影響物理的閉環性。當前，數字孿生技術進展迅猛，成爲研究和標準化工作的重點。Gartner、IDC等研究機構開始深挖數字孿生的研究價值，ISO/IEC 開啓數字孿生相關標準制定工作，中國信通院成立數字孿生技術應用工作委員會，開展數字孿生技術在智慧城市場景與應用的探索。同時阿里雲、華爲、AWS、微軟等各頭部企業也開始佈局，發佈數字孿生行業解決方案。
數據技術產品的設計與研發與底層硬件的架構和能力息息相關。目前，底層硬件正在發生變革，導致數據技術產品也將隨之進行重構。一方面，數據技術產品將直接利用硬件實現數據安全和網絡解析等功能。另一方面，未來數據技術產品將面向ARM架構實現優化。未來，基於ARM的服務器規模將持續擴大，各類數據技術產品爲提高能力將面向ARM實現優化。