數(shù)據編織,大數(shù)據的新風口?

來自螢火資訊
2021-09-02 10:23:17

怎么實現(xiàn)“數(shù)據找人而不是人找數(shù)據”的夢想?“數(shù)據編織”(Data Fabric)悄然登場。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據與分析技術趨勢中,以后每年它都會出現(xiàn)在其中。10年前大數(shù)據概念在國外興起后,不到3年就被中國用戶廣泛接受,而今天大多數(shù)中國廠商則是按兵不動,這又是為何呢?

       怎么實現(xiàn)“數(shù)據找人而不是人找數(shù)據”的夢想?“數(shù)據編織”(Data Fabric)悄然登場。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據與分析技術趨勢中,以后每年它都會出現(xiàn)在其中。10年前大數(shù)據概念在國外興起后,不到3年就被中國用戶廣泛接受,而今天大多數(shù)中國廠商則是按兵不動,這又是為何呢?


    “數(shù)據編織”悄然登場



       Data Fabric的中文名字到底怎么翻譯,IBM公司與Gartner有了分歧。IBM大中華區(qū)科技事業(yè)部云計算與認知軟件部數(shù)據與人工智能信息架構產品總監(jiān)王積杰將其稱為“數(shù)據經緯”,而Gartner高級研究總監(jiān)孫鑫認為“數(shù)據編織”更為合適,因為他認為數(shù)據編織更凸顯“動態(tài)”。

       在Data Fabric出來之前,數(shù)據結構的設計都主要部署成靜態(tài)基礎設施,而在未來將需要采用更動態(tài)的數(shù)據網格方法全面重新設計。

       孫鑫在接受記者采訪時表示,Data Fabric不是一個產品而是一種設計理念,是利用AI、機器學習和數(shù)據科學的功能,訪問數(shù)據或支持數(shù)據動態(tài)整合,以發(fā)現(xiàn)可用數(shù)據之間獨特的、與業(yè)務相關的關系。

       而IBM對Data Fabric的看法,與Gartner專家提到的“動態(tài)”“數(shù)據網格”和AI賦能并無沖突。IBM中國研發(fā)中心首席技術官趙軍偉解釋:“經緯作為名詞,本意為織物的直線與橫線,引申為連接萬物的規(guī)律,《左傳·昭公二十五年》中寫道——‘禮,上下之紀,天地之經緯也?!?作為地理概念,經緯度可以定位地球上任何一個位置,而‘數(shù)據經緯’則可以在紛繁復雜的企業(yè)數(shù)據目錄里定位任意一個數(shù)據源。經緯用作動詞,是規(guī)劃治理的意思,《周書·靜帝紀》中提到的‘經天緯地’就是治理天下的意思。”

        “我們可以把Data Fabric想象成一張?zhí)摂M的網,這張網并不能理解為一種點對點連接,而是一種虛擬連接,每個節(jié)點都可以是不同的數(shù)據系統(tǒng),不同系統(tǒng)上的數(shù)據在網上都可以迅速被定位和找到。Data Fabric的主要功能是把正確的數(shù)據,在正確的時間里,給到正確的人。通過Data Fabric, 對的人可以從對的地點,在對的時間里,獲取對的數(shù)據。”王積杰對記者說。

        現(xiàn)在的數(shù)據連接的架構設計還主要是“人找數(shù)據”,而Data Fabric設計核心是“數(shù)據找人”,在合適的時間、將合適的數(shù)據推送給需要的人。

         為什么Data Fabric將會成為一種趨勢,為什么越來越多的企業(yè)將在未來采用這樣的方式進行部署?王積杰談及了數(shù)據利用結構模式的變化。傳統(tǒng)IT時代,無論是早年的“數(shù)據倉庫”還是近幾年的“數(shù)據湖”和“大數(shù)據”時代,其實數(shù)據利用都是集中式的架構,把數(shù)據收集到一起,讓企業(yè)的數(shù)據分析師、BI(商業(yè)智能)分析師對數(shù)據進行分析。但在云計算時代,用戶業(yè)務部署在多云的環(huán)境下,要想將分布在不同云上的數(shù)據集中在一起成本很高,也很費勁,于是采用去中心化、分布式的數(shù)據網絡架構就成為了必然選擇。

        Data Fabric可以同時給業(yè)務和技術團隊帶來明確的價值,王積杰表示,從業(yè)務層面來看,由于企業(yè)能更容易地獲得高質量的數(shù)據,從而能更快和更精確地獲得企業(yè)數(shù)據洞察。從技術層面來說,由于數(shù)據復制的次數(shù)和數(shù)量較少,從而減少了數(shù)據集成的工作,方便維護數(shù)據質量和標準,也減少了硬件架構和存儲的開銷。由于減少了數(shù)據復制和大大優(yōu)化了數(shù)據流程,加快并簡化了數(shù)據處理過程,從而通過實施自動化的整體數(shù)據策略,減少了數(shù)據訪問管理的工作。

      Gartner認為,隨著數(shù)據的日益復雜以及數(shù)字化業(yè)務的加速發(fā)展,Data Fabric已成為支持組裝式數(shù)據分析及其各種組件的基礎架構。由于在技術設計上能夠使用/重復使用及組合不同的數(shù)據集成方式,Data Fabric可縮短30%的集成設計時間、30%的部署時間和70%的維護時間。IBM 7月發(fā)布的Cloud Pak for Data4.0的軟件組合增加了智能化的Data Fabric功能,其中AutoSQL(結構化查詢語言),可以通過AI來自動訪問、整合和管理數(shù)據,可以幫助客戶以8倍的速度、不到一半的成本,獲得分布式查詢的答案。


        如何“編織”數(shù)據?


        要實現(xiàn)“數(shù)據找人而不是人找數(shù)據”,Data Fabric究竟如何“編織”?

        王積杰認為,Data Fabric至少需要四個維度的能力。一是能夠在數(shù)據之間建立虛擬鏈接,簡化數(shù)據訪問的模式,從而減少數(shù)據復制的數(shù)量。二是需要建立一個企業(yè)數(shù)據目錄,并需要利用AI技術,自動化地實現(xiàn)基于語義和知識的分析,理解數(shù)據及其業(yè)務含義,并建立知識圖譜, 從而使數(shù)據目錄變得智能化和自動化。能夠讓需要數(shù)據的用戶,隨時了解到需要的數(shù)據在哪里、數(shù)據質量如何等。三是建立自動化數(shù)據平臺,允許用戶通過自服務的方式,訪問并獲取數(shù)據。四是通過提供整體的自動化策略,確保數(shù)據安全,增加數(shù)據的隱私和權限保護,并提高數(shù)據質量。

        數(shù)據編織是一種新的設計理念,它是數(shù)據管理、數(shù)據收集理念的變化,與數(shù)據倉庫、數(shù)據湖等技術并不是替代的關系,既可以運用現(xiàn)有的數(shù)據中樞、數(shù)據湖和數(shù)據倉庫的技術和技能,也可以在未來加入新的方法和工具。

        孫鑫談到了實現(xiàn)Data Fabric的一些關鍵技術,比如增強型數(shù)據目錄,要想實現(xiàn)數(shù)據找人,而不是人找數(shù)據,需要增強的數(shù)據目錄,它要涵蓋用戶使用數(shù)據的頻度與機制,了解數(shù)據與業(yè)務的關系,還包括知識圖譜,通過知識圖譜找到數(shù)據與業(yè)務之間的關系,找到元數(shù)據利用的整合策略,也包括推薦引擎以及在數(shù)據準備階段的低代碼等工具,低代碼工具的作用在于降低數(shù)據使用的門檻,加速數(shù)據產品化。

         從Data Fabric推動的難點來看,“一是理念層面的難題,中國的用戶還沒有意識到,數(shù)據利用和使用的方式已經發(fā)生改變,傳統(tǒng)的集中收集再利用的方式已經不能滿足需要。二是目前很多企業(yè)對于元數(shù)據不夠重視。三是從人的角度看,需要提升企業(yè)數(shù)據工程師對知識圖譜、圖語言、圖建模等數(shù)據工具的能力培養(yǎng)。四是數(shù)據編織的實現(xiàn)并不是找到一個廠商就能夠完成,它是一個旅程,需要分幾步走?!睂O鑫認為,從用戶的角度看,率先采用Data Fabric的是金融電信行業(yè)以及數(shù)據應用場景比較復雜的用戶。

        在這一點上,王積杰表達了與孫鑫一致的觀點——這是一個方向,但并不能一蹴而就,用戶需要分步實施,關鍵是要意識到趨勢,在后續(xù)的項目實施中,按照Data Fabric的理念來構建。

  

   國內廠商為何按兵不動?


       盡管Gartner、Forrester等分析機構在幾年前就提出Data Fabric是數(shù)據利用與分析領域的革命性變革,是未來方向,但記者聯(lián)系國內大數(shù)據相關領域企業(yè)進行采訪時發(fā)現(xiàn),對此了解或進行布局的企業(yè)并不多,甚至找不到。

        這與國內大數(shù)據廠商的分布有關?!皣鴥扔泻芏嘧鰯?shù)據庫的企業(yè),也有很多做BI(商業(yè)智能)的企業(yè),但做數(shù)據整合的企業(yè)很少。而事實上,在國外做數(shù)據編織的往往是數(shù)據整合、數(shù)據虛擬化的廠商,這就很好理解為什么國內的大數(shù)據廠商遲遲未入場Data Fabric,因為這類企業(yè)就不多?!?孫鑫告訴記者說。

       大廠商沒有入場很好理解,因為在Data Fabric的理念下,往往需要采用點和邊的新方式去描述數(shù)據關系,需要知識圖譜、圖數(shù)據庫等,這往往是新銳公司在做的領域,而大廠商往往有自己的數(shù)據整合工具,他們都希望在自己的平臺上進行整合,但是這樣的局面一定會在之后的幾年發(fā)生變化。

      “Data Fabric這個概念在國際上已經熱起來了,但目前國內的IT用戶知道的人還不多。10年前大數(shù)據的概念在國外興起后,不到三年就被中國用戶廣泛接受,未來這個 Data Fabric概念,中國將需要多久接受并加以應用呢?等待時間給出答案。”王積杰說。(記者 李佳師)

創(chuàng)業(yè)視頻
更多

創(chuàng)業(yè)螢火
創(chuàng)業(yè)螢火
創(chuàng)業(yè)螢火
Copyright 2021 yinghuodd.com All rights reserved 皖ICP備2020017053號-1
安徽螢火點點信息科技有限公司 地址:安徽省合肥市政務文化新區(qū)栢悅中心2412室
違法和不良信息舉報電話:0551-63844003舉報郵箱: jubao@yinghuodd.com
日本阿v一本到不卡免费,亚洲精品一级在线播放,日韩黄色精品一区,欧美日韩中文字幕 www.sucaiwu.net