大數(shù)據(jù)的含義是什么？
大數(shù)據(jù)指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)具有“4V”特性：
1．?dāng)?shù)據(jù)量大（Volume）：大數(shù)據(jù)的起始計(jì)量單位是PB（1024TB）、EB（1024PB，約100萬TB）或ZB（1024EB，約10億TB），未來甚至?xí)_(dá)到Y(jié)B（1024ZB）或BB（1024YB）。
2．?dāng)?shù)據(jù)多樣性（Variety）：大數(shù)據(jù)類型繁多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置等各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是指存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)實(shí)現(xiàn)表達(dá)的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、報(bào)表、圖像、音頻信息、視頻信息等；半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)和完全非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)，具有一定的結(jié)構(gòu)性，例如員工簡歷，有的簡歷只有教育情況，有的簡歷包括教育、婚姻、戶籍、出入境等很多信息。

3．價(jià)值密度低（Value）：大數(shù)據(jù)價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，在連續(xù)不間斷的監(jiān)控中，有用數(shù)據(jù)可能僅有一兩秒。原始零散、復(fù)雜多樣，甚至可能有數(shù)據(jù)噪聲和污染的數(shù)據(jù)需要經(jīng)歷價(jià)值“提純”才能得出信息、獲取知識。
4．?dāng)?shù)據(jù)的產(chǎn)生和處理速度快（Velocity）：大數(shù)據(jù)的智能化和實(shí)時(shí)性要求越來越高，對處理速度也有極嚴(yán)格的要求，一般要在秒級時(shí)間范圍內(nèi)給出分析結(jié)果，超出這個(gè)時(shí)間數(shù)據(jù)就可能失去價(jià)值，即大數(shù)據(jù)的處理要符合“1秒定律”。
以上是創(chuàng)業(yè)螢火網(wǎng)小編為您整理的關(guān)于大數(shù)據(jù)的含義是什么的內(nèi)容，希望對您有所幫助。

【國有企業(yè)加速實(shí)施數(shù)字化轉(zhuǎn)型行動 全面推進(jìn)國資央企云體系和大數(shù)據(jù)體系建設(shè)】4月27日，第三屆國有企業(yè)數(shù)字化轉(zhuǎn)型論壇在福州舉辦，論壇主題為“數(shù)字賦能國企創(chuàng)新引領(lǐng)未來”，由國務(wù)院國資委主辦，中國電子信息產(chǎn)業(yè)集團(tuán)有限公司和福州市政府共同承辦。記者注意到，過去一周，國資委先后召開了全國國資委系統(tǒng)構(gòu)建國資監(jiān)管大格局研討培訓(xùn)班和國資央企信息化工作推進(jìn)會議，強(qiáng)調(diào)要重點(diǎn)抓好“系統(tǒng)提升數(shù)字監(jiān)管智能監(jiān)管能力”以及“著力提高智能監(jiān)管水平，全面推進(jìn)國資央企云體系和大數(shù)據(jù)體系建設(shè)”等工作。（上海證券報(bào)）

【市場監(jiān)管總局：積極探索大數(shù)據(jù)、區(qū)塊鏈、人工智能等新技術(shù)在互聯(lián)網(wǎng)平臺監(jiān)管執(zhí)法中的應(yīng)用】國家市場監(jiān)督管理總局局長羅文表示，加強(qiáng)數(shù)字化建設(shè)，提升智慧監(jiān)管能力和水平。積極探索大數(shù)據(jù)、區(qū)塊鏈、人工智能等新技術(shù)在互聯(lián)網(wǎng)平臺監(jiān)管執(zhí)法中的應(yīng)用，加快建設(shè)國家網(wǎng)絡(luò)交易監(jiān)管平臺，加強(qiáng)全網(wǎng)監(jiān)測預(yù)警和風(fēng)險(xiǎn)防控，重點(diǎn)增強(qiáng)穿透監(jiān)管能力，實(shí)現(xiàn)統(tǒng)一指揮、統(tǒng)一調(diào)度、快速響應(yīng)、及時(shí)處置，提升監(jiān)管的精準(zhǔn)性、及時(shí)性和有效性。

        根據(jù)IDC 最新預(yù)測，全球大數(shù)據(jù)市場的IT投資規(guī)模有望在2025年超過3500億美元，五年預(yù)測期內(nèi)（20212025年）實(shí)現(xiàn)約12.8%的年復(fù)合增長率（CAGR），較上個(gè)預(yù)測周期有所上漲。其中，大數(shù)據(jù)服務(wù)將保持其主導(dǎo)地位，市場份額在50%左右，企業(yè)通過持續(xù)增加對服務(wù)的投資來應(yīng)對智能化過程中的新挑戰(zhàn)。

　　在全球疫情的背景下，中國經(jīng)濟(jì)率先復(fù)蘇并總體保持恢復(fù)態(tài)勢。今年是中國政府實(shí)施“十四五”規(guī)劃的第一年，圍繞新一代信息技術(shù)等戰(zhàn)略性新興產(chǎn)業(yè)的投資增速進(jìn)一步提升。IDC預(yù)測，中國大數(shù)據(jù)市場2021年整體規(guī)模超110億美元，且有望在2025年超過250億美元，呈現(xiàn)出強(qiáng)勁的增長態(tài)勢。在五年預(yù)測期內(nèi)，中國終端用戶對大數(shù)據(jù)硬件、軟件、服務(wù)的支出分布相對平均——與美國等區(qū)域不同，中國大數(shù)據(jù)市場的軟件訂閱制服務(wù)占比較低，本地部署及私有云模式仍需要采購大量硬件設(shè)備。至2025年，硬件預(yù)計(jì)吸收中國大數(shù)據(jù)市場約40%的投資規(guī)模，超過軟件和服務(wù)，增長穩(wěn)定；大數(shù)據(jù)軟件市場占比將逐年提升，2025年超30%的市場支出將流向軟件，五年CAGR達(dá)到26.7%。IDC《2021年V2全球大數(shù)據(jù)支出指南》在技術(shù)維度（硬件、軟件、服務(wù)）的基礎(chǔ)上進(jìn)一步對大數(shù)據(jù)子市場做出了細(xì)分。以增速較快的軟件市場為例，2025年占比最多的三個(gè)軟件子市場分別為人工智能軟件平臺、非關(guān)系分析數(shù)據(jù)存儲及終端用戶查詢、報(bào)告和分析。IDC預(yù)計(jì)，2021年三者總和約占中國大數(shù)據(jù)軟件市場的48.4%，并在2025年提高至58.8%。非關(guān)系分析數(shù)據(jù)存儲、內(nèi)容分析及搜索系統(tǒng)有望成為中國三大熱點(diǎn)子市場，增速較快，五年CAGR均在40%以上。

       怎么實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢想？“數(shù)據(jù)編織”（Data Fabric）悄然登場。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據(jù)與分析技術(shù)趨勢中，以后每年它都會出現(xiàn)在其中。10年前大數(shù)據(jù)概念在國外興起后，不到3年就被中國用戶廣泛接受，而今天大多數(shù)中國廠商則是按兵不動，這又是為何呢？

    “數(shù)據(jù)編織”悄然登場

       Data Fabric的中文名字到底怎么翻譯，IBM公司與Gartner有了分歧。IBM大中華區(qū)科技事業(yè)部云計(jì)算與認(rèn)知軟件部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰將其稱為“數(shù)據(jù)經(jīng)緯”，而Gartner高級研究總監(jiān)孫鑫認(rèn)為“數(shù)據(jù)編織”更為合適，因?yàn)樗J(rèn)為數(shù)據(jù)編織更凸顯“動態(tài)”。

       在Data Fabric出來之前，數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)都主要部署成靜態(tài)基礎(chǔ)設(shè)施，而在未來將需要采用更動態(tài)的數(shù)據(jù)網(wǎng)格方法全面重新設(shè)計(jì)。

       孫鑫在接受記者采訪時(shí)表示，Data Fabric不是一個(gè)產(chǎn)品而是一種設(shè)計(jì)理念，是利用AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能，訪問數(shù)據(jù)或支持?jǐn)?shù)據(jù)動態(tài)整合，以發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。

       而IBM對Data Fabric的看法，與Gartner專家提到的“動態(tài)”“數(shù)據(jù)網(wǎng)格”和AI賦能并無沖突。IBM中國研發(fā)中心首席技術(shù)官趙軍偉解釋：“經(jīng)緯作為名詞，本意為織物的直線與橫線，引申為連接萬物的規(guī)律，《左傳·昭公二十五年》中寫道——‘禮，上下之紀(jì)，天地之經(jīng)緯也。’ 作為地理概念，經(jīng)緯度可以定位地球上任何一個(gè)位置，而‘?dāng)?shù)據(jù)經(jīng)緯’則可以在紛繁復(fù)雜的企業(yè)數(shù)據(jù)目錄里定位任意一個(gè)數(shù)據(jù)源。經(jīng)緯用作動詞，是規(guī)劃治理的意思，《周書·靜帝紀(jì)》中提到的‘經(jīng)天緯地’就是治理天下的意思?！?/p>

        “我們可以把Data Fabric想象成一張?zhí)摂M的網(wǎng)，這張網(wǎng)并不能理解為一種點(diǎn)對點(diǎn)連接，而是一種虛擬連接，每個(gè)節(jié)點(diǎn)都可以是不同的數(shù)據(jù)系統(tǒng)，不同系統(tǒng)上的數(shù)據(jù)在網(wǎng)上都可以迅速被定位和找到。Data Fabric的主要功能是把正確的數(shù)據(jù)，在正確的時(shí)間里，給到正確的人。通過Data Fabric， 對的人可以從對的地點(diǎn)，在對的時(shí)間里，獲取對的數(shù)據(jù)。”王積杰對記者說。

        現(xiàn)在的數(shù)據(jù)連接的架構(gòu)設(shè)計(jì)還主要是“人找數(shù)據(jù)”，而Data Fabric設(shè)計(jì)核心是“數(shù)據(jù)找人”，在合適的時(shí)間、將合適的數(shù)據(jù)推送給需要的人。

         為什么Data Fabric將會成為一種趨勢，為什么越來越多的企業(yè)將在未來采用這樣的方式進(jìn)行部署？王積杰談及了數(shù)據(jù)利用結(jié)構(gòu)模式的變化。傳統(tǒng)IT時(shí)代，無論是早年的“數(shù)據(jù)倉庫”還是近幾年的“數(shù)據(jù)湖”和“大數(shù)據(jù)”時(shí)代，其實(shí)數(shù)據(jù)利用都是集中式的架構(gòu)，把數(shù)據(jù)收集到一起，讓企業(yè)的數(shù)據(jù)分析師、BI（商業(yè)智能）分析師對數(shù)據(jù)進(jìn)行分析。但在云計(jì)算時(shí)代，用戶業(yè)務(wù)部署在多云的環(huán)境下，要想將分布在不同云上的數(shù)據(jù)集中在一起成本很高，也很費(fèi)勁，于是采用去中心化、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)就成為了必然選擇。

        Data Fabric可以同時(shí)給業(yè)務(wù)和技術(shù)團(tuán)隊(duì)帶來明確的價(jià)值，王積杰表示，從業(yè)務(wù)層面來看，由于企業(yè)能更容易地獲得高質(zhì)量的數(shù)據(jù)，從而能更快和更精確地獲得企業(yè)數(shù)據(jù)洞察。從技術(shù)層面來說，由于數(shù)據(jù)復(fù)制的次數(shù)和數(shù)量較少，從而減少了數(shù)據(jù)集成的工作，方便維護(hù)數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)，也減少了硬件架構(gòu)和存儲的開銷。由于減少了數(shù)據(jù)復(fù)制和大大優(yōu)化了數(shù)據(jù)流程，加快并簡化了數(shù)據(jù)處理過程，從而通過實(shí)施自動化的整體數(shù)據(jù)策略，減少了數(shù)據(jù)訪問管理的工作。

      Gartner認(rèn)為，隨著數(shù)據(jù)的日益復(fù)雜以及數(shù)字化業(yè)務(wù)的加速發(fā)展，Data Fabric已成為支持組裝式數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計(jì)上能夠使用/重復(fù)使用及組合不同的數(shù)據(jù)集成方式，Data Fabric可縮短30%的集成設(shè)計(jì)時(shí)間、30%的部署時(shí)間和70%的維護(hù)時(shí)間。IBM 7月發(fā)布的Cloud Pak for Data4.0的軟件組合增加了智能化的Data Fabric功能，其中AutoSQL（結(jié)構(gòu)化查詢語言），可以通過AI來自動訪問、整合和管理數(shù)據(jù)，可以幫助客戶以8倍的速度、不到一半的成本，獲得分布式查詢的答案。

        如何“編織”數(shù)據(jù)？

        要實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”，Data Fabric究竟如何“編織”？

        王積杰認(rèn)為，Data Fabric至少需要四個(gè)維度的能力。一是能夠在數(shù)據(jù)之間建立虛擬鏈接，簡化數(shù)據(jù)訪問的模式，從而減少數(shù)據(jù)復(fù)制的數(shù)量。二是需要建立一個(gè)企業(yè)數(shù)據(jù)目錄，并需要利用AI技術(shù)，自動化地實(shí)現(xiàn)基于語義和知識的分析，理解數(shù)據(jù)及其業(yè)務(wù)含義，并建立知識圖譜， 從而使數(shù)據(jù)目錄變得智能化和自動化。能夠讓需要數(shù)據(jù)的用戶，隨時(shí)了解到需要的數(shù)據(jù)在哪里、數(shù)據(jù)質(zhì)量如何等。三是建立自動化數(shù)據(jù)平臺，允許用戶通過自服務(wù)的方式，訪問并獲取數(shù)據(jù)。四是通過提供整體的自動化策略，確保數(shù)據(jù)安全，增加數(shù)據(jù)的隱私和權(quán)限保護(hù)，并提高數(shù)據(jù)質(zhì)量。

        數(shù)據(jù)編織是一種新的設(shè)計(jì)理念，它是數(shù)據(jù)管理、數(shù)據(jù)收集理念的變化，與數(shù)據(jù)倉庫、數(shù)據(jù)湖等技術(shù)并不是替代的關(guān)系，既可以運(yùn)用現(xiàn)有的數(shù)據(jù)中樞、數(shù)據(jù)湖和數(shù)據(jù)倉庫的技術(shù)和技能，也可以在未來加入新的方法和工具。

        孫鑫談到了實(shí)現(xiàn)Data Fabric的一些關(guān)鍵技術(shù)，比如增強(qiáng)型數(shù)據(jù)目錄，要想實(shí)現(xiàn)數(shù)據(jù)找人，而不是人找數(shù)據(jù)，需要增強(qiáng)的數(shù)據(jù)目錄，它要涵蓋用戶使用數(shù)據(jù)的頻度與機(jī)制，了解數(shù)據(jù)與業(yè)務(wù)的關(guān)系，還包括知識圖譜，通過知識圖譜找到數(shù)據(jù)與業(yè)務(wù)之間的關(guān)系，找到元數(shù)據(jù)利用的整合策略，也包括推薦引擎以及在數(shù)據(jù)準(zhǔn)備階段的低代碼等工具，低代碼工具的作用在于降低數(shù)據(jù)使用的門檻，加速數(shù)據(jù)產(chǎn)品化。

         從Data Fabric推動的難點(diǎn)來看，“一是理念層面的難題，中國的用戶還沒有意識到，數(shù)據(jù)利用和使用的方式已經(jīng)發(fā)生改變，傳統(tǒng)的集中收集再利用的方式已經(jīng)不能滿足需要。二是目前很多企業(yè)對于元數(shù)據(jù)不夠重視。三是從人的角度看，需要提升企業(yè)數(shù)據(jù)工程師對知識圖譜、圖語言、圖建模等數(shù)據(jù)工具的能力培養(yǎng)。四是數(shù)據(jù)編織的實(shí)現(xiàn)并不是找到一個(gè)廠商就能夠完成，它是一個(gè)旅程，需要分幾步走?！睂O鑫認(rèn)為，從用戶的角度看，率先采用Data Fabric的是金融電信行業(yè)以及數(shù)據(jù)應(yīng)用場景比較復(fù)雜的用戶。

        在這一點(diǎn)上，王積杰表達(dá)了與孫鑫一致的觀點(diǎn)——這是一個(gè)方向，但并不能一蹴而就，用戶需要分步實(shí)施，關(guān)鍵是要意識到趨勢，在后續(xù)的項(xiàng)目實(shí)施中，按照Data Fabric的理念來構(gòu)建。

  

   國內(nèi)廠商為何按兵不動？

       盡管Gartner、Forrester等分析機(jī)構(gòu)在幾年前就提出Data Fabric是數(shù)據(jù)利用與分析領(lǐng)域的革命性變革，是未來方向，但記者聯(lián)系國內(nèi)大數(shù)據(jù)相關(guān)領(lǐng)域企業(yè)進(jìn)行采訪時(shí)發(fā)現(xiàn)，對此了解或進(jìn)行布局的企業(yè)并不多，甚至找不到。

        這與國內(nèi)大數(shù)據(jù)廠商的分布有關(guān)?！皣鴥?nèi)有很多做數(shù)據(jù)庫的企業(yè)，也有很多做BI（商業(yè)智能）的企業(yè)，但做數(shù)據(jù)整合的企業(yè)很少。而事實(shí)上，在國外做數(shù)據(jù)編織的往往是數(shù)據(jù)整合、數(shù)據(jù)虛擬化的廠商，這就很好理解為什么國內(nèi)的大數(shù)據(jù)廠商遲遲未入場Data Fabric，因?yàn)檫@類企業(yè)就不多?！?孫鑫告訴記者說。

       大廠商沒有入場很好理解，因?yàn)樵贒ata Fabric的理念下，往往需要采用點(diǎn)和邊的新方式去描述數(shù)據(jù)關(guān)系，需要知識圖譜、圖數(shù)據(jù)庫等，這往往是新銳公司在做的領(lǐng)域，而大廠商往往有自己的數(shù)據(jù)整合工具，他們都希望在自己的平臺上進(jìn)行整合，但是這樣的局面一定會在之后的幾年發(fā)生變化。

      “Data Fabric這個(gè)概念在國際上已經(jīng)熱起來了，但目前國內(nèi)的IT用戶知道的人還不多。10年前大數(shù)據(jù)的概念在國外興起后，不到三年就被中國用戶廣泛接受，未來這個(gè) Data Fabric概念，中國將需要多久接受并加以應(yīng)用呢？等待時(shí)間給出答案。”王積杰說。（記者 李佳師）