首頁 找知識 分析優化. 大數據的挑戰和趨勢 (上)

大數據的挑戰和趨勢 (上)

大數據挑戰和機遇並存,大數據在未來幾年的發展,將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段,大數據在未來幾年將逐漸步入理性發展期,未來的大數據發展依然存在諸多挑戰,但前景依然非常樂觀。

20130307104332298


 

大數據發展的挑戰

目前大數據的發展依然存在諸多挑戰,包括七大方面的挑戰:

  1. 業務部門沒有清晰的大數據需求,導致數據資產逐漸流失
  2. 企業內部數據孤島嚴重,導致數據價值不能被充分利用
  3. 數據可用性低,數據品質差,導致數據無法利用
  4. 數據相關管理技術和架構落後,導致不具備大數據處理能力
  5. 數據安全能力和防範意識差,導致數據洩露
  6. 大數據人才缺乏導致大數據工作難以開展
  7. 大數據越開放越有價值,但缺乏相關政策法規,導致數據開放和隱私之間難以平衡,也難以更好開放

挑戰一:業務部門沒有清晰的大數據需求

很多企業業務部門不瞭解大數據,也不瞭解大數據的應用場景和價值,因此難以提出大數據的準確需求。由於業務部門需求不清晰,大數據部門又是非營利部門,企業決策層擔心投入比較多的成本,導致了很多企業在搭建大數據部門時猶豫不決,或者很多企業都處於觀望嘗試的態度,從根本上影響了企業在大數據方向的發展,也阻礙了企業積累和挖掘自身的數據資產,甚至由於數據沒有應用場景,刪除很多有價值歷史資料,導致企業數據資產流失。因此,這方面需要大數據從業者和專家一起,推動和分享大數據應用場景,讓更多的業務人員瞭解大數據的價值。

 

挑戰二:企業內部數據孤島嚴重

企業啟動大數據最重要的挑戰是數據碎片化。在很多企業中尤其是大型的企業,數據常常散落在不同部門,而且這些數據存在不同的數據庫中,不同部門的資料技術也有可能不一樣,這導致企業內部自己的數據都沒法打通。如果不打通這些數據,大數據的價值則非常難挖掘,大數據需要不同資料的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通,並且實現技術和工具共用,才能更好的發揮企業大數據的價值。

 

挑戰三:數據可用性低,數據質量差 

很多中型以及大型企業,時時刻刻也都在產生大量的數據,但很多企業在大數據的預測處理階段很不重視,導致數據處理不被規範。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型,對數據進行清洗和去噪,以提取有效的數據等操作。甚至很多企業在數據的報表上就出現很多不規範、不合理的情況。以上種種原因,導致企業的數據可用性差,數據品質差、數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據資訊,還有對收集到的數據進行很好的預測處理,才有可能讓數據分析和資料收集人員,從可用性高的大數據中提取有價值的資訊。Sybase 的數據表明,高品質的數據資料應用,可以顯著提升企業的商業表現,數據可用性提高 10%,企業的業績至少提升在 10% 以上。

 

挑戰四:數據相關管理技術和架構

技術架構的挑戰包含以下幾方面:

  1. 傳統的資料庫部署不能處理 TB 級別的資料,快速增長的數據量超越了傳統資料庫的管理能力,如何構建分散式的數據倉庫,並可以方便擴展大量的伺服器成為很多傳統企業的挑戰
  2. 很多企業採用傳統的資料庫技術,在設計的開始就沒有考慮資料類別的多樣性,尤其是對結構化數據、半結構化和非結構化數據的相容
  3. 傳統企業的資料庫,對數據處理時間要求不高,這些數據的統計結果往往滯後一天或兩天才能統計出來,但大數據需要即時處理數據,進行分鐘級甚至是秒級計算;傳統的資料庫架構技術師缺乏實是數據處理的能力
  4. 海量數據需要很好的網路架構,需要強大的數據中心來支撐,數據中心的運維工作也將成為挑戰,如何在保證資料穩定、支援高併發的同時,減少伺服器的低負載情況,成為海量資料中心運維的一個重點工作。

 

挑戰五:數據安全 

網路化生活使得犯罪分子更容易獲得關於人的資訊,也有了更多不易被追蹤和防範的犯罪手段,可能會出現更高明的騙局,如何保證使用者的資訊安全成為大數據時代非常重要的課題,線上數據越來越多,駭客犯罪的動機比以往都來的強烈,一些知名網站密碼洩露、系統漏洞導致使用者資料被盜等個人敏感資訊洩露事件已經警醒我們,要加強大數據網路安全的建設。另外,大數據的不斷增加,對數據存儲的物理安全性要求會越來越高,從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的資料安全令人擔憂。

 

挑戰六:大數據人才缺乏

大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展,據 Gartner 預測,到 2015 年,全球將新增 440 萬個與大數據相關的工作崗位,且會有 25% 的組織設立首席資料官職位元。大數據的相關職位需要的是複合型人才,能夠對數學、統計學、資料分析、機器學習和自然語言處理等多方面知識綜合掌控。未來,大數據將會出現約 100 萬的人才缺口,在各個行業大數據中高端人才都會成為最炙手可熱的人才,涵蓋了大數據的資料開發工程師、大數據分析師、數據架構師、大數據後臺開發工程師、演算法工程師等多個方向。因此需要大學和企業共同努力去培養和開發。目前最大的問題是很多大學缺乏大數據,所以擁有大數據的企業應該與學校聯合培養人才。

 

挑戰七:數據開發與隱私的權衡

在大數據應用日益重要的今天,數據資源的開放共用已經成為在數據大戰中保持優勢的關鍵,商業資料和個人資料的共用應用,不僅能促進相關產業的發展,也能給我們的生活帶來巨大的便利,由於政府、企業和行業資訊化系統建設往往缺少統一規劃,系統之間缺乏統一的標準,形成了眾多「數據孤島」,而且受行政壟斷和商業利益所限,數據開放程度較低,這給數據利用造成極大障礙,另外一個制約我國數據資源開放和共用的一個重要因素是政策法規的不完善,大數據收集缺乏相應的立法。無法既保證共用又防止濫用,因此,建立一個良性發展的資料共用生態系統,是我國大數據發展需要邁過去的一道門檻。同時,開放與隱私如何平衡,也是大數據開放過程中面臨的最大難題,如何在推動數據全面開放、應用和共用的同時有效地保護公民、企業隱私,逐步加強隱私立法,將是大數據時代的一個重大挑戰。


 

繼續閱讀:【大數據專題六】大數據的挑戰和趨勢 (下)

本篇文章由dcplus編輯室進行編輯撰文
原文出處:【大數據專題六】大數據的挑戰和趨勢

從概念到應用,隨著技術的更新,大數據的發展至今歷經了許多轉折階段,也面臨了各種不同的挑戰。大數據在未來會如何影響我們的生活?可以如何將大數據落實在問題解決、商務模式之中?是想了解大數據的人們持續關注的議題。

想知道大數據在應用、行銷、商務的最新趨勢嗎?12/21(一)《2015 數位策略高峰會》,邀請海內外具有豐富實戰經驗的8位重量級講者,4個小時揭密大數據,帶你一窺數據大未來!

現場席次有限,把握機會,即刻搶報!→ 12/21(一)《2015 數位策略高峰會》

關於 网贏天下网

网贏天下网
網赢天下網致力於打造中國最具行業影響力的數位行銷知識庫。下至動態、案例、對話、沙龍、金牌代理商、產品快報、金鼠標‧網路行銷大賽七大項目,項目涵盖了互聯網、數位行銷行業鲜活的前端動態,前瞻的行銷專家/達人思想與觀點,國内外實戰行銷案例,有效的行銷培訓指導,以及完善的數位行銷人才供求體系,建構起了一個開放、互動的數位行銷空間。

大家都在看

照亮「暗漏斗」的潛在消費者,「意圖數據」將成重要指標?

照亮「暗漏斗」的潛在消費者,「意圖數據」將成重要指標?

隨著第三方 Cookie 逐漸被淘汰,資料隱匿性增加的同時,品牌端愈來愈難透過數據洞悉消費者想法,如何善用有限數據,將成為未來行銷的決勝關鍵!意圖數據如何使用?品牌行銷人員又該如何靠它,轉守為攻主動接觸消費者?

還想知道更多數位新知?快來訂閱 dcplus 關鍵分享報

您希望收到哪些資訊呢?