人工智慧時代大資料分析面臨的最大挑戰！
對於大資料和人工智慧（AI）來說，已經發展十年了，這是我們在本世紀看到的最大的兩個技術趨勢。從資料驅動製造到自動駕駛汽車，我們目睹了數百個令人驚歎的，以前難以想象的壯舉，這要歸功於大資料分析和人工智慧的進步。
以前，各行業的企業都擁有大量的資料，但是不確定他們可以通過這種方式獲得競爭優勢。但是隨著機器學習、深度學習、自然語言處理等方法的進步，計算能力的提高，看似無用的資料突然開始有了意義。
例如，企業可以使用客戶資料分析人口統計資料，購物習慣和其他行為，這有助於改善營銷活動和整體的使用者體驗。
儘管人工智慧帶來了很多好處，但它的發展給大資料帶來了無數的挑戰，特別是考慮資料需求大的AI系統時。
這些挑戰是我們在充分認識人工智慧和大資料潛力之前必須解決的最大障礙。
1.資料隱私和安全
AI系統，即使是最基本的形式，也是非常複雜的，大量的演算法掩蓋了系統實際上在底層做了什麼。 因此，用於這種處理的任何資料通常是隱藏的，這引發了關於這種資料的透明性和隱私性的問題。
以Cookie為例，這是用於從網站收集使用者資料以進行高階分析的程式碼段。 雖然許多國家現在要求網站通知使用者使用cookie從瀏覽器收集資料，但是沒有辦法知道通過這些網站收集了多少資料或特定型別的資料。
另外，當AI系統在聯網的分散式資料庫中處理海量資料時，總會存在資料安全問題。 在諸如電信行業的許多自動化行業中，例如，被竊取的資料可用於釋出自動垃圾郵件呼叫，例如全球許多國家都存在的垃圾郵件。
2.有限的技術能力
儘管迄今為止我們已經成功地構建了更快更好的處理器以提高計算能力，但這些能力不斷受到日益苛刻的處理任務和大量待處理資料的挑戰。
人工智慧演算法通常非常複雜，通常需要數以千計的計算 ，有時甚至每秒計算一次。隨著雲端計算和分散式處理在過去十年的發展，處理這些演算法變成了現實，也迎來了人工智慧驅動資料分析的當前時代。
然而，隨著對更強大處理器需求的增加，瓶頸將開始出現，企業很難採用這種技術。對於創業公司和中小型企業來說，這意味著需要籌集大筆資金，以使用更好的處理器和更大的儲存伺服器，這是很多中小型企業難以做到的。
這一趨勢也意味著企業將難以跨越多個不斷髮展的非關係資料庫來保護資料。
3.缺乏人力資本
資料分析是一個複雜的領域，當考慮到機器學習，深度學習和常用於分析資料的AI的其他元件時，事實會變得更加複雜。
因此，對於在各個領域有才能的資料科學家有著巨大的需求，純粹是因為這項工作是多學科的。麥肯錫的一項研究預測，到2018年，僅美國就有大約20萬個跨行業的大資料科學家和專業人員就業崗位。隨著資料收集和先進的基於人工智慧的分析方法的不斷增加的途徑，這種需求將會增長，如何找到合適的專業人員來處理這些資料，這會給企業增加壓力。
除了機器學習和資料探勘外，資料科學家需要的一些技能還包括統計學，軟體工程，線性代數，Python和Java等程式語言，以及用於高階分析的Hadoop等平臺。
大資料週刊
電話:010-57524293
眾論大資料 引領大時代
長按二維碼關注