1. 認識 大數據分析

大數據分析：數據統計與資料探勘

比起大數據本身的4V特性，使它在數位時代脫穎而出的是準確預測未來的能力。而分析大數據的步驟其實與處理傳統數據相同，只是使用的工具有所差異。

數據統計是什麼？

處理數據的第一步是獲得並儲存，大數據在發展期間碰到的第一個問題就是資料生成過於快速且大量，需要開發新的儲存方式處理源源不絕的資料。

若能成功儲存大量資料，僅只是簡單的描述統計，也有助於了解提供數據者的特徵。職業數據網站Comparably就從數據面分析Google、臉書、微軟、蘋果、亞馬遜五家科技公司的面試難度，發現大多數Google的員工覺得面試過程很困難，反之到微軟面試工程職位時，即使穿著T恤、牛仔褲也可以被接受。從大量數據中即可發現各家公司的差異，應徵者也可以在面試前就做好相對應的心理準備。

資料探勘是什麼？

大數據無法使用過去人工方式統計與分析，即使能達成也需要耗費大量時間。因此在處理大數據時經常使用人工智慧、機器學習等技術，讓機器協助人類在短時間內分析巨量資料，這整理資料並找出其中規律的過程被稱為資料探勘。

資料探勘技術可以追蹤分析看似不相關的數據，應用在偵查、取得線索等領域上，甚至是追查犯罪者、預測犯罪地點。矽谷的大數據公司Palantir就以獨特的資料探勘技術，協助美國軍方找到蓋達組織首領賓拉登，也多次為企業與警方提供金融犯罪的線索。

大數據的分析步驟

大數據分析第一步：取得

數據隨時隨地都在產生，就連你上班時的行走路線，都可以成為商家選擇新店地址的參考資料。若是擁有大量使用者的企業，蒐集使用者的活動紀錄就可達到以數據預測未來的目標；若是較小型的企業，則可主動邀請使用者填寫問卷，逐步累積資訊量。

大數據分析第二步：儲存

由於資料量龐大，突破儲存技術式處理大數據的第一個難關。因此處理大數據時多使用分散式處理系統，透過分割資料與備份儲存，突破記憶體過小的障礙。

大數據分析第三步：運算

為達成預測未來的目的，機器可以透過分類、迴歸分析、排序、關聯分析等方式找出其中規律，並運用決策樹、遺傳演算法、人工神經網路等模型進行計算。

大數據分析第四步：視覺化

經過分析後的數據仍是數字與列表，不易閱讀。因此可搭配視覺化工具，將數據轉化為較容易閱讀與理解的形式。

全部共 0則留言
留言...
登入帳號密碼代表遵守學術網路規範