大數據分析解決方案(DOC 52頁)

內容摘要
【文章摘要】大數據的性質是有他的三個特點（數據量大、種類多、處理速度快）決定的，數據分析的角色和作用理所當然是由大數據的性質決定的。當數據分析作用於大數據時，大數據必須身兼數職。意思就是數據分析在一個組織中扮演著多種角色和擔負著多重責任。
數據分析的職位是由DJ Patil和Jeff Hammerbacher製定的，他們試圖稱呼數據組的同事們，而又不想因為稱呼而限製他們的能力。（because of improper job title like business analyst or research scientist Building Data Science Teams）
隨著大數據在驅動企業成功中越來越有決定性作用，數據分析也變得越來越受歡迎。然而，一些領導者對數據分析扮演的角色和它所起的作用仍然不是很了 解，就像很多時候領導者不知道怎麼從大數據中抽取有用的信息，雖然很清楚的知道這些大數據是很可信的。他們的腳步落後了——他們的眼光在大數據的利用上其 實是模糊的。
大數據的性質是有他的三個特點（數據量大、種類多、處理速度快）決定的，數據分析的角色和作用理所當然是由大數據的性質決定的。當數據分析作用於大數據時，大數據必須身兼數職。意思就是數據分析在一個組織中扮演著多種角色和擔負著多重責任。
多種知識的掌握
為了解決數據量大的問題，大數據平台（例如：Apache Hadoop、LexisNexis HPPC）要求數據是被整理過的。數據分析員應該具有大數據平台應用的全方位知識，這樣才能熟練的應用數據平台處理大數據。數據分析元應當具有以下知識：
1、了解大數據平台的框架，例如：DFS和MapReduce，他們的編程框架提供強大的應用程序設計。這就意味著數據分析員還要有軟件構築和設計的能力。
2、精通大數據平台支持的編程語言，例如：Java, Python, C++, or ECL, 等等。
3、具有熟練的數據庫知識，特別是用到SQL語言的數據庫，像：HBase, CouchDB, 等等。因為大數據平台經常需要數據庫來存儲和轉換數據。
4、具有數學/統計學、機器學習、數據挖掘領域的專業知識。
一個企業的成功不是由數據量決定的，而是由能否成功的從大數據中發現和抽取有用的知識模式和關係決定的，然後用這些有價值的信息創造出有價值的產 品。統計學、機器學習和數據挖掘可以很好的用於理解數據和發掘數據的價值。自然，為了成功數據分析者必須具備這些領域的專門知識。會使用一些數據挖掘工具 或者平台（例如：R, Excel, SPSS and SAS）是最好的，可以《Top Analytics and big data software tools》這本書。
5、熟練應用自然語言處理的軟件或工具。大數據的內容大都來自於文本文件、新聞、社交媒體和報告、建議書等等。因此了解和掌握至少一種自然語言處理軟件或工具對於做一個成功的分析者起著決定性的作用。

..............................