我們每天建立幾百 G 的資料 — 數量之大，光是過去兩年所建立的資料就佔當今世界總量的 90%。 這些資料來源廣泛， 像是用於搜集氣候資訊的感應器(物聯網)、社交媒體網站的貼文、數位圖片與影像、採購交易記錄以及行動電話 GPS 訊號等，不一而足， 這類的資料就是 Big Data。

Big Data 含括四種層面： 巨量、即時性、多樣性及真實性。

• IT 專案經理、系統架構師 或 技術決策人員
• 網路管理工程師 或 應用程式設計師
• 欲親身體驗 Big Data 實作平台

• 具有Linux 桌面系統 的 “目錄” 與 “檔案” 基本操作能力(建立, 刪除, 壓縮, 複製…)

• 具有 TCP/IP 網路基礎 (IP 位址, 遮罩, Default Gateway)

1.1 Big Data 資料特質與應用
1.2 Hadoop 生態系統的組成

第二章 建置 Hadoop 核心系統
2.1 認識與啟動 HDFS 分散檔案系統
2.2 設定 HDFS Simple Permission
2.3 管理 HDFS 分散檔案系統
2.4 認識與啟動 YARN 分散運算系統
2.5 認識 MapReduce 資料分析框架
2.6 實作 Java MapReduce 資料分析程式
2.7 規劃與設定 YARN 排程器 (scheduler)

第三章 Big Data 資料處理與分析
3.1 認識與設定 Pig 資料分析工具
3.2 Pig Latin 命令與資料型態
3.3 Pig 與 ELT (Extract-Load-Transform)
3.4 Pig 與 Open Data 實例分析 (台灣好生活)
3.5 認識與設定 Hive 資料倉儲工具
3.6 HSQL 命令實例操作
3.7 實作 Hive 外部資料表
3.8 Hive 與 超市交易實例分析 (異業連盟)

第四章 Apache Spark
4.1 Spark 叢集運行模式介紹 (Standalone,YARN,Mesos)
4.2 建置與設定 Spark Standalone 叢集
4.3 編譯與派送 Spark 應用程式 (Client/Cluster Deploy Mode)
4.4 認識 RDD 資料分析框架
4.5 RDD Transformation/Action 方法解析與應用
4.6 實作 Spark YARN Mode
4.7 Spark SQL 結構化資料處理應用