大数据数据处理 –Hadoop MapReduce 编程与数据可视化
教师: 王經篤,何承遠
2017/10/18 ~ 2017/12/20
6时数/10周次 (报名结束)

概要

利用具可扩充性Hadoop MapReduce 计算模式,学习处理巨量数据之Java编程,其中包括Hadoop单机与集群系统安装(使用Windoop)。实验部分以交通部台湾区国道高速公路局「交通数据库」(http://tisvcloud.freeway.gov.tw/)之开放数据库做为练习巨量数据处理来源,并且练习如何使用网络数据自动下载编程,与利用Google Map 显示匝道位置。 另一方面,数据越来越大且以异于常态的速度不断增加,透过可视化的技术,可让决策人员更容易理解、记忆并在复杂的情况下,做出正确的决策。透过可视化的技术也可帮助不同背景的人员沟通,以达良好的设计与分析结果。

课程目标

1. 學習利用Hadoop巨量處理資料的能力

2. 了解資料視覺化是什麼與如何呈現

3. 學習大數據及視覺化資料的背後意義

4. 學習實際案例分析的能力

授课教师

 %E4%BA%9E%E6%B4%B2-%E7%8E%8B%E7%B6%93%E7%AF%A4%E8%80%81%E5%B8%AB.jpg

王經篤老師

 

王經篤博士現為亞洲大學資訊工程學系副教授並合聘於生物資訊與醫學工程系。主要研究為從大量文字序列中抽取最大重複序列擷取,這個研究可以應用於生物資訊與交通流量分析等實務應用。因為以上應用需要大量的計算資源,故採用Hadoop分散式計算因而具有實務程式設計經驗,目前已經在亞洲大學開設大數據相關雲端計算課程數年(從2011年至今)。

 

個人網站 http://dns2.asia.edu.tw/~jdwang/

 

 %E4%BA%9E%E6%B4%B2-%E4%BD%95%E6%89%BF%E9%81%A0%E8%80%81%E5%B8%AB.jpg

何承遠老師

 

何承遠博士現為亞洲大學資訊工程學系副教授並兼任大數據研究中心發展組組長。博士求學時期,承遠曾獲得2005年亞洲微軟學者獎(Microsoft Fellowship)並於2006年至微軟亞洲研究院當research intern一同研究開發新一代網路傳輸協定,Compound TCP (CTCP),並被微軟作業系統支援,例如:Windows XP, Vista, 8 和10以及Windows Server 2003, 2008和2016。

畢業至今(含研發替代役時期),承遠曾先後加入學界、法人與產業界,參與過許多計畫與產品開發,例如:友訊(D-Link)的Mydlink Cloud服務、交大網路測試中心(NBL)的真實流量測試服務、資策會(III)的社群化健康照顧服務跟智慧觀光、源思科技(LOFTechnology)的揪科(Juiker)等,其中Mydlink Cloud服務在2011年推出的同時,該年相關設備銷售量達到60萬台;而社群化健康照顧服務則獲得資策會102年「績優計畫及標竿獎項」之技術成就獎銅質獎和2013 R&D 100 Awards 提名。

承遠的主要研究領域為電腦網路與通訊領域、物聯網應用和大數據健康照護科技應用。除此之外,承遠對於專利申請、分析與答辯等事務皆有相當經驗與興趣。

 

個人網站 http://people.cs.nctu.edu.tw/~tommyho/

 

课程进度表

第1周:介绍Hadoop+Windoop 安装与测试

第2周:Hadoop Java 程序加载修改与运行

第3周:巨量数据处理(1)-交通部台湾区国道高速公路局「交通数据库」

第4周:巨量数据处理(2)-『交通部高速公路匝道数据』+网络数据自动下载程序

第5周:专题:『交通部高速公路匝道数据』数据截取

第6周:Hadoop MapReduce 课程总结与计算环境改进

第7周:数据可视化之你有迷思吗?

第8周:视觉心理与设计方法

第9周:数据可视化常用技巧

第10周:数据可视化经典与实际案例

课程内容

周次

单元主题

影音时数

第一周

介绍Hadoop+Windoop  安装

0.5 小时

第二周

Hadoop Java 程序加载修改与运行

0.5 小时

第三周

巨量数据处理(1)-交通部台湾区国道高速公路局「交通数据库」

0.5 小时

第四周

巨量数据处理(2)-『交通部高速公路闸道数据』+ 网络数据自动下载程序

0.5 小时

第五周

专题:『交通部高速公路闸道数据』信息截取

0.5 小时

第六周

在线测验与专题成果展示

0.5 小时

第七周

数据可视化之你有迷思吗?part 1

数据可视化之你有迷思吗?part 2

0.5 小时

第八周

视觉心理与设计方法 part 1

视觉心理与设计方法 part 2

0.5 小时

第九周

数据可视化常用技巧 part 1

数据可视化常用技巧 part 2

数据可视化常用技巧 part 3

0.75 小时

第十周

数据可视化经典与实际案例 part 1

数据可视化经典与实际案例 part 2

数据可视化经典与实际案例 part 3

0.75 小时

上课形式

投影片講解+上機操作錄影示範

评分标准

  • 平時作業: (Hadoop課程部分)
  1. (10%) Windoop 單機系統安裝
  2. (10%) Hadoop Java 程式載入修改與執行
  3. (10%) 網路資料自動下載
  4. (30%) 高速公路閘道資料之資訊擷取
  • 平時測驗: (資料視覺化課程部分)
  1.  (20%) 你有迷思嗎? (前後測各佔10%)
  2.  (10%) 視覺心理與設計方法
  3.  (5%) 資料視覺化常用技巧
  4.  (5%) 資料視覺化經典與實際案例

通过标准


课程及格标准:60分满分:100分

先修科目或先备能力

Java programming

其它

本課程證書費用:500元

如何申請證書?

1.點選右上方的「小白人」。

2.點選「證書下載」。

3.畫面即會轉到申請證書系統中,請點選「我要申請證書」。

4.點選「我要搜尋」開始申請證書。

詳細證書下載流程說明請點這裡