FM-大数据数据处理-Hadoop MapReduce 编程与数据可视化
教师: 王經篤,何承遠
2018/04/26
6时数/10周次 (报名结束)

概要

为了提供更好的服务品质,本课程已转移至新课程主机,若您仍有学习本课程的需求,建议重新选课,谢谢!

选课网址:https://www.ewant.org/admin/tool/mooccourse/mnetcourseinfo.php?hostid=13&id=5396

随选随学!Let's have fun with this MOOC: FM-大数据数据处理-Hadoop MapReduce 编程与数据可视化!

(本课程随选随学,仅提供课程影片,无授课教师与助教参与,也不开放测验、讨论区、与证书等功能。)

利用具可扩充性Hadoop MapReduce 计算模式,学习处理巨量数据之Java编程,其中包括Hadoop单机与集群系统安装(使用Windoop)。实验部分以交通部台湾区国道高速公路局「交通数据库」(http://tisvcloud.freeway.gov.tw/)之开放数据库做为练习巨量数据处理来源,并且练习如何使用网络数据自动下载编程,与利用Google Map 显示匝道位置。 另一方面,数据越来越大且以异于常态的速度不断增加,透过可视化的技术,可让决策人员更容易理解、记忆并在复杂的情况下,做出正确的决策。透过可视化的技术也可帮助不同背景的人员沟通,以达良好的设计与分析结果。

课程目标

1. 學習利用Hadoop巨量處理資料的能力

2. 了解資料視覺化是什麼與如何呈現

3. 學習大數據及視覺化資料的背後意義

4. 學習實際案例分析的能力

授课教师

%E4%BA%9E%E6%B4%B2-%E7%8E%8B%E7%B6%93%E7%AF%A4%E8%80%81%E5%B8%AB.jpg

王經篤老師

 

王經篤博士現為亞洲大學資訊工程學系副教授並合聘於生物資訊與醫學工程系。主要研究為從大量文字序列中抽取最大重複序列擷取,這個研究可以應用於生物資訊與交通流量分析等實務應用。因為以上應用需要大量的計算資源,故採用Hadoop分散式計算因而具有實務程式設計經驗,目前已經在亞洲大學開設大數據相關雲端計算課程數年(從2011年至今)。

 

個人網站 http://dns2.asia.edu.tw/~jdwang/

%E4%BA%9E%E6%B4%B2-%E4%BD%95%E6%89%BF%E9%81%A0%E8%80%81%E5%B8%AB.jpg

何承遠老師

 

何承遠博士現為亞洲大學資訊工程學系副教授並兼任大數據研究中心發展組組長。博士求學時期,承遠曾獲得2005年亞洲微軟學者獎(Microsoft Fellowship)並於2006年至微軟亞洲研究院當research intern一同研究開發新一代網路傳輸協定,Compound TCP (CTCP),並被微軟作業系統支援,例如:Windows XP, Vista, 8 和10以及Windows Server 2003, 2008和2016。

畢業至今(含研發替代役時期),承遠曾先後加入學界、法人與產業界,參與過許多計畫與產品開發,例如:友訊(D-Link)的Mydlink Cloud服務、交大網路測試中心(NBL)的真實流量測試服務、資策會(III)的社群化健康照顧服務跟智慧觀光、源思科技(LOFTechnology)的揪科(Juiker)等,其中Mydlink Cloud服務在2011年推出的同時,該年相關設備銷售量達到60萬台;而社群化健康照顧服務則獲得資策會102年「績優計畫及標竿獎項」之技術成就獎銅質獎和2013 R&D 100 Awards 提名。

承遠的主要研究領域為電腦網路與通訊領域、物聯網應用和大數據健康照護科技應用。除此之外,承遠對於專利申請、分析與答辯等事務皆有相當經驗與興趣。

 

個人網站 http://people.cs.nctu.edu.tw/~tommyho/

课程进度表

1 Section:介绍Hadoop+Windoop 安装与测试

2 Section:Hadoop Java 程序加载修改与运行

3 Section:巨量数据处理(1)-交通部台湾区国道高速公路局「交通数据库」

4 Section:巨量数据处理(2)-『交通部高速公路匝道数据』+网络数据自动下载程序

5 Section:专题:『交通部高速公路匝道数据』数据截取

6 Section:Hadoop MapReduce 课程总结与计算环境改进

7 Section:数据可视化之你有迷思吗?

8 Section:视觉心理与设计方法

9 Section:数据可视化常用技巧

10 Section:数据可视化经典与实际案例

课程内容

周次

单元主题

影音时数

第一周

介绍Hadoop+Windoop  安装

0.5 小时

第二周

Hadoop Java 程序加载修改与运行

0.5 小时

第三周

巨量数据处理(1)-交通部台湾区国道高速公路局「交通数据库」

0.5 小时

第四周

巨量数据处理(2)-『交通部高速公路闸道数据』+ 网络数据自动下载程序

0.5 小时

第五周

专题:『交通部高速公路闸道数据』信息截取

0.5 小时

第六周

在线测验与专题成果展示

0.5 小时

第七周

数据可视化之你有迷思吗?part 1

数据可视化之你有迷思吗?part 2

0.5 小时

第八周

视觉心理与设计方法 part 1

视觉心理与设计方法 part 2

0.5 小时

第九周

数据可视化常用技巧 part 1

数据可视化常用技巧 part 2

数据可视化常用技巧 part 3

0.75 小时

第十周

数据可视化经典与实际案例 part 1

数据可视化经典与实际案例 part 2

数据可视化经典与实际案例 part 3

0.75 小时

上课形式

投影片講解+上機操作錄影示範

评分标准

本課程不開放測驗與證書。

通过标准


课程及格标准:100分满分:100分

先修科目或先备能力

Java programming