大數據資料分析處理:以國道高速公路車流資料分析運用為例
教師: 王經篤
2022/10/07~2022/12/09
9小時/9週 (報名結束)

摘要

本課程利用「高快速公路整體路網交通管理系統」與「高速公路電子收費系統」所提供的開源資料(Traffic Data Collection System, TDCS),作為大數據分析處理的資料來源。
另一方面,亞洲大學與亞馬遜 (Amazon)於西元2021 年開始已有簽訂AWS Academy program 學術學程合作協定,故亞洲大學可以在本課程中,提供註冊(電子郵件)修課學生AWS Academy Learner Lab雲端服務平台之實做環境,以便操作國道車流大數據處理與分析。
本課程將會在前期教導學員們如何透過亞馬遜的Amazon Web Services(AWS)來下載、儲存和分析國道高速公路車流資料,後期課程則教導學員們如何使用視覺化工具來解讀國道高速公路車流資料和其分析結果。
學生可以藉由這些在AWS雲端的實作,獲得處理大數據分析經驗,未來有機會可以更近一步進修取得AWS 國際證照,增加就業機會。

#數據分析

課程目標

  • 大數據的資料儲存與管理。
  • 國道高速公路電子匝道車流分析。
  • AWS雲端應用服務之大數據分析處理實務操作經驗。

授課教師

王經篤 老師

教師簡介

亞洲大學資訊工程系副教授,目前研究以『從巨量標籤化序列資料中,抽取最大重複序列』之相關應用為主,如:(1)生物資訊-跨物種全基因體DNA序列比對(2)交通大數據:國道電子匝道與台中市公車搭乘人數之分析。因為序列比對研究上大量計算需求,故投入學習如何使用雲端計算平台,目前已經通過AWS Certified Solutions Architect – Associate(SAA)助理級架構師之認證考試。

課程進度表

單元 1:資料介紹與工具介紹

單元 2:資料視覺化-高速公路計費匝道位置

單元 3:資料下載-如何大量自動下載交通資料-網路爬蟲

單元 4:資料儲存與備份-AWS S3 (Simple Storage Service)

單元 5:關連式資料庫 資料匯入-AWS Relational Database (RDS)

單元 6:資料視覺化-AWS QuickSight

單元 7:非關連式資料庫 資料匯入- AWS DynamoDB

單元 8:大數據資料分析 雲端資料倉儲-AWS RedShift

單元 9:期末專題展示

評分標準

作業:佔總成績  20 %

o(上傳YouTube 影片URL) 3~5 分鐘)

oGoogleMap 標示:你想要觀察國道高速公路『特定路段』的『交流道』(Interchanges)與『電子收費匝道』(Gantries)

期中考:佔總成績 30 %

o(YouTube 影片URL) 510 分鐘)

o1) 選擇你有興趣交通資料與說明格式 (2) 匯入台灣國道收費電子匝道,並於GoogleMap上標示 你有興趣的匝道位置與路段,說明原因。 (3) 檢查完成特定時段資料下載 (4)上傳『國道高速公路交通資料』雲端儲存-AWS S3

期末考:佔總成績  50%

o(YouTube 影片URL) 510 分鐘)

o交通部臺灣區國道高速公路局「交通資料庫-大數據雲端資料分析

o(1) 資料匯入 AWS RDS (2) 特定匝道-不同車種-週期性車流統計 (3) 雲端資料視覺化-利用統計分析,說明你觀察到的車流是否有規則或發現例外(異常)

通過標準


課程及格標準:60分滿分:100分

先修科目或先備能力

o   計算機概論

o   Programming Language: 如:Python

o   Database: SQL

證書資訊

本課程證書費用:250元

如何申請電子版證書?

1.點選右上方的「小白人」。

2.點選「證書下載」。


3.畫面即會轉到申請證書系統中,請點選「我要申請證書」。

4.點選「我要搜尋」開始申請證書。


5.ewant平台僅提供電子版證書,確認繳費成功後,請點選「我已申請的證書」,再點選「我要搜尋」下載您申請的證書電子檔。

詳細證書下載流程說明請點這裡