【Big Data】Spark - 5：HDFS - 複製, MapReduce

tags: Big Data Hadoop

複製檔案至 HDFS

1. 範例檔案，也可以任意找一個txt文字檔案

2. 將要練習的檔案放置於 “Downloads” 檔案夾

   

3. 於HDFS，建立資料夾：hadoop fs -mkdir -p 資料夾路徑

   • 例如：hadoop fs -mkdir -p /user/test/jausten

4. cd ~/Downloads

5. 複製檔案至 HDFS：hadoop fs -copyFromLocal 檔案完整名稱 資料夾路徑

   • 例如：hadoop fs -copyFromLocal jane_austen.txt /user/test/jausten

6. 檢查檔案是否複製成功，列出該資料夾中所有檔案：hadoop fs -ls 資料夾路徑

   • 例如：hadoop fs -ls /user/hduser/jausten

MapReduce

1. WordCount 程式
   • 因為是jar檔，瀏覽器會告知你有風險，直接下載即可
2. 執行完複製檔案至 HDFS
3. 執行 WordCount 程式：hadoop jar WordCount檔案名稱 WordCount txt文字檔案路徑 執行結果資料夾路徑
   • hadoop jar wordcount2.jar WordCount /user/test/jausten/jane_austen.txt /user/test/output
4. 檢查執行結果
   • 列出資料夾中所有檔案：hadoop fs -ls /user/test/output
   • print出文件內容：hadoop fs -cat /user/test/output/part-r-00000
5. 移除檔案/資料夾：hadoop fs -rm -r 資料夾路徑
   • hadoop fs -rm -r /user/hduser/output

Extensive 延伸閱讀

1. Hadoop指令介紹：https://ithelp.ithome.com.tw/articles/10191116

Reference 參考資料

1. 上課講義：https://tims.etraining.gov.tw/TIMSonline/index3.aspx?OCID=113442
2. 封面圖片：https://www.ithome.com.tw/node/73978