【Big Data】Spark - 8：測試 Spark - Submit a spark job, Local Mode, Standalone Mode

tags: Big Data Spark

Local Mode

• Pi：$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /usr/local/spark/examples/jars/spark-examples_2.11-2.3.1.jar 100

  

Standalone Mode

1. 啟動 Spark 後，在執行下方程式碼

   • /usr/local/spark/sbin/start-all.sh

   

2. Pi：$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.61.132:7077 --executor-memory 1G --total-executor-cores 2 /usr/local/spark/examples/jars/spark-examples_2.11-2.3.1.jar 100

   

Reference 參考資料

1. 上課講義：https://tims.etraining.gov.tw/TIMSonline/index3.aspx?OCID=113442
2. 封面圖片：http://spark.apache.org/