1. 首頁 > 生活百科 > >

Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中( 二 )

生活百科


文章插圖

Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
object Test {def main(args: Array[String]): Unit = {println("hello")var sparkConf = new SparkConf().setMaster("local").setAppName("WordCount");var sc = new SparkContext(sparkConf);sc.stop();}}5. 測試bug1Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/31 16:20:35 INFO SparkContext: Running Spark version 3.0.022/10/31 16:20:35 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable D:\software\hadoop-3.2.1\bin\winutils.exe in the Hadoop binaries.
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
原因就是缺少：winutils
下載地址
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
把它發放Hadoop的bin目錄下：
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
6. 測試bug2這個沒辦法復現 ， 拔的網上的記錄：
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/08 21:02:10 INFO SparkContext: Running Spark version 3.0.022/10/08 21:02:10 ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:380) at org.apache.spark.SparkContext.<init>(SparkContext.scala:120) at test.wyh.wordcount.TestWordCount$.main(TestWordCount.scala:10) at test.wyh.wordcount.TestWordCount.main(TestWordCount.scala)就是這句：A master URL must be set in your configuration
解決方案：就是沒有用到本地的地址
右擊項目：
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
沒有環境就添加上：
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
添加上：
-Dspark.master=local
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
7. 測試完成沒有error ， 完美?。?
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
五、總結這樣就完成了，歷盡千辛萬苦 ， 終于成功 。第一次結束差點勸退，發現自己對這個東西還是不懂，后面再慢慢補Scala 。先上手感受，然后再深度學習?。?
如果對你有用，還請點贊關注下，支持一下一直是小編寫作的動力?。?
可以看下一小編的微信公眾號，和網站文章首發看，歡迎關注，一起交流哈?。∥⑿潘閹鰨盒⊥醪┛突?
Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中

文章插圖
點擊訪問！小編自己的網站，里面也是有很多好的文章哦！

推薦閱讀