从0开始学习大数据之javaspark编程入门与项目实践-创新互联
本文实例讲述了大数据java spark编程。分享给大家供大家参考,具体如下:
上节搭建好了eclipse spark编程环境
在测试运行scala 或java 编写spark程序 ,在eclipse平台都可以运行,但打包导出jar,提交 spark-submit运行,都不能执行,最后确定是版本问题,就是你在eclipse调试的spark版本需和spark-submit 提交spark的运行版本一致,还有就是scala版本一致,才能正常运行。
以下是java spark程序运行
1.新建maven项目 SparkApps
注意 pom.xml 中spark-core 的版本
我原来调试使用的是
org.apache.spark spark-core_2.12 2.4.0
另外有需要云服务器可以了解下创新互联建站www.cdcxhl.com,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
文章题目:从0开始学习大数据之javaspark编程入门与项目实践-创新互联
新闻来源:http://tyjierui.cn/article/eshsc.html