V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yeboo
V2EX  ›  Hadoop

springboot 整合 spark, 集群方式启动需要怎么配置呢?

  •  
  •   yeboo · 2019-06-28 00:26:31 +08:00 · 5904 次点击
    这是一个创建于 1977 天前的主题,其中的信息可能已经有所发展或是发生改变。

    springboot 中调用了 spark 方法,SparkConf 中以 local[*] 启动可以正常运行,但是设置成 yarn-client 模式就会报错,项目是直接启动的 java -jar,有大佬这样操作过吗?

    5 条回复    2019-06-28 10:37:24 +08:00
    luckylo
        1
    luckylo  
       2019-06-28 07:03:59 +08:00 via Android
    我不懂,但是给点建议,如果有报错,建议你贴出报错信息。而且 Google 报错信息,应该会有内容。
    endershadow
        2
    endershadow  
       2019-06-28 09:09:05 +08:00
    你 yarn 中 其他机器上没有你本机上有的某个 jar 包
    yeboo
        3
    yeboo  
    OP
       2019-06-28 10:25:56 +08:00
    @luckylo 我这个问题是属于我知道问题在哪:配置文件设置的不对,但是我不知道怎么去配置。官网和网上几乎所有的配置给出的都是我现在采用的配置,都是 demo 级别的,无法在生产使用。后来找了一个偏门的博客借鉴了下,解决了。。。无论如何,谢谢你了。
    yeboo
        4
    yeboo  
    OP
       2019-06-28 10:26:47 +08:00
    @endershadow 是配置文件的问题,已解决,楼下放解决方案。
    yeboo
        5
    yeboo  
    OP
       2019-06-28 10:37:24 +08:00
    1. 配置参考这个链接: https://github.com/swjuyhz/spring-boot-spark-streaming-kafka-sample ;
    2. 启动后报错: Initial job has not accepted any resources
    参考 https://stackoverflow.com/questions/38118572/initial-job-has-not-accepted-any-resources-check-your-cluster-ui-to-ensure-that 解决;
    3. 接下来就可以愉快地以 java -jar 的方式启动 springboot 程序,用集群方式去执行了。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3035 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 14:21 · PVG 22:21 · LAX 06:21 · JFK 09:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.