V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
BeiChuanAlex
V2EX  ›  分享创造

[分享脚本] 这是一个可以一键在本地虚拟机中一键创建 Hadoop 集群的脚本

  •  
  •   BeiChuanAlex · 2023-09-18 20:15:31 +08:00 · 2264 次点击
    这是一个创建于 432 天前的主题,其中的信息可能已经有所发展或是发生改变。

    标题:花了一天时间写了个 Hadoop 集群 构建脚本

    痛点:在做大数据开发的时候需要在本地虚拟机中创建 Hadoop 集群测试环境,但是搭建一个 Hadoop 集群并不是很容易,需要配置很多东西,费时费力,有的时候还有可能出现配置错误等情况。

    解决:采用 python 脚本在本地 pycharm 中一键运行脚本,在 3 分钟时间内就可以创建一个集群环境,免去了人工搭建的烦恼。

    使用:

    1.下载脚本

    https://raw.githubusercontent.com/jackhawks/bigdata-dev-helper/main/hadoop_cluster_init_script.py
    

    2.在脚本的同级目录,创建一个名为 packages 的目录

    3.上传 jdk 和 hadoop 包到 packages 目录(因为包过大,所以不能上传到 github )

    jdk-8u212-linux-x64.tar.gz
    hadoop-3.1.3.tar.gz
    

    4.根据自己的虚拟机 dhcp ip 配置 hosts 参数

    5.一键运行

    全自动构建集群环境,三分钟搞定!!!

    第 1 条附言  ·  2023-10-14 23:09:32 +08:00
    仓库改了名字,如有需要请访问以下链接:


    https://github.com/jackhawks/dev-helper
    3 条回复    2023-10-14 23:07:35 +08:00
    q11391
        1
    q11391  
       2023-09-19 10:17:10 +08:00
    已 star
    lqw3030
        2
    lqw3030  
       2023-10-14 09:13:37 +08:00
    楼主,仓库不见了
    BeiChuanAlex
        3
    BeiChuanAlex  
    OP
       2023-10-14 23:07:35 +08:00
    @lqw3030

    改了项目名字,用下面这个链接

    https://github.com/jackhawks/dev-helper
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2646 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 05:35 · PVG 13:35 · LAX 21:35 · JFK 00:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.