V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
DGideas
V2EX  ›  问与答

Apache Hive 使用 HDFS 时为什么也需要配置 MySQL 数据库?

  •  
  •   DGideas · 2020-05-20 21:50:29 +08:00 · 1773 次点击
    这是一个创建于 1648 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大家好,我最近刚接触 Hadoop (及其周边组件)。

    在我根据《 Hadoop 权威指南 第四版》 P476 以及网上其他教程安装配置 Hive 的时候,我注意到类似于这篇博客( http://www.meilongkui.com/archives/1561 )提到的情况:即需要配置 MySQL 或其他数据库才能使用 Hive 。

    我的问题是既然 Hive 能使用 HDFS 作为数据仓库,为什么还要额外配置其他数据库才能使用呢?我使用的 Hive 版本是 3.1.2,Hadoop 版本为 3.2.1 。

    这个问题我在 Hive 官网上找了找文档和说明,感觉 Hive 官网上说明性的东西好少……用英文在 Google 搜索也没有相关结果,遂在 V2EX 上提问,简单问题,望大佬轻喷。

    补充:我注意到类似( https://blog.csdn.net/seaReal1/article/details/80073931 )的解答,但是感觉并不是很懂,也不确认讲得对不对
    第 1 条附言  ·  2020-05-21 14:13:53 +08:00
    感谢各位,我顺便将配置过程写成文章放到自己的博客上了: https://dgideas.net/?p=113
    6 条回复    2020-05-21 13:06:53 +08:00
    DGideas
        2
    DGideas  
    OP
       2020-05-20 22:16:31 +08:00
    @min 非常感谢!
    gengz
        3
    gengz  
       2020-05-21 11:19:11 +08:00   ❤️ 1
    因为需要一组数据去描述你的数据(元数据),至于你怎么去维护这组元数据,可以是文件,可以是数据库,也可以是自己( rdms 的元数据就是自己本身存储)。
    HEROic
        4
    HEROic  
       2020-05-21 12:41:27 +08:00 via Android
    不是有内置小 derby 数据库嘛。。 可以不配置的
    DGideas
        5
    DGideas  
    OP
       2020-05-21 13:04:38 +08:00
    @HEROic 我这边按照 Hive 官网的 Getting Started Guide ( https://cwiki.apache.org/confluence/display/Hive/GettingStarted )中 Running Hive 一小节做的配置,但是报 FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 错误
    DGideas
        6
    DGideas  
    OP
       2020-05-21 13:06:53 +08:00
    @HEROic 感谢,我可能没理解对,我自己再配置下 Apache Derby 试试~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2916 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 12:07 · PVG 20:07 · LAX 04:07 · JFK 07:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.