求问 hive 和 sparkSQL 的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2301 天前的主题，其中的信息可能已经有所发展或是发生改变。

如果每天执行一次 job

表是每天建一个,还是更新之前的表?

还有就是,你们是这么写数据到 FS,然后再从 FS 到 hive 的

2 条回复 • 2018-08-07 14:38:56 +08:00

atomstar

2018-08-07 14:25:42 +08:00

如果是同类数据，肯定是根据时间分区啊每天写入新的分区即可。
至于数据怎么写入，要看你的源从哪里流来的，可以直接写 hdfs，也是根据日期分区写，然后做一下分区关联

mortonnex

2018-08-07 14:38:56 +08:00

@atomstar 谢谢

如果用 FS 作源,那么一般是怎么写 HDFS 的? 一天中某个时间统一写入?还是持续写入?