7 万多条的 json 如何储存检索

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2603 天前的主题，其中的信息可能已经有所发展或是发生改变。

大概有 700 多个字段吧，总共 70000 多条。有什么好方法能存储及高效检索，以及数据可视化呢。试过 Mysql, bigquery 好像都不怎么行。谢谢

检索

MySQL

JSON

bigQuery

19 条回复

tedd

2018 年 12 月 15 日

上 Elastic search ？

tedd

2018 年 12 月 15 日

可视化 Elastic 全家福也能搞定

lhx2008

2018 年 12 月 15 日 via Android

这么少直接导进去 mongo 就好了

Vegetable

2018 年 12 月 15 日

json 如果是固定格式的,MySQL 不会不行吧
嵌套的多就 MongoDB 咯,检索效率有保证,但是比较底层需要做的工作比较多.
可视化就是另一个问题了,和储存关系不大,不评论啦

jiezhi

2018 年 12 月 15 日

solr?

F281M6Dh8DXpD1g2

2018 年 12 月 15 日

spark 处理一遍丢进 mysql,7 万多条很轻松的

heywin

2018 年 12 月 15 日

@liprais 多谢，我也想过，太懒了。实在不行就用 PySpark 先搞一下。

jimchen9999

2018 年 12 月 15 日

7 万数据就用 spark 你还不如用 Bash

heywin

2018 年 12 月 15 日

@jimchen9999 文件有 500 多 M，还是有点费劲。

congeec

2018 年 12 月 15 日

700 多个字段是什么意思？

heywin

2018 年 12 月 15 日

@congeec 不知道 json 黑话怎么说，键值对。

sagaxu

2018 年 12 月 16 日 via Android

https://dev.mysql.com/doc/refman/5.7/en/json.html

nuance2ex

2018 年 12 月 16 日 via iPhone

70000 多条用 pandas 就可以了

pd.read_json 秒秒钟转好格式，
再直接调用 plt 调好参数函数可视化。

最后，
如果只是自用，可以调用 to_csv 保存
如果想持久话，用 to_sql

koodai

2018 年 12 月 16 日 via iPhone

@nuance2ex 你电脑啥配置呀？
500M 加载起来有点费劲的

heywin

2018 年 12 月 16 日

@nuance2ex 这个好！！！简单
谢谢

zchlwj

2018 年 12 月 16 日 via Android

直接 mongo 啊

jimchen9999

2018 年 12 月 16 日

500m 用 spark? spark 最起码都是 tb 起步吧

missdeer

2018 年 12 月 16 日

mongodb?
sqlite3 也有 json 相关 api 了
还有个 unqlite 好像也有

imNull

2018 年 12 月 16 日 via Android

临时用的话，我一般都是直接 bash 跑下拿出需要的数据。
不少新点子，mark