Python 操作 elasticsearch 如何实现 bulk 写入时，如何实现超时就写入？
itskingname · 2019-10-21 11:07:46 +08:00 · 1120 次点击这是一个创建于 1860 天前的主题，其中的信息可能已经有所发展或是发生改变。
在使用 Python 操作 Elasticsearch 的第三方库 elasticsearch-py 时，我使用 helpers.bluk 来批量更新数据，代码如下：
data = DataGenerator()
helpers.bulk(es, data, index='xxx')
其中，DataGenerator()返回一个生成器，对它进行迭代，每次返回一条数据。
在默认情况下，bulk 每凑够 500 条数据就更新一次。但有时候，数据获取得比较慢，凑够 500 条需要几十分钟。所以我希望实现：
- 在 1 分钟内，只要凑够 500 条数据就写入到 ES
- 即使没有凑够 500 条，每分钟也写入 ES
大家有什么好的设计方案吗？
 |
1
laimailai 2019-10-21 12:57:09 +08:00
参考 es java 的 bulkprocessor
|
 |
2
itskingname OP @laimailai 感谢
|
Select Language