Python 遍历 mongodb 时，如何保存游标位置到本地

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2414 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目中遇到一个需求，需要将一个千万条记录级别的 mongodb 库提取部分字段转到 postgresql 中。
由于 mongodb 一直在更新，所以每隔一段时间就需要倒一次数据。所以想实现增量更新的功能。
问题是，我要如何保存上一次 python 遍历到的位置？

ps：mongodb 的_id 字段是自动生成的，其他字段无严格的递增或递减的数量关系。

MongoDB

字段

Python

游标

1 条回复

baichi

2018-04-14 01:27:55 +08:00

find_filter = {
"_id":{"$gt": ObjectId( last_id )}
}