V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mswh
V2EX  ›  问与答

读取本地的大 JSON 进行对比,怎么提高效率?

  •  1
     
  •   mswh · 2023-08-21 21:11:11 +08:00 · 471 次点击
    这是一个创建于 459 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我有一个桌面程序,用户可以用它来下载图片,下载过的图片我记录下了图片的 ID ,并且保存到了用户本地的一个 JSON 文件中,用户可能一次下载几千个或者根据关键词来搜索,然后全选进行下载。

    我会把用户所选的图片的 ID 和本地的历史记录里的 ID 进行比对,不在历史记录里面的才下载,新下载的图片会把它的 ID 再存在历史记录里面。

    这样就会存在一个问题,历史记录会越来越大,如果达到几百兆的话,我要怎么读取,比对呢?每次比对都需要把历史记录都读到内存里然后遍历一遍吗?
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2771 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 09:42 · PVG 17:42 · LAX 01:42 · JFK 04:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.