CloseVector: 免费的 Vector Database / 向量数据库
MegaPortal · 2023-07-30 19:39:25 +08:00 · 1222 次点击这是一个创建于 468 天前的主题，其中的信息可能已经有所发展或是发生改变。
先说缺点 😅：
- 慢：服务部署在美东，500ms+ 毫秒的检索；
- 建立索引依然很慢，每条记录 500ms+ 的插入；
- 插入索引不支持并发；
- 索引大小被限制在 4MB ，大约 500 条记录；
- 无法删除单条记录；
优点：
- 目前免费：整个套解决方案最贵的应该是 OpenAI Embeddings 的费用；
- 查询的可伸缩性能应该还可以；
适用场景：
- ChatWithPDF/PPT 之类的应用，单篇文章检索；
- 候选条目在 500 或者以下的推荐，具体 DEMO 可以查看项目首页： https://closevector.getmegaportal.com/
使用方法：
https://closevector-docs.getmegaportal.com/docs/tutorial
规划：
- 建立索引本地化，加快索引速度；
- 想办法讲索引大小的限制提升至 100MB 级别；
题外话：
最近经济形势确实不佳，外部机会有限，只能忍受 996 的工作环境。虽然想在 LLMs 这个浪潮中做些小项目，但是时间不允许。共勉。
 |
1
amoia50 2023-07-30 20:43:16 +08:00
有 github 地址吗，学习下
|
 |
2
MegaPortal OP @amoia50 后面完善完善，再考虑开源哈。
|
|
3
MegaPortal OP 基于 Hnswlib ，重写了 CloseVector 的实现： https://closevector-docs.getmegaportal.com/blog/release
1. 通过 WASM, CloseVector 现在可以在浏览器上运行，这可能适合一些前端插件类的应用； 2. 我们添加了针对 node.js 和 web 的 npm 库，以便于快速集成，同时这些库与 langchain 是兼容的； 3. 创建数据库后，可以通过 API 上传到 CloseVector 后台，这样在 node.js 或 web 环境中方便下次加载和使用。 CloseVector 的文档站点的搜索功能是基于 CloseVector 本身实现的。您可以访问文档站点来体验： https://closevector-docs.getmegaportal.com/ 查看文档站点的具体实现： https://github.com/MegaPortal/closevector-doc |
Select Language