这是一个创建于 112 天前的主题，其中的信息可能已经有所发展或是发生改变。
Matrix 很好很强大，一般服务端都用 Synapse ，支持的协议最完善，然而它的中文搜索很难用，原因在于 PostgreSQL 未能正确的给中文分词。另一个服务端项目 dendrite 支持 CJK （中日韩）分词，也只是略好一些，并且那个项目开发也几乎停滞了。 开源 IM 软件中原生支持中文搜索的有 Mattermost ，我参考它给 Synapse 开发了一个方案，具体的做法是 使用 Zhparser 插件版 Postgres ，给数据表添加一个字段，改少量 Synapse 代码。通过文件映射的方式，尽可能减少后期维护成本。
写了一篇文章分享这种方案：《给 Matrix Synapse 添加中文搜索》
12 条回复 • 2024-11-15 23:57:46 +08:00
 |
1
pieerepeng 112 天前
支持一下。有种 08 年看如何给 android 手机的通讯录支持中文的感觉。
能说说你为啥关注 matrix 吗？我理解： matrix 在去中心化情况下，要给聊天进行签名和验证，所以相同的功能实现的就比较鬼畜（我也干过类似勾当）。 mattermost 做的就是私有化部署的聊天，比较容易实现。 但用户好像不是很 care ，所以 mattermost 口碑更好 |
 |
2
gal OP @pieerepeng 我是深度用户，自己开发插件的，mattermost 也在服务器上，如果追求简单易用，群晖 Chat 是最好的选择。
|
|
3
pieerepeng 112 天前
@gal 牛逼
|
 |
4
YamatoRyou 111 天前
我有冷备份的数据库 (停机后打包 /var/lib/postgresql/data), 能直接用在带 zhparaser 的 Postgres 使用么?
|
|
5
gal OP @YamatoRyou 通过打包复制 data 目录的方式迁移 postgresql 数据库可能导致数据损坏，最好还是用 pg_dump 或 pg_restore ，如文章介绍的那样。
|
|
6
YamatoRyou 107 天前
@gal #5 已经用 pg_dump 分别迁移了 2 个数据库, 现在已经用上了你的搜索方案. 一定程度上改善了长期困扰我的问题, 感谢.
|
|
7
gal OP @YamatoRyou 很高兴能帮到你
|
|
8
YamatoRyou 10 天前
@gal #7
最近发现搜索存在死角, 具体表现为: 一个非加密房间中的个别特定关键词仍然无法搜索. 例文: host 模式是容器和主机共享 1 个地址, 会导致端口资源紧张或冲突. 另一种低风险的方法是新建驱动程序为 "macvlan" 的网络, 可以避免因为乱动系统文件导致群晖失联.  "容器" 通过客户端自带的搜索功能无法被搜索到.  但那个事件中包含关键词的正文单独拿出来用测试语句却可以正常分词. 测试 SQL 语句: SELECT * FROM ts_parse('zhparser', 'host 模式是容器和主机共享 1 个地址, 会导致端口资源紧张或冲突. 另一种低风险的方法是新建驱动程序为 "macvlan" 的网络, 可以避免因为乱动系统文件导致群晖失联.'); "容器" 在分词结果中.  我怀疑是索引不到位, 是否有可能 "在服务器不推倒重来的情况下只重建中文搜索部分的索引" 来解决问题? 如果能求方法. |
|
9
gal OP @YamatoRyou 我这没有问题，不妨尝试重新索引一下。
另外 search.py 源代码有变化： https://github.com/element-hq/synapse/commits/develop/synapse/storage/databases/main/search.py 你可以去上面博文里重新下载。 |
|
10
YamatoRyou 9 天前
@gal #9
已经更换为文章提供的脚本 (方法为停止容器, 用该文件替换旧文件并将其映射到容器内, 最后启动容器), 但问题依旧. 我怕破坏数据库, 求一个正确重新索引的方法. 我试过的方法为只执行以下 2 行 (此时表 "event_search" 列 "chinese_vector" 都已经存在的情况下): UPDATE event_search SET chinese_vector = to_tsvector('chinese', vector::text); 执行以上一行, 表 "event_search" 列 "chinese_vector" 中的部分记录变成了 null, 一段时间后恢复 CREATE INDEX CONCURRENTLY event_search_chinese_vector_idx ON event_search USING GIN (chinese_vector) 执行以上一行, 搜索能力看上去没什么变化. |
|
11
YamatoRyou 9 天前
|
|
12
gal OP @YamatoRyou 是的，感觉指正，1.119.0 版升级了 python 依赖，我这边的测试结果是使用旧路径会导致容器无法启动。
顺便提醒一下， (Shared Secret Authenticator)[https://github.com/devture/matrix-synapse-shared-secret-auth]这个密码提供程序模块（主要用于桥接）的映射路径也要改成 python3.12. |
Select Language