这是一个创建于 210 天前的主题，其中的信息可能已经有所发展或是发生改变。
主要目的是提取纯文本方便 chatgpt
https://gist.github.com/taowen/4ce9de62255ded695db106ded4aa18c1
- pdf.js 可以提取所有的 TextItem 包括文本和包围盒
- 根据包围盒可以大致判断一下是否换行了
- 如果一行中包含了公式，那么一行会有很多个 TextItem ，这些行会称之为 complex 的行
- 多个连续的 complex 行变成了 complex 块
- 如果有 claude 3 haiku 的账号会对 complex 块做一次基于图片的 OCR 来清洗嘈杂的带公式的文本
除了 pdf 还有几个纯浏览器的小工具方便用来提取纯文本
- https://gist.github.com/taowen/95ae056924f33bafa809cb4147e52566 HTML 转 markdown 。本地用 turndown.js 实现的
- https://gist.github.com/taowen/2a49387d5abc195ba57acbb94f4dd28f youtube 字幕提取
- https://gist.github.com/taowen/3a0ee294ae60fd7e8f14f4af81edf38e arxiv 论文转 markdown
- https://marketplace.visualstudio.com/items?itemName=taowen.repo-to-prompt github.dev 代码仓库转 prompt
2 条回复 • 2024-04-13 23:45:38 +08:00
 |
1
buyno1 210 天前
油管那个总提示 复制了 0 字符
不知什么原因 |
Select Language