迫于某部动画因为疫情停更, 为了满足好奇便去找漫画看
想起很久之前写过爬漫画的爬虫, 但结构混乱无法复用
这次好好整改了代码, 形成了一个可方便使用的框架, 感觉不错分享出来
以下是 Readme, 代码仓库地址: comic-spider
一个通用的漫画爬虫框架
为了模拟人类的行为, comic-spider(以下简称 cs)使用 puppeteer 来访问网站数据
这给予了实现者丰富的 api 来操作网页内容, 更加方便
cs 的原本设计目标是下载漫画, 数据获取流程是模仿人类用户访问的行为的
通常的一部漫画会有一个目录页面, 方便用户选择章节
cs 暴露了一个abstract class Spider
, constructor
接受一个indexUrl
参数, 用于指定目录页
打开目录页后, 需要从页面中提取出所有章节的入口, 使用者需要实现getChapterEntries
来返回一个所有章节入口 url 的数组
有了所有章节的入口 url 的数组, 接着 cs 会按照顺序一个个打开各个章节入口页面, 一次同时打开的页面数量可通过pageParallelCounts
配置
打开某一章节内容页后, 需要获取本章节的页数, 实现者需要实现getChapterPageCounts
来返回本章节的页数. 页数用于告知 cs 何时完成本章节爬取
打开某一章节内容页后, 需要获取具体的图像, 实现者需要实现getImageUrls
来返回本章节包含的漫画图像链接, 返回一个数组, 因为有时一个页面不止一页漫画
打开某一章节内容页后, 需要获取下一页的链接, 实现者需要实现getNextPageUrl
来返回下一页的链接
获取到章节内容页的图片链接后, 依据链接, 实现者需要指定图像的保存位置, 需要实现getImageSavePath
来从链接生成对应的图像文件下载保存路径
前置知识: web 前端基础, ts, nodejs, 了解 puppeteer
注意: 由于懒得折腾, 作者只在 mac 上实际跑过, 期待 win11 的 wslg
使用yarn
来安装依赖
实现者需要基于Spider
来自己实现细节, 参考src/examples/spiderExample.ts
具体实现的文件入口路径为src/app/app.ts
, 可以从src/examples/spiderExample.ts
复制过去
实现后, 使用yarn build-dev
编译, 之后node out/app.js
运行
推荐使用 vscode, 项目带有 vscode 的调试配置
yarn build-dev
后, 在调试面板启动调试即可
Spider
的constructor
参数指定proxy
, 为一个 http 代理服务器地址, 暂未实现用户认证; 常见的情况是本地 clash 的代理地址
Spider
的constructor
参数指定headers
, 类型为[string, string][]
Spider
的constructor
参数指定pageParallelCounts
, 控制 puppeteer 一次开启的页面数量(并行爬取多个章节)
Spider
的constructor
参数指定throttle
(毫秒), throttleRandom
(毫秒), 每次爬完一页, 等待一会儿再翻页
Spider
的constructor
参数指定chapterRange
, 在getChapterEntries
获取全面章节后, chapterRange
会作为全部章节.slice
的参数, 来指定具体爬取的章节范围
Spider
的constructor
参数指定headless
为false
, 默认为true
MIT @MXXXXXS
1
8bryo4p5qn758Dmv 2022-09-11 23:55:00 +08:00
https://mox.moe 直接推送 Kindle
|
2
ila 2022-09-12 00:44:55 +08:00 via Android
建议试试 cdp,Golang 写的
|
3
MXXXXXS OP @whitecosm0s wo, 这个网址不错, mark
|
4
MXXXXXS OP ~~网址不错~~ 网站不错, 内容很全也很简洁
|
5
MXXXXXS OP @whitecosm0s 啊, 要 vip 充值, 当我没说
|
6
8bryo4p5qn758Dmv 2022-09-12 11:57:39 +08:00
@MXXXXXS 不用的,有免费额度
|