这是一个创建于 2407 天前的主题，其中的信息可能已经有所发展或是发生改变。
在做 node 爬虫。
目前用的是 BulkWrite :
const Book = mongoose.model('Book', bookSchema);
exports.saveAll = (from_en, books) => {
const bulkWrite = books.map(book => ({
replaceOne: {
filter: {
from_en,
originId: book.originId
},
replacement: book,
upsert: true
}
}))
return Book.bulkWrite(bulkWrite).catch(error => console.error(error))
}
然后发现，这么处理 11200 条数据耗时 600s：
catId: 82 from 5040 to 5600. crawl cost: 10.1min, dataTotal: 11200, upsertTotal: 11000, matchTotal: 200
mongodb is disonnected
mongodb: 603757.883ms
✨ Done in 604.47s.
这个该如何优化？
下面是部分爬虫逻辑的代码：
while 内部的代码
机子性能：I7 6700HQ / 16G RAM
第 1 条附言 · 2018-04-28 17:41:38 +08:00
2018年04月28日17:36:55 更新
现在用 eggjs 的定时任务代替 crontab 的 npm run start，同时，更新的逻辑改为先查询已存在，存在则 replace 不存在则 insert。
但是现在发现， bulkWrite 的时间还是太长了。很容易出现后续的爬虫在更新时发生 connection fail 的错误。
{ MongoError: connection 12 to 127.0.0.1:27017 timed out
at Function.MongoError.create (/home/website/bookapp-web-test/node_modules/mongodb-core/lib/error.js:29:11)
at Socket.<anonymous> (/home/website/bookapp-web-test/node_modules/mongodb-core/lib/connection/connection.js:200:20)
at Object.onceWrapper (events.js:313:30)
at emitNone (events.js:106:13)
at Socket.emit (events.js:208:7)
at Socket._onTimeout (net.js:420:8)
at ontimeout (timers.js:482:11)
at tryOnTimeout (timers.js:317:5)
at Timer.listOnTimeout (timers.js:277:5)
name: 'MongoError',
message: 'connection 12 to 127.0.0.1:27017 timed out' }
而且更新的时间也还是达到了 360000ms 之久。
saving catId: 83, result: total -> 11200 matched ->undefined, upsert ->undefined;cost: 366340ms
求助啊，真的急。
Select Language