首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Kobayashi  ›  全部回复第 30 页 / 共 57 页
回复总数  1123
1 ... 26  27  28  29  30  31  32  33  34  35 ... 57  
❮ ❯
2020-07-11 01:14:38 +08:00
回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池
@a65420321a pipeline 只能拿到 Item，也就是你从结果中拿到的数据。加代理要在请求被 downloader 处理前，自定义 downloader middleware 即可。

兄弟，翻翻教程和文档好吗？教程的话推荐《 Python 3 爬虫开发实战》的最后几张 scrapy 讲解，介绍了 scrapy 架构。重要的是带了很多可以生产直接使用的实例。之后读完文档就可以随意用了。
2020-07-09 21:44:09 +08:00
回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池
@a65420321a 按照我定义 RedisPipeline 类的方法再定义一个 ProxyPipeline 基类。自己创建的 MyPipeline 同时继承这 2 个类即可。我自己使用方式是在 Pipeline 中同时使用 redis 和 database 连接。
2020-07-09 13:10:10 +08:00
回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池
我的思路是

1. 每个 Pipeline 一个 redis 连接。由于不明白 pipeline 工作原理（并发？并行？），不确定要不要开连接池。
2. pipeline 上没有 redis 连接。直接绑在 Spider 上, Pipeline.process(self,item,spider) 可以访问到 spider 上的 redis 连接。这个恐怕需要连接池，大小不知道设置多少合适。
2020-07-09 13:06:35 +08:00
回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池
@a65420321a 接着。https://gist.github.com/laggardkernel/0489ac1ef6ee74839ef545c7d72e085e
2020-07-09 12:58:22 +08:00
回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池
@zdnyp 搭车问一下。我目前也是基类，每个 pipeline 绑定一个 Redis connection 。不过不太明白 itempipeline 工作原理，itempipeline 支持并行还是并发，pipeline 上单一 Redis 连接后用吗，要必要开连接池？

另外实际上 Redis 连接也能绑在 spider 上。spider 应该只有一个实例，异步的话是不是需要 redis 连接池？ Redis 连接到底跟着谁比较好。

scrapy 文档里 architecture 解释的太简单了。
2020-07-08 10:59:08 +08:00
回复了 buchiluobo 创建的主题 › DNS › 请问 DOH 都有哪些？
@billytom 理论上是 DoH 比 DoT 慢吧。DoT 我只用 stubby，可以重用连接，谷歌 8.8.8.8 60ms 内可达。前边再配合 chinadns 或者其他分流。
2020-07-01 19:13:15 +08:00
回复了 xhf1024 创建的主题 › Java › 关于 git 以及 sourcetree 有什么使用或者规范文档嘛（教小白的那种）
新人培训随便找篇文章就得了。自己研究读 pro git，拿 githug （没有拼错） 做练习。
2020-06-24 19:07:28 +08:00
回复了 azev 创建的主题 › Python › 被 Mac 上的 Python 爆击
这算哪门子暴击，我还以为你强迫症犯了把系统 Python 卸载了。
2020-06-22 10:49:18 +08:00
回复了 shindgewongxj 创建的主题 › Apple › macbookpro 合盖外界显示器会烫坏自身屏幕吗？
有可能。键盘那一面也有发热。
2020-06-21 20:29:30 +08:00
回复了 saixx 创建的主题 › Python › Python 结构力学 有限元程序 有偿
放弃吧，你做不了，这需要理论基础。
2020-06-21 12:30:34 +08:00
回复了 yjxjn 创建的主题 › 硬件 › 宁芝 NIZ 静电容键盘值得入手么？
不要买蓝牙版，信号干扰导致连击严重。

35 克非常爽。一开始觉得非常#那个傻逼容易误按，后来觉得其他机械轴都太重。这 35 就是蜻蜓点水的感觉。
2020-06-21 12:26:48 +08:00
回复了 gqbre 创建的主题 › macOS › MacOS 间歇性休眠唤醒后 DNS 服务不可用
@gqbre 是的，有 SIP 只能选择重启。不过处罚这个 bug 机率非常小，可能和开着全局代理时切换网络有关。
2020-06-21 10:05:21 +08:00
回复了 kios 创建的主题 › Apple › MacBook Pro 16 inch 发热有点严重，求主动散热的解决方案，观摩一波
没用，这狗玩意本来就散热查，再有 i9 加持久更爽了。你可以试试关 turbo boost 。
2020-06-20 10:15:34 +08:00
回复了 gqbre 创建的主题 › macOS › MacOS 间歇性休眠唤醒后 DNS 服务不可用
遇到过 3 次，不知道如何触发的。因为有 SIP，没办法重启 mDNSRespomder 。killall -HUP 无效。
2020-06-20 01:24:42 +08:00
回复了 asanelder 创建的主题 › Node.js › 为什么 node 项目的依赖都要放在 node_modules 下，而不整个中心依赖库？
@cheny95
https://i.imgur.com/Md8N85t.jpg
2020-06-20 01:17:26 +08:00
回复了 fm92 创建的主题 › macOS › 大家在 mac 上都用什么 git 客户端
Sublime Merge 只在 Linux 用过，还算可以，同样不喜欢其分支显示方案。和 Tower 一样，这样的分支显示方式没办法查看多条分支走向。
Sublime Merge 用来在 Linux 做合并还不错，没有类似 Gitkraken 的性能问题。
2020-06-20 01:13:57 +08:00
回复了 fm92 创建的主题 › macOS › 大家在 mac 上都用什么 git 客户端
Tower 就是狗屎，没有内置 diff 。外置 diff 现在基本是个 GUI git 都支持。傻逼一样的分支管理。
@kaifang @seaswalker @xiangchen2011 @gesse @louiswang002 大家来开撕
2020-06-20 01:11:15 +08:00
回复了 fm92 创建的主题 › macOS › 大家在 mac 上都用什么 git 客户端
git-fork 最佳，内置冲突处理，图形化 interactive rebase 亮瞎你的狗眼，吊炸天。

sourcetree 也凑合，就是每个大版本抛弃一个 macos 版本支持。

以下不推荐：
gitkraken，electron 放到后台还是有 CPU 占用。分支太多显示不了，会挤成一条线。

tower，WQNMLGB 。吹，接着吹。没有内置 diff （任意 commit 之间）。垃圾一样的分支筛选，点击一个分支名竟然是筛选当前分支与主分支进行对比，正常来说这个动作是跳转到分支头。还有操蛋的 diff 展开，由于没有文件树，你想要收起来必须一直向上滚到文件户位置。总之，就是 CTMD，忽悠傻子的软件。
2020-06-19 19:24:00 +08:00
回复了 xuqiccr 创建的主题 › macOS › 求教， macOS 切换网络时候的代理设置问题
hammerspoon 可以监听网络变化，配合脚本切换代配置。我目前是根据 WiFi 切换内置扬声器静音。
1 ... 26  27  28  29  30  31  32  33  34  35 ... 57  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4859 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 03:57 · PVG 11:57 · LAX 19:57 · JFK 22:57
Developed with CodeLauncher
♥ Do have faith in what you're doing.