这是一个创建于 1044 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有这样的需求：本地有自己的景点结构，通过调用各景点平台拉取数据存到本地，主要考虑兼容和可扩展，后续会接各种不同结构的景点结构，大家提提建议，暂不考虑性能，并发。
第 1 条附言 · 2022-01-06 08:16:25 +08:00
我可能表达的不清楚，再明确一下，本次拉去只针对正规接口调用形式，而非爬虫
我现在只能想到使用适配器设计模式。
我现在只能想到使用适配器设计模式。
 |
1
julyclyde 2022-01-05 20:15:14 +08:00
首先，这是违法的
|
 |
2
xwayway 2022-01-05 20:20:05 +08:00
针对不同平台写爬虫呗，搞个中间表，然后数据一条条洗成自己的数据结构
|
 |
3
mxT52CRuqR6o5 2022-01-05 20:29:02 +08:00
首先爬虫违法，而且美团携程应该都是有很麻烦的反爬的
你不如直接去和美团携程沟通看看他们跟不跟你合作让你能直接调用数据 |
 |
4
ospider 2022-01-06 11:02:24 +08:00
首先，不是爬虫违法，而是窃取商业数据并变现违法。
适配器模式挺好，但是重点不是代码设计吧，是数据格式和数据库模式设计。 |
 |
7
markgor 2022-01-06 13:53:23 +08:00
美团没开放这些接口，携程有开放，但申请条件比较高，我只是对接过驴妈妈的，
驴妈妈是 PULL + PUSH 形式，一般每个月全量拉一次，后续产品信息变动会 PULL 对应的 ID 过来，然后再拉指定 ID 的信息即可。 基本每个 OTA 的接口数据都不一样，自己做下 mapping 就行了。 |
 |
10
kjstart 2022-01-07 02:59:57 +08:00
我觉得不用太复杂, 统一一下数据结构, 主要是往你自用的属性上靠. 然后封装成数据接口.
再为每个网站单独写 client 就可以了. client 也需要统一的接口和基类, 主要负责代理服服务器, 访问延迟, 更换 UA 和新建 http 连接, cookie 独立存储, 打码服务集成之类的... 然后你这些 client 就可以用线程池统一管理了. |
Select Language