V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
donglingyongadls
V2EX  ›  分享发现

爬虫亚马逊 20 万 200-100 图书,豆瓣 7.5 分以上的图书列表

  •  
  •   donglingyongadls · 2015-11-11 11:26:54 +08:00 · 6343 次点击
    这是一个创建于 3325 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做的不够细,可能会有同名书不同作者的情况,需要购买的同学可以再确认一下

    IT 类

    玩法变了:淘宝卖家运赢弱品牌时代 : 8.1
    清华电脑学堂:SPSS 数据统计与分析标准教程(附光盘) : 8.8
    模式:工程化实现及扩展(设计模式 C#版) : 8.6
    移动社交时代的互动搜索营销 : 8.2
    听故事,学 PPT 设计 : 8.1
    1024:人与机器共同进化 : 8.1
    SPSS 统计分析大全(附光盘) : 8.8
    C++入门经典(第 9 版) : 9.4
    Linux 典藏大系:Linux 系统移植(第 2 版) : 8.2
    JavaScript 语言精髓与编程实践(第 2 版) : 8.7
    PHP 开发实战 : 8.4
    C 语言入门经典(第 5 版) : 8.7
    x86 汇编语言:从实模式到保护模式 : 8.9
    《生活》杂志数码摄影教程 : 8.6
    收获,不止 Oracle : 9.0
    C++高级编程(第 3 版) : 9.3
    Linux 典藏大系:Linux 网络编程(第 2 版) : 8.3
    小米的方法(互联网+时代的样本解读) : 8.1
    Java 入门 123:一个老鸟的 Java 学习心得(二维码版)(附课程学习卡) : 8.5
    模式:工程化实现及扩展(设计模式 Java 版) : 8.6
    PHP+MySQL 网站开发全程实例 : 8.4
    将摄影还给大众:1 分钟秘技 : 8.1
    服务建模:原理与应用 : 8.1
    C 语言其实很简单 : 8.4
    IBM SPSS 数据分析与挖掘实战案例精粹(附光盘) : 9.2
    互联网+:中国步入互联网红利时代 : 8.1
    Visual C++\CLI 从入门到精通 : 8.2
    精通 Excel 2013 表格制作与数据分析 : 9.2
    妙趣横生的算法(C 语言实现)(第 2 版) : 9.4
    反欺骗的艺术:世界传奇黑客的经历分享 : 8.0
    Java 核心技术(卷 1):基础知识(第 8 版)(评注版) : 8.5
    Linux 典藏大系:Linux 命令、编辑器与 Shell 编程(附光盘) : 8.0
    经管研究方法系列译丛:SPSS 与研究方法(第 2 版) : 8.9
    HTML 、 XHTML 、 CSS 与 JavaScript 入门经典 : 8.1
    jQuery 从零开始学 : 8.2
    互联网哲学:互联网+时代的人类智慧 : 8.1
    Clojure 编程 : 8.6
    撬动地球的力量:大数据时代的网络新媒体资源 : 9.2
    ERP 原理设计实施(第 3 版) : 8.6
    网页设计与制作(HTML+CSS)(附光盘) : 8.8
    联盟:互联网时代的人才变革 : 8.1
    Linux 入门很简单 : 8.5
    学习 OpenCV(中文版) : 8.3
    你早该这么玩 Excel2 : 8.2
    支付战争:互联网金融创世纪 : 8.3
    程序员面试宝典(第 3 版) : 9.3
    Swift 编程入门经典 : 8.8
    将摄影还给大众:7 天摄影入门 : 8.1
    互联网金融+ : 8.6
    PHP+MySQL 开发实战(附光盘) : 8.4
    撬动地球的力量:大数据时代的网络新媒体资源 : 9.2
    大话设计模式 : 8.3
    多变量分析:统计软件与数据分析 : 8.9
    LaTeX2e 完全学习手册(第 2 版)(附光盘) : 8.3
    Android 传感器高级编程 : 8.6
    云计算(第三版) : 8.2
    敏捷软件开发(原则模式与实践) : 9.1
    汇编语言的编程艺术(第 2 版) : 8.7
    MATLAB 数学建模经典案例实战 : 8.0
    形式感+:网页视觉设计创意拓展与快速表现 : 8.4
    Linux Shell 命令行及脚本编程实例详解 : 8.6
    XML 入门经典(第 5 版) : 9.1
    面向对象分析与设计(第 3 版) : 8.6
    理解数码摄影:大师杰作的拍摄技巧 : 8.1
    海量数据库解决方案 : 8.7
    算法设计与分析基础(第 3 版) : 8.6
    与机器赛跑 : 8.2
    软件方法(上册):业务建模和需求 : 9.2
    大话数据结构 : 8.0
    技术元素 : 8.1
    C 语言入门 1.2.3:一个老鸟的 C 语言学习心得(附光盘) : 8.5
    人月神话(40 周年中文纪念版) : 8.0

    社科类

    南华录:晚明南方士人生活史 : 8.7
    崖边报告:乡土中国的裂变记录 : 8.2
    失控:全人类的最终命运和结局 : 8.8
    王阳明大传:知行合一的心学智慧(套装共 2 册) : 8.4
    乌合之众:群体心理研究 : 8.4
    最好的告别:关于衰老与死亡,你必须知道的常识 : 9.2
    鸟儿歌唱:二十世纪猛回头 : 8.1
    中国古代文化史(插图本)(套装上下册) : 8.6
    影响力(珍藏版) : 8.6
    社会性动物(第 9 版) : 9.1
    语言本能:人类语言进化的奥秘 : 8.9
    一日江户人 : 8.4
    大学译丛:社会学与人类学 : 8.4
    白鱼解字(排印本) : 9.2
    名师大讲堂:北大中文系第一课 : 8.8
    钱文忠解读《弟子规》 : 8.0
    地球上最伟大的表演:进化的证据 : 8.7
    IBM SPSS 数据分析与挖掘实战案例精粹(附光盘) : 9.2
    多变量分析:统计软件与数据分析 : 8.9
    语言兴衰论 : 9.0
    翻转人生的教育:来自阿拉斯加的奇迹 : 8.4
    汉语的词库与词法 : 9.0
    中国古代文化史讲座(第 2 版) : 9.1
    陈独秀著作选编 : 8.7
    经管研究方法系列译丛:SPSS 与研究方法(第 2 版) : 8.9
    民主与领袖 : 9.1
    信息批判 : 8.0
    意大利文艺复兴时期的文化(英文版) : 8.6
    弗朗茨•舒伯特及其时代 : 8.5
    沉默的螺旋·舆论:我们的社会皮肤(翻译版) : 8.2
    与社会学同游:人文主义的视角 : 8.9
    潘光旦文集 10 : 9.1
    制造共识:大众传媒的政治经济学 : 8.1
    世界文明史(上下) : 8.0
    潘光旦文集 13 : 9.1
    个人自由与社会进步 : 8.3
    天禄琳琅研究 : 8.6
    语言学的邀请 : 8.2
    美国民生实录 : 8.1
    新闻的历史(第三版) : 9.1
    大癫狂:非同寻常的大众幻想与群众性癫狂 : 8.0
    经典常谈 : 8.4
    高效能教师的时间管理法 : 8.0
    西方的智慧 : 8.4
    精细集 : 8.1
    菊与刀:日本文化模式论 : 8.2
    黄河边的中国(增补本)(套装共 2 册) : 9.0
    日常生活实践 1:实践的艺术 : 8.0
    资本主义、社会主义和民主 : 8.5
    古典重温:徐梵澄随笔 : 8.9
    乡土中国生育制度 : 9.2
    吴敬琏传:一个中国经济学家的肖像 : 8.1
    美国种族简史 : 8.4
    中国居民膳食指南 : 8.7
    容忍与自由 : 9.0
    中国人的文明与陋习 : 8.8
    潘光旦文集 10 : 9.1
    潘光旦文集(第 4 卷) : 9.1
    大明王朝的七张面孔:朱元璋(增订版) : 8.2
    中国人的教育 : 8.0
    中国游民文化小史 : 8.5
    中国红:十二生肖(汉英对照) : 8.5
    理解社会 : 8.4
    语言学的邀请 : 8.2
    1368-1840 中国饮食生活:日常生活的饮食 : 8.0
    美国知识分子(影响美国社会发展的思想家) : 9.1
    中世纪的衰落 : 8.2
    SPSS 统计分析大全(附光盘) : 8.8
    伊隆戈人的猎头:一项社会与历史的研究(1883-1974) : 8.0
    现代主义:一部文化史 : 9.0
    中国人的一天:变与不变的中国人 : 8.8
    科学语言 : 8.7
    美国精神—美国历史文献中的励志精品 : 8.0
    民国采访战:《纽约时报》驻华首席记者阿班回忆录 : 8.1
    教育心理学:课堂之窗(第 6 版) : 8.2
    知识论 : 8.4
    北平的大学教育与文学生产:1928 — 1937 : 8.0
    现代汉语研究导引 : 8.1
    童年的秘密 : 8.3
    吾国与吾民 : 8.9
    中国文化史 : 8.6
    寻求哲人石:炼金术文化史 : 8.2
    潘光旦文集 1 : 9.1
    文雅的疯狂 : 8.3
    大学的邀请:社会学的邀请 : 8.2
    小村故事:地志与家园(2003 — 2009) : 8.4
    照管图书:论图书馆及其设备的发展 : 8.0
    犹太文化史(第 2 版) : 9.1
    自然地理学 : 8.1
    中国现当代文学研究导引 : 8.0
    可以触摸的民国:现实政治 : 8.6
    训诂方法论 : 9.7
    老猫学出版(修订版) : 8.5
    清末民初北京舆论环境与新文化的登场 : 8.0
    罗马皇帝尼禄 : 8.0
    公共关系学(第 3 版) : 8.6
    大明王朝的七张面孔:朱元璋(增订版) : 8.2
    教育是怎样变得危险起来的 : 8.4
    幼儿园那些事儿(升级版) : 9.1
    中国社会文化史读本 : 8.4
    大明王朝的七张面孔:朱元璋(增订版) : 8.2
    后社会史初探 : 8.5
    中国社会文化史读本 : 8.4
    潘光旦文集(第 3 卷) : 9.1
    历史的经验:从大历史角度解读中国人的人性与信仰 : 8.1
    中国文化史(上部) : 8.7
    在唐诗里孤独漫步 : 8.4
    培根随笔 : 8.1
    不列颠人:传说和历史 : 8.1
    我们的文字 : 8.7
    东方文化八题 : 8.1
    王佐良随笔:心智文采 : 8.4
    北大高等教育文库·大学之道丛书:哈佛,谁说了算 : 8.3
    宗教社会学的邀请 : 8.2
    古典时期的图书世界 : 8.1
    "边境"之南:拉丁美洲文学汉译与中国当代文学(1949-1999) : 8.9
    晚唐钟声:中国文学的原型批评(修订本) : 8.8
    日本文化的历史 : 8.0
    大学译丛:传播政治经济学 : 8.0
    刘师培辛亥前文选 : 8.9
    大夏书系·给教师的阅读建议 : 9.0
    乌合之众:大众心理研究 : 8.4
    潘光旦文集(第 2 卷) : 9.1
    容忍与自由:胡适演讲集 2 : 8.7
    发现社会(第 7 版)(删节版) : 8.8
    阅读日本书系:日本文化的构造 : 8.2
    全球化与文化政治:90 年代中国与 20 世纪的终结 : 8.5
    活着·见证 : 8.5
    中国历史(上) : 8.9
    智造展览-博物馆馆长讲博物馆 2 : 8.6
    出梁庄记 : 8.5
    中国红:中国姓氏(汉英对照) : 8.5
    乡土中国 : 9.2
    名家通识讲座书系:文化哲学十五讲(第 2 版) : 8.0
    中国的乡村生活 : 8.0
    不列颠人:传说和历史 : 8.1
    中国人的人格 : 8.7
    胡适作品系列:怀人集 : 8.9
    中国文学研究现代化进程 : 8.0
    一日江户人 : 8.4
    高效能教师的时间管理法 : 8.0
    古代汉语(上下册) : 8.4
    墙垣边的人类:从建筑艺术看人类文明 : 8.0
    元曲鉴赏辞典 : 9.1
    我们为什么会犯错? : 8.2
    帕森斯学术思想评传 : 8.2
    符号学丛书:符号与意义 : 9.3
    潘光旦文集(第 2 卷) : 9.1
    文化批评往何处去:80 年代末后的中国文化讨论 : 8.7
    古代汉语(上下册) : 8.4
    逻辑•语法•修辞(第 2 版) : 8.3
    医疗、社会与文化读本 : 8.3
    北大中文系第一课(第二版) : 8.8
    潘光旦文集(第 3 卷) : 9.1
    中国人的境界 : 8.0
    新教伦理与资本主义精神 : 8.8
    社会变迁(第 5 版) : 8.8
    古文观止译注(修订本) : 9.0
    理解早期文明:比较研究 : 8.8
    语言学中的逻辑 : 8.1
    "新启蒙"知识档案:80 年代中国文化研究 : 8.3
    房龙地理 : 8.2
    介绍丛书:分形学 : 8.7
    唐代科举制度研究 : 8.6
    社会变革中的民事诉讼(增订版) : 8.1
    老盖仙谈民俗 : 8.1
    文化记忆:早期高级文化中的文字、回忆和政治身份 : 8.2
    喧嚣的新村:遗产运动与村落政治 : 9.1
    人情、面子与权力的再生产(第二版) : 8.9
    碧山 07:民艺复兴(续) : 8.3
    圣贤与圣徒 : 8.2
    意大利文艺复兴时期的文化(英文版) : 8.6
    人论二十五种 : 8.1
    人是如何学习的:大脑、心理、经验及学校(扩展版) : 8.0
    考古器物绘图 : 8.2
    名家通识讲座书系:中国传统文化 15 讲 : 8.0
    美国大学时代的学术自由 : 8.7
    经典常谈 : 8.4
    作为变革动因的印刷机:早期近代欧洲的传播与文化变革 : 8.7
    中国妇女史读本 : 8.2
    批评官员的尺度:《纽约时报》诉警察局长沙利文案 : 8.9
    日常生活中的自我呈现 : 8.5
    服装造型学技术篇 3(礼服篇日本文化女子大学服装讲座) : 8.2
    潘光旦文集 1 : 9.1
    众神的星空 : 8.7
    中国古代文学研究导引 : 9.1
    辞源(重修排订册版本)(套装全 2 册) : 8.4
    国语辞典(影印本) : 9.2
    思想者十八题 : 8.7
    潘光旦文集(第 9 卷) : 9.1
    汉语非线性音系学:汉语的音系格局与单字音(增订版) : 8.2
    最伟大的书(藏书之爱) : 8.6
    档案中的虚构:16 世纪法国的赦罪故事及故事的讲述者 : 8.0
    北京的社会调查(套装上下册) : 8.3
    1024:人与机器共同进化 : 8.1
    唐诗学引论 : 8.2
    古代汉语知识教程 : 8.0
    LaTeX2e 完全学习手册(第 2 版)(附光盘) : 8.3
    中华文明史(第 4 卷) : 8.1
    英国文化与工业精神的衰落:1850-1980 : 8.2
    南周特稿 : 8.1
    中国在梁庄 : 8.1
    北京:城与人 : 8.2
    学生管理的心理学智慧 : 8.5
    国语辞典(影印本) : 9.2
    宋朝的那些科学家 : 8.2
    碧山 07:民艺复兴(续) : 8.3
    古今东西之间:何芳川讲中外文化 : 8.4
    人文科学与现代性 : 9.0
    文化理论与大众文化导论(第 5 版) : 8.9
    潘光旦文集(第 9 卷) : 9.1
    话 /镜:世界因语言而不同 : 8.6
    博物馆馆长讲博物馆:石窟、丹青、吉金,文化传承与家国命运 : 8.6
    大国与小民:外国人眼中的中国范儿 : 8.1
    中华文明史(第 4 卷) : 8.1
    古典重温:徐梵澄随笔 : 8.9
    日本文化中的时间与空间 : 8.1
    英国文化与工业精神的衰落:1850-1980 : 8.2
    中国西南古纳西王国(译校本)(精) : 8.5
    清季的革命团体 : 8.2
    蒙元入侵前夜的中国日常生活(插图本) : 8.0
    躁动的百年:20 世纪的教育历程 : 8.3
    法学论文写作 : 8.8
    潘光旦文集(第 4 卷) : 9.1
    语言与文化(注释本) : 8.6
    文学与美国的大学 : 8.6
    教育漫话 : 8.5
    理解美国:美国文化指南 : 8.6
    潘光旦文集 6 : 9.1
    重返美丽新世界 : 9.1
    我们能做什么 : 8.3
    汉字图解字典 : 8.0
    社群、组织与大众民主:印度喀拉拉邦社会政治的民族志 : 8.4
    自然地理学 : 8.1
    媒介与文化书系:电视、全球化与文化认同 : 8.5
    在灵泊深处:西洋文史发微 : 9.2

    经济类
    小米的方法(互联网+时代的样本解读) : 8.1
    解读中国经济 : 8.9
    公司基本面分析实务:把握能把握的机会 : 8.6
    美国经济史(第 7 版)(翻译版) : 8.9
    找我 2 : 8.2
    产品研发管理:构建世界一流的产品研发管理体系 : 8.3
    全球"猎身":世界信息产业和印度的技术劳工 : 8.3
    公司的力量(《大国崛起》原班人马打造,为中国公司提升软实力的智慧汇集) : 8.0
    风险管理(第二版) : 9.4
    企业的企业家:契约理论 : 8.1
    怎样合理避税(修订第 4 版) : 9.3
    财务报表分析(第 12 版)(国际版) : 8.8
    嚣张的特权:美元的兴衰和货币的未来 : 8.1
    市场营销原理(第 13 版)(英文版) : 8.8
    FBI 高难度谈判课 : 8.2
    团队是设计出来的(狼性篇) : 8.0
    股票投资入门与实战技巧:从零开始学炒股 : 8.4
    股票作手回忆录(全译版) : 8.9
    道氏理论(珍藏版)(中文版) : 8.3
    财务报表分析(第 12 版)(国际版) : 8.8
    财务会计学(第 6 版) : 9.1
    新管理经济学(中国版)(第 2 版) : 8.3
    高胜算操盘:成功交易员完全教程 : 8.2
    一炮走红的国家:探寻下一个经济奇迹 : 8.5
    亚财政:制度性腐败与中国历史弈局 : 8.0
    小艾上班记:真账实操教你学会计 : 8.6
    市场调研(第 2 版) : 8.3
    组织与管理研究的实证方法(第 2 版) : 9.3
    小艾上班记 3:小艾习题精选•中级会计实务 : 8.3
    理论、方法、发展、趋势:中国经济史研究新探(修订版) : 8.4
    应变 : 8.5
    期货交易学习路线(第 2 版) : 8.3
    大家的经济学(全新修订版) : 8.7
    室内设计营销术 : 8.0
    丰田生产方式 : 8.2
    外汇交易指南(第 2 版) : 8.1
    酒店管理与经营(第 5 版) : 9.1
    高级会计学(第 3 版) : 9.3
    MBA 教不了的创富课:我在 30 岁之前赚到 1000 万的经验谈 : 8.6
    高级会计学(第 3 版) : 9.3
    开间自己的小店,过自己想过的生活 : 8.0
    消费者行为与营销战略(第 9 版) : 8.6
    了如指掌·西学正典:经济发展理论 : 8.4
    把任何东西卖给任何人 : 8.4
    本体与常无:经济学方法论对话 : 8.0
    玩法变了:淘宝卖家运赢弱品牌时代 : 8.1
    经济周期与宪政秩序 : 8.7
    大拐点 : 8.1
    刺桐梦华录:近世前期闽南的市场经济(946-1368) : 8.2
    心理学与销售策略 : 8.7
    Uber 是什么 : 9.1
    了如指掌·西学正典:就业、利息和货币通论 : 8.6
    高效能人士的七个习惯·25 年企业培训精华录:执行精要 : 8.2
    技术指标与波浪理论(第二版) : 8.2
    旅游市场营销(第 5 版) : 9.1
    心理学与销售策略 : 8.7
    销售巨人:大订单销售训练手册(理论篇+实践篇)(全新升级版) : 8.5
    国富论 : 9.0
    解读中国经济(增订版) : 8.9
    不可不知的短线操盘细节 : 8.1
    疯狂经济学 : 8.0
    财务会计理论(第 3 版) : 8.6
    文明分岔经济混沌和演化经济动力学 : 8.0
    繁荣的求索:发展中经济如何崛起 : 8.2
    市场调研(第 2 版) : 8.3
    永不褪色的时光:宝丽来的故事 : 8.1
    中国历史农业地理(套装上中下册) : 8.6
    世界 500 强人力资源总监是如何炼成的:从实习生到 CHO 的故事 : 8.0
    创业维艰:如何完成比难更难的事 : 8.6
    MATLAB 数学建模经典案例实战 : 8.0
    新政治经济学评论 22 : 9.0
    创造力:心流与创新心理学 : 8.5
    奥地利学派的大师们 : 9.6
    国债的历史:凝结在利率中的过去与未来 : 8.0
    历史的回眸:毛泽东与中国经济 : 8.3
    互联网+:中国步入互联网红利时代 : 8.1
    经济解释:张五常英语论文选 : 8.5
    超级符号就是超级创意:席卷中国市场 10 年的华与华战略营销创意方法 : 8.4
    高效能人士的七个习惯·25 年企业培训精华录:执行精要 : 8.2
    现代西方经济学原理(第 5 版) : 9.1
    移动社交时代的互动搜索营销 : 8.2
    支付战争:互联网金融创世纪 : 8.3
    公司舞弊手册:防范与检查(第 2 版) : 8.7
    改变世界的航海 : 8.2
    大学译丛:传播政治经济学 : 8.0
    货币革命:后危机时代的经济博弈 : 8.8
    时寒冰说:未来二十年,经济大趋势(现实篇+未来篇)(套装共 2 册) : 8.4
    DK 商业百科(全彩) : 8.2
    经济学的演化基础 : 8.5
    信用战:全球历史演进元规则 : 8.4
    DK 经济学百科 : 8.2
    重新定义公司:谷歌是如何运营的 : 8.2
    货币生产的伦理 : 8.5
    超级短线超级赚 : 8.3
    私募股权投资与企业改制上市操作实务教程 : 8.0
    经济学基础文献选读 : 9.0
    兜售繁荣 : 8.5
    策略投资 : 9.1
    短线交易大师 : 8.2
    股票作手操盘术(全译版) : 8.2
    《美国管理学会评论》优秀论文集萃 : 8.4
    五常学经济(神州增订版) : 9.0
    当代激进思想家译丛:符号政治经济学批判 : 8.6
    小艾上班记 2·奋斗如歌:备考日记·中级会计实务 : 8.7
    了如指掌·西学正典:经济发展理论 : 8.4
    证券分析(第 6 版)(套装上下册) : 9.2
    不可不知的短线操盘细节 : 8.1
    联盟:互联网时代的人才变革 : 8.1
    不可不知的短线操盘细节 : 8.1
    吴敬琏传:一个中国经济学家的肖像 : 8.1
    品牌是什么? : 9.1
    了如指掌·西学正典:就业、利息和货币通论 : 8.6
    高效能人士的时间和个人管理法则 : 8.0
    工作前 5 年,决定你一生的财富 : 8.0
    经济周期与宪政秩序 : 8.7
    应变 : 8.5
    自动波领导模式 : 8.0
    历史的回眸:毛泽东与中国经济 : 8.3
    财务会计理论(第 3 版) : 8.6
    理解公司:产权、激励与治理 : 8.7
    现在终结萧条! : 8.3

    第 1 条附言  ·  2015-11-11 12:40:18 +08:00
    https://github.com/CauT/book-hunter
    时间仓促,写的不咋样。
    17 条回复    2015-11-16 14:53:55 +08:00
    robertding
        1
    robertding  
       2015-11-11 11:46:54 +08:00
    感觉你爬的跟我看的不是一个豆瓣
    wuhuaji
        2
    wuhuaji  
       2015-11-11 11:51:47 +08:00
    @robertding 有的书有不同的版本(第一版 /第二版、中文版 /英文版 /影印版),不同的版本评分也不一样,但是它们都放在同一个页面里。
    sudoz
        3
    sudoz  
       2015-11-11 12:08:49 +08:00
    不开源?
    robertding
        4
    robertding  
       2015-11-11 12:22:22 +08:00
    程序员面试宝典(第 3 版) : 9.3, @wuhuaji 我看到这本书的评分专门去豆瓣上看了一眼
    jedicxl
        5
    jedicxl  
       2015-11-11 12:27:32 +08:00 via iPhone
    笑而不语
    wanjun
        6
    wanjun  
       2015-11-11 13:21:35 +08:00
    好,准备买买买
    spl2015
        7
    spl2015  
       2015-11-11 13:23:10 +08:00 via Android
    算法还得考虑评价个数😅
    cszhiyue
        8
    cszhiyue  
       2015-11-11 17:38:20 +08:00
    应该用评价数和分数 建模
    anthozoan77
        9
    anthozoan77  
       2015-11-11 23:38:44 +08:00
    star & learn
    anthozoan77
        10
    anthozoan77  
       2015-11-16 00:24:33 +08:00
    hello ,我在你的基础上想抓取京东图书活动( http://sale.jd.com/act/8Rso1fQu2E.html )数据遇到如下问题。

    1. 编码。网页已声明 charset=utf-8 ,但间接性会出现乱码,甚至 data 为空
    2. 通过 selector.text()价格为空

    求指教 :)
    donglingyongadls
        11
    donglingyongadls  
    OP
       2015-11-16 12:10:34 +08:00   ❤️ 1
    @anthozoan77 我不太理解,你是在 ( http://sale.jd.com/act/8Rso1fQu2E.html )这个页面上抓取的吗?
    这个页面上的书不能覆盖活动的全部范围吧。我程序针对的是一个可翻页的书的目录。

    如果确定是这个页面,那么价格的代码是
    <span class="jdNum" jshop="price" jdprice="11680800">40.50</span>
    只需要用 cheerio 指定 span 的属性为 class="jdNum" jshop="price" jdprice="11680800"应该就能筛选出来了。这个筛选的语法是:
    $.(span[class="jdNum" jshop="price" jdprice="11680800"]).each(fucntion(i, e){
    ......
    })

    至于获取为空,如果是间歇性的,考虑是不是京东的反爬虫措施。那就考虑加入随机延时,或者更换 ip 。
    anthozoan77
        12
    anthozoan77  
       2015-11-16 12:29:15 +08:00
    @donglingyongadls
    谢谢回复。

    1. 我只是爬去该页面的数据,将『翻页』部分的代码去掉了。

    2. 关于价格筛选,语法应该没问题,获取同一层次的(span.jText).text()『促销价』是没问题的,只是 jdNum 和 jsNum 为空。观察 Network ,发现有请求来获取价格信息然后填充进去的。如果是这样的话,有什么解决措施呢,比如通过『延时』来等待所有请求完毕后在分析数据。

    3. 除了获取为空外,间接性地出现乱码的原因是『反爬虫措施』的几率大吗?

    学习中 :)
    anthozoan77
        13
    anthozoan77  
       2015-11-16 12:33:55 +08:00
    donglingyongadls
        14
    donglingyongadls  
    OP
       2015-11-16 13:12:49 +08:00
    @anthozoan77 像是京东做了一些限制,非浏览器下载的网页都是乱码。不知道是怎么辨别的,如果用 chrome 的 postman 插件,不带 header 做一个 get 操作,能获取到正常 html 。说明也不是通过 header 来鉴别的。再无法找到绕过京东的限制之前,你也只能手动复制 html 了:P 。

    其实还有一个思路,把代码放在 chrome 插件上跑,反正都是 JS , cheerio 就要用 jquery 代替了。
    anthozoan77
        15
    anthozoan77  
       2015-11-16 13:16:49 +08:00
    @donglingyongadls
    谢谢。
    我也用 postman 试过,能获取正常 html 。现在试着先在控制台跑 js 把书名获取到。
    anthozoan77
        16
    anthozoan77  
       2015-11-16 13:20:56 +08:00
    @donglingyongadls
    请问下关于更换 ip ,有哪些可以参考的资料和方法吗?
    donglingyongadls
        17
    donglingyongadls  
    OP
       2015-11-16 14:53:55 +08:00
    @anthozoan77 我知道的方法是,家用上网,电信联通给的大多是随机 ip ,所以不停地释放 ip 就可以更换为新的 ip
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3034 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 14:05 · PVG 22:05 · LAX 06:05 · JFK 09:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.