requests 的作者的新项目 requests-html

https://github.com/kennethreitz/requests-html

This library intends to make parsing HTML (e.g. scraping the web) as simple and intuitive as possible.

When using this library you automatically get:

-Full JavaScript support!
-CSS Selectors (a.k.a jQuery-style, thanks to PyQuery).
-XPath Selectors, for the faint at heart.
-Mocked user-agent (like a real web browser).
-Automatic following of redirects.
-Connection – pooling and cookie persistence.
-The Requests experience you know and love, with magical parsing abilities.

对 requests 做了封装，添加了解析 html 的接口，总代码现在是 399 行，还在更新

第 1 条附言 · 2018 年 2 月 28 日

目前版本还不稳定，作者应该还在修改更新中，出现问题请稍安勿躁
现在代码新增为 484 行（昨天我刚看到的时候是 200 多行）

Requests

parsing

selectors

library

44 条回复 • 2018-05-27 21:31:45 +08:00

cy97cool

2018 年 2 月 28 日 via Android

mark 先 star 为敬

lhx2008

2018 年 2 月 28 日 via Android

把 pyquery 和 xpath 弄进来了，还有自动 useragent，是要一统江湖的节奏

co3site

2018 年 2 月 28 日 via Android

观望中，先 star

Sanko

2018 年 2 月 28 日 via Android

orz

prolic

2018 年 2 月 28 日

star 为敬，beautifulsoup 用着还是不够爽

weiwio

2018 年 2 月 28 日 via Android

今天看了一下，原来是新项目，很有希望啊

fyyz

2018 年 2 月 28 日

吊炸天

tuding

2018 年 2 月 28 日

这个作者好腻害，好多牛逼项目

steveway

2018 年 2 月 28 日 via Android

看作者就 star 系列

lfzyx

2018 年 2 月 28 日

可以放弃 bs4 了？

CSM

2018 年 2 月 28 日

期待有人封装 aiohttp

sunwei0325

2018 年 2 月 28 日

如果下载和解析分开异步进行就好了

angelshq

2018 年 2 月 28 日

mark

Zzde

2018 年 2 月 28 日 via iPhone

Mark

find456789

2018 年 2 月 28 日

不太明白，这个库用来替代谁的？

find456789

2018 年 2 月 28 日

请问这个库是 requests+bs4 吗

douglarek

2018 年 2 月 28 日

xxx for humans 又来了？没有 xxx 之前莫不是大家都在吃猪食？

soulmine

2018 年 2 月 28 日

@find456789 大约看了下大概类似于 requests+bs4+selenium/phantomjs 不过后面两个现在只是封装了一小部分功能比如通过 css selector 解析或者执行 js 代码这种

soulmine

2018 年 2 月 28 日

@sunwei0325 你可以自己异步啊比如用队列什么的

hugo2lee

2018 年 2 月 28 日

Only later versions of Python 3 are supported. 好评

zhoulv2012

2018 年 2 月 28 日

都是实用的功能啊！

knightdf

2018 年 2 月 28 日

还可以解析 JS ？怎么感觉是个爬虫库了

dqh3000

2018 年 2 月 28 日

哎呀呀呀呀？

不错不错……这个好

ioven

2018 年 2 月 28 日

https://github.com/scrapy/parsel 一直用的这货，re css xpath 用起来很爽

Mavious

2018 年 2 月 28 日

非程序猿表示非常感兴趣。requests 太好用了，太是适合我等毫无基础的小白了，轻松上手。

sowish

2018 年 2 月 28 日

看了下，安装 requests-html 同时需要 bs4，lxml 等库，估计还是依赖于这些库

4BVL25L90W260T9U

2018 年 2 月 28 日 via Android

恕我直言，没看懂这个库存在的意义，lxml 足够好用了，重点是 xpath 这种东西应该存在配置里，而不是把解析逻辑写在代码里

wfd0807

2018 年 2 月 28 日

Full JavaScript Support by Chromium headless mode.

wfd0807

2018 年 2 月 28 日

the first time you ever run the render() method, it will download Chromium ...

yech1990

2018 年 2 月 28 日

399 行代码已经 4600 stars 了。

---

另外作者现在摄影技术也逆天。

yech1990

2018 年 2 月 28 日

看依赖需要 bs4
但代码中又没有出现？

yangzhezjgs

2018 年 2 月 28 日

@yech1990 这个应该是之前用了 bs4,后来又改用其他的，但是依赖里面没有去掉，因为昨天我看的时候代码才 200 行

wellsc

2018 年 2 月 28 日 via iPad

像是拯救世界

tcpdump

2018 年 2 月 28 日

文档好多错误，跑不起来

VicYu

2018 年 2 月 28 日

for the horde

abmin521

2018 年 2 月 28 日 via Android

顶 k 神下

Ginson

2018 年 2 月 28 日

研究中。文档确实错误挺多
Tutorial 第一行代码 from requests_html import HTMLSession 就报错，应该 import Session

LINAICAI

2018 年 2 月 28 日 via iPhone

明显是爬虫嘛……

WildCat

2018 年 2 月 28 日

感谢作者，正需求这样的库！

@Ginson
import HTMLSession 报错的原因是因为它会自动加载 fake_useragents.json，你的网络可能不能访问 cloudfront。
认真读一秒报错提示吧。

Ginson

2018 年 2 月 28 日

@WildCat 谢谢，我还在研究。不过报错提示我实在没看出啥…

WildCat

2018 年 2 月 28 日

@Ginson 你这个应该也是同样的问题我觉得。。。
换 jupyter lab/notebook 吧，命令行 IPython 还是有点不好用。

jimmyye

2018 年 2 月 28 日

版本更新太快，所以用的时候要注意安装的版本和 Github 上的代码 commit 时间。

pdog18

2018 年 4 月 16 日

我想问下这个库可以将<script>标签里面的 js 代码快速转换成 python 对象吗？有什么办法吗？正好遇到这个问题。
现在只能换成字符串强行切

windcode

2018 年 5 月 27 日

目前已经 700 行代码，7700+ star，有没有人用过，感觉如何？