BS4 不太稳定

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2971 天前的主题，其中的信息可能已经有所发展或是发生改变。

我用 BS4 取 text 的 parent 标签，有时候取到 text ，有时候取到 parent ，以前还以为是我把代码敲错了，后来才明白是 BS4 不稳定造成的。

13 条回复 • 2016-10-08 15:34:50 +08:00

yangg

2016-10-06 21:23:01 +08:00 via iPhone

Why not pyquery?

omg21

2016-10-06 23:00:35 +08:00

@yangg pyquery 相比 bs4 有哪些方面好用？

julyclyde

2016-10-06 23:12:14 +08:00

说实话，我不信

omg21

2016-10-06 23:26:49 +08:00

@julyclyde 我也不信，但是真让我遇到了，比方说我想在正则表达式里用变量，.find(text=re.compile(text1))，刚开始会报错，后来再试莫名又可以了

pathletboy

2016-10-06 23:35:07 +08:00

代码和目标内容贴出来看看？

sherlocktheplant

2016-10-06 23:49:49 +08:00

应该是你用法有问题

zmj1316

2016-10-07 08:24:57 +08:00

真的假的？把代码和数据放上来重现一下？

dsg001

2016-10-07 09:59:40 +08:00

https://github.com/scrapy/parsel ， scrapy 的选择器，支持 re/css/xpath

julyclyde

2016-10-07 12:45:58 +08:00

@omg21 你能确定是相同输入么？同样输入重复多次、不同输入稳定顺序、不同输入乱序，你试试

7sDream

2016-10-07 13:34:30 +08:00

说实话，我也不信。

Show me the code~

wyce2007

2016-10-07 20:31:34 +08:00

部分网站会有类似 A/B 测试，可能楼主访问的过程中，获得了不同模板的页面

Patrick95

2016-10-08 11:23:08 +08:00

这种情况我觉得应该先怀疑是不是抓取的网站每次会返回不同的 HTML 结构。
BS4 的选择器毕竟只是把 HTML 抽成树，怎么会不稳定呢？

linruiyi

2016-10-08 15:34:50 +08:00

说实话，我也不信。