怕一不小心踩了雷

还有一点很担忧 爬了别人的东西 没经过别人许可使用了 不犯法吗 有没什么相关案例之类的

@yongSir 老司机

@qiayue 朋友 我问这个问题时 想到的就是 可不可以做个程序员用的搜索引擎 也是你说的那个思路 哈哈

https://github.com/revotu/python-interviews （自己一点点整理的）

这里面整理的 python 面试题都很经典，非常有面试参考复习价值

而且里面的文章链接讲解每个问题都很简明清晰

@leavic
@OpenJerry
没想到还有这招 多谢提供思路

@BillowSky
@khjian

看你们这一说 好像确实没什么必要做了。。。
之前以为 目前没有什么成熟的这类关键词排名网站的

@zhengxiaowai 多谢讲解的这么细致及相关资源链接，我这种小白学到了不少。话说回复确实不支持 markdown，我之前也好奇为啥回复不支持 markdown 啊

idValues = re.findall(r'#([\w_-]+)',content)

我想知道 我这种匹配 id 的时候 怎样能排除那种后面紧跟着着分号的：

background-color: #fff;

排除了这种 我的匹配 id 应该就准确了吧

@ShindouHIkaru 注释可以不考虑 ， 可是派生选择器 得考虑 所以我是宁可多了一些 没有少

还是没有准确得到我想要的， 但也很感谢了 提供的思路

@ShindouHIkaru

classValues = re.findall(r'\.([\w_-]+)',content)

idValues = re.findall(r'#([\w_-]+)',content)

但是会多出好多并不属于 ID 和 class 的值，

比如下面情况：

background-color: #fff;
-webkit-box-shadow: 0 0 2px 0 rgba(31, 31, 31, 0.07);

@operafans 多谢解释 哈哈 嘿嘿！！！

@operafans 在百度站长那提交了 sitemap，后台显示抓取也正常

但是， 为啥 site:www.revotu.com 还是只有首页？

Python 文件操作相关问题 ：www.revotu.com/python-file-operation-related-issues.html

```Python
try:
os.rmdir(directory)
except OSError:
pass
```

MySQL 时间处理相关函数 : http://www.revotu.com/mysql-date-and-time-functions.html


WHERE DATE(created_at) = '2017-06-29'

或是

WHERE created_at LIKE '2017-06-29%'

Scrapy 爬虫常见问题总结 : http://www.revotu.com/scrapy-reptile-faq.html

利用 Request 中的 meta 参数传递信息

def start_requests(self):
start_url = 'your_scrapy_start_url'
yield Request(start_url, self.parse, meta={'start_url':start_url})

def parse(self, response):
item = YourItem()
item['start_url'] = response.meta['start_url']
yield item

参见文章：[解决 Scrapy 中 xpath 用到中文报错问题][1]

## 解决方法 ##
方法一：将整个 xpath 语句转成 Unicode
```Python
links = sel.xpath(u'//i[contains(@title,"置顶")]/following-sibling::a/@href').extract()
```
方法二：xpath 语句用已转成 Unicode 的 title 变量
```Python
title = u"置顶"
links = sel.xpath('//i[contains(@title,"%s")]/following-sibling::a/@href' %(title)).extract()
```
方法三：直接用 xpath 中变量语法(`$`符号加变量名)`$title`, 传参 title 即可
```Python
links = sel.xpath('//i[contains(@title,$title)]/following-sibling::a/@href', title="置顶").extract()
```


[1]: http://www.revotu.com/solve-unicode-erros-using-xpath-in-scrapy.html

Python 实用脚本清单 : http://www.revotu.com/python-practical-script-list.html

http 不只有 get 方法（请求头部+正文），还有 head 方法，只请求头部。


import httplib

def get_status_code(host, path="/"):
""" This function retreives the status code of a website by requesting
HEAD data from the host. This means that it only requests the headers.
If the host cannot be reached or something else goes wrong, it returns
None instead.
"""
try:
conn = httplib.HTTPConnection(host)
conn.request("HEAD", path)
return conn.getresponse().status
except StandardError:
return None

print get_status_code("www.v2ex.com") # prints 200
print get_status_code("www.v2ex.com", "/nonexistant") # prints 404

http://www.revotu.com/apt-get-command-ends-with-segmentation-fault.html


执行如下命令，即可解决此问题：

sudo rm -rf /var/cache/apt/*.bin