badacook 最近的时间轴更新 badacook 最近的时间轴更新 |
badacookV2EX 第 512865 号会员，加入于 2020-10-15 07:56:43 +08:00 |
| Python schedule task Python • badacook • 2021 年 4 月 9 日 • 最后回复来自 clino | 8 |
| 爬虫过程中 DOM 对象的处理 Python • badacook • 2021 年 4 月 6 日 • 最后回复来自 zpfhbyx | 20 |
| 动态创建变量名并读取文件 Python • badacook • 2021 年 4 月 4 日 • 最后回复来自 badacook | 13 |
| pandas 行筛选 Python • badacook • 2021 年 3 月 30 日 • 最后回复来自 HelloViper | 9 |
| DataFrame 内容处理 Python • badacook • 2021 年 3 月 29 日 • 最后回复来自 badacook | 17 |
| Python 数据分析策略选择 Python • badacook • 2021 年 3 月 28 日 • 最后回复来自 badacook | 4 |
| pandas DataFrame Python • badacook • 2021 年 3 月 26 日 • 最后回复来自 dongxiao | 8 |
| pandas.DataFrame 的列筛选 Python • badacook • 2021 年 3 月 26 日 • 最后回复来自 princelai | 17 |
| asp.net core web 开发 程序员 • badacook • 2021 年 3 月 11 日 • 最后回复来自 stockmaster | 26 |
| 使用 Rider 创建 WPF 程序是 如何创建 Control template 程序员 • badacook • 2021 年 2 月 12 日 |
badacook 最近回复了
2021 年 4 月 8 日 回复了 badacook 创建的主题 › Python › Python schedule task |
@clino 看了一下 你的解决方法好像比较接近，思路大概就是在主线程里捕获执行脚本的线程句柄 handle，传入类似 GetExitCodeThread()函数，有点儿回调的意思，不知道这种理解对不对
2021 年 4 月 5 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
@demo06 非常感谢大神 xpath 语法真的很赞，这个语法我要好好研究一下，本来还觉得学了解 xpath，自惭形秽啊
2021 年 4 月 4 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
@demo06 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
比如这个页面 我想取出 所有的 caption 为返回数据说明的 table，结合 pandas 处理 DataFrame 的能力
我上面 实例 里面的 text = requests.post(url, headers=headers) 就是获取 HTML 页面的 text.text
你也可以直接 打开这个页面 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
使用 F12 查看源码
比如这个页面 我想取出 所有的 caption 为返回数据说明的 table，结合 pandas 处理 DataFrame 的能力
我上面 实例 里面的 text = requests.post(url, headers=headers) 就是获取 HTML 页面的 text.text
你也可以直接 打开这个页面 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
使用 F12 查看源码
2021 年 4 月 4 日 回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件 |
@aijam 非常感谢 globals() 与 vars() 均能实现 setting a string as a variable name，或者说 create variable variables in Python
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
发现了自己的一个大错误，caption 作为 table 的标题，并不是 table 的属性，而是最近的子元素，那针对 caption 的 table 筛选，何种方法最便捷呢
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
@misaka19000 我感觉 我 xpath 没写错，我有参照 W3C xpath 语法来写，就是取到了 DOM 对象，如何还原表单，后续的处理，我看 pandas 的 read_html 其中带 attrs 参数，参数为字典格式，可获取特定属性的 table，我使用 attrs = {"caption":"返回数据说明"} 不带这个参数能获取所有 table，带了反而报错
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
@demo06 非常感谢 能不能分享一下 python 处理 dom 文档对象的文章，没找到切合的实例
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理 |
@milukun 因为 有多个 caption="返回数据说明" d table,分别是 id="mw-content-text"元素的子元素，且互为不间断的兄弟元素，我有 F12 查看 其中一个元素 xpath 检索 //*[@id="mw-content-text"]/table[26]/caption，我只是在这个基础上改成查找 包含 caption 属性，且值为"返回数据说明" 的 table 元素
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件 |
@pursuer 你如果有空 能不能试一试，就是一个目录下有几个 csv 文件，还可能有其他类型文件，要做的就是使用 pandas 库，将这些 csv 文件 以文件名变量的形式读进去，变量作用域在整个脚本范围，其中 globals()不是返回的全局字典嘛，作为 python 新手的我 实在有些不理解，其中 exec 函数 提供字符串命令的执行，感觉跟这个需求也有点儿接近，能不能试一试 也是个简单的小实验 我也想通过这个小实验 理解这个过程，谢谢了
2021 年 4 月 3 日 回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件 |
@pursuer 那个赋值 加载 csv 在 for 的 if 分支下，而且 想做到变量名与加载的 csv 文件同名，其实作用域是想做到 for 的外层使用，只是想着看看 在 for 的 if 分支 赋值加载时 可以动态，不知道能否实现
Select Language