V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  maloneleo88  ›  全部回复第 8 页 / 共 9 页
回复总数  176
1  2  3  4  5  6  7  8  9  
代理服务器拿到的
2.5.3 2.5.3
2.5.3 3
2.5.3 2.5.3
2.5.3 3
2.5.3 2.5.3
3 2.5.3
2.5.3 2.5.3
2.5.3 3
3 2.5.3
2.5.3 2.5.3
2.5.3 2.5.3
2.5.3 2.5.3
2.5 2.5
2.5 2.5

本地拿到的
2.5 2.5
2.5 2.5
2.5 2.5
2.5 2.5.3
2.5 2.5
2.5.3 2.5
2.5 2.5
2.5 2.5
2.5.3 2.5
2.5 2.5
2.5 2.5
2.5 2.5
2.5 2.5
2.5 2.5


print(odds[12],odds[26])
print(odds[54],odds[68])
print(odds[96],odds[110])
print(odds[138],odds[152])
print(odds[180],odds[194])
print(odds[222],odds[236])
print(odds[264],odds[278])
print(odds[306],odds[320])
print(odds[348],odds[362])
print(odds[390],odds[404])
print(odds[474],odds[488])
print(odds[516],odds[530])
print(odds[558],odds[572])
print(odds[600],odds[614])
哪位老哥复制一下看看,是不是不同? 为什么会出现这种情况?
2021-02-27 01:05:52 +08:00
回复了 alittlecode 创建的主题 Python 有没有适合程序员的外快渠道,或者生财之道
你要是找不到就跟我研究研究,我这贼烂,现学现用,缺个技术🐮一起琢磨
2021-02-27 01:02:33 +08:00
回复了 maloneleo88 创建的主题 Python [丧心病狂的问题] Python 这种判定的高级写法是什么?
@Sunyanzi 先谢过老哥,回头我试试


@IgniteWhite 哈哈
2021-02-26 17:47:35 +08:00
回复了 maloneleo88 创建的主题 Python [丧心病狂的问题] Python 这种判定的高级写法是什么?
@BBrother 没有想解决的问题,我就是这么写的,我觉得有点傻


@Sunyanzi 额,现在还用 2 ?


@pcbl 这样行吗?我这个列表是字符串,值大概是 2, 2/2.5 2.5,2.5/3 , 3 , 3/3.5 是足球盘口的让球指数。只能对比字符串


@imn1 能行吗?比较不规则的字符串和,我还看不太明白。
2021-02-16 19:28:03 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
刚刚把这个爬虫彻底写好了(实际是三个,前,今,后),包括异常。

用了一个星期从什么也不会到 requests 找不到数据,selenium (死慢),再到昨天来问问题,终于拨云见日。

隆重感谢
@matrix67
@gongym
@darer
@sairoa

简单的爬虫看来以后我能照着这个框架慢慢举一反三了。感谢大家! 万分感谢,这几天天天就睡五个小时没白熬~欣喜至极!
2021-02-16 01:26:47 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@qazwsxkevin 纯属个人喜好,飞鲸,纳米这些数据公司有卖接口,少说一年几万,太贵了
2021-02-15 22:44:03 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
不吝赐教,主楼就说了,不要咬文嚼字了

众生百相~ :D
2021-02-15 22:36:57 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@xJogger
@sairoa

谢谢,随后研究下吧,看起来有点深奥。
2021-02-15 22:33:16 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@musi 嗯,好处就是用处广泛。但跟直接拿数据响应没法比啊,速度差太多了。

@blodside 好的。

@codists 谢谢雄对,在研究筛选数据。

@qazwsxkevin 就是爱好,喜欢看足球篮球,有时候也玩,那种数据类卖的很贵吧。也没盈利目的。

@gimp 那就不耻上问吧,呵呵


问问题,而已。 你帮我, 我帮他。。

愿意怼人玩去微博不好么,没别的,就是看不惯有些人
2021-02-15 16:14:01 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@musi 这些概念都是很模糊。十几年前也做过网页玩,不可同日而语。难,岁数大了脑袋也不好用了。从头学是不可能从头学了,学会了就该 40 了。主要目标是干点什么,马上能用的起来就行。有些实在爬不了的只能用 selenium 了,毕竟简单,就是太慢。

我再去埋汰钻研几小时。早来问的话就不需要花 2 天学 selenium 了。 贴段昨天写的,很乱,有点像狗啃的。

import requests
import re
from selenium import webdriver
from lxml import etree
from time import sleep
#无头浏览模式
from selenium.webdriver.firefox.options import Options
options = Options()
options.add_argument('--headless')

#定义解析详情页函数
def analysis():
bro = webdriver.Firefox(options=options)
#定义要访问的目标
analysislink = vlink
#打开浏览器访问
bro.get(analysislink)

#获取源码数据
page_text = bro.page_source

#解析数据。实例化 etree
tree = etree.HTML(page_text)
#获取主队名称,链接,本次得分
homeName = tree.xpath('//div[@class="analyhead"]/div[@class="home"]/a/text()')[0]
homeLink = tree.xpath('//div[@class="analyhead"]/div[@class="home"]/a/@href')[0]
homeScore = tree.xpath('//div[@class="end"]/div[1]/text()')[0]
#获取客队名称,链接,本次得分
guestName = tree.xpath('//div[@class="analyhead"]/div[@class="guest"]/a/text()')[0]
guestLink = tree.xpath('//div[@class="analyhead"]/div[@class="guest"]/a/@href')[0]
guestScore = tree.xpath('//div[@class="end"]/div[3]/text()')[0]
# print(homeName,guestName,homeLink,guestLink,homeScore,guestScore)

#获取上一次比赛主队的 ID 链接,客队的 ID 链接,双方比分,截取上次主队得分,截取上次客队得分。
try:
last_homeLink = tree.xpath('//div[@id="v"]//tr[3]/td[3]/a/@href')[0]
last_guestLink = tree.xpath('//div[@id="v"]//tr[3]/td[6]/a/@href')[0]
lastScore = tree.xpath('//div[@id="v"]//tr[3]/td[4]/a/font/text()')[0]
last_homeScore = lastScore[0]
last_guestScore = lastScore[-1]

#a1 本次主队链接+本次主队得分。a2 本次客队链接+本次客队得分,b1 上次主队链接+得分,b2 上次客队链接+得分
a1 = homeLink + homeScore
a2 = guestLink + guestScore
b1 = last_homeLink + last_homeScore
b2 = last_guestLink + last_guestScore
#如果本次主队链接+得分等于上次主队链接+得分或者等于上次客队链接+得分
#然后看本次客队链接+得分是否等于上次主队链接+得分或客队链接+得分
#如果符合这两个条件,续写入 saiguo.html 相关信息(这里还没有给链接添加超链)
if a1 == b1 or a1 ==b2:
if a2 == b1 or a2 == b2:
print(homeName + ' ' + lastScore + ' ' + guestName + '\n')
print(analysislink + '\n')
with open('./saiguo.html','a') as fp:
fp.write(homeName + ' ' + lastScore + ' ' + guestName + '\n')
fp.write(analysislink + '\n')
sleep(2)
bro.close()
else:
bro.quit()
else:
bro.quit()
#如果没有找到上一次的对往战绩则睡眠 1 秒然后退出浏览器
except:
bro.close()





if __name__ == "__main__":
#浏览器伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68'
}
kw = input('输入赛程年月日采集数据:')
#response 函数为第一次抓取的完赛列表
response = requests.get('http://bf.win007.com/football/Over_' + kw + '.htm',headers = headers)
#列表编码为 gb2312,所以需要转一下为 GBK,负责无法正常显示
response.encoding = 'GBK'
#转换的文字信息存入 page 变量
page = response.text

#提取比赛分析数字,定义正则表达,第二行找到所有
pattern = r'analysis\(([\s\S]*?)\)'
numbers = re.findall(pattern,page,re.S)
for vlink in numbers:
#拼接处完整 URL
vlink = 'http://zq.win007.com/analysis/' + vlink + 'cn.htm'
analysis()
print('采集完成!')
2021-02-15 16:06:02 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@gongym 大哥解释的很透彻,看代码头疼直接保存成 html 了,一看啥也没有,就想是不是又用 js 之类的。后来挨个看代码找到了。感觉看到曙光了,祝各位热心肠新年快乐!
2021-02-15 16:02:15 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@gongym
@tan9p
@sairoa
@darer

谢谢大家里,数据是不直接显示的,刚刚我找到了。
v_data 是对赛 h_data 是主队近期战绩 等等等 , 接下来只要解析了。谢谢大家! 万分感谢!!!

万万分感谢。还是马虎了。粗心真不适合研究这东西,还是比较适合搬砖。



@v2sir 开始没生气啊,看你回复就上火了,每帖带着一股酸味,你自己看看吧,懒得搭理你。
2021-02-15 15:30:10 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@v2sir 看了你以往评论,一句有用的都没有,是不是现实生活不如意,蹲在网线上泄愤?继续吧~ two be number 1
2021-02-15 15:25:56 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@darer

import requests
r = requests.get
UA = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68'
res = r('http://zq.win007.com/analysis/1964531cn.htm',headers={"User-Agent":UA})
res.encoding = 'utf-8'
print(res.text)

我抓下来了,对赛往绩和近期战绩都是空的。直接拿,拿不到的
2021-02-15 15:05:25 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@input2output 谢谢,马上去试,真的不懂

@v2sir 不耻下问,自学好难,而且没几天,是想好好学,可没有正八经的教程,视频教程看看就缺东西了,正经书里也不讲这些。前面一直学 python 基础语法了,然后发现,爬虫跟那个关系根本不大。真是醉了。


@darer 谢谢哈,我还没太懂,这就去试试,万分感谢!
2021-02-15 15:01:20 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@darer
XHR 里面有两个包
http://zq.win007.com/analysis/odds/1964531.htm?1613372332000
http://zq.win007.com/xml/position/footballanaly.txt?r=0071613372333000

第一个好像不是,只是赔率信息,第二个什么也看不到。
2021-02-15 14:45:46 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@gongym 我的好哥哥,先不管数据在不在页面里。我现在是连 requests 页面都不可以啊。 只能总 selenium,毫无意义呀,慢的要死
2021-02-15 13:00:42 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
@matrix67 这个是 Odds,Odds 是赔率,不是我要的信息。我想要对赛往纪,或者近期战绩里面的信息。 劳烦再看一下,这是 js 加密的吗?
2021-02-15 12:43:38 +08:00
回复了 maloneleo88 创建的主题 Python 请问这种网页是不是 js 加密的?应该如何获取数据?
想得到心理上的满足与快感吗?
想展现男人的雄风吗?
想站在众山之巅俯视苍生吗?

那就快来回答我的问题吧! :)
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1197 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 18:15 · PVG 02:15 · LAX 10:15 · JFK 13:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.