找回密码
 加入
搜索
查看: 2042|回复: 8

[网络通信] 网页数据抓取!(已解决)

[复制链接]
发表于 2021-5-15 17:00:33 | 显示全部楼层 |阅读模式
本帖最后由 叶子2019 于 2021-5-18 16:50 编辑

1、Fiddler抓包后发现需要的数据在SyntaxView标签页里面,怎么抓到这里面的数据?



2、在Raw标签页里面也有需要的数据“{"path":"iDelta.csv",............”,怎么抓到这个数据?


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?加入

×
 楼主| 发表于 2021-5-15 17:02:35 | 显示全部楼层
这样抓到的数据不全,只有一半?

#include <IE.au3>
$oIE = _IECreate("https://www.joinquant.com/user/64511613240/edit/iDelta.csv")
_IELoadWait($oIE)
$text = _IEBodyReadText($oIE)
FileWrite("c:\dd18.txt", $text)
发表于 2021-5-15 17:04:44 | 显示全部楼层
InetGet  可以下载你说那个文件
 楼主| 发表于 2021-5-15 17:08:42 | 显示全部楼层
不想下载,只想读取内容。
发表于 2021-5-15 17:12:11 | 显示全部楼层
是不是搞错方向了,这个是发送数据
发表于 2021-5-15 20:03:31 | 显示全部楼层
如果能下载,那就是最简单的方案,如果不能下载,才会采取HTTP协议读取。
如果采用Http协议读取,那就需要很多代码实现协议请求,和数据包的读取,包头分解,数据提取等步骤。
 楼主| 发表于 2021-5-16 13:22:08 | 显示全部楼层
换了种抓数据方式,抓出的数据中文显示不正常,二进制转换方式参数都试了也还是不行?
$text = InetRead("https://www.joinquant.com/user/64511613240/api/contents/iDelta.csv")
$text = BinaryToString($text);1,2,3,4
FileWrite("c:\dd18.txt", $text)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?加入

×
发表于 2021-5-16 19:05:13 来自手机 | 显示全部楼层
这个是因为文本被unicode编码了 需要解码,论坛里应该有这个udf代码。

评分

参与人数 1金钱 +10 收起 理由
叶子2019 + 10 谢谢!

查看全部评分

 楼主| 发表于 2021-5-18 16:50:15 | 显示全部楼层
您需要登录后才可以回帖 登录 | 加入

本版积分规则

QQ|手机版|小黑屋|AUTOIT CN ( 鲁ICP备19019924号-1 )谷歌 百度

GMT+8, 2024-3-28 16:21 , Processed in 0.079016 second(s), 24 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表