真实网页采集的问题，感谢！

留言论坛

当前页面：熊猫智能采集软件> 留言论坛

发新贴

真实网页采集的问题，感谢！

作者： KISIO

| 阅读： 36107/8

2016/4/29 20:07:11

因为看到了一个招投标采集的介绍，找到了熊猫。但不知道是我操作不对，还是如何。看了操作演示，总是得不到采集的东西

我计划想采集：http://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2

还有https://txzb.miit.gov.cn/DispatchAction.do?efFormEname=POIX12&type=1

这两个都采集不到真实地址，用论坛里面说的替换穷举参数，也没搞定。

是就是不支持吗？还是我没弄对。

麻烦给看下。谢谢

2 楼： KISIO

2016/4/29 20:08:31

比如想采集地址为山东的。

3 楼：管理员

2016/4/30 10:26:11

你选择的这两个都是采用ajax内嵌页面通讯的方式来显示列表内容。用普通的采集方式是不能获取列表页。需要借助抓包工具捕捉实际列表页的网址URL和POST参数，并进行模拟设置即可。

比如第一个http://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2

对应的实际列表页网址为：
http://b2b.10086.cn/b2b/main/listVendorNoticeResult.html?noticeBean.noticeType=2
为POST模式翻页，需要人工整理、添加翻页参数：

然后在“选择内容页”标签中，选择第三项“中介方式”，并依次输入：

onclick="selectResult(’’{<_medi_>}’’)">

http://b2b.10086.cn/b2b/main/viewNoticeContent.html?noticeBean.id={<_medi_>}

后面的设置就正常了。

运行采集结果截图：

4 楼：管理员

2016/4/30 10:28:56

上述图粘贴反了。

注意上述的 onclick="selectResult(’’{<_medi_>}’’)"> ，中存在两个单引号。实际上是一个半角单引号。被网站安全机制自动更改为双全角单引号了。

5 楼：管理员

2016/4/30 10:31:43

你提到的第二个网址
https://txzb.miit.gov.cn/DispatchAction.do?efFormEname=POIX12&type=1 和第一个网站非常类似。实际列表页网址为：
https://txzb.miit.gov.cn/DispatchAction.do?reg=denglu&pagesize=11
也是POST翻页。

现在的浏览器都有“抓包”工具。方法为在浏览器页面中右键选择“审查元素”即可打开抓包工具。具体操作可以去网络上搜索一下。

6 楼：	2016/5/3 23:19:25

感谢您的支持，我研究一下，谢谢

7 楼： KISIO

2016/5/4 0:34:22

抓包的问题，已经学习了。同时已经可以找到真实的网址了。
但经过几次测试，

下面这些操作，总是不对：然后在“选择内容页”标签中，选择第三项“中介方式”，并依次输入：

onclick="selectResult(’’{<_medi_>}’’)">

http://b2b.10086.cn/b2b/main/viewNoticeContent.html?noticeBean.id={<_medi_>}

总说添加的中介无效！
点查看网页源码总有是这个提示：factUrl=[http://b2b.10086.cn/b2b/error.jsp?errMsg=系统应用服务错误。]

另外如何实现自动只采集：山东呢？

8 楼： KISIO

2016/5/4 0:35:01

onclick="selectResult(’’{<_medi_>}’’)"> 这个里面的全角单引号，我已经按要求改成了半角单引号

9 楼：管理员

2016/5/4 5:52:59

factUrl 是指该页面的实际网址。而enterUrl是指该页面的入口网址。检查一下入口网址是否正确，也是拷贝该入口网址去浏览器中打开尝试，如果正确，则说明存在其他原因，尝试增加一个cookie。同样使用抓包工具获取cookie。

验证码：

售前咨询QQ：	2607374426
贴牌OEM/合作(等)：	360560565


	手机：	171 9219 7361
	贴牌OEM/合作(等)：	139 1618 6547

	熊猫采集软件试用版下载
	熊猫采集软件购买
	熊猫采集软件操作演示视频
	如何采集企业名录、电话联系人

	123jlxie@163.com
	360560565@qq.com