如何采集网页中变化的数据 _熊猫智能采集软件

留言论坛

当前页面：熊猫智能采集软件> 留言论坛

发新贴

如何采集网页中变化的数据

作者： fanyi9

| 阅读： 43349/1

2012/12/5 17:19:45

你好，想问一下，如何采集网页中变化的数据。例如帖子的访问量、某个视频的播放量等，每天采集，一个月后看总量的变化。谢谢

2 楼：测试专用账号

2012/12/5 22:35:55

你提到的这种需求，需要将重复采集的数据累加到数据库中，而不是更新原有的数据记录，熊猫原来是有这种重复数据直接追加的模式，只是使用很少，且容易造成用户误操作，故而隐去。

这次更新软件顺带把这个功能继续启用。

具体设置位置在：
项目基础设置-重复数据处理方式-（选择）不判断重复，尾部累加

即可。

熊猫判断数据是否重复，是依据采集的数据的来源页面的URL记录进行判断，在选择这种重复数据尾部累加后，将不再判断数据来源URL是否重复，每次采集的数据一律追加在数据库表的尾部。

你这个需求，每次更新采集后，新的数据会追加到数据库表尾部，在需要汇总数据的变化规律时，依据数据库表尾部的记录URL的字段PandaWebUrl的值进行排序汇总即可。

验证码：

售前咨询QQ：	2607374426
贴牌OEM/合作(等)：	360560565


	手机：	171 9219 7361
	贴牌OEM/合作(等)：	139 1618 6547

	熊猫采集软件试用版下载
	熊猫采集软件购买
	熊猫采集软件操作演示视频
	如何采集企业名录、电话联系人

	123jlxie@163.com
	360560565@qq.com