熊猫采集功能真心强大！但我愚钝，不会用呵……，这几天脑袋都想破了~~~请教版主：采集的记录标题重复是为何？

留言论坛

当前页面：熊猫智能采集软件> 留言论坛

发新贴

熊猫采集功能真心强大！但我愚钝，不会用呵……，这几天脑袋都想破了~~~请教版主：采集的记录标题重复是为何？

作者： danzui

| 阅读： 49293/7

2013/12/1 23:31:01

新建了项目，设置如下图：

然后点“项目高级设置”：

然后：

然后勾选“需要同时采集该链接（在本页面内）所辖的内容”，再通过“高级设定”“重定范围”操作，把页面上所有链接全部用红框框住。

不管推荐的模板页面是什么，直接点“添加新模板”，在弹出的界面上，不点“开始分析”，然后设置“（入口网址）”为采集项（对应字段“来源”），设置其中一个文字链接为采集项（对应字段“标题”，必须命中）。如下图：

然后启动项目，结果采集的结果变成下面这样样子：

想请教一下版主，为什么采集结果中会有这么多重复的标题？是我哪里设置得不对吗？谢谢！

2 楼： danzui

2013/12/1 23:33:30

附新浪财经网址：http://finance.sina.com.cn/

3 楼： danzui

2013/12/1 23:52:05

还有：

4 楼： danzui

2013/12/1 23:57:10

以上的操作，目标是想把http://finance.sina.com.cn/页面上所有有链接的地方，用列表的形式列出来，第一列是“标题”，第二列是“来源”。但捣腾好几天了，就是弄不好，夜不能寐啊！

5 楼：	2013/12/2 9:58:09

一、标题重复的问题，但是从你截图来看，标题虽然重复，但url并不一样，这样的结果是对的。在熊猫里面判断数据的重复性，并不是依据标题或者正文是否相同，而是按照数据来源页面的url来判断。因为Url是全网唯一的。

二、从你提供的采集网址来看，该网址http://finance.sina.com.cn/并不是标准的“标题列表页面”，也就是说用该网址来作为采集入口，并不合适。此时针对该入口网址进行的采集设置可能会有一些的意外。

当然，如果是特别的需求，比如对行业最新数据监控，必须要从该网址页面内部进行采集。哪么可以依据实际需求灵活应对。

假设确实你是需要针对该页面进行监控，则比较适合你的设置方式应该是：

1、在“选择内容页”标签下，选择“方式2：”，并在打开的输入框中输入：http://finance.sina.com.cn/

2、打开项目高级设置，“采集”标签下，勾选“显示内容页面的标题、...”。（此时就不必勾选“需要采集父页面链接”、“显示内容页面url”。）

3、返回选择“自定义内容页面模板”，打开内容页面模板设置对话框，点击“开始分析”按钮。出现的提示对话框中，一律选择“否”。

4、分析完成后，左侧列表上方会出现“(页面标题)”字样的内容，针对该项进行采集入库设置即可。

5、此时页面标题会存在一定的不相干字符，打开“结果的修缮”功能，过滤掉不相干字符即可。

这儿的设置方法。适合采集入口不是标准的“标题列表页面”的情况。也就是你提供的入口网址http://finance.sina.com.cn/ 。如果是标准的、带翻页字样的“标题列表页面”，则适合你以前使用的方法。

6 楼：	2013/12/2 11:02:17

非常感谢5楼的热心指点！但是您提供的方法我试过，得到的结果并不是我所要的：
1.采集过程中会发生很多页面分析失败，导致该链接的标题未被采集（可能与该网站采取的反采集技术有关，即在短时间内密集、大量访问该网站页面时，有的页面无法显示）；
2.有的链接所在文字与该链接代表的页面的title元素处的文字是不一致的，我想采集的不是页面的标题，而是链接所在的文字；
3.采集软件通过逐一分析框定的链接代表的页面，速度肯定不如直接分析链接所在文字的速度快。

还有，按照您说的第3步（点击“开始分析”按钮……）操作，采集软件就死在那儿了，等了很长时间都没动静。以前还可以的，不知现在为何这样。

7 楼：	2013/12/2 11:05:41

另外，标题重复的问题，我百思不得其解。因为页面上没有重复的标题，该页面的源代码里有没有同样的标题而链接不同的情况。

8 楼：	2013/12/2 11:17:28

比如说，页面中有个链接，文字为“沪指大跌2%”，点击后的页面标题是“上证指数2180.94”。我想要的是“沪指大跌2%”，而不是“上证指数2180.94”。
我该怎么做呢？

验证码：

售前咨询QQ：	2607374426
贴牌OEM/合作(等)：	360560565


	手机：	171 9219 7361
	贴牌OEM/合作(等)：	139 1618 6547

	熊猫采集软件试用版下载
	熊猫采集软件购买
	熊猫采集软件操作演示视频
	如何采集企业名录、电话联系人

	123jlxie@163.com
	360560565@qq.com