试用 购买
留言论坛
当前页面:熊猫智能采集软件> 留言论坛
发新贴

熊猫采集功能真心强大!但我愚钝,不会用呵……,这几天脑袋都想破了~~~请教版主:采集的记录标题重复是为何?

作者: danzui | 阅读: 49499/7   2013/12/1 23:31:01
 
新建了项目,设置如下图:

 
  

然后点“项目高级设置”:

 
  

然后:

 
  

然后勾选“需要同时采集该链接(在本页面内)所辖的内容”,再通过“高级设定”“重定范围”操作,把页面上所有链接全部用红框框住。

 
  

不管推荐的模板页面是什么,直接点“添加新模板”,在弹出的界面上,不点“开始分析”,然后设置“(入口网址)”为采集项(对应字段“来源”),设置其中一个文字链接为采集项(对应字段“标题”,必须命中)。如下图:

 
  

然后启动项目,结果采集的结果变成下面这样样子:

 
  

想请教一下版主,为什么采集结果中会有这么多重复的标题?是我哪里设置得不对吗?谢谢!


2 楼: danzui 2013/12/1 23:33:30
 
附新浪财经网址:http://finance.sina.com.cn/

3 楼: danzui 2013/12/1 23:52:05
 
还有:

 


4 楼: danzui 2013/12/1 23:57:10
 
以上的操作,目标是想把http://finance.sina.com.cn/页面上所有有链接的地方,用列表的形式列出来,第一列是“标题”,第二列是“来源”。但捣腾好几天了,就是弄不好,夜不能寐啊!

5 楼: 2013/12/2 9:58:09
 

一、标题重复的问题,但是从你截图来看,标题虽然重复,但url并不一样,这样的结果是对的。在熊猫里面判断数据的重复性,并不是依据标题或者正文是否相同,而是按照数据来源页面的url来判断。因为Url是全网唯一的。


二、从你提供的采集网址来看,该网址http://finance.sina.com.cn/并不是标准的“标题列表页面”,也就是说用该网址来作为采集入口,并不合适。此时针对该入口网址进行的采集设置可能会有一些的意外。

当然,如果是特别的需求,比如对行业最新数据监控,必须要从该网址页面内部进行采集。哪么可以依据实际需求灵活应对。

假设确实你是需要针对该页面进行监控,则比较适合你的设置方式应该是:


1、在“选择内容页”标签下,选择“方式2:”,并在打开的输入框中输入:http://finance.sina.com.cn/


2、打开项目高级设置,“采集”标签下,勾选“显示内容页面的标题、...”。(此时就不必勾选“需要采集父页面链接”、“显示内容页面url”。)

3、返回选择“自定义内容页面模板”,打开内容页面模板设置对话框,点击“开始分析”按钮。出现的提示对话框中,一律选择“否”。

4、分析完成后,左侧列表上方会出现“(页面标题)”字样的内容,针对该项进行采集入库设置即可。

5、此时页面标题会存在一定的不相干字符,打开“结果的修缮”功能,过滤掉不相干字符即可。


这儿的设置方法。适合采集入口不是标准的“标题列表页面”的情况。也就是你提供的入口网址http://finance.sina.com.cn/  。如果是标准的、带翻页字样的“标题列表页面”,则适合你以前使用的方法。








6 楼: 2013/12/2 11:02:17
 
非常感谢5楼的热心指点!但是您提供的方法我试过,得到的结果并不是我所要的:
1.采集过程中会发生很多页面分析失败,导致该链接的标题未被采集(可能与该网站采取的反采集技术有关,即在短时间内密集、大量访问该网站页面时,有的页面无法显示);
2.有的链接所在文字与该链接代表的页面的title元素处的文字是不一致的,我想采集的不是页面的标题,而是链接所在的文字;
3.采集软件通过逐一分析框定的链接代表的页面,速度肯定不如直接分析链接所在文字的速度快。

还有,按照您说的第3步(点击“开始分析”按钮……)操作,采集软件就死在那儿了,等了很长时间都没动静。以前还可以的,不知现在为何这样。

7 楼: 2013/12/2 11:05:41
 
另外,标题重复的问题,我百思不得其解。因为页面上没有重复的标题,该页面的源代码里有没有同样的标题而链接不同的情况。

8 楼: 2013/12/2 11:17:28
 
比如说,页面中有个链接,文字为“沪指大跌2%”,点击后的页面标题是“上证指数2180.94”。我想要的是“沪指大跌2%”,而不是“上证指数2180.94”。
我该怎么做呢?


回复
 
 
 
验证码:
 

电话:171 9219 7361

建议/合作: 139 1618 6547

邮箱:123jlxie@ 163.com

友情链接: 建筑结构软件 中国制造业博览 飞翔下载 好特下载 当下软件园 简历采集工具 六度软件下载 ZOL应用下载

Copyright @ 2011 www.CaiJiRuanJian.com All Rights Reserved 上海齐索信息科技有限公司 沪ICP备16048952号-4