千家信息网

如何采集级联数据(比如最新省市县)呢?

发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,概述通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。创建数据集在
千家信息网最后更新 2024年09月22日如何采集级联数据(比如最新省市县)呢?

概述

通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。

创建数据集

在数据集管理里,添加数据集area。如下图所示:

数据集相当于数据库中的表,只是字段是灵活的,可以随着需要而添加和变更。

创建规则

在规则管理里,添加规则arearule,并将地址http://xzqh.mca.gov.cn/map 填为抓取入口地址。

我们通过分析可知,我们可从http://xzqh.mca.gov.cn/map 获取省级数据,然后通过级级数据请求http://xzqh.mca.gov.cn/selectJson 带有省级名称来获得市级数据,最后再通过市级数据分别请求http://xzqh.mca.gov.cn/selectJson 带有市级数据来获得县级数据。

并且发现请求 http://xzqh.mca.gov.cn/selectJson 是需要发POST请求的,因此我们需要将url加个前缀fake:,然后用规则里用JavaScript去请求URL。

我们在此编写的area数据集,有以下字段:

名称说明
sn取区域编码作为记录唯一字段
name名称
code取区域编码
abbr省名简写
parent_code取父区域编码

因此编写规则如下:

(注:具体规则内容请见文章最后)

然后编写完成后,我们就可以启动抓取器进行抓取。

查看数据

打开数据管理,选择area数据集查看如下图所示:

导出数据

回到数据管理,选择条件,选择需要导出的字段,进行导出。像这里数据比较多,GoldData将会以打包excel文件并压缩为zip文件下载。解压到本地,然后打开excel就可以看到抓取的数据,如下图所示:

结尾

通过这节内容,可以了解了如何通过GoldData 抓取级联数据。但是下一个问题是如何将数据导入自关联列表呢,且看下一往篇将会讲述如何将级联数据融合到数据库自关联表当中。

咐录:

(抓取规则)

[  {    __sample: http://xzqh.mca.gov.cn/map    match0: http\:\/\/xzqh\.mca\.gov\.cn\/map    fields0:    {      __model: true      __node: js      __js:        '''        var exp11=/json\s=\s(.+)\s+\$\(doc/        var ret=exp11.exec(html)        var ss=eval(ret[1])        for(var i=0;i
0