主题
Google Dataset Search API 概览
本接口提供 Google Dataset Search 搜索结果。主接口契约为:POST /v3/serp/google/dataset_search/live/advanced/。该接口根据指定,从 Google Dataset Search 搜索引擎中获取热门数据集结果。
功能简介
Google Dataset Search API 可通过简单,检索数千个数据仓库中的数据集。返回结果与指定,并数据集在搜索结果页中的排名及信息。
每个结果通常 check_url,可通过该地址在无痕模式下访问并核验结果性。系统不会使用用户偏好、搜索历史及个性化因素,因此这些因素不会影响返回的搜索结果。
> 注意: > > - 本接口支持 desktop 设备类型。 > - 创建任务时,可指定以下操作系统:Windows、macOS。 > - check_url 建议使用浏览器无痕模式访问,以减少个性化因素对核验结果的影响。
排名字段
SERP 结果使用以下两个排名字段:
rank_group:结果在所属分组中的排名。rank_absolute:结果在整个 SERP 页面所有中的绝对排名。
这两个字段的区别在于:rank_group 只反映同一类型结果中的位置,rank_absolute 则反映结果在整个搜索结果页中的位置。
Google Dataset Search 接口
Live Advanced
接口:
text
POST https://api.seermartech.cn/v3/serp/google/dataset_search/live/advanced/Live Advanced 接口实时返回指定对应的前 20 条搜索结果,也支持可选参数。
请求体为 JSON 数组:
json
[
{
"keyword": "climate change",
"location_name": "United States",
"language_name": "English",
"se_type": "dataset"
}
]> 上述请求体用于展示数组格式,可用字段及字段取值请以对应接口参数文档为准。
数据获取方式
本平台提供两种获取 SERP 数据的方式:Live 和 Standard。
Live 方式
Live 方式实时执行任务并返回结果,适用于需要立即获取搜索结果的场景。
调用接口:
text
POST /v3/serp/google/dataset_search/live/advanced/该方式无需分别调用任务提交接口和结果获取接口。
Standard 方式
Standard 方式提交任务,系统完成采集后再获取结果。该方式通常比 Live 方式更经济,但需要分步调用接口。
1. 提交任务
text
POST /v3/serp/google/dataset_search/task_post/2. 查询任务结果
text
GET /v3/serp/google/dataset_search/task_get/advanced/3. 查询已完成任务
当需要批量提交多个任务时,可调用以下接口获取已完成任务的 id 列表:
text
GET /v3/serp/google/dataset_search/tasks_ready/随后,使用每个任务的 id 调用任务结果接口:
text
GET /v3/serp/google/dataset_search/task_get/advanced/回调通知
提交任务时,可以选择以下字段:
pingback_url:任务完成后向指定地址发送完成通知。postback_url:任务完成后将结果发送到指定地址。
如果使用 postback_url,数据获取支持 advanced 功能。
请求限制
- 每分钟最多发送 2,000 次 POST 和 GET API 请求,合计计算。
- 每个 POST 请求最多 100 个任务。
- 如需提高调用限制,请联系本平台技术支持。
优级与费用
Live 方式实时返回结果,因此请求费用通常高于 Standard 方式。
Standard 方式支持两种任务优级:
Normal:普通优级。High:高优级,通常更快的任务处理速度。
depth 对费用的影响
当 depth过默认值时,任务费用会相应增加。计费按结果数量区间计算。
例如:
- 默认
depth为20; - 当请求设置为
"depth": 30时,系统将按 40 条结果的计费区间计算; - 此时任务费用将 40 条结果计费。
扣费以响应头 X-SeerMarTech-Charge-CNY 为准。
认证示例
请求时需通过 Bearer Token 进行认证:
http
Authorization: Bearer smt_live_YOUR_KEYcurl 示例
bash
curl -X POST 'https://api.seermartech.cn/v3/serp/google/dataset_search/live/advanced/' \
-H 'Authorization: Bearer smt_live_YOUR_KEY' \
-H 'Content-Type: application/json' \
-d '[
{
"keyword": "climate change",
"location_name": "United States",
"language_name": "English",
"se_type": "dataset"
}
]'##测试
可以使用沙箱环境测试 Google Dataset Search API:
text
/v3/appendix/sandbox/实用场景
- 检索行业数据集:根据行业收集政府、科研机构及开放数据仓库中的数据集,支持选题和行业研究。
- 监测数据资源竞争:定期抓取目标的 Dataset Search 结果,分析不同机构和平台的数据集。
- 发现营销素材:筛选与目标主题的数据资源,为报告、白皮书和统计类文章提供可靠数据来源。
- 分析数据集搜索排名:结合
rank_group和rank_absolute跟踪数据集在搜索结果中的位置变化,评估标题、描述和数据来源优化效果。 - 批量构建数据资源库:通过 Standard 方式提交多个任务,再使用
tasks_ready和task_get批量获取结果,提升数据资产整理效率。