name: tender-bid-scraper description: 面向中国大陆教育信息化行业，检索与抽取政府采购、公共资源交易、招标投标公共服务等公开站点中的采购/招投标公告。自动完成产品线分类、相关性评分、商机优先级判定、中标信息抽取和附件关键条款摘要。当用户需要按关键词、地区、日期查找智慧校园、校园网络、云桌面、录播教室、教学设备、教育软件、网络安全、信息化运维等采购商机时使用。

教育信息化招投标公告检索与分析（tender-bid-scraper）

你将得到什么

• 从公开招投标/政府采购网站批量定位公告，并从详情页抽取结构化字段
• 基础字段：公告标题、公告类型、发布日期、预算金额、截止时间、地区、采购方式、采购人/招标人、代理机构、项目编号、公告链接
• 行业分析字段：公告阶段、产品线分类、相关性评分（0-100）、商机优先级（高/中/低/极低）、推荐动作、命中关键词、中标供应商、中标金额
• 附件关键条款：资质要求、技术参数、评分办法、服务要求、交付工期、付款方式、风险提示
• 面对偶发验证码/滑块：自动走"优先直抓 → 浏览器模式（可人工接管）"的降级流程

安装依赖

pip install -r requirements.txt

pdfplumber 与 python-docx 用于可选附件解析；pyyaml 用于加载教育信息化关键词库。

推荐工作流

1. 确定检索范围：全国公共资源交易平台、政府采购网体系、招标投标公共服务平台及地方站
2. 获取候选公告链接：用 search_web 做全网定位（推荐关键词：智慧校园、校园网、云桌面、录播教室、教学设备、教育软件、考试系统、网络安全、等保、信息化运维）
3. 抓取详情页：用脚本批量抓取 URL 列表；若出现验证码则切到浏览器模式
4. 字段抽取与行业分析：自动完成产品线分类、相关性评分、关键条款抽取
5. 导出：CSV（数据分析）+ Markdown（商机报告，含汇总统计）

脚本用法

基本用法：

python scripts/tender_extract.py --urls urls.txt --out out/result

开启附件解析：

python scripts/tender_extract.py --urls urls.txt --out out/result --parse-attachments

只看高分商机：

python scripts/tender_extract.py --urls urls.txt --out out/result --min-score 50

自定义关键词库：

python scripts/tender_extract.py --urls urls.txt --out out/result --keywords-config references/edu_it_keywords.yaml

全部参数

输出字段

基础字段（16 项）

公告标题、公告类型、发布日期、预算金额、截止时间、地区、采购方式、采购人/招标人、代理机构、项目编号/标段编号、公告链接、附件链接、附件解析状态、附件文本摘要、抓取状态、备注

行业分析字段（P1，17 项新增）

相关性评分规则

商机优先级

关键词库

位于 references/edu_it_keywords.yaml，支持 12 个产品线分类：智慧校园、校园网络、智慧教室、教育软件、云桌面、教学终端、网络安全、数据中心、运维服务、考试招生、职教实训、AI 教育。

每个分类含三级关键词：include（基础命中）、strong_include（强相关，提升评分）、exclude（局部排除）。

可自行扩展，格式见 YAML 文件内注释。

反爬与验证码处理

• 不要尝试绕过验证码/滑块
• 遇到验证码：记录失败 → 浏览器模式 → 请求用户接管 → 继续

质量检查清单

• URL 自动去重（规范化 + 移除跟踪参数）
• 日期标准化为 YYYY-MM-DD
• 截止时间标准化为 YYYY-MM-DD HH:MM
• 公告类型归一
• 关键字段缺失时保留空值
• 产品线可命中多个，用顿号分隔
• 命中全局排除词不删除记录，只降低评分

资源

• scripts/tender_extract.py：主脚本（抓取、抽取、评分、导出）
• references/edu_it_keywords.yaml：教育信息化关键词库
• references/field_schema.md：字段定义与归一化规则
• references/site_hints.md：目标站点结构与字段别名
• requirements.txt：运行依赖

这个工具功能比较完整，能从政府采购等网站自动抓取公告并按教育信息化行业进行分类评分，帮助快速找到相关商机。文档详细、用法清晰，对普通用户友好。不足之处：评分有时不够精准，可能遗漏或误判一些商机；遇到网站验证码时会抓取失败；目前只支持 PDF 和 Word 附件解析。整体质量中等偏上，适合作为辅助工具快速筛选，但关键商机建议人工复核。