如何使用 Screaming Frog：2026 完整指南

2026 年 5 月更新。

TL;DR: Screaming Frog SEO Spider 是一款桌面爬虫，它模拟 Google 爬虫遍历网站的方式。免费版最多抓取 500 个 URL；付费授权取消上限，并解锁 JS 渲染、第三方集成和定时抓取。用它在排名受损之前找出死链、重定向链、缺失的 meta 标签、重复内容和可抓取性问题。

当我开始自己的 SEO 与数字营销之路时，Screaming Frog 是第一个让技术 SEO 变得具体的工具。抓取预算、规范化、重定向链这些抽象概念，会变成今天就能动手修复的 URL 列表。

到了 2026 年，这一点没有改变。甚至更重要了：Google 的 AI Overviews 和各类生成式引擎在挑选引用来源时，偏爱结构清晰、组织良好的内容。Googlebot 无法高效抓取的网站，也不会被引用。

**本指南涵盖：**安装 Screaming Frog、核心界面、内存与存储设置、运行第一次抓取、读懂输出结果，以及拿到数据之后该做什么。

Table of contents

Open Table of contents

• Screaming Frog 是什么
• 影响网站可抓取性的因素
  • 域名权重与流量信号
  • 反向链接
  • 内部链接
  • XML 站点地图
  • URL 规范化
  • Meta 标签
• 从哪里开始
  • 安装
  • 激活授权
  • 熟悉界面
• 为大规模抓取配置你的设备
  • 内存与存储
  • JavaScript 渲染
• 使用 Screaming Frog
  • 开始一次抓取
  • 查看抓取数据
  • 在 Overview 中查看潜在问题
  • 导出数据
  • 保存和打开抓取
• 抓取之后该做什么
• 2026 年的 Screaming Frog —— 有什么变化
• Screaming Frog 常见问题 —— 2026
  • 现在 ChatGPT 这类 AI 工具也能审计站点，Screaming Frog 还值得用吗？
  • 怎样正确抓取 JavaScript 密集的站点？
  • Spider 模式和 List 模式有什么区别？
  • Screaming Frog 对 AI Overview 优化有帮助吗？
• 2026年的变化

Screaming Frog 是什么

Screaming Frog SEO Spider 是一款桌面应用（Windows、Mac、Linux），它以搜索引擎爬虫的方式抓取网站：跟随链接、读取 HTML、收集页面数据并标出问题。

工具会抓取站内数据，整理成可筛选的标签页和可导出的报告。这样一来，无论网站规模多大，都能快速定位并排出技术 SEO 问题的优先级。

核心使用场景：

1. 找出需要修复的死链（4xx 错误）
2. 识别临时与永久重定向，以及重定向链
3. 审计元数据：标题、描述、H1、canonical
4. 找出重复内容和内容单薄的页面
5. 检查 robots.txt 指令和 noindex 标签
6. 生成 XML 站点地图
7. 评估站点架构和内链深度
8. 渲染 JavaScript 密集的页面，查看爬虫实际看到了什么

**免费版 vs 付费版：**免费版最多抓取 500 个 URL，适合小站或抽查。付费年度授权取消 URL 上限，并增加 JS 渲染、Google Analytics / Search Console 集成、自定义提取、定时抓取等功能。（当前价格请查看 Screaming Frog 定价页，购买前务必核实。）

影响网站可抓取性的因素

在跑抓取之前，先弄清楚你到底在衡量什么会很有帮助。下面是决定搜索引擎爬虫遍历效率的主要信号。

域名权重与流量信号

权重更高的站点通常被抓取得更频繁。Google 会根据一个站点被认为有多大价值、多值得信任来分配抓取预算。Screaming Frog 能帮你审计影响这一点的信号，比如抓取深度、内链结构和响应时间。

延伸阅读：如果你在挑域名注册商，可以看我的 GoDaddy 评测。

反向链接

搜索引擎把反向链接当作投票。外链权重强的页面往往被抓取得更频繁、收录得更快。Screaming Frog 的抓取不会直接展示你的外链档案，但它能找出孤儿页面（没有任何内链指向的页面）——这些页面完全依赖外链才能被发现。

内部链接

内部链接就是在同一个站点内把页面互相链接起来。它分配链接权重，向爬虫传达内容层级，也让用户体验更连贯。

Screaming Frog 会找出入链为零的页面，也就是爬虫可能永远到不了的孤儿页面。修掉它们是见效很快的一步。关于锚文本策略的更多背景，见我的本地 SEO 指南。

XML 站点地图

结构良好的 XML 站点地图相当于一张路线图，告诉爬虫该优先抓哪些页面。有些页面没有任何内链指向，没有站点地图就等于隐形。Screaming Frog 既能审计现有站点地图，也能生成新的。

更深入的技术审计流程，见我的技术 SEO 审计指南。

URL 规范化

如果同一个页面能通过多个 URL 访问，或者多个页面内容几乎相同，Google 可能把它们当作重复内容，稀释链接权重和收录。设置 canonical URL 可以把信号集中到你希望保留的那个版本上。

Screaming Frog 的 Canonicals 标签页能一眼看出缺失、冲突或自引用的 canonical。

Meta 标签

Meta 描述不直接影响排名，但会影响搜索结果页的点击率——而在 AI Overviews 里，一段简洁、写得好的描述可能被直接抽进引用摘要。Screaming Frog 一次抓取就能标出全站缺失、重复或超长的标题和描述。

从哪里开始

安装

从 screamingfrog.co.uk/seo-spider 下载安装包，支持 Windows、macOS 和 Linux。免费版开箱即用，不需要注册账号，每次会话最多抓取 500 个 URL。

激活授权

要取消 URL 上限、用上全部功能，需要在 Screaming Frog 官网购买年度授权（价格会变，请核实当前金额）。拿到授权码后，在 License > Enter License Key 中输入。弹窗会确认密钥有效并显示到期日期。

熟悉界面

你主要会用到这几个菜单：

1. File —— 保存抓取、重新打开最近的会话（最多六个）、导出原始数据。
2. Configuration —— 最重要的菜单。Configuration > Spider 控制抓什么：包含哪些内容类型、是否跟随 nofollow 链接、JS 渲染模式等等。
3. Bulk Export —— 按响应码、入链、指令、图片、hreflang 等维度筛选后导出 URL。
4. Reports —— 下载结构化报告：重定向链、canonical 错误、hreflang 错误、页面速度——把问题交接给开发团队时特别好用。
5. Sitemaps —— 直接从已完成的抓取生成 XML 站点地图。

为大规模抓取配置你的设备

内存与存储

小站点（几千个 URL 以内）用默认设置就行。规模更大的抓取：

• 内存模式（默认）：Screaming Frog 会预留比总内存少 2 GB 的量以防崩溃。32 位分配 1 GB，64 位分配 2 GB。
• 数据库存储模式（有 SSD 的话推荐）：进入 Configuration > System > Storage，选择 Database Storage Mode。抓取会自动保存，可以暂停和恢复，也能在不触及内存上限的情况下处理大得多的站点。

改完存储模式或内存分配之后，重启 Screaming Frog 才会生效。

JavaScript 渲染

如果你抓的是用 React、Vue、Next.js 或其他 JS 框架搭的站点，请切换到 JavaScript 渲染：Configuration > Spider > Rendering > JavaScript。它会启动一个无头浏览器（基于 Chromium）先执行 JS，再抓取渲染后的 HTML——和 Googlebot 处理现代站点的方式一样。

注意：JS 渲染比标准抓取慢很多，也更吃资源。JS 密集的站点用它，传统 HTML 站点就别开。

使用 Screaming Frog

开始一次抓取

Spider 模式（默认）：从一个根 URL 出发抓取整站。在地址栏输入首页 URL，点击 Start。

List 模式：只抓取你提供的特定 URL。当你想审计某一组页面时很有用（比如全部产品页，或者从 Google Search Console 里拉出来的表现下滑的 URL）。通过 Mode > List 切换，然后上传 CSV 或直接粘贴 URL。

抓取过程中，底部状态栏会实时显示已抓 URL 数、速度和响应时间。几个要点：

1. 抓取可以暂停和恢复（仅授权版）。
2. 不保存就退出程序，进行中的数据会丢失。
3. 数据库存储模式下，抓取会自动保存。
4. 可以在 File 菜单下打开最近六次抓取。

查看抓取数据

顶部面板按数据类型分标签页：Internal、External、Response Codes、URL、Page Titles、Meta Description、H1、H2、Images、Canonical、Pagination、Directives、Hreflang、Links、Structured Data 等等。

每个标签页都有筛选下拉框——比如在 Response Codes 下，可以只显示 4xx（客户端错误）或 3xx（重定向）。点击顶部面板里的任意 URL，底部面板会填充该 URL 的详情：入链、出链、图片数据和响应头。

在 Overview 中查看潜在问题

右侧的 Overview 面板汇总了所有标签页里的问题——死链、缺失标题、重复 H1、重定向链——不用你一个个标签页点过去。点击 Overview 里的任意一行，会直接跳到对应的标签页和筛选条件。这是给一次新抓取做分诊最快的办法。

导出数据

• Export 按钮（顶部面板）：把当前选中的标签页和筛选结果导出为 CSV。
• 右键点击 URL：从 Inlinks、Outlinks、Image Details 或 Resources 中选择，导出该 URL 的关系数据。
• Bulk Export 菜单：导出跨标签页的数据集，比如全部重定向、全部 canonical、超过某个体积的全部图片、响应码汇总等。

用这些导出数据做完整技术 SEO 审计的流程，见我的技术 SEO 审计指南。

保存和打开抓取

数据库存储模式下抓取会自动保存。内存模式下，在抓取暂停或完成时通过 File > Save Crawl 手动保存。

抓取管理界面可以整理、复制、导出或删除已保存的抓取——如果你想长期跟踪同一个站点并对比不同会话，这很有用。

抓取之后该做什么

Screaming Frog 只负责把数据摆出来，不会告诉你该先修哪个。我处理一次新抓取的顺序是这样的：

1. **从 Overview 面板开始。**找数量多的错误：4xx 响应、缺失标题的页面、超过一跳的重定向链。
2. **先修 4xx 错误。**站内死链既浪费抓取预算，也把用户带进死胡同。导出来，找到正确的目标地址，更新或做重定向。
3. **压平重定向链。**A → B → C → D 这样的链条应该压成 A → D。每多一跳都会增加延迟，还可能损失链接权重。
4. **审计元数据。**标题和描述缺失、重复或被截断的页面，是投入小、影响大的修复——尤其现在 AI Overviews 会直接抓取 meta 内容。
5. **检查 canonical 标签。**分页或带参数的 URL 缺少 canonical，会导致重复内容问题随时间不断累积。
6. **找出孤儿页面。**在 Links 标签页筛选入链为零的页面。除非它们在站点地图里，否则爬虫看不见。

2026 年的 Screaming Frog —— 有什么变化

工具本身也在持续演进。截至 2026 年初（当前功能请以官网为准）：

• 定时抓取：自动化周期性抓取，出问题时收到提醒——适合监控线上站点，不必手动重跑。
• 结构化数据校验：Structured Data 标签页会提取 JSON-LD、Microdata 和 RDFa，并按 schema.org 规则校验。结构化数据对 AI Overview 引用越来越重要。
• Core Web Vitals 集成：接入 Google Search Console 和 PageSpeed Insights，在一个视图里把抓取数据和性能指标关联起来。
• 自定义 JavaScript 提取：用自定义提取脚本，从 JS 渲染的页面里取出任意数据点。

Screaming Frog 常见问题 —— 2026

现在 ChatGPT 这类 AI 工具也能审计站点，Screaming Frog 还值得用吗？

值得。AI 聊天工具讲的是技术 SEO 的概念；Screaming Frog 是真的去抓你的站点，返回一份事实数据集。把你全部的 4xx 错误、重定向链和缺失的 canonical 标签导成 CSV 拿在手里，这件事没有替代品。用 AI 来解读和排优先级，用 Screaming Frog 来生成数据。

怎样正确抓取 JavaScript 密集的站点？

进入 Configuration > Spider > Rendering，选择 JavaScript。它会用一个无头 Chromium 实例先执行 JS 再抓取，这是最接近 Googlebot 处理现代 React/Vue/Next.js 站点的方式。要有心理准备：抓取速度会比标准模式慢 3–5 倍。

Spider 模式和 List 模式有什么区别？

Spider 模式从一个起始 URL 出发跟随链接抓取整站——你会发现自己都不知道存在的页面。List 模式只抓你提供的那些 URL——当你已经从别的数据源（Search Console、数据库导出、竞品站点地图）拿到了 URL 集合，不需要全站发现时特别合适。

Screaming Frog 对 AI Overview 优化有帮助吗？

间接但确实有帮助。AI Overviews 偏爱结构清晰、可抓取、元数据干净、结构化数据有效且没有技术错误的页面。Screaming Frog 的结构化数据校验标签页、canonical 审计和 meta 标签分析，都会暴露影响 AI 系统读取和引用你页面的问题。它不会告诉你是否被引用，但能确保技术层面没有东西挡在路上。

延伸阅读：

• 技术 SEO 审计指南 —— 拿 Screaming Frog 导出的数据做什么
• 如何优化网站速度 —— Core Web Vitals 与可抓取性
• 认识 Surfer SEO —— 技术审计之后的页面优化

---

本指南是 alejandrorioja.com 的一部分，作者 Alejandro Rioja， 他目前在为创业者构建 AI agent 系统，包括让这个站点保持更新的那个 agent。了解运作方式 →

2026年的变化

2026 年的 SEO 和 2020 年代初的打法已经完全不是一回事。有三个变化，对 2024 年中之前写的任何内容都成立：

1. **AI Overviews 成了搜索结果页新的第零位。**Google 的 AI Overviews 默认出现在美国大约 60% 的信息型查询中，吃掉了大部分「什么是」「怎么做」类的点击率。现在，优化在 AI Overview 内被引用和排到第一名同样重要。
2. **GEO（生成式引擎优化）**是跨引擎优化的通用说法——目标是在 ChatGPT、Perplexity、Claude 和 Gemini 的回答里被引用。2025 年末的抽样研究显示，高购买意图的商业查询中有 约 12% 出现了来自这些引擎的直接引用流量（2023 年以前为零）。
3. **E-E-A-T（现在是 E^3-A-T，Experience + Expertise + Establishment + Authoritativeness + Trustworthiness）**依然是 Google 内部使用的框架——「Establishment」是 2024 年新增的，强调品牌层面的信号。

工具格局（2026 年 5 月）：Ahrefs 和 Semrush 都上线了生成式引擎追踪。Surfer SEO 和主题权威那一派加上了 GEO 评分。Screaming Frog 仍然是标准爬虫。AlsoAsked、Keyword Insights 和 Frase 则大幅转向 AI Overview 摘要工程。

如果这篇文章早于 2024 年 5 月，请把它的核心建议当作谷歌搜索的基线，再在上面叠一层 GEO 打法。