Screaming Frog 사용법: 2026 완벽 가이드

2026년 5월 업데이트.

TL;DR: Screaming Frog SEO Spider는 구글 봇이 사이트를 도는 방식을 그대로 재현하는 데스크톱 크롤러입니다. 500개 URL까지 무료이고, 유료 라이선스를 쓰면 상한이 사라지고 JS 렌더링, 외부 연동, 예약 크롤링이 열립니다. 끊어진 링크, 리디렉션 체인, 누락된 메타 태그, 중복 콘텐츠, 크롤링 문제를 순위가 떨어지기 전에 찾아내는 데 씁니다.

SEO와 디지털 마케팅을 처음 시작했을 때, 기술 SEO를 구체적인 것으로 만들어 준 첫 도구가 Screaming Frog였습니다. 크롤링 예산, 정규화, 리디렉션 체인 같은 추상적인 개념이 오늘 당장 고칠 수 있는 URL 목록으로 바뀝니다.

2026년에도 그건 그대로입니다. 오히려 구글의 AI Overviews와 생성형 엔진이 인용할 대상으로 구조가 잘 잡힌 콘텐츠를 끌어오는 지금, 기술 SEO 위생은 더 중요해졌습니다. Googlebot이 효율적으로 크롤링하지 못하는 사이트는 인용도 되지 않습니다.

이 가이드에서 다루는 것: Screaming Frog 설치, 핵심 UI, 메모리/스토리지 설정, 첫 크롤링 실행, 결과 읽는 법, 그리고 그 데이터를 이후에 어떻게 쓸지.

Table of contents

Open Table of contents

• Screaming Frog란
• 사이트 크롤링 가능성에 영향을 주는 요소
  • 도메인 권위와 트래픽 신호
  • 백링크
  • 내부 링크
  • XML 사이트맵
  • URL 정규화
  • 메타 태그
• 어디서 시작할까
  • 설치
  • 라이선스 활성화
  • UI에 익숙해지기
• 대규모 크롤링을 위한 장비 설정
  • 메모리와 스토리지
  • JavaScript 렌더링
• Screaming Frog 사용하기
  • 크롤링 시작하기
  • 크롤링 데이터 보기
  • Overview에서 잠재적 문제 확인하기
  • 데이터 내보내기
  • 크롤링 저장과 열기
• 크롤링 후에 할 일
• 2026년의 Screaming Frog — 무엇이 달라졌나
• Screaming Frog FAQ — 2026
  • ChatGPT 같은 AI 도구가 사이트를 감사해 주는 지금도 Screaming Frog가 필요할까?
  • JavaScript 위주 사이트를 제대로 크롤링하려면?
  • Spider 모드와 List 모드의 차이는?
  • Screaming Frog가 AI Overview 최적화에 도움이 되나?
• 2026년에 달라진 점

Screaming Frog란

Screaming Frog SEO Spider는 검색 엔진 봇과 똑같은 방식으로 웹사이트를 크롤링하는 데스크톱 애플리케이션(Windows, Mac, Linux)입니다. 링크를 따라가고, HTML을 읽고, 온페이지 데이터를 수집하고, 문제를 표시합니다.

사이트 내부 데이터를 가져와 필터링 가능한 탭과 내보내기 가능한 리포트로 정리해 줍니다. 덕분에 규모에 상관없이 기술 SEO 이슈를 빠르게 찾아 우선순위를 매길 수 있습니다.

핵심 활용 사례:

1. 고쳐야 할 끊어진 링크(4xx 오류) 찾기
2. 임시·영구 리디렉션과 리디렉션 체인 식별
3. 메타데이터 감사: 타이틀, 디스크립션, H1, canonical
4. 중복 콘텐츠와 빈약한 페이지 찾기
5. robots.txt 지시문과 noindex 태그 검토
6. XML 사이트맵 생성
7. 사이트 구조와 내부 링크 깊이 평가
8. JavaScript 위주 페이지를 렌더링해 크롤러가 실제로 보는 내용 확인

무료 vs 유료: 무료 버전은 최대 500개 URL을 크롤링합니다. 소규모 사이트나 부분 점검에는 충분합니다. 유료 연간 라이선스는 URL 상한을 없애고 JS 렌더링, Google Analytics / Search Console 연동, 커스텀 추출, 예약 크롤링 등을 더해 줍니다. (현재 요금은 Screaming Frog 가격 페이지에서 확인하세요. 구매 전 반드시 확인할 것.)

사이트 크롤링 가능성에 영향을 주는 요소

크롤링을 돌리기 전에, 자신이 무엇을 측정하는지 알아 두면 도움이 됩니다. 검색 엔진 봇이 사이트를 얼마나 효율적으로 탐색하는지를 결정하는 주요 신호들입니다.

도메인 권위와 트래픽 신호

권위가 강한 사이트일수록 더 자주 크롤링되는 경향이 있습니다. 구글은 사이트가 얼마나 가치 있고 신뢰할 만하다고 판단되는지에 따라 크롤링 예산을 배분합니다. Screaming Frog는 여기에 영향을 주는 신호들, 즉 크롤링 깊이, 내부 링크 구조, 응답 시간 같은 것을 점검하는 데 도움이 됩니다.

참고: 도메인 등록업체를 고르는 중이라면 제 GoDaddy 리뷰도 보세요.

백링크

검색 엔진은 백링크를 표로 취급합니다. 외부 링크 자산이 강한 페이지일수록 더 자주 크롤링되고 더 빨리 색인됩니다. Screaming Frog 크롤링은 백링크 프로필을 직접 보여 주지는 않지만, 고아 페이지(내부 링크가 없는 페이지)를 드러냅니다. 발견되는 경로가 전적으로 외부 링크에만 달려 있는 페이지라는 뜻입니다.

내부 링크

내부 링크는 같은 사이트 안의 페이지끼리 연결하는 작업입니다. 링크 자산을 분배하고, 크롤러에 콘텐츠 위계를 알려 주며, 사용자 경험을 일관되게 만듭니다.

Screaming Frog는 인링크가 0인 페이지, 즉 봇이 영영 도달하지 못할 수도 있는 고아 페이지를 찾아냅니다. 이걸 고치는 건 빠른 성과입니다. 앵커 텍스트 전략에 대한 더 자세한 맥락은 제 로컬 SEO 가이드를 보세요.

XML 사이트맵

잘 구성된 XML 사이트맵은 크롤러에게 어떤 페이지를 우선할지 알려 주는 지도입니다. 어떤 페이지는 가리키는 내부 링크가 하나도 없어서, 사이트맵이 없으면 보이지 않습니다. Screaming Frog는 기존 사이트맵을 감사할 수도, 새로 생성할 수도 있습니다.

더 깊은 기술 감사 워크플로는 제 기술 SEO 감사 가이드에 정리해 두었습니다.

URL 정규화

한 페이지가 여러 URL로 접근 가능하거나, 여러 페이지의 내용이 거의 같다면 구글은 이를 중복으로 볼 수 있고, 그 결과 링크 자산과 색인이 희석됩니다. canonical URL을 지정하면 신호가 선호 버전 하나로 모입니다.

Screaming Frog의 Canonicals 탭을 보면 누락되거나 충돌하거나 자기 참조하는 canonical을 한눈에 파악할 수 있습니다.

메타 태그

메타 디스크립션은 순위에 직접 영향을 주지 않지만 SERP에서의 클릭률을 좌우합니다. 게다가 AI Overviews에서는 간결하고 잘 쓴 디스크립션이 인용 스니펫으로 그대로 끌려 들어가기도 합니다. Screaming Frog는 사이트 전체에서 누락·중복·길이 초과된 타이틀과 디스크립션을 크롤링 한 번으로 잡아냅니다.

어디서 시작할까

설치

설치 파일은 screamingfrog.co.uk/seo-spider에서 받습니다. Windows, macOS, Linux를 지원합니다. 무료 버전은 계정 없이 바로 쓸 수 있고, 세션당 최대 500개 URL을 크롤링합니다.

라이선스 활성화

URL 상한을 없애고 전체 기능을 쓰려면 Screaming Frog 사이트에서 연간 라이선스를 구매합니다(가격은 바뀌니 현재 금액을 확인하세요). 받은 라이선스 키를 License > Enter License Key에 입력하면 됩니다. 키가 유효한지와 만료일을 대화 상자가 확인해 줍니다.

UI에 익숙해지기

주로 쓰게 될 메뉴는 다음과 같습니다.

1. File — 크롤링 저장, 최근 세션 다시 열기(최대 6개), 원본 데이터 내보내기.
2. Configuration — 가장 중요한 메뉴. Configuration > Spider에서 무엇을 크롤링할지 정합니다. 포함할 콘텐츠 유형, nofollow 링크를 따라갈지 여부, JS 렌더링 모드 등.
3. Bulk Export — 응답 코드, 인링크, 지시문, 이미지, hreflang 등 여러 기준으로 필터링한 URL을 내보냅니다.
4. Reports — 구조화된 리포트를 다운로드합니다. 리디렉션 체인, canonical 오류, hreflang 오류, 페이지 속도 등 개발팀에 이슈를 넘길 때 유용합니다.
5. Sitemaps — 완료된 크롤링에서 바로 XML 사이트맵을 생성합니다.

대규모 크롤링을 위한 장비 설정

메모리와 스토리지

작은 사이트(수천 개 URL 미만)라면 기본 설정으로 충분합니다. 대규모 크롤링에서는:

• RAM 모드(기본): Screaming Frog는 충돌을 막기 위해 전체 RAM보다 2 GB 적게 확보합니다. 32비트는 1 GB, 64비트는 2 GB가 할당됩니다.
• 데이터베이스 스토리지 모드(SSD가 있다면 권장): Configuration > System > Storage에서 Database Storage Mode를 선택합니다. 크롤링이 자동 저장되고, 일시 정지와 재개가 가능하며, 메모리 한계에 부딪히지 않고 훨씬 큰 사이트를 다룰 수 있습니다.

스토리지 모드나 RAM 할당을 바꾼 뒤에는 반영을 위해 Screaming Frog를 재시작하세요.

JavaScript 렌더링

React, Vue, Next.js 같은 JS 프레임워크로 만든 사이트를 크롤링한다면 JavaScript 렌더링으로 전환하세요: Configuration > Spider > Rendering > JavaScript. 헤드리스 브라우저(Chromium 기반)를 띄워 JS를 실행한 뒤 렌더링된 HTML을 크롤링합니다. Googlebot이 최신 사이트를 처리하는 방식과 같습니다.

참고: JS 렌더링은 일반 크롤링보다 훨씬 느리고 자원도 더 씁니다. JS 위주 사이트에만 쓰고, 전통적인 HTML 사이트에서는 끄세요.

Screaming Frog 사용하기

크롤링 시작하기

Spider 모드(기본): 루트 URL에서 출발해 사이트 전체를 크롤링합니다. 주소창에 홈페이지 URL을 넣고 Start를 누르세요.

List 모드: 직접 지정한 URL만 크롤링합니다. 특정 페이지 묶음(전체 상품 페이지, 또는 Search Console에서 성과가 떨어진 URL 등)을 점검할 때 유용합니다. Mode > List로 전환한 뒤 CSV를 올리거나 URL을 그대로 붙여 넣습니다.

크롤링 중에는 하단 상태 표시줄에 크롤링된 URL 수, 속도, 응답 시간이 실시간으로 표시됩니다. 알아 둘 점:

1. 크롤링을 일시 정지하고 재개할 수 있습니다(라이선스 버전만).
2. 저장하지 않고 앱을 종료하면 진행 중이던 데이터가 사라집니다.
3. 데이터베이스 스토리지 모드에서는 크롤링이 자동 저장됩니다.
4. File 메뉴에서 최근 크롤링을 최대 6개까지 열 수 있습니다.

크롤링 데이터 보기

상단 패널에는 데이터 유형별 탭이 있습니다: Internal, External, Response Codes, URL, Page Titles, Meta Description, H1, H2, Images, Canonical, Pagination, Directives, Hreflang, Links, Structured Data 등.

각 탭에는 필터 드롭다운이 있습니다. 예를 들어 Response Codes에서는 4xx(클라이언트 오류)나 3xx(리디렉션)만 보이게 걸 수 있습니다. 상단 패널에서 URL을 클릭하면 하단 패널에 해당 URL의 인링크, 아웃링크, 이미지 데이터, 응답 헤더가 채워집니다.

Overview에서 잠재적 문제 확인하기

오른쪽 Overview 창은 모든 탭에 걸친 문제(끊어진 링크, 누락된 타이틀, 중복 H1, 리디렉션 체인)를 요약해 줍니다. 탭을 하나하나 눌러 볼 필요가 없습니다. Overview의 행을 클릭하면 해당 탭과 필터로 바로 이동합니다. 새 크롤링을 분류하는 가장 빠른 방법입니다.

데이터 내보내기

• Export 버튼(상단 패널): 현재 선택된 탭과 필터를 CSV로 내보냅니다.
• URL 우클릭: Inlinks, Outlinks, Image Details, Resources 중에서 골라 해당 URL의 관계 데이터를 내보냅니다.
• Bulk Export 메뉴: 탭을 가로지르는 데이터 묶음을 내보냅니다. 전체 리디렉션, 전체 canonical, 특정 용량을 넘는 전체 이미지, 응답 코드 요약 등.

이 내보내기 데이터를 쓰는 전체 기술 SEO 감사 흐름은 제 기술 SEO 감사 가이드에 있습니다.

크롤링 저장과 열기

데이터베이스 스토리지 모드에서는 크롤링이 자동 저장됩니다. RAM 모드에서는 크롤링이 일시 정지되었거나 끝난 상태에서 File > Save Crawl로 직접 저장하세요.

크롤링 관리 화면에서는 저장된 크롤링을 정리, 복제, 내보내기, 삭제할 수 있습니다. 같은 사이트를 시간에 따라 추적하며 세션끼리 비교하고 싶을 때 유용합니다.

크롤링 후에 할 일

Screaming Frog는 데이터를 꺼내 줄 뿐, 무엇을 먼저 할지는 알려 주지 않습니다. 제가 새 크롤링을 처리하는 순서는 이렇습니다.

1. Overview 창부터 본다. 건수가 많은 오류를 찾습니다. 4xx 응답, 타이틀이 없는 페이지, 한 홉을 넘는 리디렉션 체인.
2. 4xx 오류를 먼저 고친다. 끊어진 내부 링크는 크롤링 예산을 낭비하고 사용자를 막다른 길로 보냅니다. 내보내서 올바른 목적지를 찾아 수정하거나 리디렉션하세요.
3. 리디렉션 체인을 접는다. A → B → C → D 같은 체인은 A → D로 줄여야 합니다. 홉이 하나 늘 때마다 지연이 붙고 링크 자산이 새어 나갈 수 있습니다.
4. 메타데이터를 감사한다. 타이틀과 디스크립션이 없거나 중복이거나 잘린 페이지는 손은 적게 가고 효과는 큰 수정입니다. AI Overviews가 메타 내용을 직접 가져다 쓰는 지금은 더 그렇습니다.
5. canonical 태그를 확인한다. 페이지네이션이나 파라미터가 붙은 URL에 canonical이 없으면 중복 콘텐츠 문제가 시간이 갈수록 쌓입니다.
6. 고아 페이지를 찾는다. Links 탭에서 인링크가 0인 페이지를 걸러 보세요. 사이트맵에 없다면 크롤러 눈에는 보이지 않습니다.

2026년의 Screaming Frog — 무엇이 달라졌나

도구 자체도 계속 발전했습니다. 2026년 초 기준으로(현재 기능은 공식 사이트에서 확인하세요):

• 예약 크롤링: 반복 크롤링을 자동화하고 문제가 생기면 알림을 받습니다. 수동으로 다시 돌리지 않고 운영 사이트를 모니터링할 때 유용합니다.
• 구조화 데이터 검증: Structured Data 탭이 JSON-LD, Microdata, RDFa를 추출해 schema.org 규칙에 맞는지 검증합니다. 구조화 데이터는 AI Overview 인용에서 점점 더 중요해지고 있습니다.
• Core Web Vitals 연동: Google Search Console과 PageSpeed Insights를 연결해 크롤링 데이터와 성능 지표를 한 화면에서 대조할 수 있습니다.
• 커스텀 JavaScript 추출: 커스텀 추출 스크립트로 JS 렌더링된 페이지에서 원하는 데이터를 뽑아냅니다.

Screaming Frog FAQ — 2026

ChatGPT 같은 AI 도구가 사이트를 감사해 주는 지금도 Screaming Frog가 필요할까?

필요합니다. AI 챗 도구는 기술 SEO 개념을 설명해 줄 뿐이고, Screaming Frog는 실제로 사이트를 크롤링해 사실 그대로의 데이터셋을 돌려줍니다. 내 사이트의 4xx 오류, 리디렉션 체인, 누락된 canonical 태그 전체 목록을 CSV로 손에 쥐는 것을 대신할 방법은 없습니다. 데이터를 해석하고 우선순위를 매기는 데는 AI를, 그 데이터를 만드는 데는 Screaming Frog를 쓰세요.

JavaScript 위주 사이트를 제대로 크롤링하려면?

Configuration > Spider > Rendering에서 JavaScript를 선택하세요. 헤드리스 Chromium 인스턴스로 JS를 실행한 뒤 크롤링합니다. Googlebot이 최신 React/Vue/Next.js 사이트를 처리하는 방식에 가장 가까운 근사치입니다. 다만 일반 모드보다 3~5배 느려질 각오는 해야 합니다.

Spider 모드와 List 모드의 차이는?

Spider 모드는 시작 URL에서 링크를 따라가며 사이트 전체를 크롤링합니다. 존재조차 몰랐던 페이지가 나옵니다. List 모드는 직접 준 URL만 크롤링합니다. 다른 데이터 소스(Search Console, 데이터베이스 내보내기, 경쟁사 사이트맵)에서 URL 목록을 이미 확보했고 전체 탐색이 필요 없을 때 유용합니다.

Screaming Frog가 AI Overview 최적화에 도움이 되나?

간접적이지만 의미 있게 도움이 됩니다. AI Overviews는 구조가 잘 잡히고 크롤링이 가능하며 메타데이터가 깔끔하고 구조화 데이터가 유효하며 기술적 오류가 없는 페이지를 선호합니다. Screaming Frog의 구조화 데이터 검증 탭, canonical 감사, 메타 태그 분석은 AI가 페이지를 읽고 인용하는 방식에 영향을 주는 문제를 모두 드러냅니다. 인용되었는지 여부까지 알려 주지는 않지만, 기술적인 무언가가 길을 막고 있지 않다는 건 확인할 수 있습니다.

함께 읽기:

• 기술 SEO 감사 가이드 — Screaming Frog가 내보낸 데이터로 무엇을 할지
• 웹사이트 속도 최적화 방법 — Core Web Vitals와 크롤링 가능성
• Surfer SEO 알아보기 — 기술 감사 이후의 온페이지 최적화

---

이 가이드는 alejandrorioja.com의 일부이며, Alejandro Rioja가 씁니다. 지금은 창업자를 위한 AI 에이전트 시스템을 만들고 있습니다. 이 사이트를 최신 상태로 유지하는 에이전트도 그중 하나입니다. 작동 방식 보기 →

2026년에 달라진 점

2026년의 SEO는 2020년대 초 플레이북과 완전히 다릅니다. 2024년 중반 이전에 쓰인 모든 글에 영향을 주는 세 가지 변화:

1. AI Overviews가 SERP의 새로운 0순위가 됐다. 구글의 AI Overviews는 미국 정보성 쿼리의 약 **60%**에서 기본으로 뜨며, 「~란 무엇인가」 「~하는 법」 계열의 CTR을 대부분 가져갑니다. 이제 AI Overview 안에서 인용되도록 최적화하는 일이 1위를 차지하는 것만큼 중요합니다.
2. GEO(Generative Engine Optimization) 는 엔진을 가로지르는 최적화를 가리키는 실무 용어입니다. ChatGPT, Perplexity, Claude, Gemini의 답변 안에서 인용되는 것을 목표로 합니다. 2025년 말 표본 조사에서 구매 의도가 높은 상업적 쿼리의 약 12% 가 이 엔진들에서 직접 인용을 통한 유입을 보였습니다(2023년 이전에는 0).
3. E-E-A-T(현재는 E^3-A-T, Experience + Expertise + Establishment + Authoritativeness + Trustworthiness) 는 구글이 내부적으로 계속 쓰는 틀입니다. 「Establishment」는 2024년에 추가되어 브랜드 수준의 신호를 강조합니다.

도구 지형(2026년 5월): Ahrefs와 Semrush 모두 생성형 엔진 추적 기능을 냈습니다. Surfer SEO와 토픽 권위 계열 도구들은 GEO 점수를 추가했습니다. Screaming Frog는 여전히 표준 크롤러입니다. AlsoAsked, Keyword Insights, Frase는 AI Overview 스니펫 설계 쪽으로 크게 방향을 틀었습니다.

이 글이 2024년 5월 이전 것이라면, 핵심 조언은 구글 검색 기준선으로 보고 그 위에 GEO 플레이북을 얹으세요.