워드프레스로 블로그를 처음 만들었을 때 저는 XML 사이트맵만 등록하면 검색엔진이 모든 글을 알아서 가져가는 줄 알았습니다. 그래서 robots.txt 파일은 한동안 건드리지 않았습니다.
몇 달 동안 블로그를 운영하면서 Google Search Console을 확인해 보니 예상과 다른 문제가 보였습니다. 검색엔진이 실제 글보다 관리자 페이지, 태그 페이지, 검색 결과 페이지처럼 검색에 필요하지 않은 주소까지 계속 방문하고 있었던 것입니다.
그때 처음 robots.txt를 제대로 공부했고, 설정을 정리한 뒤부터 크롤링 로그와 색인 상태가 훨씬 깔끔하게 관리되는 것을 확인할 수 있었습니다.
물론 robots.txt 하나만 수정했다고 검색 순위가 갑자기 올라간 것은 아닙니다. 하지만 검색엔진이 중요한 페이지를 먼저 이해하도록 환경을 만들어 준다는 점에서 SEO의 기본 설정이라는 사실은 분명히 느낄 수 있었습니다.
이번 글에서는 robots.txt가 어떤 역할을 하는지뿐 아니라 제가 실제 워드프레스를 운영하면서 느꼈던 경험과 함께 올바른 설정 방법을 소개하겠습니다.
robots.txt는 검색엔진에게 주는 안내문입니다
robots.txt는 웹사이트의 가장 상위 경로에 위치하는 텍스트 파일입니다.
검색엔진이 사이트에 방문하면 가장 먼저 확인하는 파일 중 하나이며, 어떤 페이지를 방문해도 되는지, 어떤 페이지는 굳이 방문하지 않아도 되는지를 알려주는 역할을 합니다.
많은 사람들이 robots.txt를 검색 차단 기능으로만 생각하지만 실제 역할은 조금 다릅니다.
robots.txt는 검색 결과를 제어하는 파일이 아니라 크롤링 경로를 안내하는 파일입니다.
예를 들어 관리 페이지나 로그인 페이지처럼 검색될 필요가 없는 영역은 방문하지 말라고 알려줄 수 있습니다.
반대로 중요한 글과 페이지는 자유롭게 크롤링하도록 둘 수 있습니다.
robots.txt가 SEO에 중요한 이유
제가 처음 robots.txt를 수정한 이유는 Search Console에서 크롤링 보고서를 확인했기 때문입니다.
실제로 보면 검색엔진은 생각보다 많은 페이지를 방문합니다.
예를 들어 다음과 같은 주소들입니다.
- /wp-admin/
- /wp-login.php
- 내부 검색 페이지
- 일부 테스트 페이지
이런 페이지들은 방문자가 검색해서 들어올 이유가 거의 없습니다.
그런데 검색엔진이 계속 이런 페이지를 방문하면 중요한 글을 확인하는 시간이 상대적으로 줄어들 수도 있습니다.
그래서 robots.txt는 검색엔진에게 이렇게 말해주는 역할을 합니다.
“이쪽은 볼 필요 없습니다. 대신 중요한 콘텐츠를 먼저 확인하세요.”
이것이 robots.txt가 SEO 기본 설정으로 항상 언급되는 이유입니다.
XML 사이트맵과 robots.txt는 서로 다른 역할을 합니다
초보자들이 가장 많이 헷갈리는 부분입니다.
XML 사이트맵은
“이 페이지들을 방문해 주세요.”
라고 알려주는 지도입니다.
반대로 robots.txt는
“이 경로는 굳이 방문하지 않아도 됩니다.”
라고 알려주는 안내문입니다.
저도 처음에는 둘 중 하나만 있으면 된다고 생각했지만 실제로는 함께 사용할 때 가장 효과적입니다.
사이트맵은 중요한 페이지를 알려주고, robots.txt는 불필요한 경로를 줄여주는 역할을 하기 때문입니다.
워드프레스에서는 robots.txt를 어떻게 확인할까?
별도의 파일이 없어도 대부분의 워드프레스 사이트는 기본 robots.txt를 자동으로 제공합니다.
브라우저 주소창에
https://내도메인.com/robots.txt를 입력하면 확인할 수 있습니다.
저 역시 처음에는 파일이 없는 줄 알았는데 워드프레스가 가상 robots.txt를 자동으로 생성하고 있었습니다.
필요하면 Rank Math SEO 같은 플러그인에서 직접 수정할 수도 있습니다.
제가 사용하는 기본 robots.txt 설정
블로그를 운영하면서 가장 무난했던 설정은 아래와 같습니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://내도메인.com/sitemap_index.xml이 설정은 관리자 영역은 크롤링하지 않도록 하고, 워드프레스가 정상적으로 동작하는 데 필요한 파일은 허용하는 구성입니다.
또한 사이트맵 주소를 함께 알려주기 때문에 검색엔진이 새로운 글을 찾는 데도 도움이 됩니다.
robots.txt를 수정하면서 가장 많이 하는 실수
제가 여러 워드프레스 커뮤니티를 보면서 가장 많이 본 실수는 사이트 전체를 막아버리는 경우였습니다.
예를 들어 아래와 같은 설정입니다.
User-agent: *
Disallow: /이 한 줄은
“사이트 전체를 방문하지 마세요.”
라는 의미입니다.
테스트용 사이트라면 사용할 수도 있지만 운영 중인 블로그에서는 절대 사용하면 안 됩니다.
실제로 Search Console에서 색인이 전부 사라졌다는 사례도 대부분 이런 설정 실수에서 시작됩니다.
robots.txt보다 더 중요한 것은 콘텐츠입니다
robots.txt는 SEO의 기본 환경을 만드는 작업입니다.
하지만 이것만으로 검색 순위가 오르지는 않습니다.
제가 블로그를 운영하면서 가장 크게 느낀 점은 검색엔진은 설정보다 콘텐츠를 훨씬 중요하게 평가한다는 것입니다.
robots.txt가 잘 되어 있어도 글의 품질이 낮으면 검색 유입은 늘어나지 않았습니다.
반대로 사용자 경험을 고려해 직접 작성한 콘텐츠는 robots.txt를 크게 손보지 않아도 꾸준히 검색 유입이 발생했습니다.
결국 robots.txt는 좋은 콘텐츠가 제대로 평가받을 수 있도록 돕는 보조 도구라고 이해하는 것이 가장 정확합니다.
robots.txt 설정 후 반드시 확인해야 할 체크리스트
설정을 완료했다면 아래 내용을 확인해 보세요.
- robots.txt 주소가 정상적으로 열리는가
- XML 사이트맵 주소가 포함되어 있는가
/wp-admin/만 차단되어 있는가- 일반 글은 정상적으로 크롤링 가능한가
- Search Console에서 크롤링 오류가 없는가
이 다섯 가지만 점검해도 대부분의 기본 설정은 충분합니다.
마무리
처음 워드프레스를 운영할 때는 robots.txt가 어려운 개발자용 파일처럼 느껴졌습니다. 하지만 직접 블로그를 운영하며 Search Console 데이터를 확인해 보니, 검색엔진이 사이트를 어떻게 탐색하는지 이해하는 데 큰 도움이 되는 설정이라는 것을 알게 되었습니다.
robots.txt는 검색 순위를 올려주는 마법의 파일이 아닙니다. 대신 검색엔진이 중요한 콘텐츠를 효율적으로 발견하도록 돕는 ‘길잡이’ 역할을 합니다. XML 사이트맵, 내부 링크, 메타 정보, 고품질 콘텐츠와 함께 관리한다면 검색엔진 친화적인 블로그를 만드는 데 든든한 기반이 되어 줄 것입니다.