📄 내용

검색엔진 최적화를 위한 기본 중 기본, 바로 robots.txt와 sitemap.xml 설정입니다. 개발자라면 한 번쯤 들어봤지만 실제로 어떻게 적용하는지는 헷갈리기 쉽죠.

이번 글에서는 robots.txt와 sitemap.xml이 무엇이고, 어떤 역할을 하는지, 그리고 어떻게 프로젝트에 적용하면 되는지를 Next.js 기준으로 깔끔하게 정리해봤습니다.

✅ robots.txt란?

robots.txt는 검색 엔진 크롤러에게 **“어디를 크롤링해도 되고, 어디는 하면 안 된다”**는 지침을 알려주는 파일입니다.

예를 들어 로그인 페이지나 관리자 페이지는 검색에 노출되길 원하지 않겠죠. 그럴 땐 다음처럼 작성합니다:

User-agent: *
Disallow: /admin/
Disallow: /login
Allow: /
Sitemap: https://example.com/sitemap.xml

User-agent: 어떤 봇에게 적용할 건지 ( * 는 전체 봇 대상 )
Disallow: 접근 금지 경로
Allow: 허용 경로
Sitemap: 사이트맵 위치

✅ sitemap.xml이란?

sitemap.xml은 사이트에 어떤 페이지들이 있는지를 검색엔진에 구조적으로 알려주는 역할을 합니다.

크롤러는 보통 링크를 따라가며 페이지를 수집하지만, sitemap.xml을 제공하면 빠르게 전체 구조를 파악하고 효율적으로 색인을 만들 수 있습니다.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://example.com/</loc>
   <lastmod>2025-07-01</lastmod>
   <priority>1.0</priority>
 </url>
</urlset>

🛠️ Next.js 프로젝트에 적용하는 법

robots.txt 생성 및 제공 /public 폴더 안에 robots.txt 파일을 생성

위에서 설명한 내용대로 작성

/robots.txt 경로로 자동 노출됨

sitemap.xml 생성 방법

1. 직접 수동 작성 (정적 사이트에 적합.)
1. 라이브러리 사용 – next-sitemap 추천

npm install next-sitemap

🧐 적용 후 확인할 것

https://example.com/robots.txt 정상 노출되는지

https://example.com/sitemap.xml이 유효한지

Google Search Console에 사이트맵 제출

🚀 마무리

SEO는 검색 알고리즘을 조작하는 게 아니라, 검색 엔진이 내 콘텐츠를 더 잘 이해하게 돕는 과정입니다.

robots.txt와 sitemap.xml은 그 첫걸음이며, 잘 정비된 구조는 검색 노출의 시작이 됩니다.

Next.js 프로젝트에서도 어렵지 않게 설정할 수 있으니, 이 글 참고해서 꼭 적용해보세요!

검색엔진 최적화를 위한 robots.txt와 sitemap.xml 설정 방법 (feat. Next.js, React 개발자 필독)