서치 어드바이저(4) Robots.txt 작성과 탑재

1. robots.txt 파일의 성격

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색 엔진 크롤러(로봇)에게 어떤 페이지를 크롤링할 수 있는지 또는 크롤링할 수 없는지를 지시하는 역할을 합니다. 이 파일은 웹사이트의 SEO(검색 엔진 최적화)에 중요한 요소로 작용합니다.

2. robots.txt 파일의 기능

robots.txt 파일의 주요 기능은 다음과 같습니다:

• 크롤링 제어: 특정 페이지나 디렉토리에 대한 크롤링을 허용하거나 차단할 수 있습니다.
• 크롤링 예산 관리: 불필요한 페이지 크롤링을 방지하여 크롤링 예산을 효율적으로 사용할 수 있습니다.
• 사이트맵 위치 지정: 사이트맵 파일의 위치를 지정하여 검색 엔진이 더 효율적으로 사이트를 크롤링할 수 있도록 합니다.

3. robots.txt 파일의 중요성

robots.txt 파일을 올바르게 설정하면 검색 엔진 크롤러가 웹사이트를 효율적으로 크롤링하고 인덱싱할 수 있습니다. 이는 웹사이트의 SEO 성능을 향상시키는 데 중요한 역할을 합니다.

4. robots.txt 파일 작성 방법

robots.txt 파일은 일반 텍스트 파일이며 다음과 같은 기본 문법을 따릅니다.

메모장에서도 작성 가능하며, 작성된 파일을 다운받아 사용해도 좋습니다.

User-agent: [크롤러 이름]
Disallow: [크롤링을 차단할 경로]
Allow: [크롤링을 허용할 경로]
Sitemap: [사이트맵 URL]

 

 

  1) 모든 크롤러에게 모든 페이지 크롤링 허용 : 많은 블로거들이 일반적으로 사용합니다.

User-agent: *
Allow: /

robots.txt

0.00MB

 

  2) 사이트맵 위치 지정 (추천)

User-agent: *
Allow: /
Sitemap: http://wowdaebaknara.tistory.com/sitemap.xml

robots.txt

0.00MB

 

 

티스토리 블로그는 사용자가 루트(Root) 폴더에 파일을 업로드할 수 없으므로 
모든 서치로봇이 robots.txt 파일에 접근할 수 있도록 허용해야 합니다.
곧, 1), 2) 만 가능하며 2)를 추천합니다.

☜ 티스토리 블로그는 사용자가 업로드하게 되면 /images 폴더에 저장됩니다.

☜ 제가 사용하고 있는 로봇배제표준(☜robots.txt)입니다. 3행의 sitemap.xml을 삽입함으로써 훨씬 많은 장점이 있습니다.

sitemap.xml의 특성 웹사이트의 모든 페이지 URL을 나열한 XML 형식의 파일로, 검색 엔진 크롤러가 사이트의 구조를 쉽게 이해하고 효율적으로 크롤링할 수 있도록 돕는 역할을 합니다. 이 파일은 웹사이트의 페이지 목록을 제공하여 검색 엔진이 중요한 페이지를 빠르게 발견하고 인덱싱할 수 있게 합니다. (sitemap.xml 확인) https://자기블로그주소/sitemap.xml (예시) 와우대박나라 sitemap.xml :  https://wowdaebaknara.tistory.com/sitemap.xml  주요 장점 ·크롤링 효율성 향상: 검색 엔진이 사이트 구조를 쉽게 이해하고, 중요한 페이지를 빠르게 찾을 수 있습니다. · 빠른 인덱싱: 새로운 콘텐츠나 업데이트된 페이지가 빠르게 인덱싱됩니다. · 중복 콘텐츠 문제 해결: 검색 엔진이 올바른 페이지를 인덱싱하도록 도와줍니다. · 크롤링 예산 최적화: 불필요한 페이지 크롤링을 줄이고, 중요한 페이지에 더 많은 크롤링 자원을 할당할 수 있습니다.

 

3) 특정 크롤러에게 특정 디렉토리 크롤링 차단

User-agent: Googlebot
Disallow: /private/

 

5. robots.txt 탑재 

1) 파일 생성

        - robots.txt 파일을 준비합니다. (위의 1)~2) 중에서 파일을 다운받거나 메모장에서 작성합니다.

2) 파일 업로드 

• 웹사이트의 루트 디렉토리에 robots.txt 파일을  업로드합니다.
• 업로드 위해 찾아가는 전체 과정
• 블로그관리 홈 > 꾸미기 > 스킨 편집 > html 편집html 편집 > 파일업로드 > (맨아래 하단) + 추가

 

• 스킨 편집 - 선택

스킨 편집

 

• HTML 편집 - 선택

html 편집

 

• 파일 업로드 - 선택

파일업로드

 

• +파일 추가 - 선택

추가

 

 

•  [+추가]를 클릭하고 준비해 두었던 robots.txt 를 업로드합니다.

(여기에서) 소유권확인파일도 함께 업로드합니다.

네이버블로그는 소유권확인파일을 파일업로드, HTML 태그 방식 둘 다 사용 가능합니다. 파일업로드 방식으로 선택할 때는 해당 파일을 여기에서 업로드합니다. 티스토리블로그는 HTML 태그 방식만 가능함으로, 이 과정은 불필요합니다.

 

• 업로드 결과 - 확인

업로드 성공!

 

3) Robots.txt 탑재 확인

• 가장 간편한 탑재 확인 방법은 https://예시사이트주소/robots.txt 입니다.
  
  
• (예시) 와우대박나라 https://wowdaebaknara.tistory.com/robots.txt

  

 

 6. robots.txt 수집 및 검증

1) URL 검사

• 서치어드바이저(Search Advisor)에 로그인합니다.
•  웹마스터 도구 > 사이트 관리 > 검증 > URL 검사
• 블로그 사이트를 기입하고 확인 클릭합니다.

 

2) URL 수집 요청

• 수집 요청

 

• 수집 요청 내역

 

 

 

 

3) URL 사이트 간단 체트

간단체크 : 이상 없이 결과가 나옵니다

 

• 이상 없음 : 모든 항목에서 잘 나왔습니다. 이제 네이버 서치어드바이저(SEO)에 최적화되었습니다.
• 블로그 작성과 키워드만 잘 작성한다면 성공적인 블로그를 기대하며, 긴 과정 수고많으셨습니다.

7. 티스토리 블로그 :  Robots.txt 에 대한 회사방침 - 개인수정 불가

[제가 업로드했던 robots.txt 파일]	[결과값]  http://wowdaebaknara.tistory.com/robots.txt
User-agent: * Allow: / Sitemap:http://wowdaebaknara.tistory.com/sitemap.xml	User-agent: * Disallow: /guestbook Disallow: /m/guestbook Disallow: /manage Disallow: /owner Disallow: /admin Disallow: /search Disallow: /m/search   User-agent: bingbot Crawl-delay: 20

 

위의 표처럼 결과값이 반영이 안되어 티스토리 고객센터에 문의 결과 아래와 같은 답변을 받았습니다.