구글 색인 되지 않을 때, 맞춤 robots.txt 사용 설정 - 티스토리 블로그스팟 워드프레스

구글 색인 등록 불가

글이 30개 넘게 작성된 구글 블로그가 있습니다. 어쩌다보니 애드센스 승인을 같은 사이트로 두번째 받게 되었습니다.

이전에 애드센스 승인을 받은 후 운영하다가, 계정이 꼬여서 애드센스 계정을 삭제하고, 다시 계정을 만드는 과정에서 같은 사이트를 다시 신청한 것이기에 당연히 빠르게 될 것이라 생각했습니다.

그러나 승인신청 후 오래 기다리다가, 너무도 이상하여 써치콘솔을 확인해보았습니다.

이전에 이미 모든 글을 써치콘솔에 개별 등록했었기 때문에 당연히 모든 글이 검색 등록 되어있으리라 생각했었는데, 아니었습니다. 써치콘솔에는 고작 17개의 글만 있었으며, 그마저도 색인이 생성되지 않은 페이지 10개, 색인 된 페이지는 고작 7개였습니다. 구글 입장에서는 글이 7개 밖에 없는 사이트가 승인 신청을 했으니 해줄리 없던 것이죠.

색인 등록 문제 발견

분명 이전에 모두 수동으로 색인 등록했던 글들인데, 문제가 있었나 봅니다. 'name' 또는 'item name'이 지정되어야 합니다. 라고 나오는데 이게 대체 무슨 소리인지 알 수가 없습니다.

이 상태에서 수동으로 "색인생성 요청"을 해도 요청이 제대로 되지 않습니다.

의심되는 원인은 2가지였습니다.

1. 애드센스 계정을 변경하면서 무엇인가 잘못되었다.
2. 쓸 데 없이 테마를 갈아엎기를 십 여 차례하면서 잘못되었다.

무엇이 진짜 원인인지는 알 수 없습니다. 다만 다음부터는 조심할 뿐결법 검색

상태를 개선하기 위해 챗지피티에게 물어보았습니다. 역시나 똑똑한 지피티지만, 역시나 한 번에 대답을 제대로 안 내놓습니다. 아무리 구체적인 걸 물어봐도 원론적인 겉핥기 답변을 먼저 시전하였고, 재차 질문하자 그제서야 제대로 된 답변이 나옵니다.

해결 방법

1. Blogger 대시보드 → 설정으로 이동 "검색 환경 설정" → "크롤러 및 색인" → "맞춤 robots.txt" 활성화

2. robots.txt에 다음과 같이 입력

txt
User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.powerfulthink.com/sitemap.xml

마무리

이렇게 한 후 다시 "색인 생성 요청"을 누르면 정상적으로 등록되었다는 편안한 화면이 나옵니다. 저의 경우 이미 크롤링은 되어있었고, 구글에 검색 등록되었다가 다시 내려온 것이었던 것이므로 바로 등록되었다고 나오는 것일 겁니다.

이제 기다려보면 애드센스 승인 통보가 올 것으로 기대하고 있습니다.

구글 서치콘솔에 방문하셔서 본인의 블로그 글이 제대로 색인되어있는지 확인해 보세요. 색인되어있지 않으면 글을 아무리 잘 써도 노출이 안 됩니다.

구글에 내 글이 등록되어 있는지 확인하기