ChatGPT 차단하는 방법 (내 웹사이트 컨텐츠 크롤링 차단하기)

ChatGPT 차단하는 방법 – ChatGPT는 인공지능(AI)를 통한 다양한 가능성을 보여주었는데요. 때문에 AI를 이용한 컨텐츠 제작이나 검색 서비스 제공이 구글, 빙, 네이버 등에서 서비스 되고 있거나 준비되고 있습니다. 단, 컨텐츠를 제작하시는 분들에게는 좋은 소식만은 아닌데요. 이번 글에서는 ChatGPT 차단하는 방법에 대해서 알아보도록 하겠습니다.

왜 ChatGPT를 차단하나요?

예를 들어 저와 같이 블로그를 써서 텍스트 기반의 컨텐츠를 제작하는 경우 ChatGPT를 통해 나오는 답변에 학습자료로 사용되더라도 ChatGPT의 경우 출처를 표기하지 않기 때문에 일반적으로 알려진 정보 외에도 개인적으로 겪은 경험의 경우에도 인공지능 학습의 재료로 사용될 뿐 아무런 보상도 받지 못하게 됩니다.

2023년 8월 25일 searchengineland.com 의 기사에 따르면 상위 100개의 웹사이트 중 최소 15%의 사이트가, 상위 1000개의 사이트 중에서는 최소 7%의 사이트가 GPT봇을 차단하고 있는 것으로 나타났습니다.

ChatGPT를 차단하고 있는 사이트

amazon.com
quora.com
nytimes.com
shutterstock.com
wikihow.com
cnn.com
foursquare.com
healthline.com
scribd.com
businessinsider.com
reuters.com
medicalnewstoday.com
goodhousekeeping.co
amazon.co.uk
tumblr.com

출처 : searchengineland.com

ChatGPT 차단하는 방법

ChatGPT가 머신 러닝을 위해서 사용하는 크롤링 봇은 GPT BOT과 CC BOT이 있는데요. 그 중 하나인 GPT BOT은 아래와 같이 쉽게 차단이 가능합니다.

GPTBOT 차단 방법

사이트의 메인 폴더에 robots.txt 파일이 있을텐데요. 해당 파일 안에 아래와 같이 써주면 사이트의 모든 폴더에 대해 GPT봇의 크롤링이 금지됩니다.

User-agent: GPTBot
Disallow: /

만약, 일정 폴더만 차단하고 싶다면 아래의 방법으로 허용할 폴더와 비허용할 폴더를 적어주면 됩니다.

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

관련 문서는 OpenAI의 GPT봇 관련 문서를 참고하세요.

CCBOT 차단은….?

ChatGPT는 GPTBOT 뿐만 아니라 CCBOT을 사용하는데요. 때문에, CCBOT 역시 차단해야 하나, CCBOT의 경우 구글이나 빙의 경우에도 CCBOT을 사용한다고 하니 CCBOT까지 차단하는 것은 검색 결과에 악영향이 있을 수도 있겠습니다. 아마존의 경우에도 CCBOT은 차단하지 않고 GPTBOT만 차단하고 있는 것으로 보이며, Newyork Times, Shutterstock, Reuters 등의 일부 사이트는 GPTBOT 뿐만 아니라 CCBOT도 차단하고 있습니다.

만약, CCBOT을 차단하고 싶다면 robots.txt에 아래의 문장을 입력하면 됩니다.

관련문서는 CommonCrawl 웹 사이트의 관련 문서를 참고하세요.