ALL-BAN-dazole

anti-parasite module for Rhymix

 

귀중한 서버 자원과 트래픽을 쪽쪽 빨아먹는 기생충 같은 로봇들을 차단합니다.

암 예방에 도움이 될지도 모릅니다.

 

 

1. 널리 알려진 불량 로봇 user-agent 목록이 기본 적재되어 있습니다.

 

 

불량 로봇으로 간주하는 기준은

1) 검색 노출을 통한 방문자 유입, SNS 공유, 광고 수익 등 명백한 혜택을 주지 않으면서

2) 운영자의 동의 없이 국내 홈페이지를 대량으로 크롤링하여

3) 서버 부하 증가, 해외 트래픽 요금 등의 피해를 입힌 이력이 있는 user-agent 또는 IP 대역입니다.

 

통계 작성이나 마케팅을 위한 데이터 수집, AI 학습 데이터 수집은 대부분 해당됩니다. (만약 특정 업체의 크롤링에 동의하셨다면 해당 user-agent나 IP 대역을 목록에서 제외하세요.)

 

물론 .htaccess나 서버 설정으로 차단하는 것이 훨씬 더 효율적이겠지만, 웹호스팅에서는 서버 설정을 임의로 수정하기도 어렵고, .htaccess를 수정하면 코어 업데이트시 덮어씌워질 수 있으므로 좀더 관리하기 편한 방법을 제공합니다. User-agent 목록을 수정하실 경우, 정상적인 방문자를 차단하지 않도록 조심하세요.

 

 

2. 해외 접속을 국가별로 통제할 수 있습니다.

 

(스크린샷은 예시이며, 해당 국가들을 차단하라는 뜻이 아닙니다.)

 

위의 1번과 같은 user-agent 기반의 AI 봇 차단이 보편화되면서, 최근에는 일반 브라우저로 user-agent를 위장한 채 다수의 IP에서 무작위로 접속하여 서버 부하를 일으키고 해외 트래픽을 유발하는 AI 봇이 늘어나고 있습니다. 어느 나라 IP가 많이 등장하는지는 그때그때 다릅니다. 중국일 때도 있고 브라질일 때도 있고... 그렇다고 해외 접속을 모두 차단하면 해외 회원들이 불편을 겪는 것은 물론, 구글 노출과 광고에도 악영향이 있겠지요?

 

그래서 구충제 모듈 v2부터는 해외 특정 국가에서 접속할 경우 클라우드플레어처럼 캡챠를 표시하거나, 로그인을 강제하도록 설정할 수 있도록 개선했습니다. 즉, 특정 국가에서만 회원제 사이트로 전환하는 효과를 얻을 수 있습니다.

 

Googlebot, bingbot, facebookexternalhit 등 널리 알려진 검색로봇이나 SNS 공유 로봇은 예외처리할 수 있습니다.

 

 

3. 클라우드 서버 IP를 차단할 수 있습니다.

 

(스크린샷은 예시이며, 해당 업체들을 차단하라는 뜻이 아닙니다.)

 

국내외 클라우드의 VPS나 서버리스 상품을 사용하여 다수의 IP를 돌려쓰며 무단 크롤링하는 봇을 일괄 차단할 수 있습니다. 개발자를 위한 API 서비스를 운영하지 않는 사이트라면, 클라우드 서버 IP를 통한 접속은 대부분 봇이라고 가정해도 무방합니다.

 

아마존이나 구글처럼 자사의 클라우드 서비스에 사용하는 IP 대역 목록을 공식적으로 제공하는 업체는 그 정보를 활용하여 차단하고, 그렇지 않은 업체는 ASN 단위로 차단합니다.

 

차단된 사용자에게는 아래와 같은 화면이 표시되며, 안내 문구는 커스터마이징할 수 있습니다. 이미 대부분의 사람들이 익숙해진 클라우드플레어의 주황색 안내 화면처럼, 해외 접속자분들은 이 화면에도 곧 익숙해지지 않을까 합니다.^^

 

 

 

4. 국가 및 클라우드 IP 대역 DB를 제공합니다.

 

국가나 기업이 사용하는 IP 대역은 종종 변경될 수 있으므로, 구충제 모듈이 사용하는 IP 대역 DB는 모듈과 별도로 종종 업데이트할 예정입니다. 한 달에 한 번 정도 IP 대역 업데이트 버튼을 클릭해 주시는 것을 추천합니다.

 

모든 차단 기능은 서버 부하와 트래픽을 최소화하는 방법으로 구현되어 있습니다. (차단 화면을 예쁘게 꾸밀 수도 있겠지만, 추천하지 않습니다.) 원치 않는 AI 봇을 차단하는 과정에서 오히려 더 많은 부하와 트래픽이 발생한다면 곤란하니까요.

 

작동 환경: 라이믹스 2.1.x (2024년 하반기 이후 릴리즈된 버전)