어느날 제 사이트의 hit수가 껑충 뛰어 로그를 살펴봤더니 네이버크롤러봇이 다녀 가셨더군요.

이건 좀 심하네요… 게다가 저렇게 싹싹 긁어가 놓고도 네이버 검색에 제 사이트는 보이지 않는군요.

구글검색을 해 보니 네이버봇은 막장봇으로 이름을 떨치고 있었습니다.

네이버 자신은 robot.txt에 모든 다른 봇들을 막아두면서 밖으로는 이러고 계신게 꼴사나워, 귀찮게 아파치 설정을 손 봐 네이버의 IP로부터의 접근을 막았습니다.

다음 두 파일에 네이버 IP 61.247.221 을 막았습니다.

# vi /etc/apache2/httpd.conf
<directory>
    Order allow,deny
    allow from all
    deny from 61.247.221
</directory>

# vi /etc/apache2/sites-enabled/000-default
<directory>
    ...
    Order allow,deny
    allow from all
    deny from 61.247.221
    ...
</directory>

“그러므로 무엇이든지 남에게 대접을 받고자 하는 대로 너희도 남을 대접하라 이것이 율법이요 선지자니라.” 마태복음 7:12

• 데비안
• 홈서버