Блокировка ботов по User Agent

Для блокировки доступа к сайту поисковых и спам ботов используем директиву User Agent. На сегодняшний день список содержит перечень User Agent ботов, который удалось разыскать.

Чтобы заблокировать надоедливых ботов, размещаем в корне сайта конфигурационный файл .htaccess, прописав в нем следующие директивы:

<IfModule mod_setenvif.c>
# SetEnvIfNoCase User-Agent "^ia_archiver" ban
# SetEnvIfNoCase User-Agent "^WebAlta" ban
# SetEnvIfNoCase User-Agent "^.*grub-client" ban
# SetEnvIfNoCase User-Agent "^.*inktomi\.com" ban
		... 
		
			Читать дальше »