Самая популярная в мире поисковая система Google начала блокировать доступ к некоторым своим страницам для роботов, собирающих информацию для других поисковиков, сообщает Newsbytes. Всего, по данным этого новостного сайта, было заблокировано 19 областей Google, включая архив телеконференций Usenet и базу данных для поиска изображений на веб-страницах. Блокировка была реализована способом, заложенным в стандарт Robots Exclusion Protocol, согласно которому функционирует абсолютное число поисковых роботов. Согласно требованиям стандарта, перед обращением к содержимому сайта робот должен найти специальный файл robots.txt, в котором указывается список запрещенных разделов, и затем обходить их в процессе сбора информации.
Основной причиной такого шага Google, по словам представителя компании Нейта Тайлера, стали соображения производительности серверов. По его словам, обслуживание роботов отнимает большое количество ресурсов, что может замедлить работу с поисковой системой для других пользователей. Другой возможной причиной, которая, правда, не указывается официально, могло стать стремление компании защитить эксклюзивную информацию, вроде того же архива Usenet, от доступа конкурентов.
