Библиотека Интернет Индустрии I2R.ru

Каким образом Google обновляет свою БД? Это довольно-таки объемный вопрос, но я попытаюсь прояснить его, рассматривая в порядке очереди все этапы, которые ежемесячно проходит Google, стремясь сохранить свою базу данных самой надежной и релевантной.

Достаточно большое число веб-разработчиков и компаний осознают, что для того, чтобы занять высокие места в рейтинге Google с самого начала своих SEO кампаний, необходимо все спланировать и предпринять некоторые шаги заранее. Google является одной из очень немногочисленных поисковых систем, предоставляющих бесплатную регистрацию. В базу полученная информация включается довольно быстро. На 10 июля 2003 г. стало известно, что всемирная база данных Google насчитывает более 3.4 миллиардов веб-страниц! И это - только часть всех существующих веб-сайтов, так как многие недоступны для Google, например, те области сайтов, в которые запрещены для поисковых агентов.

Как и в реальной жизни, в жизни сетевой существует большое количество потенциальных затруднений и возможного риска, о которых обладатели сайтов, веб-мастера и SEO-профессионалы должны помнить уже при создании и разработке маркетинговой программы. Большинство экспертов сходится в том, что поисковые роботы Google действуют согласно собственному расписанию, но никто не может с уверенностью сказать, в какое конкретное время они "выйдут на охоту", и когда будет обновлена база данных. В этой статье мы попытаемся детально объяснить, что происходит в ходе "танца Google", а также когда и зачем нужно распознавать "Googlebot". И, наконец, мы расскажем вам, как все это можно использовать для вашей кампании по раскрутке сайта.

Знаменитый "танец Google"

В этой главе мы опишем принципы, на которых работает поисковый робот и база данных Google. Хотя цикл ежемесячного обновления базы Google довольно-таки хорошо описан в соответствующей документации, за последний год этот цикл (его ласково называют "танец Google") стал все более и более отходить от оригинальной модели и в настоящее время кажется большинству веб-мастеров и обладателей сайтов, которые с нетерпением ждут всех ежемесячных обновлений, неким сумрачным силуэтом.

Начинается каждый "танец" с объемного, глубокого обследования Сети. Назовем его Шагом А. На данном этапе поисковые агенты Google прочесывают всю доступную сеть - более 3.4 миллиарда страниц, по последним подсчетам. Google использует более 15,000 недорогих персоналок (собственно говоря, обыкновенных настольных компьютеров), находящихся в различных информационных центрах по всему земному шару. Затем запускается Googlebot (или DeepBot), дабы проверить все сайты, существующие в текущей базе данных, а также чтобы найти новые, недавно появившиеся сайты. По завершении Шага А, когда Google успешно подцепил все эти сайты для последующего обновления базы, следует еще одно обновление, примерно две недели спустя.

Тем временем Google обновит всю свою базу данных, отображая вновь полученные результаты на www2.google.com и www3.google.com. Во время этого обновления, результаты часто переключаются с одной базы в другую. Как уже указывалось, Google задействует более 15,000 серверов, вследствие чего большинство людей в различных точках земного шара будут получать разные результаты по одним и тем же запросам, до тех пор, пока бОльшая часть обновлений не будет внесена в базу. "Танец Google" будет продолжаться еще несколько дней, но чаще всего не более недели (если, разумеется, не возникнет особых проблем и не появится надобность смены алгоритма, как случилось, например, при обновлении базы данных Google в апреле 2003 г.).

Тем временем, в процессе и непосредственно после каждого обновления базы, Google предпринимает еще одно тщательное обследование Сети, назовем его Шагом Б, ыо время которого проверяются все сайты, существующие в текущей базе данных, а также новые, недавно появившиеся в Сети, обнаруженные поисковыми агентами. После этого обследования, проводимого Googlebot'ом, цикл возвращается к началу и начинается заново со следующего месяца.

"Захват" Googlebot'а в наиболее подходящее время

Чтобы как можно быстрее разместить тот или иной сайт в базе данных Google, а также чтобы обновления сайта в этой базе отображались, хороший и опытный веб-разработчик должен все заранее спланировать, чтобы иметь шанс "подловить" Googlebot в определенный момент ежемесячного цикла. Большинство искушенных экспертов SEO знают, что наряду с первоначальным прочесыванием Сети роботами, которое имеет место в начале месяца, существует также тщательное обследование как в процессе обновления базы, так и непосредственно вслед за этим.

Если веб-разработчик хочет поместить свой новый сайт в базу данных Google, спрашивается, насколько эти обследования могут обеспечить попадание сайта в базу? Судя по нашим многомесячным наблюдениям за обновлениями, это происходит далеко не всегда! Собственно говоря, если поисковый робот попадает на сайт в начале месяца, не исключено, что в текущем месяце в обновленную базу данных этот сайт не попадет. Если же сайт попадает под вторичное обследование, которое следует непосредственно за обновлением базы, есть возможность, хотя и не стопроцентная, что он будет посещен еще раз в начале следующего цикла, и, соответственно, попадет в число обновлений в следующем месяце.

В прочих случаях робот Google просто посетит новый сайт, отметив индекс и файл Robots.txt. Такое развитие событий зачастую указывает на то, что в процессе следующего тщательного обследования Googlebot вновь появится здесь, и, таким образом, после второго визита сайт будет включен в обновленную базу данных. Из вышесказанного вроде бы следует, что нужно два визита Googlebot, чтобы сайт был включен в базу данных Google. В большинстве случаев так оно и есть, но всегда существуют исключения.

Есть несколько вещей, которые может сделать опытный вебмастер для возможно скорейшего включения своего сайта в базу данных. Если в первый раз Googlebot попадает на сайт в процессе или непосредственно после обновления базы, то более чем вероятно, что этот сайт будет фигурировать в "танце Google" в следующем месяце. Если же сайт обследуется не в этот период, а только в начале следующего цикла, то веб-разработчику или владельцу сайта придется ждать включения в базу данных значительно дольше.

В свете всего вышеперечисленного, что же может сделать веб-мастер, чтобы стать объектом внимания Googlebot'а именно в этот критический момент? Ну, разумеется, можно надеяться и молиться, что именно так все оно и случится, - само собой, научным такой подход не назовешь, - или же можно провести необходимую подготовку и все спланировать заранее. Если у данного вебмастера есть другие сайты, уже включенные в базу данных Google, то он может следить за датами обследования Сети и обновления базы, и, соответственно, тщательно планировать апдейты. Если же у вас нет сайта, находящегося в базе данных Google, то за обновлениями можно следить на www.google.com.

На практике, стопроцентной гарантии, что поисковый робот появится на на том или ином сайте или на какой-либо его части, не существует. Тем не менее, вебмастер может сделать несколько упредительных шагов, дабы "приманить" Googlebot'а и "подкинуть" поисковому роботу данный конкретный сайт. Первое, что можно сделать - это обменяться ссылками с другими сайтами, притом обладающими достаточно высоким рейтингом. Попросту говоря, чем выше рейтинг сайта, тем тщательнее Google будет его обследовать и отображать обновления, а следовательно, тем быстрее ваш адрес (URL) будет замечен. Кстати, о релевантности: если ваш сайт посвящен розничной продаже мебели, вам стоит обмениваться ссылками с подобными же компаниями, например, с производителями мебели или с оптовиками. В этом случае Google присвоит вам более высокий рейтинг, чем если бы ваша ссылка располагалась на сайте с отвлеченной тематикой.

Во-вторых, вы сами можете указать Google на ваш сайт, воспользовавшись опцией добавления адреса в базу. Хотя стопроцентного попадания в базу такой путь не гарантирует, сделать это все же стоит. В-третьих, вебмастер может установить панель инструментов Google (он же Google ToolBar), и заходить на свой сайт через нее. С лета 2002 года немало было сказано о прямой связи между заходом на сайт через панель инструментов Google и добавлением этого сайта в базу данных.

Обеспечив себе место в листинге каталога Yahoo! за 299 долларов в год, сайтовладелец также имеет хороший шанс попасть в базу данных Google, при том, что Yahoo! обновляет свои каталоги быстро, обычно в течение недели. Также путем к заветной базе может стать листинг DMOZ (Open Directory Project), правда, подождать придется чуть дольше. На DMOZ, однако же, безоговорочно полагаться нельзя, кроме того, с недавнего времени у них более чем достаточно проблем с серверами.

Подводим итоги.

Вся техническая информация, доступная веб-разработчикам и SEO-экспертам, которая имеет отношение к путям исследования Сети и пополнения базы данных Google, вне сомнения, имеет большое значение для планирования и реализации раскрутки того или иного проекта. Кроме помощи во всем вышеперечисленном, она может быть полезна при составлении расписаний апдейтов, поскольку новые разработки и обновления должны выкладываться в Сеть в определенное время, для скорейшего их попадания в базу данных поисковой системы. Поскольку Google обладает высокой популярностью и следовательно может быть источником целевого траффика, чрезвычайно полезно иметь хотя бы примерное представление о том, как информация добавляется в эту систему.