Индексация страниц. Быстрая индексация сайта поисковыми системами "Гугл" и "Яндекс"
Каждый вебмастер знает, что для того чтобы на его ресурс начали заходить люди с поисковых систем, необходима его индексация. О том, что из себя представляет индексация сайта, как она проводится, и в чем заключается ее смысл, мы расскажем в данной статье.
Что такое индексация?
Итак, слово «индексация» само по себе означает внесение в реестр чего-либо, перепись материалов, которые имеются в наличии. Этот же принцип применяется и к индексации сайтов. По сути, этот процесс можно назвать также внесением информации об интернет-ресурсах в базу данных поисковых систем.
Таким образом, как только пользователь будет вбивать очередную фразу в поисковое поле Google, скрипт будет возвращать ему результат, включающий заголовок вашего сайта и его краткое описание, которое мы видим ниже.
Как осуществляется индексация?
Сама индексация («Яндекс» это, или Google - роли не играет) проходит довольно просто. Всю паутину интернет, ориентируясь на базу ip-адресов, которая есть у поисковиков, сканируют мощные роботы - «пауки», собирающие информацию о вашем сайте. Их у каждой из поисковых систем огромное количество, а работают они в автоматическом режиме 24 часа в сутки. Их задача - зайти на ваш сайт и «прочесть» весь контент на нем, занеся при этом данные в базу.
Следовательно, в теории индексация сайта мало зависит от владельца ресурса. Решающим фактором здесь является поисковый робот, который заходит на сайт и исследует его. Именно это и влияет на то, как быстро ваш сайт появится в поисковой выдаче.
Сроки индексации?
Разумеется, каждому вебмастеру выгодно, чтобы его ресурс появился в поисковой выдаче как можно быстрее. Это будет влиять, во-первых, на сроки вывода сайта на первые позиции, а, во-вторых, на то, когда начнутся первые этапы монетизации сайта. Таким образом, чем раньше поисковый робот «скушает» все страницы вашего ресурса, тем лучше.
Каждая поисковая система имеет свой алгоритм внесения данных о сайтах в свою базу. Например, индексация страниц в «Яндекс» осуществляется поэтапно: роботы сканируют сайты постоянно, затем упорядочивают информацию, после чего проходит так называемый «апдейт», когда все изменения вступают в силу. Регулярность таких событий компанией не устанавливается: они проводятся раз в 5-7 дней (как правило), однако могут совершаться и за 2, и за 15 суток.
При этом индексация сайта в Google идет по другой модели. В этой поисковой системе такие «апдейты» (обновления базы) проходят регулярно, в связи с этим ждать каждый раз, пока роботы занесут информацию в базу, а затем она будет упорядочена раз в несколько суток, не нужно.
На основе вышесказанного, можем сделать следующий вывод: страницы в «Яндекс» добавляются через 1-2 «апдейта» (то есть за 7-20 дней в среднем), а в Google это может произойти гораздо быстрее - буквально за сутки.
При этом, разумеется, у каждой поисковой машины есть свои особенности того, как проводится индексация. «Яндекс», например, имеет так называемого «быстробота» - робота, который может вносить данные в выдачу за несколько часов. Правда, сделать так, чтобы он зашел на ваш ресурс, непросто: это касается преимущественно новостей и разных громких событий, развивающихся в режиме реального времени.
Как попасть в индекс?
Ответ на вопрос о том, как занести данные о своем сайте в индекс поисковиков, одновременно и прост, и сложен. Индексация страниц - это явление естественное, и если вы даже не задумываетесь о ней, а просто, скажем, ведете свой блог, постепенно наполняя его информацией - поисковые механизмы со временем отлично «проглотят» ваш контент.
Другое дело - это когда вам нужно ускорить индексацию страницы, например, если у вас сеть так называемых «сателлитов» (сайтов, рассчитанных на продажу ссылок или размещение рекламы, качество которых, как правило, хуже). В таком случае необходимо принимать меры для того, чтобы роботы заметили ваш сайт. Общераспространенными считаются следующие: добавление URL-адреса сайта в специальную форму (называется она «AddUrl»); прогон адреса ресурса по каталогам ссылок; добавление адреса в каталоги закладок и много другого. О том, как работает каждый из этих методов, ведутся многочисленные дискуссии на SEO-форумах. Как показывает практика, каждый случай уникальный, и более точно найти причины того, почему один сайт проиндексировался за 10 дней, а другой - за 2 месяца, сложно.
Как ускорить попадание в индекс?
Тем не менее, логика, с помощью которой можно сделать так, чтобы сайт попал в индекс быстрее, основывается на размещении ссылок на него. В частности, речь идет о простановке URL на бесплатных и общедоступных сайтах (закладки, каталоги, блоги, форумы); о покупке ссылок на крупных и раскрученных сайтах (с помощью биржи Sape, например); а также о добавлении карты сайта в форму addURL. Возможно, есть и другие методы, однако те, что уже были перечислены, можно с уверенностью назвать самыми популярными. Напомним, в целом же все зависит от сайта и везения его владельца.
Какие сайты попадают в индекс?
Согласно официальной позиции всех поисковых систем, в индекс попадают сайты, которые проходят ряд фильтров. Какие требования содержат последние, не знает никто. Известно лишь, что с течением времени все они совершенствуются таким образом, чтобы отсеивать псевдосайты, созданные для заработка на продаже ссылок и прочие ресурсы, не несущие полезной информации для пользователя. Разумеется, для создателей этих сайтов главной задачей является индексация страниц в как можно большем объеме (чтобы привлечь посетителей, продать ссылки и так далее).
Какие ресурсы поисковики банят?
Базируясь на предыдущей информации, можно сделать вывод о том, какие сайты, скорее всего, не попадут в поисковую выдачу. Та же информация озвучивается и официальными представителями поисковых систем. В первую очередь это сайты, содержащие неуникальный, генерированный автоматически контент, который не является полезным для посетителей. Далее следуют ресурсы, в которых минимум информации, созданные для продажи ссылок и так далее.
Правда, если проанализировать выдачу поисковых систем, то в ней можно найти все эти сайты. Поэтому, если говорить о сайтах, которые не будут присутствовать в выдаче, следует отмечать не только неуникальный контент, а еще и ряд других факторов - множество ссылок, неправильно организованная структура и так далее.
Скрываем контент. Как запретить индексацию страницы?
Поисковые системы сканируют весь контент, находящийся на сайте. Однако существует методика, с помощью которой можно ограничить доступ поисковых роботов к тому или иному разделу. Делается это с использованием файла robots.txt, на который и реагируют «пауки» поисковых систем.
Если в корне сайта поместить этот файл, индексация страниц будет проходить по сценарию, который прописан в нем. В частности, можно запретить индексацию с помощью единственной команды - Disallow. Помимо нее, в файле можно указывать еще и разделы сайта, на которые этот запрет будет распространяться. К примеру, для запрета вхождения в индекс всего сайта, достаточно указать один слэш «/»; а чтобы исключить из выдачи раздел «shop», достаточно указать такую характеристику в своем файле: «/shop». Как видите, все логично и предельно просто. Индексация страниц закрывается очень легко. При этом поисковые роботы заходят на вашу страничку, читают robots.txt и не вносят данные в базу. Так можно легко манипулировать, чтобы видеть в поиске те или иные характеристики сайтов. Теперь поговорим о том, как проверяется индекс.
Как можно проверить индексацию страницы?
Существует несколько способов узнать то, сколько и какие страницы присутствуют в базе «Яндекс» или Google. Первый - самый простой - это задать соответсвующий запрос в поисковую форму. Выглядит он так: site:domen.ru, где вместо домен.ру вы прописываете, соответственно, адрес вашего сайта. Когда вы сделаете такой запрос, поисковик покажет все результаты (страницы), расположенные по указаному URL. Причем, помимо простого перечисления всех страниц, вы можете также видеть общее число проиндексированного материала (справа от фразы «Количество результатов»).
Второй способ - это проверить индексацию страницы, используя специализированные сервисы. Их сейчас большое количество, навскидку можно назвать xseo.in и cy-pr.com. На таких ресурсах можно не только увидеть общее число страниц, но и определить качество некоторых из них. Однако это нужно вам лишь в том случае, если вы более углубленно разбираетесь в данной теме. Как правило, это профессиональные SEO-инструменты.
О «принудительной» индексации
Еще хотелось бы немного написать о так называемой «принудительной» индексации, когда человек различными «агрессивными» методами пытается загнать свой сайт в индекс. Делать этого оптимизаторы не рекомендуют.
Поисковые системы как минимум, заметив чрезмерную активность, связанную с новым ресурсом, могут ввести в действие какие-то санкции, негативно сказывающиеся на состоянии сайта. Поэтому лучше делать все так, чтобы индексация страниц выглядела как можно более органичной, постепенной и плавной.