Информация для поисковых роботов. Роботы поисковых систем

Иногда роботы могут маскироваться под роботов Яндекса путем указания соответствующего User-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS-запросах (reverse DNS lookup).

Для этого необходимо выполнить следующее:

По IP-адресу определите доменное имя хоста с помощью обратного DNS-запрос.

Проверьте, принадлежит ли хост Яндексу. Имена всех роботов Яндекса заканчиваются на сайт , yandex.net или yandex.com . Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.

1. Удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS-запрос (forward DNS lookup), чтобы получить IP-адрес, соответствующий имени хоста. Он должен совпадать с IP-адресом, использованным при обратном DNS запросе. Если IP-адреса не совпадают, это означает, что полученное имя хоста поддельное.

   1. Вопросы и ответы

Роботы Яндекса в логах сервера

Некоторые роботы Яндекса скачивают документы не для их последующей индексации, а для других специфичных целей. Для избежания непреднамеренной блокировки владельцами сайтов они могут не учитывать ограничивающие директивы файла robots.txt , предназначенным для произвольных роботов (User-agent: * ).

Также частичное игнорирование ограничений robots.txt определенных сайтов возможно при наличии соответствующей договоренности между компанией «Яндекс» и владельцами этих сайтов.

Примечание. Если такой робот скачает документ, не доступный основному роботу Яндекса, этот документ никогда не будет проиндексирован и не попадет в поисковую выдачу.

Чтобы ограничить доступ таких роботов к сайту, используйте директивы специально для них, например:

User-agent: YandexCalendar\nDisallow: /\n\nUser-agent: YandexMobileBot\nDisallow: /private/*.txt$

Роботы используют множество IP-адресов, которые часто меняются. Поэтому их список не разглашается.

Прежде чем понять, что такое роботы пауки поисковых систем и как это работает, нужно разобраться в том, что такое современная поисковая система. Свою популярность интернет начал набирать в 90е на территории стран СНГ.

Поисковая система того времени искала точные слова или словосочетания в тексте. Это доставляло массу неудобств, так как русский язык имеет занятную особенность. Одно и то же понятие можно сформулировать в 10-20 вариантах и получится одно и то же.

Все люди разные и мышление у каждого свое. Разработчик сайта не мог на то время прописывать по 20-30 точных фраз на странице, которые возможно моги бы использоваться для поиска данного материала.

Соответственно пользователь часто не мог найти интересующий его материал только потому, что его формулировка проблемы не совпадала с формулировкой в тексте.

Следует отметить, что тогда не было такой жесткой конкуренции и сайт продвигались совсем иначе. сайтов занималось очень мало людей, тогда эта область еще не была поставлена на конвейер, которым он является сейчас.

Это было просто не нужно, очень мало людей имело домашний компьютер и еще меньшее число позаботилось о подключении интернета. Любой в сети был больше похож на объявление, приклеенное на столб, чем на то, что мы видим сейчас в интернете.

Все это очень тормозило развитие поисковых систем и всей кибер индустрии. К слову сказать, тогда уже были роботы поисковых машин и индексация. Вы уже понимаете, что выводилось в результатах поискового запроса.

Теперь следует объяснить, как именно были устроены первые самые простейшие поисковые роботы.

Для того чтобы просканировать текст нужно время. Сейчас это кажется смешным, текст стал настолько легким и незначительным в глазах современных компьютеров, что сложно представить себе машину, которая бы работала над ним несколько минут.

Однако так и работали компьютеры той эпохи. Значит, сканировать все тексты и материалы по запросу невыгодно по времени. В индекс заносились только заглавные названия и названия страниц.

Вот и объяснение, почему нельзя было разместить 20-30 вариантов с формулировками запроса. Так вот, задачей поискового робота являлась сканирование по запросу заглавных названий и названий страниц.

Сейчас поисковые роботы и индексация запущены в постоянную работу на мощнейших серверах, тогда же все работало по принципу «каждый сам за себя». Любой поиск совершался силами персонального компьютера, на котором был сделан запрос.

Пожалуй, в заключение рассказа о первых поисковых роботах можно добавить только то, что сайт глазами поискового робота выглядел как 2 строчки печатного текста.

Тогда поиск был не таким распространенным, сайты искали на досках объявлений, и по , а так же по рекомендации друзей и знакомых.

Каталоги сайтов - это один из тех реликтов, которые существую и сейчас, они заслуживают более подробного писания, позднее вы поймете, почему они больше не актуальны. Поисковые запросы того времени выглядели следующим образом:

• «бесплатная игра»
• «общение и знакомства»
• «грустный стих»
• «последние новости»

Поисковой робот Google

Приблизительно в 2003 году начал активно набирать обороты проект Google. То, на что сегодня молятся практически все люди, работающие в сфере . Можно сказать, что если бы не Google, то не было бы никакого SEO, но об этом позднее.

Итак, в 2003 году уже существовали поисковые системы, которые гораздо более тщательно обрабатывали информацию и предлагали пользователю качественный поиск не только по названия страниц и заголовкам, а по самому тексту.

Тогда алгоритмы поиска работали, настолько криво, что никому и в голову не приходило пытаться их обмануть. На тот момент персональный компьютер уже не был роскошью, однако до современной популярности интернета было еще очень далеко.

Объем интернет аудитории рос с каждым днем, и многие предприимчивые люди сделали ставку на интернет бизнес.

Поиск текста в то время все еще работал по принципу точного вхождения, тогда незаметная компания Google начала свое восхождение на Олимп.

Этот сервис предлагал пользователю поиск информации по фразе, однако при поиске не учитывался падеж, в котором стояли слова. Код поискового робота Google для сайтов анализировал слова по значению и не учитывал падежи.

Такой тип поиска сразу же принес популярность этой поисковой системе. Чуть позже разработчики переделали алгоритм работы поискового робота так, что он начал использовать синонимизацию, стараясь найти наиболее подходящие тексты для пользователя.

На этом этапе развития, компания Google, уже была мировым лидером в сфере поиска. Случилось это из-за того, что в итоге пользователь, использовав любую формулировку, получал нужную ему информацию.

В то время началось изменение стандартной формулировки поисковых фраз.

Они начинали приобретать сегодняшний вид:

• «бесплатные онлайн игры»
• «сайт знакомств»
• «грустные стихи»
• «новости»

Можно наглядно проследить изменения в формулировке. Учитывая, что такие формулировки не очень характерны для описаний, поисковый робот Google, прекрасно справлялся с поставленной задачей.

В то время разгорался костер поисковой , люди начали зарабатывать на сайтах. Конечно, всегда были специалисты, которые занимались интернет ресурсов, однако тогда начиналось более-менее массовое движение.

Люли стали интересоваться, как именно происходит ранжирование в поисковой выдаче, приходил ли поисковый робот на их сайт и это породило целый пласт науки о SEO. Эта область занималась изучением того, как роботы поисковых систем выполняют индексацию.

С тех пор о науке SEO продвижения написано большое количество материала, созданы специализированные сервисы и программы для улучшения влияния на поисковых роботов, которые можно скачать в интернете.

Задачей изучений было определение наиболее короткого пути к вершине списка поисковой выдачи. Уже тогда пользователи в первую очередь обращали внимание на верх страницы и первые результаты. Началась борьба за «топ».

Это была лишь тень сегодняшнего соперничества интернет ресурсов.

Поисковой робот Яндекс

На примере этой замечательной поисковой системы можно объяснить, что происходило с алгоритмами поиска в более позднее время. Яндекс занимал неплохие позиции и быстро вырос. Одним из самых популярных поисковых систем до эпохи Google, был такой сервис, как Рамблер.

Он был корифеем поиска, на его глазах поднялись Гугл и Яндекс. Когда то владельцам Рамблер было предложено купить за смешную сумму маленький интернет проект, но они отказались. Тем маленьким проектом был Яндекс.

Буквально за несколько лет эти два гиганта перегнали Рамблер, оставив его далеко позади. Возникает логический вопрос, почему же Гугл не вытеснила поисковый робот Яндекс, что же в нем особенного, как узнать как видит сайт поисковый робот, какими глазами, видят ли роботы iframe, где найти статистику заходов робота на сайт? Следует отметить, что размер этих двух поисковиков нельзя сравнивать, корпорация Google намного больше Яндекса. Однако на территории СНГ эти два конкурента почти на равных.

Яндекс вовремя понял, что универсальность - это не их конек. Попытки занять рынки других стран не увенчались успехом. В критический момент было принято решение развиваться в России и странах СНГ. Поисковый робот Яндекс делал упор на поиске в заданных регионах.

Яндекс ищет по поисковому индексу — базе данных, где для всех слов, которые есть на известных поиску сайтах, указано их местонахождение — адрес страницы и место на ней.

В интернете существует много видов поисковых запросов, однако весомую долю среди них занимают те, которые актуальны для определенной области или региона. Именно на это определение и был заточен поисковый робот Яндекс.

Это и сделало его таким популярным на территории России.

Приведем пример того, какие бывают региональные запросы:

• покупка чего-либо;
• заказ услуг;
• общение и знакомства;
• доски объявлений;
• новостные ресурсы.

Это далеко не все запросы, которые имеют актуальность только в определенном регионе. Яндекс сделал русский сегмент интернета непохожим на другие. Россия - это самая большая страна в мире, она разделена на регионы и имеет довольно большие территории.

Все это сделало возможным и их только в определенных областях, так как в других местах страны некоторые материалы неактуальны. Во многом на это повлияла система Яндекс, разделив интернет по участкам.

Почему же такая система не работает в других странах, почему там популярен Гугл? Эта система так же умеет определять местонахождения человека, отправившего запрос, его IP адрес, однако он не настолько много уделяет внимания местоположению.

Еще один пример, во Франции поисковые запросы совершаются на французском, а не английском, это преобладающий язык. А значит, язык в других странах является определяющим для поиска, вряд ли кто-то будет пользоваться поиском на Французском языке в Англии или же наоборот.

Если такое случиться, то пользователь сможет просмотреть сайты, которые относятся к стране с наибольшей популярностью языка.

Так и происходит поиск в других странах. Российский интернет является исключением, так как по языковому критерию невозможно разбить по регионам актуальные сайты.

Так что пока Яндекс более актуален для России, чем гугл, возможно, когда то этот гигант вытеснит всех конкурентов, но пока что не стоит бояться такого.

Роботы поисковых систем очень изменились за то время, в них добавилось много интересных нюансов в алгоритме поиска.

Вот список основных навыков поисковых роботов за последующие несколько лет:

• анализ ;
• проверка информативности текста;
• выделение ключевых слов по их количеству;
• вычисление «веса» страниц;
• обработка показателей отказа.

Эти показатели работали на то, чтобы максимально эффективно вычислить вычислить поисковому роботу как часто пользователь видит и читает текст, какова его информативность. Однако, все это не работало так, как было задумано. В то время поисковые системы попали в эру роботизированных текстов.

Это значит, что практически все популярные запросы выдавали не полезную информацию, а технически правильно написанный материал. Самое интересное, что такой текст очень редко был информативным и полезным.

С этим нужно было что-то делать, в разное время вводились некоторые изменения. Например, поисковый робот Google, была интегрирована система вычисления и подсчета показателей отказа.

Это значит, что поисковая система начала производить ранжирование с учетом того, насколько долго человек проводил времени на конкретной странице. Этот показатель вычисляется и сейчас.

Самым серьезным нововведением того времени было введение систем и , от Google и Яндекс соответственно. Смысл этого значения состоял в том, чтобы вычислить вес страниц по принципу цитируемости.

Яндекс объясняет введение этой системы тем, что в научном сообществе существует показатель, который определяет актуальность научной работы. Называется этот показатель «Индекс цитируемости».

В зависимости от того, насколько много в различных работах ссылаются на данный текст, вычисляется их актуальность. Так роботы поисковых систем научились вычислять вес страниц путем сканирования входящих ссылок.

Это перевернуло мир SEO и поставило понятие раскрутки сайта в новую параллель. Теперь контента было недостаточно, чтобы вывести сайт в топ. Ему требовались внешние ссылки и грамотная система внутренней перелинковки.

Внутренняя перелинковка позволяла перебросить вес с одних страниц, на другие. Это стало очень удобным инструментом при управлении своего сайта.

Современные поисковые роботы и индексация

Как мы видим, поисковой робот, который работал по этим алгоритмам, выдавал по запросу технические тексты, которые были не интересны пользователю.

Но аналога поисковой системы Google не было, она не теряла своей популярности, и ее разработчики поступили очень грамотно, переделав алгоритм поиска под нужды пользователя. На данный момент все существовавшие тогда уловки для работы с текстом, стали недействительными.

На данный момент поисковый робот Google для сайтов намного меньше уделяет вниманию . Все усилия поисковика направлены на отсеивание технического материала, который создавался под поисковых роботов.

Анализируется много пунктов, не все они известны на данный момент, так как поисковые системы предпочитают держать такую информацию в тайне. Это нужно, чтобы не возникало подобных кризисов.

Такое развитие повлекло за собой множество изменений в SEO бизнесе. Во время кризиса роботизированных текстов все усилия оптимизаторов были направлены на то, чтоб сделать текст максимально комфортным для робота.

На данный же момент, алгоритмы поиска таковы, что больше нет смысла рассчитывать текст на робота. Гораздо больше результатов приносит материал, который интересен пользователю.

Достаточно провести минимальную оптимизацию, вводя в текст ключевые слова и сделать текст уникальным. Этого достаточно для поисковой системы, эти способы нужны скорее не для того, чтоб обмануть робота, а с той целью, чтоб облегчить ему задачу индексирования.

Следует отметить, что поисковый робот Google для сайтов, и сейчас учитывает «вес страниц» при ранжировании. Это один из самых основных показателей, который зарекомендовал себя за годы службы, нет причин думать, что он станет неактуальным.

Многие показатели анализа текста перестали учитываться или же им стало уделяться минимум внимания. Еще один интересный момент в работе поисковика Google.

Как уже говорилось выше, учитывается показатель отказов, это немного нарушает права пользователя об информационной анонимности, но такой способ позволяет реально определить качество сайта и данной страницы в частности.

Вот пример нескольких моментов, которые могут привести к повышению показателя отказов :

• неактуальность материала;
• технические проблемы с работой сервера;
• большое количество ;
• слишком яркий , который буквально «выжигает» глаза.

За время работы поисковых систем, оптимизаторы пытались приручить роботов. Однако, только начав приручать, он снова менялся и уже не хотел работать со старым материалом. Такие попытки были всегда, и наблюдать их можно будет, пока существует интернет.

Все из-за того, что понять робота можно, его анализ, запросы и требования к материалу гораздо проще, чем у человека. Их всегда будут пытаться разгадать. Однако всегда будут люди, которые будут создавать сайты для пользователей и в итоге они получат свое признание.

Хоть этот путь долг и тернист, а развитие ресурса таким путем очень долгое, но оно в любом случае будет долгосрочным, так как роботы поисковых систем всегда будут искать именно такой материал. Следует отметить, что такая конкуренция это хорошо.

Если бы поисковик сдал позиции, то мы бы не получали нужной информации через него. А если бы оптимизаторы сложили руки, то интернет перестал бы быть такой большой бизнес площадкой, и в нем бы не было многих материалов, так как на добровольной основе ресурсы развивались бы намного медленнее.

С уважением, Настя Чехова

Поисковым роботом называется специальная программа какой-либо поисковой системы, которая предназначена для занесения в базу (индексирования) найденных в Интернете сайтов и их страниц. Также используются названия: краулер, паук, бот, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.

Принцип работы

Поисковый робот — это программа браузерного типа. Он постоянно сканирует сеть: посещает проиндексированные (уже известные ему) сайты, переходит по ссылкам с них и находит новые ресурсы. При обнаружении нового ресурса робот процедур добавляет его в индекс поисковика. Поисковый робот также индексирует обновления на сайтах, периодичность которых фиксируется. Например, обновляемый раз в неделю сайт будет посещаться пауком с этой частотой, а контент на новостных сайтах может попасть в индекс уже через несколько минут после публикации. Если на сайт не ведет ни одна ссылка с других ресурсов, то для привлечения поисковых роботов ресурс необходимо добавить через специальную форму (Центр вебмастеров Google, панель вебмастера Яндекс и т.д.).

Виды поисковых роботов

Пауки Яндекса :

• Yandex/1.01.001 I — основной бот, занимающийся индексацией,
• Yandex/1.01.001 (P) — индексирует картинки,
• Yandex/1.01.001 (H) — находит зеркала сайтов,
• Yandex/1.03.003 (D) — определяет, соответствует ли страница, добавленная из панели вебмастера, параметрам индексации,
• YaDirectBot/1.0 (I) — индексирует ресурсы из рекламной сети Яндекса,
• Yandex/1.02.000 (F) — индексирует фавиконы сайтов.

Пауки Google:

• Робот Googlebot — основной робот,
• Googlebot News — сканирует и индексирует новости,
• Google Mobile — индексирует сайты для мобильных устройств,
• Googlebot Images — ищет и индексирует изображения,
• Googlebot Video — индексирует видео,
• Google AdsBot — проверяет качество целевой страницы,
• Google Mobile AdSense и Google AdSense — индексирует сайты рекламной сети Google.

Другие поисковики также используют роботов нескольких видов, функционально схожих с перечисленными.

Из этой статьи вы узнаете все о поисковых системах.

Краткое ведение.

Как робот находит новую информацию?

Процесс индексации.

Принцип работы поисковой системы google.

Как определяется соответствие?

Как поисковые роботы видят сайты?

Что же такое поисковая система? Это такой комплекс, включающий в себя ряд специализированных средств для предоставления информации людям. Говоря человеческим языком – это система, позволяющая буквально любому пользователю найти нужную ему информацию.
Наиболее популярными поисковыми системами являются:
Yandex(Яндекс) – наиболее популярна в странах СНГ. Стоит отметить, что доля данной поисковой системы в РФ, составляет более чем 60%. Она владеет огромной базой данных.
Goolge(Гугл) – в отличии от яндекса, популярная во всем мире.
Предлагаю рассмотреть их более подробно. Располагайтесь поудобнее, начинаем.
Принцип работы поисковой системы Yandex
Для начала, яндекс проводит сбор всей возможной информации, до которой он может добраться. Затем, с помощью специального оборудования контент проходит проверку. Важной особенностью является то, что сбором информации занимается специализированная поисковая машина, а процесс, с помощью которого проходит подготовка данных, называется индексированием.
Поисковая машина состоит из поискового робота(вот для чего нужен файлик robots.txt). Он периодически посещает индексированные сайты, проверяет их контент(обновился или нет) и проводит сканирование Интернета на наличие незначимых страниц(пустых или удаленных), если нужно – удаляет их.

Как робот находит новую информацию

• Есть три известных способа:С помощью ссылок с других источников.Благодаря специальному сервису «Аддурилке» — добавить новый адрес. В нем можно добавить новый адрес вашего сайта и по истечению некоторого времени его посетит поисковый робот.Используя программный пакет – ЯндексБар. Им отслеживается активность пользователя(какие сайты посещает), который пользуется пакетом и затем если юзер попадает на новый ресурс, то за ним следует и робот

  Процесс индексации

С помощью различных поисковых алгоритмов, робот проверяет информацию на соответствие – полезна ли она для пользователя или нет и затем он ее либо добавляет в список либо удаляет.
После определения полезности, информация добавляется в специальное хранилище и разбирается до самых мелких частей. Страничка проходит очистку от хтмл- разметки, затем кристальный текст отправляется на инвентаризацию

Принцип работы поисковой системы Google

Данная система работает с помощью трех базовых для нее шагов:
Процесс сканирования.
Это шаг, на протяжении которого специальные поисковые роботы гугла находят новые, обновленные страницы, чтобы потом добавить их в поисковую базу.
В распоряжении Гугл находится огромное количество мощных компьютеров, предназначенных для сканирования огромного количества страниц.
Специальная программа проводит выборку – Googlebot, который имеет свои алгоритмы – какие и как часто сканировать страницы и количество индексированных страниц.
Сканирование начинается с url – адреса каждой страницы.
Непосредственно индексация
Что это такое? Это процесс, на котором робот Гугл обрабатывает каждую страницу, на которую он заходит, чтобы проанализировать местоположения ключевых слов на каждой страничке.
Также, гугл имеет более расширенный функционал – обрабатывает информацию, которая располагает в таких ключевых тегах, как title и alt.
Минусом бота является то, что он не может обрабатывать страницы, которые имеют множество мультимедийных файлов и динамические страницы.
Этап обработки
Это последний процесс. Он наступает в тот момент, когда пользователь сети вводит нужный ему поисковый запрос. Вот он ввел его, теперь поисковая система сразу же заходит в БД(базу данных) и подбирает наиболее соответствующую ключевому запросу информацию.

Как определяется соответствие

Существует огромное количество факторов, но главным из них является PR(ранг страницы, то есть, это показатель важности страницы и чем он выше, тем лучше).
Увы, далеко не все ссылочки равны, но корпорация Google продуктивно работает над решением этой проблемы – находит спамовые ссылки, проверяет файлик robots.txt, чтобы он не был модифицирован. Важно! Наиболее качественными ссылками является те, которые выданы благодаря качественному контенту.
Если вы хотите, чтобы ваш сайт имел наивысшую степень важности, убедитесь, что робот Гугл правильно и беспрепятственно сканирует и индексирует ваш сайт. Специально разработаны для этого сервисы Гугл для вебмастером, способны предотвратить массу популярных ошибок в продвижении, а также помогут повысить PR рейтинг вашего сайта.

Как поисковые роботы видят сайты?

Поисковые системы видят сайты иначе чем мы с вами. Когда мы люди смотрим на сайт мы видим картинки, тексты, видео, разные таблицы и прочий красивый контент. Короче мы видим его в цвете. А что если мы взглянем, как поисковые системы видят контент своими глазами?

Поисковые машины просто любят текст и игнорируют различные картинки. Картинка будет прочтена если добавлен атрибут alt, текстовая подпись к ней. Роботы в основном видят тексты в формате html. Роботы не любят когда на сайте много разных форм и jawa скрипта, такие страницы игнорируются. Если у вас свой сайт уделяйте больше внимания именно текстовому контенту.

Заключение

Если вы хотите, что бы рейтинг вашего сайта стал выше, оптимизируйте контент, внутреннюю часть сайта, чтобы облегчить работу робота – он хоть и умный, но чем лучше оптимизирована страница, тем правильней индексирует поисковый робот сайт.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Как функционируют роботы поисковых систем

Поисковый робот (паук, бот) представляет собой небольшую программу, способную без участия оператора посещать миллионы web-сайтов и сканировать гигабайты текстов. Считывание страниц и сохранение их текстовых копий – это первая стадия индексации новых документов. Следует отметить, что роботы поисковых систем не осуществляют какую-либо обработку полученных данных. В их задачу входит только сохранение текстовой информации.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Список поисковых роботов

Из всех поисковиков, занимающихся сканированием Рунета, самой большой коллекцией ботов располагает Яндекс. За индексацию отвечают следующие боты:

• главный индексирующий робот, собирающий данные со страниц web-сайтов;
• бот, способный распознавать зеркала;
• поисковый робот Яндекс, осуществляющий индексацию картинок;
• паук, просматривающий страницы сайтов, принятых в РСЯ;
• робот, сканирующий иконки favicon;
• несколько пауков, определяющих доступность страниц сайта.

Главный поисковый робот Google занимается сбором текстовой информации. В основном он просматривает html-файлы, с определенной периодичностью анализирует JS и CSS. Способен воспринимать любые типы контента, разрешенные к индексации. ПС Гугл располагает пауком, контролирующим индексацию изображений. Есть также поисковый робот – программа, поддерживающая функционирование мобильной версии поиска.

Увидеть сайт глазами поискового робота

Чтобы исправить погрешности кода и прочие недочеты, вебмастер может узнать, как видит сайт поисковый робот. Эту возможность предоставляет ПС Google. Потребуется перейти в инструменты для вебмастеров, а затем кликнуть на вкладку «сканирование». В открывшемся окне нужно выбрать строчку «просмотреть как Googlebot». Далее нужно завести адрес исследуемой страницы в поисковую форму (без указания домена и протокола http://).

Выбрав команду «получить и отобразить», вебмастер сможет визуально оценить состояние страницы сайта. Для этого понадобится кликнуть по галочке «запрос на отображение». Откроется окно с двумя версиями web-документа. Вебмастер узнает, как видит страницу обычный посетитель, и в каком виде она доступна для поискового паука.

Совет!Если анализируемый web-документ еще не проиндексирован, то можно воспользоваться командой «добавить в индекс» >> «сканировать только этот URL». Паук проанализирует документ через несколько минут, в ближайшем времени web-страница появится в выдаче. Месячный лимит запросов на индексацию составляет 500 документов.

Как повлиять на скорость индексирования

Выяснив, как работают поисковые роботы, вебмастер сможет гораздо результативнее продвигать свой сайт. Одной из основных проблем многих молодых web-проектов является плохая индексация. Роботы поисковых систем неохотно посещают неавторитетные интернет ресурсы.
Установлено, что скорость индексации напрямую зависит от того, с какой интенсивностью обновляется сайт. Регулярное добавление уникальных текстовых материалов позволит привлечь внимание поисковика.

Для ускорения индексации можно воспользоваться соцзакладками и сервисом twitter. Рекомендуется сформировать карту сайта Sitemap и загрузить ее в корневую директорию web-проекта.