МЕТА NAME="robots" CONTENT="…"
Эта конструкция предназначена для того, чтобы указать поисковому роботу, индексирующему ваш сайт, что надо добавлять в индексы, а что нет. Последний случай не является редким, т. к. существует множество ситуаций, когда просто необходимо запретить индексирование: чаты, баннерные показы и пр. Есть шесть возможных значений атрибута CONTENT для данной конструкции:
• ALL – разрешение индексации документа со всеми присутствующими в нем гиперсвязями;
• NONE – запрет индексации документа со всеми присутствующими в нем гиперсвязями;
• INDEX – разрешение индексации документа;
• NO INDEX – запрет индексации документа;
• FOLLOW – разрешение индексации присутствующих гиперсвязей;
• NO FOLLOW – запрет индексации присутствующих гиперсвязей.
Если этот мета-тег пропущен или не указано значение атрибута CONTENT, то поисковый робот понимает это как конструкцию CONTENT="INDEX, FOLLOW? (эти два значения аналогичны ALL).
Проблемы индексирования страниц В процессе подготовки страниц к индексированию роботами пользователь может столкнуться с целым рядом затруднений.
Страницы с фреймами. В сети огромное количество сайтов, созданных с применением многооконной структуры (фреймов), а большинство поисковых систем не умеют с ними работать. Что же делать? Оказывается, выход есть. Если вы когда-нибудь работали с фреймами, то знаете, что подобно роботам некоторые браузеры их не поддерживают, для чего в документе, определяющем адреса загрузки составных страниц, ставится парный тег /NOFRAMES>. В нем обычно пишут что-то вроде «Ваш браузер не поддерживает фреймы», дается ссылка на последнюю версию Microsoft Internet Explorer или Netscape Navigator, а в лучшем случае – на безфреймовый вариант сайта. Разумеется, информация, заключенная в данный тег, не отображается браузерами, имеющими поддержку фреймовых структур. Поэтому туда можно поместить подробное описание вашего сайта, указать ключевые слова и словосочетания. И потом, нельзя забывать заголовок начальной страницы, в котором тоже следует определить ключевые слова.
Невозможность индексирования. Причин тому может быть несколько. Некоторые поисковые роботы индексируют страницы, расположенные только в зоне. ru и соответствующих ей городских зонах, поэтому, если ваш сайт размещен на зарубежном сервере, в индексы он не попадет. Некоторые слайдеры имеют ограничение на занесение в индексы не более какого-то числа ресурсов с одного домена. В конце концов, возможно, что вы случайно вместо значения index мета-тега указали noindex или сделали синтаксическую ошибку в составлении конструкции тегов мета-данных, влияющих на процесс индексирования Web-документов.