18.10.2009

Редактирование файла robots.txt для Blogger.com

По недавним результатам индексации Яндексом моего блога
были получены результаты:
- запрещен в файле robots.txt - 11 шт.

Список файлов можно взять там же, на панели Яндекс.Вебмастер
Каждую ссылку мы можем проверить из консоли, переходом по ней.

В Google в "Инструменты для веб-мастеров" существует очень удобная
и функциональная панель инструментов.  Естественно доступ только
для зарегистрированных блоггеров и владельцев сайтов.

Открываем панель " Доступ сканера", перед нами файл robots.txt.
С этой вкладки мы можем:
  • Проверить файл robots.txt
  • Создать файл robots.txt
  • Удалить URL
Для моего блога файл выглядит так:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://web-seti.blogspot.com/feeds/posts/default?orderby=updated

Здесь в панели я могу запретить/разрешить доступ к любой
директории.
При необходимости, я это делаю обычно после публикации нового поста,
мы может запустить файл Sitemap чтобы сообщить Google о новой
записи.

Здесь же имеется статистика индексации Google моих страниц.
Статистика файла Sitemap
Всего URL-адресов: 73
Количество проиндексированных URL: 56
Удобно? Конечно! Пользуемся.

3 комментария:

N. комментирует...

Можно поподробнее. Что-то с Гуглом не могу разобраться. Заранее спасибо.

Анонимный комментирует...

Что-то мне кажется Вы ошибаетесь. Изменить robots.txt в блогспоте нельзя... На сколько мне это известно.

Дмитрий комментирует...

Аналочигчно пытался изменить robots.txt в в блогспоте результата пока нет. Если кто-нибудь найдет как это можно сделать отпишитесь.