Рано или поздно каждому веб-мастеру или seoспециалисту при создании, поддержке или проведении аудита сайта приходится следить за тем, что бы не было ошибок при его сканировании. А если они и возникают, то необходимо знать причину их появления и, соответственно методы борьбы с ними.
Именно поэтому Google предоставляет услугу«Ошибки сканирования». Данная услуга в инструментах для веб-мастеров показывает смог ли Googlebot получить доступ к контенту сайта.
Тут есть много разных видов ошибок, но все их можно отнести к двум большим категориям: ошибки сайта и ошибки url адресов.
Ошибки сайта в «Инструментах для веб-мастеров»
Здесь отображаются данные за последние 90 дней. Site errors означает, чтоGoogle не смог получить доступ вообще ко всему сайту. И часто это происходит из-за файла robots.txt.
Когда Google не может «достучатся» до сервера сайта что бы просканировать его содержимое, то в инструментах для веб-мастеров в «ошибках сканирования»делается соответствующая запись.
В общем, здесь отображаются самые критические ошибки, которые нужно решить настолько быстро, насколько это возможно.
Ошибки URL адресов
В данном пункте показываются проблемы со сканированием каких-то конкретных страниц сайта.
В то время как некоторые url ошибки могут быть вызваны запретами в robots.txtили ошибками сервера, все же наиболее распространенными считаются not-founderrors. Т.е. если кто-то пытается получить доступ к странице сайта, которой не существует. При этом сайт должен отдавать код ошибки – 404 – страница не существует. Чаще всего эта проблема вызвана «сломанными» url’ами.
Иметь на своем сайте несколько таких ошибок это естественно и не нужно об этом сильно беспокоиться. (Об этом говорят сами сотрудники Гугл).
Для исправления каждой из этих ошибок нужно проделать конкретные действия.
Например, для решения ошибок сервера часто приходится работать с хостинг провайдером.
Лучше всего начинать поиск неисправностей в отчете об ошибках в инструментах для веб-мастеров.
Пример использования услуги «Ошибки сканирования».
У меня в блоге в «ошибках url» в блоке «не найдено» говорится, что есть не существующая страница по адресу http://www.seotkach.ru/p/blog-page_29.html.
| Кликабельно |
Да, не спорю, когда создавался блог, я сделал такую страницу. Но потом ее удалил и создал новую с такой же информацией, но уже с ЧПУ.
С того момента прошло немало времени, и данная страница выпала с индекса. Но, как видно, в отчете она еще присутствует.
Глянем, почему Googlebot ее видит.
| Кликабельно |
На самом деле, я проверил html коды данных страниц и не нашел информации, которая подтверждает утверждение Google. Т.е. я не нашел с этих страниц ссылки на http://www.seotkach.ru/p/blog-page_29.html.
Поэтому можно просто пойти в «Оптимизацию» —> «Удалить URL адреса» и создать запрос на удаление данного адреса из индекса. Но, как я говорил, данной страницы в индексе нет, поэтому оставим все как есть.
Как говорится — «само отвалится».