Ошибки во время сканирования сайта возникают, когда Googlebot не может получить доступ к той или иной странице. Если они критические, то это может повлиять на рейтинг сайта в SERP.
Причинами ошибок могут быть:
-
ошибки в настройках сервера;
-
сбои CMS;
-
изменения структуры URL и др.
Статусы страниц
В отчете об индексировании можно увидеть, какие страницы были проиндексированы, а какие нет из-за обнаруженых ошибок. Они практически неизбежны, поэтому устранять их нужно в первую очередь только на самых важных страницах.
Эти страницы имеют разные статусы:
-
страница без ошибок;
-
исключено;
-
ошибка.
Статус "Страница без ошибок" выделяется зеленым цветом, относится к страницам, добавленным в индекс.
Статус "Исключено" выделяется серым цветом, относится к страницам, исключенным из индекса. Исключаются дублирующиеся страницы, а также те, которые сам владелец сайта не хочет включать в индекс и запретил их сканирование в файле robots.txt или добавил для них тег noindex.
В Lexx.me запрет на индексацию страницы указывается во вкладке SEO переводом бегунка MetaRobots (index, follow) в неактивное положение.
Проверьте исключены ли страницы по приемлемым для вас причинам или нет. Если нет, то исправьте ошибки, используя инструкции, соответствующие статусу исключения.
Статус "Ошибка" выделяется красным цветом, относится к непроиндексированным страницам, их нужно как можно быстрее устранить.
Типы и виды ошибок
Google разделяет ошибки на 2 типа:
-
ошибки сайта;
-
ошибки URL.
Ошибки сайта означают, что есть проблемы в сканировании ботом всего сайта, а ошибки URL - определенных страниц.
Виды ошибок сайта:
Ошибки DNS
Это ошибки, связанные с доступом к домену, т.е., поисковик не может связаться с сайтом, а пользователи не могут его найти и открыть. Для их устранения нужно связываться с владельцом хостинга.
Ошибки сервера
Эти ошибки появляются, если обработка сервером запроса об информации на странице от поискового робота занимает очень много времени. Основные причины для ошибок сервера:
-
плохой сервер;
-
DDoS-атаки;
-
ограничение хостингом объема передаваемых данных.
Для каждой такой ошибки есть свой код, например:
-
205 - сброс подключения;
-
408 - истекло время ожидания соединения;
-
504 - отсутствие отклика и др.
Расшифровку всех кодов можно посмотреть здесь.
Для исправления этих ошибок нужно обращаться в службу поддерджки хостинга.
Ошибка доступа к robots.txt
Дання ошибка возникает, когда Googlebot не может извлечь файл robots.txt, расположенный по адресу [домен.com]/robots.txt.
Справка из Search Console помощь:
«Файл robots.txt нужен лишь в том случае, если на сайте присутствует определенный контент, который вы бы хотели добавить в индекс поисковых систем. Если хотите, чтобы поисковые системы индексировали весь контент сайта, файл robots.txt не нужен».
Таким образом, для небольших сайтов, которые редко обновляют свой контент, устранение данной ошибки не является первоочередным делом. Но для сайтов, которые каждый день добавляют новый контент, этот файл очень важен.
Для решения проблемы нужно проверить, правильно ли настроен robots.txt.
Виды ошибок URL
Доступ запрещен
Эта ошибка означает, что поисковой робот не смог получить доступ к странице.
Причины:
-
на сайте используется авторизация;
-
блокировка со стороны хостинг-провайдера;
-
проблема с файлом robots.txt.
Для решения вопроса нужно убрать одну из вышеперечисленных причин.
Ошибка 404
Она свидетельствует о том, что робот сканировал несуществующую страницу (возможно на нее ссылались в других документах).
Если ссылка на удаленную страницу стоит внутри сайта, то убрать её можно самостоятельно, но если она стоит извне, то нужно обратиться к разработчикам, чтобы они настроили 301 редирект в файле .htaccess для передачи ссылочного веса этой страницы на другую релевантную страницу.
Ошибка «Soft 404»
Более "легкий" вариант предыдущей ошибки. Это значит, что страница была удалена, она пустая (без контента) или настроен некорректный редирект. Чтобы исправить эту ошибку нужно:
-
проверить контент на странице на релевантность;
-
удалить битые ссылки;
-
удалить или закрыть от индексации пустые страницы;
-
правильно настроить редирект.
Ошибки невыполнения перехода
Эти ошибки появляются тогда, когда была сделана некорректная настройка редиректов либо в карте сайта не указана ссылка на целевую страницу.
Желательно избегать чрезмерного использования перенаправлений и оставить только самые нужные.
Детальнее об ошибках и их устранении читайте здесь.