Помилки під час сканування сайту виникають, коли Googlebot не може отримати доступ до тієї чи іншої сторінки. Якщо вони критичні, це може вплинути на рейтинг сайту в SERP.
Причинами помилок можуть бути:
помилки у налаштуваннях сервера;
збої CMS;
зміни структури URL та ін.
Статуси сторінок
У звіті про індексування можна побачити, які сторінки були проіндексовані, а які ні через виявлені помилки. Уникнути їх практично неможливо, тому усувати помилки потрібно насамперед лише для найважливіших сторінках.
Ці сторінки мають різні статуси:
сторінка без помилок;
виключено;
помилка.
Статус "Сторінка без помилок" виділяється зеленим кольором, відноситься до сторінок, доданих до індексу.
Статус "Виключено" виділяється сірим кольором, відноситься до сторінок, виключених з індексу. Виключаються сторінки, що дублюються, а також ті, які сам власник сайту не хоче включати в індекс і заборонив їх сканування у файлі robots.txt або додав для них тег noindex.
У Lexx.me заборона на індексацію сторінки вказується у вкладці SEO переведенням бігунка MetaRobots (index, follow) у неактивне положення.
Перевірте чи виключені сторінки з прийнятних для вас причин чи ні. Якщо ні, виправте помилки, використовуючи інструкції, що відповідають статусу виключення.
Статус "Помилка" виділяється червоним кольором, відноситься до непроіндексованих сторінок, їх потрібно якнайшвидше усунути.
Типи і види помилок
Google поділяє помилки на 2 типи:
помилки сайту;
помилки URL-адреси.
Помилки сайту означають, що є проблеми у скануванні ботом всього сайту, а помилки URL - певних сторінок.
Види помилок сайта:
Помилки DNS
Це помилки, пов'язані з доступом до домену, тобто пошуковик не може зв'язатися з сайтом, а користувачі не можуть його знайти і відкрити. Для їхнього усунення потрібно зв'язуватися з власником хостингу.
Помилки сервера
Ці помилки з'являються, якщо обробка сервером запиту про інформацію на сторінці від пошукового робота займає багато часу. Основні причини помилок сервера:
поганий сервер;
DDoS-атаки;
обмеження хостингом обсягу даних, що передаються.
Для кожної такої помилки є свій код, наприклад:
205 - скидання підключення;
408 - минув час очікування з'єднання;
504 - відсутність відповіді та ін.
Розшифрування всіх кодів можна переглянути тут.
Для виправлення цих помилок слід звертатися до служби підтримки хостингу.
Помилка доступу до robots.txt
Ця помилка виникає, коли Googlebot не може отримати файл robots.txt, розташований за адресою [домен.com]/robots.txt.
Довідка з Search Console допомога:
«Файл robots.txt потрібен лише в тому випадку, якщо на сайті є певний контент, який ви б хотіли додати в індекс пошукових систем. Якщо хочете, щоб пошукові системи індексували весь контент сайту, файл robots.txt не потрібен.
Таким чином, для невеликих сайтів, які рідко оновлюють свій контент, усунення цієї помилки не є першочерговою справою. Але для сайтів, які щодня додають новий контент, цей файл дуже важливий.
Для вирішення проблеми потрібно перевірити, чи правильно налаштований robots.txt.
Види помилок URL
Доступ заборонено
Ця помилка означає, що пошуковий робот не зміг отримати доступ до сторінки.
Причини:
на сайті використовується авторизація;
блокування хостинг-провайдера;
проблема з файлом robots.txt.
Для вирішення питання потрібно прибрати одну з перерахованих вище причин.
Помилка 404
Вона свідчить, що робот сканував неіснуючу сторінку (можливо на неї посилалися в інших документах).
Якщо посилання на видалену сторінку стоїть усередині сайту, то прибрати її можна самостійно, але якщо вона стоїть ззовні, потрібно звернутися до розробників, щоб вони налаштували 301 редирект у файлі .htaccess для передачі ваги цієї сторінки на іншу релевантну сторінку.
Помилка "Soft 404"
Більш "легкий" варіант попередньої помилки. Це означає, що сторінка була видалена, вона порожня (без контенту) або налаштовано некоректний редирект. Щоб виправити цю помилку, потрібно:
перевірити контент на сторінці на релевантність;
видалити биті посилання;
видалити чи закрити від індексації порожні сторінки;
правильно налаштувати редирект.
Помилки невиконання переходу
Ці помилки з'являються тоді, коли було зроблено некоректне налаштування редиректів або в карті сайту не вказано посилання на цільову сторінку.
Бажано уникати надмірного використання перенаправлень та залишити лише найпотрібніші.
Детальніше про помилки та їх усунення читайте тут.