Ошибки сканирования — одна из самых популярных функций в Webmaster Tools Тулс и сегодня мы выкатываем несколько существенных изменений, которые сделают ее еще удобнее.

Теперь мы находим много новых типов ошибок и сообщаем о них. Чтобы помочь вам разобраться в новых данных, мы разделили ошибки на две части — ошибки сайта и ошибки URL.

Ошибки сайта

Которые не относятся к какому-то конкретному URL, а влияют на весь сайт. Они включают отказы на разрешение DNS, проблемы с доступом к вашему веб-серверу и неудачное извлечение robots.txt. Мы создавали отчеты по таким ошибкам для URL, но это не имело особого смысла, т.к. они не являются специфическими для конкретных адресов. По факту, они даже мешают Гуглботу запрашивать URL.

Просмотр ошибок сайта и временная шкала

Вместо этого мы сейчас отслеживаем частоту отказов для каждого типа сайт-ошибки. Мы попытаемся вас предупредить, когда они участятся настолько, что потребуют внимания. Если же у вас нет (и давно не было) таких проблем, как у многих сайтов, мы не будем раздражать вас этой секцией. Зеленые «птички» покажут, что у вас все в порядке.

Сайт без недавних ошибок

Ошибки URL

Это ошибки, которые относятся к конкретной странице. Googlebot пытался просканировать URL, обратился к DNS, подключился к серверу, получил и прочитал файл robots.txt, а затем запросил этот адрес, но после этого что-то пошло не так.

Ошибки URL с полным текущим и общим временным количеством

Мы разделим URL ошибки на несколько подлежащих категорий, основанных на причине ошибки. Если ваш сайт подает данные для Google News или мобильных (CHTML/XHTML), мы покажем отдельные категории для этих ошибок.

Меньше — значит больше

Обычно мы показывали вам более 100 000 ошибок каждого типа. Попытка употребить всю эту информацию выглядела, как попытка пить из пожарного шланга. У вас не было способа отделить более важные ошибки (ваша главная страница понижена) от второстепенных (кто-то, ставя на вас ссылку, сделал опечатку). Отсутствовала сортировка, поиск и оценка вашего прогресса.

В новой версии этой опции мы будем сразу давать вам 1000 самых важных ошибок, которые вы сможете сортировать и фильтровать, а также сообщать нам, когда будете просматривать более детальную информацию по ошибке или исправите ее.

Быстрая фильтрация и сортировка ошибок по любой колонке

У некоторых сайтов есть более тысячи ошибок определенного вида, поэтому будет доступно также общее количество ошибок по определенному типу (и исторический график за 90 дней). Для тех, кто беспокоится, что отчета по тысяче ошибок + общей их совокупности будет недостаточно, мы рассматриваем добавление API, которое позволит выгружать каждую последнюю ошибку.

Мы также удалили список страниц, заблокированных в файле robots.txt. Хотя иногда это полезно для выявления проблемы с файлом robots.txt, чаще всего это намеренно заблокированные страницы. Информацию о «роботизированных» URL скоро можно будет найти в Site configuration/Crawler access.

Более детально

Нажатие на ошибки конкретного URL из основного списка открывает подробную панель с дополнительной информацией, в том числе: когда этот адрес был просканирован в последний раз, когда впервые была замечена проблема и краткое описание ошибки.

Детальные данные по адресной ошибке

В панели деталей вы можете нажать на ссылку адреса, который вызвал ошибку, чтобы лично посмотреть, что происходит при переходе по ней.

Также можно пометить ошибку как исправленную (об этом позже), искать информацию по типу ошибки в справке, смотреть список sitemap, содержащих URL и остальные страницы со ссылкой на этот адрес, и даже сразу отдавать этот URL Гуглботу, чтобы получить более конкретную информацию или проверить — работает ли ваша правка.


Просмотр страниц, которые ссылаются на URL

Начинайте действовать!

Чему мы действительно рады в новой версии Crawl Errors, так это тому, что теперь вы можете сосредоточится на решении ошибок, которые нужно исправить в первую очередь.

В первой очереди списка будут ошибки, где можно что-то сделать: битые ссылки на вашем сайте, ошибки в серверном ПО, обновление файлов sitemap (для удаления «мертвых» ссылок) или добавление 301-го редиректа для перенаправления пользователей на действующие страницы.

Это определяется на основе многих факторов (добавляли ли вы URL в карту сайта, с каким количеством источников он связан (в том числе тех, которые есть на вашем сайте) и получал ли адрес недавно любой поисковой трафик).

Выбор ошибок и маркировка их, как исправленных

Как только вы думаете, что проблема исправлена (отдав адрес Гуглботу), вы можете поставить метку «исправлено», если являетесь пользователем с полными правами доступа. Это удалит ошибку из списка. В будущем такая маркированная ошибка не будут включена в топ-список, если вы повторно столкнетесь с ней при сканировании уже «исправленного» URL.

Оригинал: Crawl Errors: The Next Generation