РокетКраулер лого  РокетКраулер

РокетКраулер – это онлайн-краулер для технического SEO-аудита сайтов, позволяющий в режиме реального времени отслеживать ошибки сервера, редиректы, дубликаты контента, скорость загрузки и перелинковку, а также сегментировать страницы и формировать отчеты в Excel и PDF для улучшения позиций в поисковой выдаче.

Содержание

Начало работы

РокетКраулер работает прямо в браузере в виде облачного онлайн сервиса. Теперь можно проводить аудит сайтов с любого устройства (Windows, Linux, MacOS), не устанавливая дополнительные программы и не нагружая ваш компьютер.

Регистрация и вход

После регистрации на сайте, в личном кабинете, необходимо пополнить баланс и выбрать наиболее подходящий тариф, после чего можно переходить в раздел «Проекты» для начала работы (по умолчанию пользователю доступен бесплатный тариф «Базовый», однако его рекомендуется использовать лишь для ознакомления с работой системы в виду определенных ограничений).

Первый запуск

Для добавления проекта и начала сканирования необходимо ввести адрес сайта в поле URL и нажать на кнопку «Старт», после чего создастся проект и начнется сканирование.

Настройки проекта (шестеренка справа от кнопки «Стоп») меняются до запуска сканирования и содержат множество параметров для тонкой настройки технического аудита сайта. Во время сканирования сайта настройки заблокированы.

РокетКраулер - первый запуск сервиса

Во время сканирования внизу экрана отображается строка прогресса, а также текущий статус сканирования (число просканированных страниц, текущая скорость сканирования, количество активных потоков и время сканирования сайта). Подробная информация по каждому URL-адресу открывается в панели «URL Инфо» по клику на интересующий URL в основной таблице с данными сайта.

При необходимости можно приостановить обход сайта, нажав на кнопку «Пауза», либо остановить его по кнопке «Стоп».

На вкладке «Лог» на нижней панели «URL Инфо» отображается история запусков сканирований данного проекта (а также прочая информация по его статусам).

Настройки проекта

Настройки проекта по большей части являются общими для всех проектов аккаунта и доступны в контекстном меню списка проектов, а также по кнопке с шестеренкой справа от кнопки «Стоп». Индивидуальными для проектов являются 3 раздела: «Виртуальный Robots.txt», «Исключить URL» и «Следовать URL». Изменение настроек доступно только когда нет проектов в состоянии сканирования.

Основные настройки

Настройки, отвечающие за быстродействие и область обхода краулера.

Раздел «Основные»: быстродействие и область обхода краулера

Параметр Значение по умолчанию Описание
Количество потоков
10
Число URL, обрабатывающихся одновременно. Чем это значение больше – тем быстрее идет сканирование сайта. Максимальное значение задается тарифом.
Максимальная глубина
10
Уровень вложенности, дальше которого обход не идет. У главной уровень = 0.
Время сканирования, ч
0
0 – без ограничения. Обход останавливается по истечении времени.
Задержка между запросами, мс
0
Пауза для сайтов, которые блокируют частые запросы к себе.
Таймаут запроса, с
10
Сколько ждать ответа, прежде чем считать адрес недоступным.
Таймаут загрузки AJAX, с
7
Сколько ждать выполнения скриптов при сканировании сайтов на JavaScript.
Максимальное число редиректов
5
Длина цепочки редиректов, дальше которой краулер не идет.
Максимальное число сканируемых страниц
500 000
Обход сайта останавливается на этом значении. Удобно, чтобы проверить часть большого сайта. Максимальное значение задается тарифом.
Сохранять историю сканирований
выкл.
Сохранение результатов прошлых обходов сайта: можно открыть по дате обхода и сравнить с текущими данными. Доступно только на тарифе «Профи».
Сканирование сайтов на JavaScript
выкл.
Страницы открываются в виртуальном браузере и выполняют полноценный рендер сайта. Необходимо сайтам, чей контент собирается на JavaScript.

Сканирование

Раздел позволяет указать сканеру, какой контент учитывать и каким правилам следовать при сканировании сайта.

Раздел «Сканирование»: какой контент учитывать и каким правилам следовать

Блок «Учитывать контент» отвечает за то, какие URL-адреса попадут в проект:

  • HTML, CSS, JavaScript, изображения, видео, документы...
  • Внешние ссылки – включите этот пункт, чтобы найти битые ссылки на чужие сайты.

Блок «Правила сканирования» отвечает за то, какие директивы соблюдает краулер:

  • Опции: Robots.txt, nofollow, meta robots, canonical, <base>, X-Robots-Tag, Clean-param. Если выключить одно из правил, краулер его проигнорирует – например, пройдет по разделам, закрытым в файле Robots.txt.
  • #Якоря и поддомены. С поддоменами краулер обходит их вместе с основным доменом, с якорями – считает адреса с решетками # отдельными самостоятельными URL.

Режим Cookies:

  • «Постоянные» (по умолчанию) – весь обход идет в рамках одной сессии. Важно для сайтов, которые без cookies не пускают.
  • «Сессионные» – каждый запрос открывается с новой сессией.
  • «Игнорировать» – cookies не используются.

SEO

Критерии учета корректности мета-тегов, за которыми страница попадает в раздел с ошибками на панели «Статистика SEO». Настраивайте раздел под требования конкретного аудита.

Раздел «SEO»: критерии учета корректности мета-тегов

Параметр MIN MAX
Длина Title 30 70
Длина Keywords 50 250
Длина Description 75 250
Длина H1-H6 5 60
Длина контента 500 50 000
Число внутренних ссылок – 100
Число внешних ссылок – 10
Размер изображения, Кб – 200
Соотношение Text/HTML, % 50 –

Виртуальный Robots.txt

Переопределение директив текущего физического файла Robots.txt виртуальными директивами для возможности изменения правил Robots.txt без необходимости его физической правки. Опция настраивается индивидуально для каждого конкретного проекта.

Раздел «Виртуальный Robots.txt»: переопределение директив текущего Robots.txt

Для чего это может быть полезно:

  • Проверка новых правил до того, как выложить их на сайт.
  • Возможность сканирования закрытых разделов сайта или отключение учета определенных разделов, не трогая рабочий физический Robots.txt.

Проверка индексации

Возможность проверить наличие страниц сайта в индексе поисковых систем Яндекс и Google используя один из внешних сервисов:

  • Сервис проверки индексации – Яндекс Search API, XMLProxy (Яндекс), XMLRiver и XMLStock (Яндекс или Google).
  • Ссылка для совершения запроса – адрес запроса к XML-API из вашего аккаунта в выбранном сервисе.

Раздел «Проверка индексации»: проверка страниц сайта в индексе Яндекса и Google

Запросы оплачиваются в выбранном сервисе по его тарифам в вашем личном кабинете конкретного сервиса.

User Agent

С определенным User-Agent можно увидеть сайт так, как его получает поисковый бот или мобильный браузер, и проверить правила Robots.txt для нужного бота.

  • Список предустановленных User-Agent: RocketCrawler (по умолчанию), YandexBot, YandexImages, GoogleBot, Googlebot-Image, Googlebot-Mobile, BingBot, Yahoo! Slurp, Chrome, Firefox, IE8, IE10, IE11, iPhone, Android, Microsoft Edge и «Задано пользователем».
  • User-Agent для HTTP – строка в запросах к сайту. По умолчанию RocketCrawlerbot/1.0; +https://rocketcrawler.ru/.
  • User-Agent для Robots – User-Agent, по которому краулер учитывает свою секцию в файле Robots.txt (при ее наличии). По умолчанию RocketCrawler.

Раздел «User Agent»: по которому краулер учитывает свою секцию в файле Robots.txt

HTTP-заголовки

Возможность установить собственные заголовки запроса: пары «имя – значение», например Referer, Accept-Language или Cache-Control.

Раздел «HTTP-заголовки»: например, Referer, Accept-Language или Cache-Control

Возможность редактировать и добавлять HTTP-заголовки часто бывает полезна при парсинге сайтов, которые имеют особые (не стандартные) требования к заголовкам запросов к страницам данного сайта.

Первая строка по умолчанию – User-Agent – неактивна, так как ее значение берется из настроек раздела «User Agent».

Proxy-серверы

Прокси обычно используются в случаях, когда сайт блокирует работу краулера или отдает разные данные для разных стран. Тогда есть возможность осуществлять доступ к сайту со сторонних IP-адресов.

Раздел «Proxy-серверы»: для доступа к сайту со сторонних IP-адресов

В таблице для каждого прокси указывается его Host / Port, логин / пароль, а также страна и таймаут ответа при положительной проверке прокси-сервера.

  • Кнопки «Добавить» и «Добавить списком» – добавление проси-серверов по одному или сразу группой.
  • Кнопка «Проверить» проверяет работоспособность прокси.
  • Кнопка «Удалить нерабочие» – чистит список от нерабочих адресов.

Исключить URL

Раздел предназначен для исключения из обхода определенных разделов сайта и является индивидуальным для каждого проекта.

Раздел «Исключить URL»: для исключения из обхода определенных разделов сайта

Пример правила: https://example.com/some-folder/.* (списки регулярных выражений, по одному на строку).

Совпадающие по условию адреса краулер пропускает (например: фильтры, сортировки, личный кабинет).

Следовать URL

Раздел предназначен для сканирования определенных разделов сайта и является индивидуальным для каждого проекта.

Раздел «Следовать URL»: для сканирования определенных разделов сайта

Пример правила: https://example.com/some-folder/.* (списки регулярных выражений, по одному на строку).

Eсли раздел заполнен, краулер обходит только совпадающие по условию адреса. Удобно, чтобы проверить один раздел большого сайта.

PageRank

Расчет внутреннего PageRank производится исходя из наличия просканированных страниц и внутренней перелинковки сайта. Расчет Google PageRank дает понимание, какие страницы получают больше ссылочного «веса», а какие остаются без него.

По умолчанию число итераций для расчета PageRank = 15 (чем больше итераций, тем точнее расчет, однако зачастую 15 итераций вполне хватает для расчета).

Раздел «PageRank»: расчет Google PageRank

Доступны 2 вида формулы расчета – классическая (по умолчанию) и расширенная, с поправкой на число страниц сайта. Для анализа перелинковки разница между ними невелика.

Расчет запускается кнопкой «Рассчитать PageRank» на одноименной вкладке. При этом у каждой страницы видно число входящих, внутренних и внешних ссылок.

Page Speed

Раздел «Page Speed» предназначен для настройки проверки скорости загрузки страниц сайта через специальный API. Проверка скорости загрузки страниц осуществляется в инструменте Google PageSpeed Insights через его API для десктопа или мобильных устройств.

Раздел «Page Speed»: проверка скорости загрузки страниц сайта через специальный API

Основное внимание уделяется Core Web Vitals, а также вспомогательным метрикам:

  • LCP (Largest Contentful Paint): время отрисовки самого крупного элемента контента. Хорошо: <= 2,5 с.
  • INP (Interaction to Next Paint): задержка отклика на взаимодействие с пользователем. Хорошо: <= 200 мс.
  • CLS (Cumulative Layout Shift): смещение макета страницы. Хорошо: <= 0,1.
  • FCP (First Contentful Paint): время отрисовки первого контента. Хорошо: <= 1,8 с.
  • TTFB (Time to First Byte): время до первого байта (экспериментальная метрика). Хорошо: <= 800 мс.

Аналитика

Возможность интеграции РокетКраулер с API Яндекс Вебмастера, Яндекс Метрики и Google Search Console.

Интеграция происходит в полуавтоматическом режиме посредством получения специального «токена», через который происходит дальнейшее взаимодействие с API. Для удобства можно подключить сразу несколько аккаунтов Яндекса и Google.

Раздел «Аналитика»: интеграция с API Яндекс Вебмастера, Яндекс Метрики, Google Search Console

После подключения одной из систем аналитики по каждому URL-адресу на вкладке «Аналитика» становится доступной информация об индексации страницы, визитах, отказах, глубине просмотра, кликах, показах, CTR и позициях.

Также есть возможность экспорта данных из систем аналитики в Excel.

Извлечение данных

Раздел «Извлечение данных» является индивидуальным для каждого проекта и предназначен для настройки и тестирования правил скрейпинга данных (извлечение данных, значений и свойств из HTML-страниц).

Извлечение данных возможно тремя способами: Regex, XPath и CSSPath. Каждый из способов имеет свои нюансы и для каждого необходим определенный уровень компетенции.

Раздел «Извлечение данных»: извлечение данных, значений и свойств из HTML-страниц

Для удобства есть возможность тестирования правил, а также их сохранения в общий список правил для последующего использования.

Определения:

  • Имя – заголовок столбца в результате.
  • Тип – XPath, CSSPath или RegEx.
  • Правило – сам селектор или выражение; рядом – проверка синтаксиса и предпросмотр.
  • Извлечь – просто текст, внутренний HTML, внешний HTML или атрибут (имя атрибута указывается отдельно).

Правила собираются в шаблоны: их можно создавать, переименовывать и удалять. Готовые шаблоны собирают email, цены, Google Analytics ID, язык страницы, JSON-LD, H1, ссылки nofollow, ugc и sponsored и другое. По умолчанию выбран «Emails (CSSPath)» с правилом a[href^="mailto:"] и атрибутом href.

Авторизация

Возможность авторизации на сайтах, закрытых базовой авторизацией сервера (.htpasswd), – например, для сканирования тестовой копии сайта.

Раздел «Авторизация»: для авторизации на сайтах через .htpasswd

Гостевая ссылка

Это специальная ссылка, по которой проект можно показать клиенту или коллеге без необходимости входа в аккаунт.

Раздел «Гостевая ссылка»: гостевой доступ к проектам

По гостевой ссылке данные доступны только для просмотра: запускать сканирование, удалять проекты и менять настройки нельзя. На каждый проект доступно до 5 ссылок.

Работа с проектом

Главный экран сервиса состоит из четырех блоков:

  • Список проектов (слева).
  • Таблица с основными данными и вкладками (в центре).
  • Панель «Отчеты» (справа).
  • Панель «URL Инфо» (внизу).

Экран проекта: список проектов, таблица с вкладками, «Дополнительные данные» и «URL Инфо»

Вкладки, столбцы и панели

Вкладки таблицы с основными данными проекта (в центре экрана) являются фильтрами по основным категориям контента выбранного проекта: «Все ссылки», «Внутренние», «Внешние», «Протокол», «Время отклика», Title, Description, ... «Дашборд».

Для удобства восприятия строки с кодом ответа 4xx и 5xx выделены красным цветом, редиректы 3xx – светло-зеленым. Изображения выделены зеленым цветом шрифта, стили CSS – также зеленым, а JS-скрипты – коричневым.

Правый клик по заголовку таблицы вызывает контекстное меню, содержащее список столбцов данной вкладки с галочками, при помощи которых можно скрывать или отображать интересующие столбцы.

Правый клик по заголовку таблицы вызывает контекстное меню

Клик по заголовку столбца сортирует таблицу, перетаскивание границы колонки меняет ее ширину, а клик по значку воронки – включает фильтр по интересующему столбцу.

Контекстные меню

Контекстное меню списка проектов:

  • Добавить проект
  • Добавить проекты списком
  • Редактировать проект
  • Настройки проекта
  • Пересканировать
  • Остановить
  • Удалить проект

Контекстное меню списка проектов

Контекстное меню в списке URL:

  • Пересканировать URL
  • Удалить URL
  • Открыть URL в новой вкладке
  • Открыть Robots.txt
  • Открыть URL в Web Archive
  • Копировать в буфер обмена
  • Дубликаты (по HTML, Title или Description)
  • Анализ контента
  • Микроразметка
  • Экспорт

Меню правого клика по строке таблицы

Меню правого клика по строке таблицы

Фильтрация данных

Поле «Поиск» над таблицей основных данных проекта ищет по URL-адресам. Для сложных выборок используйте кнопку «Фильтрация данных» (находится рядом с поиском):

  • «Добавить условие»: столбец, оператор и строка поиска.
  • Операторы – «Содержит», «Не содержит», «Точное соответствие».
  • Условия объединяются через «И» (все сразу) или «ИЛИ» (любое), по умолчанию выбрано «ИЛИ».

Фильтровать данные можно по любому столбцу активной вкладки: коду ответа, индексируемости, длине Title, уровню вложенности, числу ссылок, времени ответа и другим.

Фильтрация данных: условия по столбцам

Фильтрация данных: условия по столбцам

Например, «Код ответа» с точным соответствием 404 и «Уровень» с точным соответствием 1 – отобразит «битые» адреса, на которые ссылается главная страница сайта.

Фильтрация данных: код ответа с точным соответствием 404

Извлечение данных

Вкладка «Извлечение данных» отвечает за отображение собранных данных со страниц сайта: цен, артикулов, контактов, разметки и т.д. Правила задаются до обхода в настройках проекта, раздел «Извлечение данных».

Извлечение данных со страниц сайта

Результат содержится на одноименной вкладке – по столбцу на каждое правило. Если найденных результатов на каждое правило больше 1, то в этом случае добавляются столбцы с нумерацией (Email #1, Email #2) с найденными данными для данного правила.

Извлечение данных со страниц, тестирование правил XPath, CSSPath, RegExp

Встроенный модуль тестирования правил с отладчиком позволяет быстро получать HTML-содержимое любой страницы сайта методами XPath, CSSPath, RegEx и проверять работу запросов, а затем использовать отлаженные правила для парсинга данных в РокетКраулере.

Вкладка «Custom Search» панели основных данных предназначена для поиска текстовых фрагментов по исходному коду страниц во время сканирования сайта. Это может быть счетчик, забытый тег, текст, который надо найти или убедиться, что его нет или он есть.

Поиск текстовых фрагментов по исходному коду страниц

Для настройки поиска воспользуйтесь кнопкой «Настроить поиск по контенту»:

  • Условия поиска – строка поиска (фрагмент текста) в сочетании с одним из операторов: «Содержит», «Не содержит», «Точное соответствие», «Начинается», «Заканчивается», <ПУСТО>, <ОТСУТСТВУЕТ>.
  • Условия объединяются через условия «И» / «ИЛИ».

В результате, после сканирования сайта, в таблице появятся – адрес, условие, найдено ли и число совпадений, если какие-либо данные были найдены.

Расчет PageRank

Для расчета PageRank сначала необходимо просканировать сайт, чтобы собрать информацию обо всех внутренних и внешних ссылках. Число итераций по умолчанию составляет 15. При необходимости его можно изменить в настройках – доступный диапазон от 2 до 50, однако значение 15 считается наиболее подходящим для быстрого получения результата.

Пример расчета Google PageRank

После сканирования следует перейти на вкладку PageRank и запустить расчет по кнопке – в итоге будет рассчитан PageRank для каждой страницы сайта. Полученные значения автоматически сохраняются, значения промежуточных итераций намеренно не выводятся, чтобы не отвлекать пользователя лишними данными.

Page Speed

Вкладка «Page Speed» содержит оценки Google PageSpeed Insights (FCP, LCP, CLS и другие метрики) по страницам вашего сайта и запускается вручную по кнопке «Проверить».

Проверка страниц по Google PageSpeed Insights: FCP, LCP, CLS

API-ключ Google PageSpeed Insights и устройство (десктоп или мобильный) задаются в настройках проекта, раздел «Page Speed».

Анализ контента

Отчет «Анализ контента» доступен по правой кнопке мыши через контекстное меню на HTML-странице в таблице основных данных. У картинок, скриптов, стилей и строк выборок вроде ТОП-30 анкоров этот пункт неактивен.

Анализ контента: параметры текста и частотный словарь

Какую информацию дает отчет «Анализ контента»:

  • Статистика по длине текста и «чистого текста», число слов, словарь и словарь ядра.
  • Информация по «водности» и «тошноте» текста страницы, соотношению Text/HTML – с цветной индикацией.
  • ТОП-10 слов в ссылках на странице.
  • Частотный словарь из 1, 2 и 3 слов (N-граммы): количество, релевантность, доля в ядре и в тексте с возможностью фильтрации и экспорта данных.

Уникальность контента

Инструмент проверки уникальности контента предназначен для поиска дубликатов страниц и проверки уникальности текстов внутри сайта. Иными словами – это пакетная проверка группы URL между собой.

Проверка уникальности контента между страницами сайта

Когда это полезно:

  • Поиск полных дублей (например, страница с параметрами и ее ЧПУ-версия).
  • Поиск частичных совпадений (например, два похожих рецепта на 96% – один лучше удалить во избежание каннибализации трафика).
  • Выявление старых статей, случайно повторяющих одну и ту же тему.

Уникальность контента на сайте

Принцип работы инструмента: по списку URL скачивается содержимое, извлекается текст (без HEAD и HTML-тегов), затем алгоритм шинглов сравнивает страницы между собой. Длина шингла – 5.

Инструмент проверки уникальности контента позволяет находить как полные дубли (0% уникальности), так и частичные с разной степенью совпадения.

Микроразметка

Данный отчет также доступен через контекстное меню в таблице основных данных и отображает наличие 3-х видов разметки: Schema, Open Graph и карточки Twitter.

Наличие микроразметки: Schema, Open Graph и карточки Twitter

Граф визуализации

Кнопка «Визуализация» предназначена для отображения страниц и структуры сайта в виде интерактивного графа: страницы и разделы отображаются как узлы, ссылки – как связи. Цвет узла совпадает с кодом ответа страницы.

При желании можно фильтровать граф по кодам ответа страниц (2xx, 3xx, 4xx или 5xx), а также производить поиск по URL и находить страницу на графе.

Граф визуализации: отображение страниц и структуры сайта в виде интерактивного графа

Граф визуализации

На графе видны изолированные страницы и узлы, которые принимают на себя ссылки.
Также есть возможность экспорта графа в PNG-формат.

Панель «Отчеты»

Панель «Отчеты» предназначена для работы с расширенными фильтрами, статистикой и отчетами по проекту.

Статистика обхода сайта

Панель «Отчеты» → «Статистика обхода сайта» содержит сводку по типам контента проекта: типы ссылок, протокол, коды ответа, мета-директивы, Robots.txt, уровни вложенности.

Клик по одному из фильтров оставляет в таблице основных данных только URL-адреса, относящиеся к данному фильтру, а диаграмма в нижней части экрана показывает распределение ссылок по выбранной группе.

Статистика обхода сайта

Статистика обхода сайта

Статистика SEO

Панель «Отчеты» → «Статистика SEO» содержит список из порядка 100 предустановленных фильтров по основным SEO-ошибкам, распределенным по группам:

  • Изображения – «битые» изображения, без тегов ALT и TITLE, слишком «тяжелые».
  • Ссылки – «битые» ссылки, страницы без входящих и исходящих ссылок, ссылки Nofollow и Dofollow, страницы с превышением числа ссылок.
  • Перенаправления – 301 и 302 редиректы, цепочки и бесконечные редиректы, редиректы на внешний сайт и через Meta Refresh, ошибки Canonical, версии HTTP и HTTPS.
  • PageRank – висячие узлы и перенаправления.
  • Индексирование и сканирование – ошибки 4xx и 5xx, запреты в Robots.txt, Meta Robots и X-Robots-Tag, неверный тег Base, отсутствие файла Robots.txt.
  • Онпейдж – дубли страниц, Title, Description и H1; пустые и множественные теги; одинаковые Title и H1; короткие и длинные Title, Description и H1; размер контента и соотношение Text/HTML.
  • Локализация – языковые версии страниц и наличие тега Hreflang.

У каждого фильтра есть значок степени «важности» относительно выявленных страниц: серьезная ошибка, предупреждение или информация. Часть параметров для определения тех или иных критериев задаются в настройках проекта, раздел «SEO».

Статистика SEO: у каждой проверки значок важности

Статистика SEO: у каждой проверки значок важности
Группа «Онпейдж»: «Макс. длина Title» и «Короткий Title» считаются по границам из настроек SEO

Custom Filters

Панель «Отчеты» → «Custom Filters» содержит готовые выборки для нестандартной фильтрации данных проекта:

  • Все изображения, все внешние ссылки, все входящие и исходящие ссылки.
  • Коды ответа: 0 (Read Timeout), 2xx, 3xx, 4xx, 5xx.
  • ТОП внешних доменов, ТОП-30 анкоров, ТОП папок.
  • Ссылки: много исходящих (больше 100), мало входящих (меньше 5), циклические.

Custom Filters: готовые выборки

Custom Filters: готовые выборки

Данные выборки отображают результаты своей работы на вкладке «Все ссылки» в центральной таблице, однако в несвойственном ей формате. В выборках «Все...» и «Код ответа» результирующие строки содержат найденный адрес (столбец «Назначение») и страницу, на которой краулер встретил его первым (столбец «Ссылка»). Это бывает удобно, например, для выгрузки всех URL-источников для ссылок с кодом ответа 404. В выборках по «ТОП» результирующие строки содержат: домен, анкор или папку с числом ссылок.

Клик по URL-адресу в колонке «Назначение» откроет внизу на панели «URL Инфо», во «Входящих ссылках», все страницы, которые ведут на «битый» URL.

Выборка «4xx»: битые адреса и страницы, где они нашлись; внизу – все входящие ссылки на адрес, по которому кликнули в «Назначении»

Выборка «4xx»: битые адреса и страницы, где они нашлись; внизу – все входящие ссылки на адрес, по которому кликнули в «Назначении»

ТОП внешних доменов

Выборка «ТОП внешних доменов» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто повторяющихся внешних доменов, взятых со всех страниц сайта. Данный отчет поможет проанализировать внешнюю ссылочную массу и понять, на какие домены чаще всего ссылается ваш сайт.

ТОП внешних доменов: список наиболее часто повторяющихся внешних доменов

ТОП анкоров

Выборка «ТОП-30 анкоров» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто повторяющихся анкоров ссылок, взятых со всех страниц сайта. По отчету видно, не размыт ли текущий анкор-лист и не ведут ли одинаковые анкоры на разные страницы сайта.

ТОП-30 анкоров: тексты ссылок по числу повторений и диаграмма

ТОП папок

Выборка «ТОП папок» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто использующихся путей на сайте, что может помочь в более глубоком изучении его структуры.

ТОП папок: список наиболее часто использующихся путей на сайте

Общие

Данная вкладка отображает общие параметры выделенного URL в формате списка: код ответа, тип контента, время ответа, статус, Title, Description, H1, уровень вложенности, внутренние и внешние ссылки и т.п.

Общие параметры выделенного URL в формате списка

Структура сайта

Вкладка «Структура» на правой панели дополнительных данных содержит разделы сайта, а также число страниц в каждом разделе.

Дерево «Структура сайта» со свернутыми ветками

Дерево «Структура сайта» со свернутыми ветками

Кнопка «Структура сайта» – предназначена для отображения структуры сайта в графическом виде в виде дерева страниц от главной к страницам, на которые с нее ведут ссылки, и дальше по уровням. У каждой страницы отображается ее URL, код ответа и содержимое тега Title. При желании дерево можно сохранить в PNG-формате.

По структуре видно, какие разделы перегружены, а какие почти пусты, и совпадает ли деление адресов с меню сайта.

Панель «Структура»: разделы сайта и число страниц

Панель «Структура»: разделы сайта и число страниц

Панель «URL Инфо»

Нижняя панель «URL Инфо» предназначена для отображения данных по адресу, на который был осуществлен клик в таблице с основными данными. Например, клик по ячейке в колонке «URL редиректа» откроет на панели «URL Инфо» вкладку с редиректами и ссылки на страницу, куда ведет редирект.

  • Вкладки «Входящие ссылки» и «Исходящие ссылки» – то, откуда ведут ссылки на страницу и куда ведут с нее, включая адрес, текст ссылки и ее атрибуты.
  • Вкладки «Canonical, Redirect, Alternate» – связанные с исходной ссылкой адреса: канонические ссылки, редиректы и ссылки типа «rel alternate».
  • Вкладка «Изображения» – все изображения выбранной страницы сайта.
  • Вкладки «Исходный код» и «Рендеринг» – исходный HTML-код страницы и ее вид в браузере. Вкладка «Рендеринг» доступна, только если в настройках проекта включено «Сканирование сайтов на JavaScript».

Нижняя панель «URL Инфо» предназначена для отображения данных по адресу

Соседние вкладки первого уровня:

  • Лог – логирование действий с проектом.
  • Новости – общая лента новостей.
  • Информация – описание ошибок при работе с панелью «Статистика SEO» (справа).

Дополнительно

Анализ домена

Блок «Анализ домена» содержит три кнопки на верхней панели, отображающие данные по домену активного проекта:

  • DNS – отображает DNS-записи домена: A, AAAA, CNAME, MX, NS, PTR, SOA, SRV, TXT.
  • SSL – информация, кому и кем выдан SSl-сертификат, срок его действия и домены в сертификате.
  • Ответ сервера – код ответа главной страницы сайта и информация по заголовкам ответа: cache-control, content-encoding, content-type, server и т.п.

DNS-записи домена проекта

DNS-записи домена проекта

Проверка редиректов

Инструмент для отслеживания цепочек перенаправлений (301, 302, 307, 308 редиректы), выявления цикличных редиректов (бесконечных) и проверки HTTP-статусов.

Данный инструмент анализирует коды состояния и заголовки сервера на каждом этапе, отмечая временные перенаправления (302 / 307), которые не участвуют в передаче PageRank.

Проверка 3xx редиректов

Длинные цепочки редиректов снижают индексацию и заставляют поисковые системы отказываться от индексации «глубоких» URL-адресов. Обеспечение того, чтобы старые URL-адреса указывали непосредственно на свой конечный канонический адрес с помощью одного постоянного перенаправления 301 или 308, сохраняет вашу видимость в поисковой выдаче.

Генерация Sitemap.xml

Кнопка «Генерация Sitemap.xml» предназначена для генерации карты сайта исходя из результатов сканирования проекта. Карта сайта генерируется по внутренним ссылкам сайта, отдающим код ответа 200 и имеющим формат «Text/HTML».

Генерация карты сайта Sitemap.xml

Если на сайте страниц больше, чем число, указанное в настройках Sitemap (например, больше 50 000), то в таком случае создастся индексный Sitemap, содержащий ссылки на XML-файлы, разбитые по 50 000 URL. Все эти XML-файлы будут скачены одним архивом.

Проверка списка URL

Кнопка «Проверить URL» находится под списком проектов и предназначена для проверки выбранных адресов без непосредственного обхода всего сайта.

Данный функционал пригодится, когда вам нужно перепроверить страницы произвольного сайта, проверить произвольный список URL или страницы из выгрузки Вебмастера.

Проверка URL: загрузка адресов из Sitemap

Проверка URL: загрузка адресов из Sitemap

Имеется три способа загрузки страниц:

  • Из буфера обмена – вставьте список страниц, один URL на строку.
  • Из файла – загрузка файла со списком адресов с локального диска.
  • Скачать Sitemap – импорт URL из карты сайта Sitemap.xml. Также доступны к анализу индексные файлы Sitemap.

После анализа URL необходимо задать название, после чего импортируемый список станет отдельным проектом и сразу начнет сканироваться.

Важно! Проверка идет только по данному списку страниц. Вглубь сайта краулер не идет.

Дашборд и экспорт

Дашборд проекта

Вкладка «Дашборд» отображает список всех проектов и их основных параметров на одном экране:

  • Дата проверки, адрес сайта, число проверенных страниц и ссылок, всего ошибок.
  • Уровень оптимизации сайта – оценка по шкале от 0 до 100.
  • Счетчики ошибок, предупреждений и информационных замечаний, а также диаграмма по критичности ошибок: высокая, средняя, низкая, ошибок нет.
  • Таблица по тем же группам, что и «Статистика SEO»: изображения, ссылки, перенаправления, PageRank, индексирование, онпейдж, локализация. Для каждой проверки – число ошибок, предупреждений, замечаний и их степень важности.

Вкладка «Дашборд»

Вкладка «Дашборд»

Возможен экспорт данных дашборда в Excel и PDF.

Дашборд списка проектов

Кнопка «Дашборд», находящаяся под списком проектов, открывает другой экран – сводку по всем проектам: скриншот сайта, прогресс и дата последнего сканирования, потоки, скорость, время, число страниц, Индекс Яндекса и Google, ИКС, Ahrefs DR.

Тут же проект можно отредактировать, открыть его настройки, пересканировать, перейти в проект или удалить.

Дашборд по всем проектам

Сводка по всем проектам

Экспорт данных

  • Таблица основных данных – кнопка «Экспорт» над таблицей (либо через контекстное меню) выгружает данные текущей вкладки в CSV (Excel).
  • Дашборд – в Excel или PDF-формат.
  • Анализ контента – кнопка «Экспорт» в окне анализа.
  • Структура сайта и граф визуализации – изображение в формате PNG.

Тарифы

Выбор тарифа доступен в личном кабинете, раздел Тарифы. Сканирование сайтов оплачивается с баланса за каждый проверенный URI: чем выше тариф, тем ниже цена за URI и выше лимиты.

Базовый тариф является бесплатным, но с некоторыми ограничениями.
Переход на более высокий тариф оплачивается единоразово.

Актуальные цены, стоимость URI и бонусы при пополнении – представлены на странице Тарифы.

API

Возможность работы с сервисом через публичный API РокетКраулера: проекты, URL, фильтры и запуск сканирования – все те же данные, что в интерфейсе.