РокетКраулер – это онлайн-краулер для технического SEO-аудита сайтов, позволяющий в режиме реального времени отслеживать ошибки сервера, редиректы, дубликаты контента, скорость загрузки и перелинковку, а также сегментировать страницы и формировать отчеты в Excel и PDF для улучшения позиций в поисковой выдаче.
Содержание
- Начало работы
- Настройки проекта
- Работа с проектом
- Дополнительно
- Дашборд и экспорт
- Тарифы
- API
Начало работы
РокетКраулер работает прямо в браузере в виде облачного онлайн сервиса. Теперь можно проводить аудит сайтов с любого устройства (Windows, Linux, MacOS), не устанавливая дополнительные программы и не нагружая ваш компьютер.
Регистрация и вход
После регистрации на сайте, в личном кабинете, необходимо пополнить баланс и выбрать наиболее подходящий тариф, после чего можно переходить в раздел «Проекты» для начала работы (по умолчанию пользователю доступен бесплатный тариф «Базовый», однако его рекомендуется использовать лишь для ознакомления с работой системы в виду определенных ограничений).
Первый запуск
Для добавления проекта и начала сканирования необходимо ввести адрес сайта в поле URL и нажать на кнопку «Старт», после чего создастся проект и начнется сканирование.
Настройки проекта (шестеренка справа от кнопки «Стоп») меняются до запуска сканирования и содержат множество параметров для тонкой настройки технического аудита сайта. Во время сканирования сайта настройки заблокированы.

Во время сканирования внизу экрана отображается строка прогресса, а также текущий статус сканирования (число просканированных страниц, текущая скорость сканирования, количество активных потоков и время сканирования сайта). Подробная информация по каждому URL-адресу открывается в панели «URL Инфо» по клику на интересующий URL в основной таблице с данными сайта.
При необходимости можно приостановить обход сайта, нажав на кнопку «Пауза», либо остановить его по кнопке «Стоп».
На вкладке «Лог» на нижней панели «URL Инфо» отображается история запусков сканирований данного проекта (а также прочая информация по его статусам).
Настройки проекта
Настройки проекта по большей части являются общими для всех проектов аккаунта и доступны в контекстном меню списка проектов, а также по кнопке с шестеренкой справа от кнопки «Стоп». Индивидуальными для проектов являются 3 раздела: «Виртуальный Robots.txt», «Исключить URL» и «Следовать URL». Изменение настроек доступно только когда нет проектов в состоянии сканирования.
Основные настройки
Настройки, отвечающие за быстродействие и область обхода краулера.

| Параметр | Значение по умолчанию | Описание |
| Количество потоков | 10 |
Число URL, обрабатывающихся одновременно. Чем это значение больше – тем быстрее идет сканирование сайта. Максимальное значение задается тарифом. |
| Максимальная глубина | 10 |
Уровень вложенности, дальше которого обход не идет. У главной уровень = 0. |
| Время сканирования, ч | 0 |
0 – без ограничения. Обход останавливается по истечении времени. |
| Задержка между запросами, мс | 0 |
Пауза для сайтов, которые блокируют частые запросы к себе. |
| Таймаут запроса, с | 10 |
Сколько ждать ответа, прежде чем считать адрес недоступным. |
| Таймаут загрузки AJAX, с | 7 |
Сколько ждать выполнения скриптов при сканировании сайтов на JavaScript. |
| Максимальное число редиректов | 5 |
Длина цепочки редиректов, дальше которой краулер не идет. |
| Максимальное число сканируемых страниц | 500 000 |
Обход сайта останавливается на этом значении. Удобно, чтобы проверить часть большого сайта. Максимальное значение задается тарифом. |
| Сохранять историю сканирований | выкл. |
Сохранение результатов прошлых обходов сайта: можно открыть по дате обхода и сравнить с текущими данными. Доступно только на тарифе «Профи». |
| Сканирование сайтов на JavaScript | выкл. |
Страницы открываются в виртуальном браузере и выполняют полноценный рендер сайта. Необходимо сайтам, чей контент собирается на JavaScript. |
Сканирование
Раздел позволяет указать сканеру, какой контент учитывать и каким правилам следовать при сканировании сайта.

Блок «Учитывать контент» отвечает за то, какие URL-адреса попадут в проект:
- HTML, CSS, JavaScript, изображения, видео, документы...
- Внешние ссылки – включите этот пункт, чтобы найти битые ссылки на чужие сайты.
Блок «Правила сканирования» отвечает за то, какие директивы соблюдает краулер:
- Опции: Robots.txt, nofollow, meta robots, canonical,
<base>, X-Robots-Tag, Clean-param. Если выключить одно из правил, краулер его проигнорирует – например, пройдет по разделам, закрытым в файле Robots.txt. - #Якоря и поддомены. С поддоменами краулер обходит их вместе с основным доменом, с якорями – считает адреса с решетками # отдельными самостоятельными URL.
Режим Cookies:
- «Постоянные» (по умолчанию) – весь обход идет в рамках одной сессии. Важно для сайтов, которые без cookies не пускают.
- «Сессионные» – каждый запрос открывается с новой сессией.
- «Игнорировать» – cookies не используются.
SEO
Критерии учета корректности мета-тегов, за которыми страница попадает в раздел с ошибками на панели «Статистика SEO». Настраивайте раздел под требования конкретного аудита.

| Параметр | MIN | MAX |
| Длина Title | 30 | 70 |
| Длина Keywords | 50 | 250 |
| Длина Description | 75 | 250 |
| Длина H1-H6 | 5 | 60 |
| Длина контента | 500 | 50 000 |
| Число внутренних ссылок | – | 100 |
| Число внешних ссылок | – | 10 |
| Размер изображения, Кб | – | 200 |
| Соотношение Text/HTML, % | 50 | – |
Виртуальный Robots.txt
Переопределение директив текущего физического файла Robots.txt виртуальными директивами для возможности изменения правил Robots.txt без необходимости его физической правки. Опция настраивается индивидуально для каждого конкретного проекта.

Для чего это может быть полезно:
- Проверка новых правил до того, как выложить их на сайт.
- Возможность сканирования закрытых разделов сайта или отключение учета определенных разделов, не трогая рабочий физический Robots.txt.
Проверка индексации
Возможность проверить наличие страниц сайта в индексе поисковых систем Яндекс и Google используя один из внешних сервисов:
- Сервис проверки индексации – Яндекс Search API, XMLProxy (Яндекс), XMLRiver и XMLStock (Яндекс или Google).
- Ссылка для совершения запроса – адрес запроса к XML-API из вашего аккаунта в выбранном сервисе.

Запросы оплачиваются в выбранном сервисе по его тарифам в вашем личном кабинете конкретного сервиса.
User Agent
С определенным User-Agent можно увидеть сайт так, как его получает поисковый бот или мобильный браузер, и проверить правила Robots.txt для нужного бота.
- Список предустановленных User-Agent: RocketCrawler (по умолчанию), YandexBot, YandexImages, GoogleBot, Googlebot-Image, Googlebot-Mobile, BingBot, Yahoo! Slurp, Chrome, Firefox, IE8, IE10, IE11, iPhone, Android, Microsoft Edge и «Задано пользователем».
- User-Agent для HTTP – строка в запросах к сайту. По умолчанию
RocketCrawlerbot/1.0; +https://rocketcrawler.ru/. - User-Agent для Robots – User-Agent, по которому краулер учитывает свою секцию в файле Robots.txt (при ее наличии). По умолчанию
RocketCrawler.

HTTP-заголовки
Возможность установить собственные заголовки запроса: пары «имя – значение», например Referer, Accept-Language или Cache-Control.

Возможность редактировать и добавлять HTTP-заголовки часто бывает полезна при парсинге сайтов, которые имеют особые (не стандартные) требования к заголовкам запросов к страницам данного сайта.
Первая строка по умолчанию – User-Agent – неактивна, так как ее значение берется из настроек раздела «User Agent».
Proxy-серверы
Прокси обычно используются в случаях, когда сайт блокирует работу краулера или отдает разные данные для разных стран. Тогда есть возможность осуществлять доступ к сайту со сторонних IP-адресов.

В таблице для каждого прокси указывается его Host / Port, логин / пароль, а также страна и таймаут ответа при положительной проверке прокси-сервера.
- Кнопки «Добавить» и «Добавить списком» – добавление проси-серверов по одному или сразу группой.
- Кнопка «Проверить» проверяет работоспособность прокси.
- Кнопка «Удалить нерабочие» – чистит список от нерабочих адресов.
Исключить URL
Раздел предназначен для исключения из обхода определенных разделов сайта и является индивидуальным для каждого проекта.

Пример правила: https://example.com/some-folder/.* (списки регулярных выражений, по одному на строку).
Совпадающие по условию адреса краулер пропускает (например: фильтры, сортировки, личный кабинет).
Следовать URL
Раздел предназначен для сканирования определенных разделов сайта и является индивидуальным для каждого проекта.

Пример правила: https://example.com/some-folder/.* (списки регулярных выражений, по одному на строку).
Eсли раздел заполнен, краулер обходит только совпадающие по условию адреса. Удобно, чтобы проверить один раздел большого сайта.
PageRank
Расчет внутреннего PageRank производится исходя из наличия просканированных страниц и внутренней перелинковки сайта. Расчет Google PageRank дает понимание, какие страницы получают больше ссылочного «веса», а какие остаются без него.
По умолчанию число итераций для расчета PageRank = 15 (чем больше итераций, тем точнее расчет, однако зачастую 15 итераций вполне хватает для расчета).

Доступны 2 вида формулы расчета – классическая (по умолчанию) и расширенная, с поправкой на число страниц сайта. Для анализа перелинковки разница между ними невелика.
Расчет запускается кнопкой «Рассчитать PageRank» на одноименной вкладке. При этом у каждой страницы видно число входящих, внутренних и внешних ссылок.
Page Speed
Раздел «Page Speed» предназначен для настройки проверки скорости загрузки страниц сайта через специальный API. Проверка скорости загрузки страниц осуществляется в инструменте Google PageSpeed Insights через его API для десктопа или мобильных устройств.

Основное внимание уделяется Core Web Vitals, а также вспомогательным метрикам:
- LCP (Largest Contentful Paint): время отрисовки самого крупного элемента контента. Хорошо: <= 2,5 с.
- INP (Interaction to Next Paint): задержка отклика на взаимодействие с пользователем. Хорошо: <= 200 мс.
- CLS (Cumulative Layout Shift): смещение макета страницы. Хорошо: <= 0,1.
- FCP (First Contentful Paint): время отрисовки первого контента. Хорошо: <= 1,8 с.
- TTFB (Time to First Byte): время до первого байта (экспериментальная метрика). Хорошо: <= 800 мс.
Аналитика
Возможность интеграции РокетКраулер с API Яндекс Вебмастера, Яндекс Метрики и Google Search Console.
Интеграция происходит в полуавтоматическом режиме посредством получения специального «токена», через который происходит дальнейшее взаимодействие с API. Для удобства можно подключить сразу несколько аккаунтов Яндекса и Google.

После подключения одной из систем аналитики по каждому URL-адресу на вкладке «Аналитика» становится доступной информация об индексации страницы, визитах, отказах, глубине просмотра, кликах, показах, CTR и позициях.
Также есть возможность экспорта данных из систем аналитики в Excel.
Извлечение данных
Раздел «Извлечение данных» является индивидуальным для каждого проекта и предназначен для настройки и тестирования правил скрейпинга данных (извлечение данных, значений и свойств из HTML-страниц).
Извлечение данных возможно тремя способами: Regex, XPath и CSSPath. Каждый из способов имеет свои нюансы и для каждого необходим определенный уровень компетенции.

Для удобства есть возможность тестирования правил, а также их сохранения в общий список правил для последующего использования.
Определения:
- Имя – заголовок столбца в результате.
- Тип – XPath, CSSPath или RegEx.
- Правило – сам селектор или выражение; рядом – проверка синтаксиса и предпросмотр.
- Извлечь – просто текст, внутренний HTML, внешний HTML или атрибут (имя атрибута указывается отдельно).
Правила собираются в шаблоны: их можно создавать, переименовывать и удалять. Готовые шаблоны собирают email, цены, Google Analytics ID, язык страницы, JSON-LD, H1, ссылки nofollow, ugc и sponsored и другое. По умолчанию выбран «Emails (CSSPath)» с правилом a[href^="mailto:"] и атрибутом href.
Авторизация
Возможность авторизации на сайтах, закрытых базовой авторизацией сервера (.htpasswd), – например, для сканирования тестовой копии сайта.

Гостевая ссылка
Это специальная ссылка, по которой проект можно показать клиенту или коллеге без необходимости входа в аккаунт.

По гостевой ссылке данные доступны только для просмотра: запускать сканирование, удалять проекты и менять настройки нельзя. На каждый проект доступно до 5 ссылок.
Работа с проектом
Главный экран сервиса состоит из четырех блоков:
- Список проектов (слева).
- Таблица с основными данными и вкладками (в центре).
- Панель «Отчеты» (справа).
- Панель «URL Инфо» (внизу).

Вкладки, столбцы и панели
Вкладки таблицы с основными данными проекта (в центре экрана) являются фильтрами по основным категориям контента выбранного проекта: «Все ссылки», «Внутренние», «Внешние», «Протокол», «Время отклика», Title, Description, ... «Дашборд».
Для удобства восприятия строки с кодом ответа 4xx и 5xx выделены красным цветом, редиректы 3xx – светло-зеленым. Изображения выделены зеленым цветом шрифта, стили CSS – также зеленым, а JS-скрипты – коричневым.
Правый клик по заголовку таблицы вызывает контекстное меню, содержащее список столбцов данной вкладки с галочками, при помощи которых можно скрывать или отображать интересующие столбцы.

Клик по заголовку столбца сортирует таблицу, перетаскивание границы колонки меняет ее ширину, а клик по значку воронки – включает фильтр по интересующему столбцу.
Контекстные меню
Контекстное меню списка проектов:
- Добавить проект
- Добавить проекты списком
- Редактировать проект
- Настройки проекта
- Пересканировать
- Остановить
- Удалить проект

Контекстное меню в списке URL:
- Пересканировать URL
- Удалить URL
- Открыть URL в новой вкладке
- Открыть Robots.txt
- Открыть URL в Web Archive
- Копировать в буфер обмена
- Дубликаты (по HTML, Title или Description)
- Анализ контента
- Микроразметка
- Экспорт

Фильтрация данных
Поле «Поиск» над таблицей основных данных проекта ищет по URL-адресам. Для сложных выборок используйте кнопку «Фильтрация данных» (находится рядом с поиском):
- «Добавить условие»: столбец, оператор и строка поиска.
- Операторы – «Содержит», «Не содержит», «Точное соответствие».
- Условия объединяются через «И» (все сразу) или «ИЛИ» (любое), по умолчанию выбрано «ИЛИ».
Фильтровать данные можно по любому столбцу активной вкладки: коду ответа, индексируемости, длине Title, уровню вложенности, числу ссылок, времени ответа и другим.

Например, «Код ответа» с точным соответствием 404 и «Уровень» с точным соответствием 1 – отобразит «битые» адреса, на которые ссылается главная страница сайта.

Извлечение данных
Вкладка «Извлечение данных» отвечает за отображение собранных данных со страниц сайта: цен, артикулов, контактов, разметки и т.д. Правила задаются до обхода в настройках проекта, раздел «Извлечение данных».

Результат содержится на одноименной вкладке – по столбцу на каждое правило. Если найденных результатов на каждое правило больше 1, то в этом случае добавляются столбцы с нумерацией (Email #1, Email #2) с найденными данными для данного правила.

Встроенный модуль тестирования правил с отладчиком позволяет быстро получать HTML-содержимое любой страницы сайта методами XPath, CSSPath, RegEx и проверять работу запросов, а затем использовать отлаженные правила для парсинга данных в РокетКраулере.
Custom Search
Вкладка «Custom Search» панели основных данных предназначена для поиска текстовых фрагментов по исходному коду страниц во время сканирования сайта. Это может быть счетчик, забытый тег, текст, который надо найти или убедиться, что его нет или он есть.

Для настройки поиска воспользуйтесь кнопкой «Настроить поиск по контенту»:
- Условия поиска – строка поиска (фрагмент текста) в сочетании с одним из операторов: «Содержит», «Не содержит», «Точное соответствие», «Начинается», «Заканчивается», <ПУСТО>, <ОТСУТСТВУЕТ>.
- Условия объединяются через условия «И» / «ИЛИ».
В результате, после сканирования сайта, в таблице появятся – адрес, условие, найдено ли и число совпадений, если какие-либо данные были найдены.
Расчет PageRank
Для расчета PageRank сначала необходимо просканировать сайт, чтобы собрать информацию обо всех внутренних и внешних ссылках. Число итераций по умолчанию составляет 15. При необходимости его можно изменить в настройках – доступный диапазон от 2 до 50, однако значение 15 считается наиболее подходящим для быстрого получения результата.

После сканирования следует перейти на вкладку PageRank и запустить расчет по кнопке – в итоге будет рассчитан PageRank для каждой страницы сайта. Полученные значения автоматически сохраняются, значения промежуточных итераций намеренно не выводятся, чтобы не отвлекать пользователя лишними данными.
Page Speed
Вкладка «Page Speed» содержит оценки Google PageSpeed Insights (FCP, LCP, CLS и другие метрики) по страницам вашего сайта и запускается вручную по кнопке «Проверить».

API-ключ Google PageSpeed Insights и устройство (десктоп или мобильный) задаются в настройках проекта, раздел «Page Speed».
Анализ контента
Отчет «Анализ контента» доступен по правой кнопке мыши через контекстное меню на HTML-странице в таблице основных данных. У картинок, скриптов, стилей и строк выборок вроде ТОП-30 анкоров этот пункт неактивен.

Какую информацию дает отчет «Анализ контента»:
- Статистика по длине текста и «чистого текста», число слов, словарь и словарь ядра.
- Информация по «водности» и «тошноте» текста страницы, соотношению Text/HTML – с цветной индикацией.
- ТОП-10 слов в ссылках на странице.
- Частотный словарь из 1, 2 и 3 слов (N-граммы): количество, релевантность, доля в ядре и в тексте с возможностью фильтрации и экспорта данных.
Уникальность контента
Инструмент проверки уникальности контента предназначен для поиска дубликатов страниц и проверки уникальности текстов внутри сайта. Иными словами – это пакетная проверка группы URL между собой.

Когда это полезно:
- Поиск полных дублей (например, страница с параметрами и ее ЧПУ-версия).
- Поиск частичных совпадений (например, два похожих рецепта на 96% – один лучше удалить во избежание каннибализации трафика).
- Выявление старых статей, случайно повторяющих одну и ту же тему.

Принцип работы инструмента: по списку URL скачивается содержимое, извлекается текст (без HEAD и HTML-тегов), затем алгоритм шинглов сравнивает страницы между собой. Длина шингла – 5.
Инструмент проверки уникальности контента позволяет находить как полные дубли (0% уникальности), так и частичные с разной степенью совпадения.
Микроразметка
Данный отчет также доступен через контекстное меню в таблице основных данных и отображает наличие 3-х видов разметки: Schema, Open Graph и карточки Twitter.

Граф визуализации
Кнопка «Визуализация» предназначена для отображения страниц и структуры сайта в виде интерактивного графа: страницы и разделы отображаются как узлы, ссылки – как связи. Цвет узла совпадает с кодом ответа страницы.
При желании можно фильтровать граф по кодам ответа страниц (2xx, 3xx, 4xx или 5xx), а также производить поиск по URL и находить страницу на графе.

На графе видны изолированные страницы и узлы, которые принимают на себя ссылки.
Также есть возможность экспорта графа в PNG-формат.
Панель «Отчеты»
Панель «Отчеты» предназначена для работы с расширенными фильтрами, статистикой и отчетами по проекту.
Статистика обхода сайта
Панель «Отчеты» → «Статистика обхода сайта» содержит сводку по типам контента проекта: типы ссылок, протокол, коды ответа, мета-директивы, Robots.txt, уровни вложенности.
Клик по одному из фильтров оставляет в таблице основных данных только URL-адреса, относящиеся к данному фильтру, а диаграмма в нижней части экрана показывает распределение ссылок по выбранной группе.

Статистика SEO
Панель «Отчеты» → «Статистика SEO» содержит список из порядка 100 предустановленных фильтров по основным SEO-ошибкам, распределенным по группам:
- Изображения – «битые» изображения, без тегов ALT и TITLE, слишком «тяжелые».
- Ссылки – «битые» ссылки, страницы без входящих и исходящих ссылок, ссылки Nofollow и Dofollow, страницы с превышением числа ссылок.
- Перенаправления – 301 и 302 редиректы, цепочки и бесконечные редиректы, редиректы на внешний сайт и через Meta Refresh, ошибки Canonical, версии HTTP и HTTPS.
- PageRank – висячие узлы и перенаправления.
- Индексирование и сканирование – ошибки 4xx и 5xx, запреты в Robots.txt, Meta Robots и X-Robots-Tag, неверный тег Base, отсутствие файла Robots.txt.
- Онпейдж – дубли страниц, Title, Description и H1; пустые и множественные теги; одинаковые Title и H1; короткие и длинные Title, Description и H1; размер контента и соотношение Text/HTML.
- Локализация – языковые версии страниц и наличие тега Hreflang.
У каждого фильтра есть значок степени «важности» относительно выявленных страниц: серьезная ошибка, предупреждение или информация. Часть параметров для определения тех или иных критериев задаются в настройках проекта, раздел «SEO».

Custom Filters
Панель «Отчеты» → «Custom Filters» содержит готовые выборки для нестандартной фильтрации данных проекта:
- Все изображения, все внешние ссылки, все входящие и исходящие ссылки.
- Коды ответа: 0 (Read Timeout), 2xx, 3xx, 4xx, 5xx.
- ТОП внешних доменов, ТОП-30 анкоров, ТОП папок.
- Ссылки: много исходящих (больше 100), мало входящих (меньше 5), циклические.

Данные выборки отображают результаты своей работы на вкладке «Все ссылки» в центральной таблице, однако в несвойственном ей формате. В выборках «Все...» и «Код ответа» результирующие строки содержат найденный адрес (столбец «Назначение») и страницу, на которой краулер встретил его первым (столбец «Ссылка»). Это бывает удобно, например, для выгрузки всех URL-источников для ссылок с кодом ответа 404. В выборках по «ТОП» результирующие строки содержат: домен, анкор или папку с числом ссылок.
Клик по URL-адресу в колонке «Назначение» откроет внизу на панели «URL Инфо», во «Входящих ссылках», все страницы, которые ведут на «битый» URL.

ТОП внешних доменов
Выборка «ТОП внешних доменов» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто повторяющихся внешних доменов, взятых со всех страниц сайта. Данный отчет поможет проанализировать внешнюю ссылочную массу и понять, на какие домены чаще всего ссылается ваш сайт.

ТОП анкоров
Выборка «ТОП-30 анкоров» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто повторяющихся анкоров ссылок, взятых со всех страниц сайта. По отчету видно, не размыт ли текущий анкор-лист и не ведут ли одинаковые анкоры на разные страницы сайта.

ТОП папок
Выборка «ТОП папок» – на панели «Отчеты» → «Custom Filters» отображает список наиболее часто использующихся путей на сайте, что может помочь в более глубоком изучении его структуры.

Общие
Данная вкладка отображает общие параметры выделенного URL в формате списка: код ответа, тип контента, время ответа, статус, Title, Description, H1, уровень вложенности, внутренние и внешние ссылки и т.п.

Структура сайта
Вкладка «Структура» на правой панели дополнительных данных содержит разделы сайта, а также число страниц в каждом разделе.

Кнопка «Структура сайта» – предназначена для отображения структуры сайта в графическом виде в виде дерева страниц от главной к страницам, на которые с нее ведут ссылки, и дальше по уровням. У каждой страницы отображается ее URL, код ответа и содержимое тега Title. При желании дерево можно сохранить в PNG-формате.
По структуре видно, какие разделы перегружены, а какие почти пусты, и совпадает ли деление адресов с меню сайта.

Панель «URL Инфо»
Нижняя панель «URL Инфо» предназначена для отображения данных по адресу, на который был осуществлен клик в таблице с основными данными. Например, клик по ячейке в колонке «URL редиректа» откроет на панели «URL Инфо» вкладку с редиректами и ссылки на страницу, куда ведет редирект.
- Вкладки «Входящие ссылки» и «Исходящие ссылки» – то, откуда ведут ссылки на страницу и куда ведут с нее, включая адрес, текст ссылки и ее атрибуты.
- Вкладки «Canonical, Redirect, Alternate» – связанные с исходной ссылкой адреса: канонические ссылки, редиректы и ссылки типа «rel alternate».
- Вкладка «Изображения» – все изображения выбранной страницы сайта.
- Вкладки «Исходный код» и «Рендеринг» – исходный HTML-код страницы и ее вид в браузере. Вкладка «Рендеринг» доступна, только если в настройках проекта включено «Сканирование сайтов на JavaScript».

Соседние вкладки первого уровня:
- Лог – логирование действий с проектом.
- Новости – общая лента новостей.
- Информация – описание ошибок при работе с панелью «Статистика SEO» (справа).
Дополнительно
Анализ домена
Блок «Анализ домена» содержит три кнопки на верхней панели, отображающие данные по домену активного проекта:
- DNS – отображает DNS-записи домена: A, AAAA, CNAME, MX, NS, PTR, SOA, SRV, TXT.
- SSL – информация, кому и кем выдан SSl-сертификат, срок его действия и домены в сертификате.
- Ответ сервера – код ответа главной страницы сайта и информация по заголовкам ответа: cache-control, content-encoding, content-type, server и т.п.

Проверка редиректов
Инструмент для отслеживания цепочек перенаправлений (301, 302, 307, 308 редиректы), выявления цикличных редиректов (бесконечных) и проверки HTTP-статусов.
Данный инструмент анализирует коды состояния и заголовки сервера на каждом этапе, отмечая временные перенаправления (302 / 307), которые не участвуют в передаче PageRank.

Длинные цепочки редиректов снижают индексацию и заставляют поисковые системы отказываться от индексации «глубоких» URL-адресов. Обеспечение того, чтобы старые URL-адреса указывали непосредственно на свой конечный канонический адрес с помощью одного постоянного перенаправления 301 или 308, сохраняет вашу видимость в поисковой выдаче.
Генерация Sitemap.xml
Кнопка «Генерация Sitemap.xml» предназначена для генерации карты сайта исходя из результатов сканирования проекта. Карта сайта генерируется по внутренним ссылкам сайта, отдающим код ответа 200 и имеющим формат «Text/HTML».

Если на сайте страниц больше, чем число, указанное в настройках Sitemap (например, больше 50 000), то в таком случае создастся индексный Sitemap, содержащий ссылки на XML-файлы, разбитые по 50 000 URL. Все эти XML-файлы будут скачены одним архивом.
Проверка списка URL
Кнопка «Проверить URL» находится под списком проектов и предназначена для проверки выбранных адресов без непосредственного обхода всего сайта.
Данный функционал пригодится, когда вам нужно перепроверить страницы произвольного сайта, проверить произвольный список URL или страницы из выгрузки Вебмастера.

Имеется три способа загрузки страниц:
- Из буфера обмена – вставьте список страниц, один URL на строку.
- Из файла – загрузка файла со списком адресов с локального диска.
- Скачать Sitemap – импорт URL из карты сайта Sitemap.xml. Также доступны к анализу индексные файлы Sitemap.
После анализа URL необходимо задать название, после чего импортируемый список станет отдельным проектом и сразу начнет сканироваться.
Важно! Проверка идет только по данному списку страниц. Вглубь сайта краулер не идет.
Дашборд и экспорт
Дашборд проекта
Вкладка «Дашборд» отображает список всех проектов и их основных параметров на одном экране:
- Дата проверки, адрес сайта, число проверенных страниц и ссылок, всего ошибок.
- Уровень оптимизации сайта – оценка по шкале от 0 до 100.
- Счетчики ошибок, предупреждений и информационных замечаний, а также диаграмма по критичности ошибок: высокая, средняя, низкая, ошибок нет.
- Таблица по тем же группам, что и «Статистика SEO»: изображения, ссылки, перенаправления, PageRank, индексирование, онпейдж, локализация. Для каждой проверки – число ошибок, предупреждений, замечаний и их степень важности.

Возможен экспорт данных дашборда в Excel и PDF.
Дашборд списка проектов
Кнопка «Дашборд», находящаяся под списком проектов, открывает другой экран – сводку по всем проектам: скриншот сайта, прогресс и дата последнего сканирования, потоки, скорость, время, число страниц, Индекс Яндекса и Google, ИКС, Ahrefs DR.
Тут же проект можно отредактировать, открыть его настройки, пересканировать, перейти в проект или удалить.

Экспорт данных
- Таблица основных данных – кнопка «Экспорт» над таблицей (либо через контекстное меню) выгружает данные текущей вкладки в CSV (Excel).
- Дашборд – в Excel или PDF-формат.
- Анализ контента – кнопка «Экспорт» в окне анализа.
- Структура сайта и граф визуализации – изображение в формате PNG.
Тарифы
Выбор тарифа доступен в личном кабинете, раздел Тарифы. Сканирование сайтов оплачивается с баланса за каждый проверенный URI: чем выше тариф, тем ниже цена за URI и выше лимиты.
Базовый тариф является бесплатным, но с некоторыми ограничениями.
Переход на более высокий тариф оплачивается единоразово.
Актуальные цены, стоимость URI и бонусы при пополнении – представлены на странице Тарифы.
API
Возможность работы с сервисом через публичный API РокетКраулера: проекты, URL, фильтры и запуск сканирования – все те же данные, что в интерфейсе.
