Техническая SEO-оптимизация сайтов

Начнем с проверки наличия и корректности заполнения файла robots.txt. Если вкратце, то это технический файл, в котором перечисляются директории сайта, доступные или закрытые для индексации поисковыми роботами. К слову, при посещении ресурса краулером, данный файл проверяется им в первую очередь.

Наличие файла можно проверить вручную, добавив в URL-адрес сайта следующую конструкцию:

«/robots.txt»

Либо с помощью панелей вебмастеров от Google или Яндекса.

Что следует закрывать от индексации:

- Административную часть CMS.
- Прочие технические страницы: формы регистрации/восстановления паролей, страницы оформления заказа и прочее.
- Страницы системы внутреннего поиска по сайту.
- Архив.
- Версии страниц для печати.
- Дублированный контент.
- RSS-лента.

Файл sitemap.xml содержит в себе структуру сайта в виде URL-адресов страниц, его наличие является обязательным для больших проектов. В идеале реализовать карту сайта таким образом, чтобы она обновлялась автоматически средствами CMS.

Требования к файлу карты сайта:

- Содержит только актуальные URL-адреса.
- В перечень документов не входят неканонические страницы.
- Корректно указан протокол соединения (например, https).
- Код ответа всех документов 200.
- Исключены страницы, которые закрыты от индексации (в robots.txt или иным способом).
- Карта сайта валидна, проверить можно в Яндекс.Вебмастере.

Редиректы (301 – постоянный, 302 – временный) показывают краулеру путь, по которому перемещена текущая страница. Однако бывают ситуации, когда цепочка редиректов не несет в себе смысла, что приводит к излишнему расходу краулингового бюджета.

Краулинговый бюджет – некий лимит количества страниц, который поисковый робот проиндексирует за определенный временной период. При его нецелесообразном расходовании могут возникнуть проблемы с индексацией целевых страниц.

Проверить редиректы на сайте можно с помощью специализированного софта, например, Screaming Frog SEO Spider.

Зеркала – это копии сайта (содержат в себе одинаковый контент) доступные по разным адресам. При наличии данной проблемы, поисковики объединяют подобные ресурсы в группы, но при этом в выдаче участвует только главное зеркало, все остальные исключаются.

Для того чтобы определить, является ли сайт зеркалом какого-либо ресурса, следует добавить его в панель Яндекс.Вебмастера. Если адрес не является главным зеркалом, то в этом случае в панели высветится об этом уведомление.

Битой считается такая ссылка, которая ведет на несуществующую страницу. Переходя по ней, система уведомляет об ошибке. Битые ссылки могут появляться в процессе редактирования сайта: удаления/переезда страниц, опечатка при создании Url-адреса и т.д. Чем сложнее сайт, тем, как правило, чаще появляются подобные ссылки.

Наличие битых ссылок усложняет процесс продвижения сайта тем, что при их большом количестве алгоритмы могут посчитать ресурс низкокачественным. К тому же, подобное явление ухудшает пользовательский опыт, негативно влияя на поведенческие факторы (например, растет процент отказов), которые напрямую влияют на ранжирование сайта.

Проверить наличие битых ссылок можно в панели Яндекс.Вебмастер: «Индексирование» – «Статистика обхода». Также можно просканировать сайт программой Screaming Frog SEO Spider.

Дубликаты страниц – идентичные по содержанию документы, но находящиеся по разным URL-адресам внутри сайта. При этом одинаковые страницы, которые находятся на региональных поддоменах не являются дублями.

Почему с дублями страниц необходимо бороться:

- Поисковые алгоритмы борются со страницами, имеющими одинаковое содержимое. Другими словами, в индекс попадет один из дубликатов, но часто выбор алгоритма падает не на целевую страницу.
- Если объединение в группу дублей не произошло, то подобные страницы начинают конкурировать между собой.
- Усложняется процесс индексации сайта, целевые страницы дольше попадают в поисковую базу.
- Создается дополнительная нагрузка на сервер сайта при индексации.

Чтобы найти страницы-дубли, перейдите в Вебмастер: Индексирование – Страницы в поиске – Исключенные страницы.

Далее нажмите на значок фильтра, установив значение «Удалено: дубль».

Скорость загрузки сайта может напрямую влиять на качество индексации краулерами, ранжирование в органической выдаче и на количество конверсий. Если говорить о конкретных цифрах, то в идеале страница должна загружаться не более 2-4 секунд. Все значения, что выше, могут вести к появлению следующих проблем:

- Посетители покидают сайт, не дождавшись его загрузки.
- Это ведет не только к снижению числа конверсий, но и к росту процента отказов.
- Процент отказа является одной из составляющих поведенческих факторов, которые оказывают влияние на ранжирование сайта и его страниц в поиске.

Для проверки скорости загрузки сайта можно воспользоваться бесплатным инструментом от Google. Кроме оценки, он покажет иерархию загрузки элементов страницы, с помощью чего можно определить наиболее тяжеловесные объекты и в дальнейшем оптимизировать их.

Одним из ключевых этапов создания и продвижения сайта является создание его структуры. Она определяет иерархию страниц ресурса, их принадлежность к категориям, каталогам или папкам.

Структура бывает:

- Двухуровневая. Встречается на простых (узконишевых) сайтах, ее суть заключается в том, что ресурс состоит из главной страницы и внутренних 2-го уровня.
- Древовидная. В этом случае присутствуют категории (подкатегории), которые объединяют страницы 3-го и последующих уровней.

Вот основные рекомендации от Яндекса касательно создания правильной структуры сайта:

- Каждая из страниц должна относиться к своей категории. - Если позволяет структура, то не следует располагать страницы более чем на пятом уровне. В противном случае может увеличиться время индексации подобных документов.
- В идеале URL-адрес страницы должен отображать всю иерархию пути, а также отражать ее содержимое.
- Исключить ситуацию, при которой в URL-адресе содержится множество повторений.
- Все URL-адреса должны быть в единой кодировке.
- Применяйте хлебные крошки для того, чтобы пользователь мог легко перемещаться между уровнями вложенности.

Посмотреть структуру сайта можно с помощью программы Screaming Frog SEO Spider.

Человеко-понятные URL-адреса представляют собой формат ссылок документов, который отображает содержимое страницы. Исходя из самого термина, подобные ссылки понятны пользователям. Большинство современных CMS поддерживают данный инструмент из коробки.

Преимущества ЧПУ:

- Возможность интегрировать ключевое слово, сделав ссылку релевантной интересам пользователей.
- Красивый и лаконичный вид облегчает навигацию пользователя по страницам сайта.
- Адрес не содержит в себе техническую информацию, что может улучшить безопасность сайта.

Проверить URL-адреса сайта также позволит программа Screaming Frog SEO Spider.

Внутренняя перелинковка частично относится к структуре сайта, но в этом пункте речь пойдет о самих ссылках. Правильно выстроенная внутренняя перелинковка документов позволяет:

- Поднять авторитетность определенных страниц в «глазах» поисковиков. Чем больше ссылок ведет на страницу, тем более она значимая, причем это касается не только внешних, но и внутренних ссылок.
- Наиболее авторитетные страницы сканируются роботами в первую очередь. Поэтому грамотная перелинковка позволяет значительно ускорить попадание новых страниц в индекс.
- Анкоры во внутренних ссылках увеличивают релевантность страницы относительно ключевых фраз, по которым она продвигается в поиске.
- Если ресурс имеет сложную структуру, то перелинковка улучшает юзабилити и положительно сказывается на поведенческих факторах.

Чтобы определить, какие страницы имеют наибольший авторитет в текущей структуре сайта, его можно просканировать в Screaming Frog SEO Spider.

Этот параметр касается исключительно структуры URL-адреса. Уровень вложенности URL – количество слешей в адресе страницы и данный термин применим исключительно к ЧПУ.

Основное, на что рекомендуется обратить внимание при построении URL-адресов, это на отображение в них структуры сайта. К слову, в Яндексе есть такое понятие, как навигационная цепочка – ссылки на разделы ресурса, к которым относится текущая страница.

Чтобы в сниппете отобразить навигационную цепочку (это может положительно сказаться на CTR), потребуется соблюсти некоторые правила оптимизации, одним из ключевых является соответствие дерева разделов сайта структуре URL-адреса страницы.

SSL – защищенный протокол, обеспечивающий шифрование передаваемых данных между сервером и браузером пользователя. Установленный SSL-сертификат позволяет защитить следующие типы данных:

- Учетные данные для входа в личный кабинет сайта.
- Информацию по операциям с кредитными картами и банковскими счетами.
- Полное имя, адрес проживания, дату рождения и т.д.
- Информацию их медицинских и юридических документов и прочее.

При отсутствии SSL-сертификата в браузере пользователя будет выводиться соответствующее предупреждение, что подрывает доверие к сайту. К слову, поисковики (особенно Google) относят наличие защищенного соединения к важнейшим факторам ранжирования.

Проверить наличие SSL-сертификата можно в сервисе 2ip.ru.

Если сайт имеет большое количество страниц и на нем ведутся постоянные работы по наполнению, часто возникают ситуации, при которых появляются битые ссылки. Перейдя по такому адресу, в ряде случаев пользователи покидают сайт. Чтобы этого избежать, помимо постоянно мониторинга и устранения битых ссылок, можно грамотно оформить страницу 404-ошибки:

- Выразите сожаление о том, что страница не найдена, при этом изъявив желание помочь.
- Разместите на ней ссылки на другие страницы сайта, которые пользуются наибольшим спросом. Это могут быть акции, скидки, главная, форма поиска и прочее.
- На случай, если пользователь пришел на данную страницу путем ручного ввода ее адреса, предложите перепроверить корректность указанной ссылки.
- Если уместно, используйте юмор и прочие креативные идеи.

Основная задача 404-страницы – сделать так, чтобы пользователь остался на сайте.

Код ответа сервера – трехзначное число, которое отдается сервером при обращении пользователя к сайту. Те страницы, которые должны быть проиндексированы, должны отдавать код 200. Также часто встречаются 3XX-редиректы, которые перенаправляют пользователя или поисковый краулер на другой адрес. При этом проверять коды ответов следует у всех типов страниц сайта.

Чтобы узнать коды ответов можно воспользоваться одним из парсеров (например, Screaming Frog SEO Spider), либо посетив панель Вебмастера: «Индексирование» – «Статистика обхода».

Сайты написаны на языке разметки HTML, которая включает в себя ряд правил и спецификаций (HTML5). Соблюдение валидности верстки может давать следующие преимущества:

- Увеличивается скорость загрузки страниц.
- Кроссбраузерность. Сайт корректно (так, как задумали разработчики) отображается в популярных браузерах.
- Улучшается индексация. Ошибки в коде могут привести к тому, что робот некорректно проиндексирует страницу.
- Улучшение поведенческих факторов. Если страницы отображаются с ошибками расположения элементов, то это может привести к ухудшению пользовательского опыта.

На практике большинство современных браузеров способны корректно отображать сайты с невалидной версткой. Но в идеале, конечно же, проверять страницы ресурса в специальном валидаторе.

Учитывая тот факт, что мобильный трафик во многих сферах начинает обгонять десктопный, поисковики обращают внимание на адаптивность сайта для всех типов устройств. Поэтому, чтобы участвовать в мобильной выдаче ресурс должен корректно отображаться на всех разрешениях экранов. Интересно то, что Яндекс имеет общую поисковую выдачу (для мобильных и десктопных устройств), а Google разделяет ее. Т.е., если у сайта нет мобильной версии, то в Google это повлияет лишь на ранжирование в соответствующей выдаче, а у Яндекса в целом пессимизирует ресурс.

Чтобы проверить адаптивность страниц, рекомендуется использовать бесплатный инструмент от Google.

Как помним из пункта про дубликаты, в силу разных обстоятельств они могут появляться у документов, что негативно сказывается на SEO-показателях сайта. Поэтому существуют следующие варианты указания канонических страниц:

1) На страницах-дубликатах в HTML-коде, в блоке <head> указываем ссылку на каноническую страницу с помощью специального тега: <link rel="canonical" href="https://www.example.com/ example"/>.
2) Данный способ больше подходит для документов, которые опубликованы не в HTML-формате. Следует настроить сервер таким образом, чтобы в HTTP-заголовке канонической страницы документа передавался следующий тег: Link: <http://www.example.com/example /file.pdf rel="canonical">.

Страницы пагинации являются дубликатами, особенно это актуально для алгоритмов Яндекса. Вариантов оптимизации подобных страниц несколько:

- Определение первой страницы листинга в качестве канонической, после чего на последующих проставляется соответствующий тег. Это наиболее правильный вариант решения проблемы.

- Закрыть от индексации все страницы, кроме первой. Этот метод может создать сложности для корректной индексации ресурса. Не рекомендуется его использовать.

- Создать страницу, на которой будут собраны все адреса документов, участвующих в листинге, например, карточки товаров. После чего определить эту страницу в роли канонической. Но тут могут возникнуть сложности, когда внутренних документов слишком много и вес такой страницы будет критическим.

Это обширная тема, но выделим основные ее пункты, которые относятся к технической оптимизации:

- Структурирование текста: использование заголовков H1-H6, списков, абзацев и всего прочего, что улучшает его восприятие пользователем.
- Не стоит забывать о мета-тегах title и description, которые могут попадать в сниппеты поисковых систем, а также влиять на ранжирование.

Используйте качественные изображения, релевантные опубликованному контенту на странице. Графика в первую очередь влияет на поведенческие и социальные факторы. Но не забывайте про оптимизацию веса картинок.

При разработке сайта закладывайте возможность прописывать уникальные alt и title у картинок.

Также по возможности стоит использовать уникальные изображения, поисковики подобное ценят. Предлагаем прочесть дополнительно нашу статью про оптимизацию изображений на сайте.

Страница может содержать вредоносный код, а поисковики заинтересованы в том, чтобы показывать пользователям безопасный (во всех смыслах) контент. Поэтому при обнаружении подобных проблем на сайте, он будет понижен в результатах выдачи, либо поисковик уведомит пользователей перед его посещением, что однозначно приведет к падению трафика.

Проверить сайт можно в панели Я.Вебмастера: «Диагностика» – «Безопасность и нарушения».

Данный пункт позволит держать руку на пульсе, а также при существенной разнице в количестве проиндексированных страниц между поисковиками, поможет выявить некоторые проблемы на ранних стадиях. Например, один из поисковиков наложил санкции, либо на сайте есть существенные технические ошибки, которые мешают корректному индексированию.

Проверить количество проиндексированных страниц можно вручную, введя оператор «site:» + ссылку на сайт в поисковик.

Или воспользовавшись панелями вебмастеров.

Семантическая разметка позволяет структурировать данные на странице, при этом важно добиться того, чтобы оба поисковика правильно понимали ее. Благодаря внедрению разметки, можно получить расширенный сниппет, что повлечет за собой рост CTR.

Проверить структурированные данные можно в сервисе от Google.

Юзабилити или удобство дизайна позволяет улучшить поведенческие факторы, а также повлиять на рост конверсий и цитируемость контента. При разработке внешнего вида сайта следует брать во внимание специфику целевой аудитории, например, в некоторых случаях понадобится версия для слабовидящих и т.д. Сюда же входит понятие адаптивности под мобильные устройства.

После запуска проекта следует периодически проводить аудиты, оптимизируя расположение элементов на страницах. Проверить удобство дизайна помогут инструменты Яндекса: тепловые карты и Вебвизор.

Если на сайте присутствует большое количество пустых, или содержащих малое количество текста, страниц, то поисковики подобный ресурс могут определить как низкокачественный. Чтобы найти такие страницы можно воспользоваться следующими инструментами:

- Яндекс.Вебмастер: Индексирование – Страницы в поиске – Исключенные страницы + фильтр «Недостаточно качественные».
- Screaming Frog SEO Spider на вкладке Word Count + сортировка по количеству слов.

SEO-продвижение – это комплексная работа, основой которой выступает хорошее техническое состояние сайта. Данный чек-лист поможет структурировать этапы оптимизации ресурса и позволит не допустить критических ошибок, которые могут повлиять на его ранжирование в поиске.