Итак, поехали!

В целом, технический аудит сайта сводится к выявлению технических ошибок на сайте, связанных с:

• редиректами;
• дублями;
• 404 ошибками;
• скоростью загрузки страниц;
• проблемами индексации страниц;
• настройкой файла robots.txt;
• и еще некоторыми ошибками.

А теперь обо всем по порядку.

Настройка редиректов

Изначально на сайте не должно быть никаких редиректов. Все страницы должны отдавать код 200, а не 30х как в случае если на странице используется редирект.

301 редирект – оповещает ПС о том, что страница перемещена навсегда.

302 редирект – оповещает ПС, о том, что страница перемещена временно.

Но не стоит злоупотреблять этими редиректами.

Когда нужно использовать редиректы

• если страница сменила свой урл, но ее содержание осталось прежним можно использовать как 301 так и 302 редирект, в зависимости от ситуации;
• при переносе сайта или смене дизайна нередко требуется настройка 301 редиректов со старых страниц на новые.

Не всегда редиректы используются корректно. Как не нужно использовать:

• многоуровненые редиректы – это ошибка;
• не нужно использовать редиректы без смены урла;
• неправильно использовать редиректы на страницы с разным типом контента;
• редирект на страницы с ошибкой;
• и совсем черный метод – использование редиректов на другие сайты.

Дубли на сайте

Все полные дубли страниц на сайте должны быть закрыты в файле robots.txt. Неполные дубли стоит устранять или не допускать. Например, в случае с ИМ неполные дубли все равно неизбежны, поэтому на странице стоит добавить текст, чтобы повысить уникальность страницы в целом.

Вообще, устранению дублей стоит уделить особое внимание, ведь если на сайте будет много дублей сайт может попасть под фильтр АГС, но это уже в крайнем и самом плохом случае.

404 страницы на сайте

Выявить все страницы с кодом ответа 404 поможет программа Xenu или Screaming Frog SEO Spider. Я пользуюсь фрогом, он мне больше нравится по интерфейсу просто.

На сайте вообще не должно быть ошибок 404, это очень плохо влияет на ранжирование и индексацию сайта в целом.

Как устранять

Тут нужно действовать по ситуации:

• либо закрыть такие страницы в robots.txt;
• либо копаться в админке сайта и искать причину появления таких страниц, возможно, просто где-то поставлена ссылка на такую несуществующую страницу.

Скорость загрузки страниц

Это важный технический параметр, который влияет как на индексацию страниц, так и на их ранжирование. Если страницы имеют большой вес и долго грузятся, то ПС пессимизируют такие страницы.

Причины долгой загрузки страниц

• на странице расположено много больших картинок, которые долго грузятся;
• на всем сайте бакграунд выполнен в виде картинки, которая имеет большой вес;
• на странице расположено громоздкое меню, которое каждый раз прогружается из скриптов;
• технические проблемы на сервере или слабый сервер;
• тяжелый сайт сам по себе, скрипты не оптимизированы и не оптимизированы запросы к mysql серверу.

Первые 2 пункта мы можем устранить самостоятельно, уменьшив вес картинок или вообще убрав часть или все картинки. А вот пункты 3-5, думаю стоит обратиться к разработчику сайта или другому программисту. Если сами не разбираетесь в программировании, то лучше не лезть. Уменьшить количество обращений к БД поможет настройка кэширования на сайте, но опять же, это работа программиста.

Вообще в целом, страница должна грузиться менее 1-1.5 секунд. Все что больше – это уже повод задуматься.

Индексация страниц

Все страницы на сайте должны быть проиндексированы, за исключением ненужных и мусорных страниц, закрытых в файле robots.txt.

Проверить индекс в ПС можно просто – ввести в строку поиска конструкцию: site:site.ru

Число проиндексированных страниц высветится рядом с этой конструкцией. Во всех ПС количество проиндексированных страниц должно быть примерно одинаковым. В гугле конечно это число может быть больше. Гугл индексирует все, что хочет!

Если количество проиндексированных страниц в ПС не соответствует общему количеству страниц на сайте, то нужно выявлять причины:

• посмотрите, не закрыты ли нужные страницы в файле robots.txt;
• посмотрите, не закрыты ли целые разделы в файле robots.txt;
• может быть страницы отдают код 404 или еще какой;
• страницы могут быть закрыты мета тегом noindex, nofollow, meta noindex, meta nofollow;
• плагины в CMS могут ограничивать индексирование страниц. Иногда встречаются плагины, которые блокируют сайт, если к нему совершается определенное количество запросов.

Настройка файла robots.txt

Важная часть технической оптимизации сайта, даже одна из самых важных, от нее зависит индексация сайта.

Итак, многие админки имеют свои стандартные файлы robots.txt, которые безусловно нужно использовать. Но вдобавок к этому стоит еще тщательно проанализировать свой сайт. Например, в ИМ бывает много дублей из-за фильтрации товаров, которые может быть стоит закрыть. Еще на сайтах используется пагинация, которая тоже создает большое количество дублей. В общем, сайт стоит просмотреть и проанализировать на возможные дубли.

Как составить файл robots.txt

Рекомендую выделять каждую поисковую систему и прописывать ей свои правила индексации, даже если они совпадают.

Обязательно прописать путь до файла sitemap.xml.

Обязательно прописать главное зеркало сайта с www или без www.

Для ПС Яндекс необходимо прописать директиву host:site.ru.

После составления файла robots.txt его стоит проверить на ошибки. Сделать это можно тут http://webmaster.yandex.ru/robots.xml