Готовьтесь: польза и шок от анализа шипов сканирования роботом Google через файлы журналов [Case Study]

1. Шипы при ползании: иногда ожидается, иногда нет
2. Мощность сервера журналов
3. Войдите, встретите лягушку
4. Сюжет сгущается: спуфинг
5. Подойдет ли настоящий робот Google?
6. Статистика ползания возвращается к норме, затем снова увеличивается
7. Googlebot и 404s: нюансированная ситуация для SEO
8. Как Google нашел эти длинные URL-адреса?
9. Что мы узнали (и не узнали)
10. Резюме: файлы журналов могут выявить зловещие проблемы под поверхностью

Я недавно начал помогать сайту, на который негативно повлияли 17 мая обновление алгоритма , Сайт долгое время просматривал серую область качества, вздымалась с некоторыми качественными обновлениями, а иногда и падала. Так что я начал копаться с помощью анализа сканирования и аудита сайта.

Начав анализировать сайт, я заметил несколько странных всплесков на страницах, просканированных в отчете "Статистика сканирования" в Google Search Console (GSC). Например, Google обычно сканирует около 3000 страниц в день, но первые два всплеска подскочили до почти 20000. Тогда еще два превысили 11 000.

Излишне говорить, что мне было интересно узнать, почему произошли эти всплески. Были ли технические проблемы с SEO на сайте? Был ли внешний фактор, вызывающий всплеск? Или это была аномалия Googlebot? Я быстро обратился к своему клиенту по поводу того, что я видел.

Шипы при ползании: иногда ожидается, иногда нет

Я спросил своего клиента, внедрили ли они какие-либо масштабные изменения, основанные на моих рекомендациях, которые могли бы вызвать всплеск сканирования. Они еще не Помните, я только начал помогать им.

Кроме того, я только что завершил два крупномасштабных сканирования сайта и не увидел каких-либо странных технических проблем с SEO, которые могли бы привести к тому, что робот Googlebot сканировал много дополнительных страниц или ресурсов: сбои кодирования, которые могли привести к тому, что Google сканировал много почти дубликатов. страницы, испорченная нумерация страниц, граненая навигация и так далее. Я не нашел ни одной из этих проблем на сайте (по крайней мере, на основе первого набора обходов).

Теперь стоит отметить, что Google может увеличить сканирование, когда видит масштабные изменения на сайте - например, миграцию сайта, редизайн или изменение многих URL-адресов на сайте. Аналитик Google Webmaster Trends Джон Мюллер объяснил это несколько раз.

Изображение ниже показывает, как это может выглядеть. Это с сайта, который я помогал с миграцией https (не с сайта, о котором я расскажу в этом посте). Обратите внимание на всплеск ползания сразу после миграции. Это совершенно нормально:

Но это не то, что произошло в этой ситуации. Крупных изменений на сайте пока не было. Изучив ситуацию, мое решение было ясно:

Раскройте файлы журнала!

Мощность сервера журналов

Файлы журнала содержат необработанные данные об активности сайта, включая посещения пользователей и поисковых роботов. Используя журналы, вы можете изучить каждое посещение и событие, чтобы увидеть, какие страницы и ресурсы были просканированы, возвращены коды ответов, источники ссылок, IP-адреса и многое другое. Я очень хотел посмотреть, учитывая всплеск ползания.

Если вы никогда не имели дело с файлами журналов, вы должны знать, что они могут стать довольно большими. Например, нет ничего необычного в том, что файлы журналов имеют размер сотен мегабайт (или даже больше для больших сайтов). Вот один из файлов журнала, с которым я работал. Это 696 МБ.

Войдите, встретите лягушку

Моим следующим шагом было запустить мое любимое приложение для анализа логов, Screaming Frog Log Analyzer (SFLA). Большинство из вас знают Screaming Frog Spider, который отлично подходит для сканирования сайтов, но некоторые до сих пор не знают, что Дэн Шарп и его команда амфибийных SEO-специалистов также создали анализатор логов-убийц.

Я запустил SFLA и импортировал логи. Мой клиент отправлял мне файлы журналов в диапазоне от нескольких дней до каждого пика до нескольких дней после. Они делали это для каждого из пиков, которые я видел в отчете статистики сканирования в Google Search Console (GSC). Теперь пришло время копаться. Я перетащил файлы журнала в SFLA и терпеливо ждал их импорта.

Хьюстон у нас проблема…

Анализируя первый набор файлов журналов, панель инструментов в SFLA рассказала интересную историю. Диаграмма кодов ответов показала огромный всплеск 404-х, с которым столкнулся робот Google. Это казалось проблемой.

Я заметил тысячи событий, приводящих к странным URL-адресам, которые выглядели как испорченные страницы с видео, и на сайте моего клиента не было ни одного из этих URL-адресов. Большинство из 404-х в течение этого периода времени были из-за странных URL-адресов.

Но что-то не так с некоторыми из этих событий «Googlebot». Подробнее об этом дальше.

Сюжет сгущается: спуфинг

Я всегда предупреждаю людей, прежде чем они копаются в своих лог-файлах, что они могут увидеть некоторые тревожные вещи. Помните, что журналы содержат все события на сайте, включая всю активность ботов. К сожалению, нет ничего необычного в том, что многие боты сканируют сайт, чтобы получить информацию ... или по более гнусным причинам.

Например, вы можете увидеть сканеров, пытающихся узнать больше о вашем сайте (обычно у конкурентов). Вы также можете увидеть попытки взлома. Например, события со случайных IP-адресов забивают вашу страницу входа в WordPress.

Когда вы впервые обнаружите это, вы можете выглядеть так:

Итак, вот проблема с всплеском 404-х годов, который я обнаружил в «Googlebot». Я быстро заметил много поддельных событий Google-робота (с нескольких разных IP-адресов). У Screaming Frog Log Analyzer есть отличная функция «проверки ботов», которой я полностью воспользовался.

Было интересно узнать, что реальный робот Google за этот период (с помощью отчетов GSC) набрал обороты, в то время как поддельные роботы Google в это же время били по сайту. Но я не смог найти ни одного подтвержденного шипа Googlebot в файлах журнала.

Таким образом, мы собрали и исследовали некоторые из IP-адресов злоумышленников - и увидели, что они НЕ от Google. Мой клиент сейчас имеет дело с этими IP-адресами. Это разумно, особенно если вы видите повторные посещения с определенных IP-адресов, подделывающих Googlebot. Мы прошли через этот процесс и для второго всплеска.

Это был отличный пример поднятия капота и обнаружения сумасшедших проблем в вашем двигателе (или с добавлением топлива в ваш двигатель). Вы могли бы либо закрыть капюшон в шоковой клятве, чтобы никогда не смотреть снова, или вы могли бы решить проблемы в долгосрочной перспективе. Подметать проблемы под ковер никогда не является действительно решением здесь.

Подойдет ли настоящий робот Google?

Проанализировав первые два всплеска, я все еще не увидел никаких подтвержденных проблем с роботом Google. (Я имею в виду, что Google фактически сканирует сайт, а не разные сканеры, подделывающие Googlebot.) Итак, статистика сканирования в GSC действительно выросла, но журналы сервера показали нормальную активность самого Googlebot. Похоже, проблема была в поддельных роботах Google.

Проверьте подтвержденную активность робота Googlebot и поддельную активность ниже:

Статистика ползания возвращается к норме, затем снова увеличивается

Мы часто проверяли статистику сканирования в GSC, чтобы отслеживать ситуацию (для реального робота Google). Статистика сканирования вернулась на некоторое время к норме, но в третий и четвертый раз достигла пика (как показано на первом снимке экрана, который я поделился выше). Последний всплеск просканировал более 11 000 страниц.

Проверка журналов позволила выявить множество URL-адресов, которых нет на сайте (но не URL-адреса видео ранее). И к ним обратился Googlebot (проверено). Я был рад видеть, что мы наконец-то обнаружили некоторые реальные проблемы с роботом Google (и не только подделали проблемы с роботом Google).

Эти URL выглядят совершенно неоправданно и иногда имеют длину в сотни символов. Это выглядело как глюк кодирования, который продолжал добавлять больше символов и каталогов к каждому URL-адресу. Я отправил информацию своему клиенту, и они передали информацию своему ведущему разработчику. Изначально они не знали, где Google нашел бы эти URL. Я расскажу об этом позже.

Googlebot и 404s: нюансированная ситуация для SEO

Чтобы быть ясным, 404-е не проблема, если на страницах действительно 404. Джон Мюллер из Google объяснял это много раз. 404-е абсолютно естественны в сети и не влияют на качество сайта.

Вот видео Джона Мюллера, объясняющего это:

А вот страница от Google о том, как робот Google может встретить 404 с на сайте:

При этом и боты, и люди могут получать доступ к ссылкам, которые ведут к 404-м, что может повлиять на удобство использования и производительность. И, как Мюллер объяснил в видео, «это может сделать сканирование немного сложнее». Поэтому вы должны обязательно перепроверить 404-е и убедиться, что они действительно возвращают 404. Но наличие 404-х не означает, что ваш сайт будет работать рейтинг ранжирования, получить поражение от следующего основного обновления алгоритма и так далее. Это важно знать.

И чтобы заявить очевидное, любая страница, которая 404s будет удалена из индекса Google. Таким образом, эта страница не может ранжироваться по запросам, по которым она когда-то ранжировалась. Он ушел, как и трафик, который он вел. Итак, еще раз, просто убедитесь, что страницы 404, должны 404.

Например, представьте себе страницу большого объема, как та, что ниже, внезапно 404 (по ошибке). Поскольку URL-адрес выпадает из индекса, сайт теряет все рейтинги этой страницы, включая трафик, показы объявлений и многое другое.

Google также написал статью в блоге для веб-мастеров около 404-х годов, и если они могут навредить вашему сайту. Между комментариями Мюллера, документацией поддержки и постом в блоге вы можете быть уверены, что одни только 404 не вызовут проблем с качеством. Но опять же, важно убедиться, что зловещие поддельные роботы Google не бьют по вашему серверу, пытаясь повлиять на время безотказной работы (и долгосрочную оптимизацию SEO).

Я спросил своего клиента, не было ли на сайте проблем с производительностью из-за всплесков сканирования, которые мы видели, и было здорово услышать, что они вообще не видели никаких проблем. Сайт работает на очень мощном сервере и даже не заметил, как «робот Google» набрал обороты.

Как Google нашел эти длинные URL-адреса?

Проанализировав всплеск сканирования по этим длинным URL-адресам, я увидел связь между неработающими URL-адресами и некоторыми файлами JavaScript. Я считаю, что Google находил URL-адреса (или формировал URL-адреса) на основе кода JavaScript.

Вы заметите, что Google упоминает о возможности этого в документах поддержки, которые я перечислил выше. Поэтому, если вы видите, что Google сканирует URL-адреса, которых нет на вашем сайте, робот Googlebot может найти эти URL-адреса с помощью JavaScript или другого встроенного содержимого. Это также важно знать.

Что мы узнали (и не узнали)

Как я уже говорил ранее, копание в журналах сервера может быть как полезным, так и неприятным. С одной стороны, вы можете обнаружить проблемы, с которыми сталкивается робот Googlebot, а затем исправить их. С другой стороны, вы можете видеть зловещие вещи, такие как попытки взлома, поддельные роботы Google, просматривающие ваш сайт для получения информации или другие попытки взломать сервер.

Вот несколько вещей, которые мы узнали, пройдя это упражнение:

• Мы могли ясно видеть подделанных Googlebots, просматривающих сайт, и многие из них били странные 404-ые. Мой клиент смог адресовать те мошеннические IP-адреса, которые забивали сервер.
• Мы увидели, что настоящий робот Googlebot (проверенный) сканирует URL-адреса, которые выглядят испорченными (на основе ссылок, найденных с помощью JavaScript). Используя эти данные, мой клиент мог разобраться с техническими проблемами, которые могли привести к этим длинным, испорченным URL-адресам.
• Мы не нашли все шипы от Googlebot, которые отображались в GSC. Это было странно, и я не уверен, что это проблема с отчетностью в Google или что-то еще. Но, опять же, мы нашли некоторые реальные всплески от проверенного робота Google, к которому мы обратились.
• И, возможно, самое главное, мой клиент мог четко видеть недоработку SEO - например, многие поддельные роботы Google сканировали сайт для получения информации, или, возможно, по более гнусным причинам. Но, по крайней мере, мой клиент знает, что это происходит сейчас (через данные). Теперь они могут составить план действий с роботами-изгоями, если захотят.

Резюме: файлы журналов могут выявить зловещие проблемы под поверхностью

Когда вы разбиваете это, владельцы сайтов действительно не знают полной истории о том, кто или что сканирует их сайты, пока они не проанализируют журналы своего сервера. Google Analytics не будет предоставлять эти данные. Вы должны копаться в ваших журналах, чтобы боты с доступом к вашему сайту.

Так что, если вы когда-нибудь обнаружите всплеск ползания, и вам интересно, что происходит, не забывайте о своих журналах! Они могут быть бесценным источником данных, которые могут помочь раскрыть тайны SEO (и, возможно, зловещие проблемы, которые необходимо решить). Не бойтесь копаться в поисках ответов. Просто помните, что вам может понадобиться подготовиться.

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,

Об авторе

Похожие

Комментарии