Google і Яндекс не індексують сайт: причини, керівництво що робити

1. Норми індексації сайтів
2. Що робити, якщо новий сайт не індексується пошуковими системами?
3. Додати сайт в панелі вебмайстрів
4. поліпшити сайт
5. Як перевірити індексацію сайту?
6. Введіть в пошуковик url ​​сторінки
7. Через панель вебмайстрів
8. За допомогою Key Collector перевіряємо індексацію великої кількості сторінок
9. Як вирішити проблеми індексації?
10. Рідкісне оновлення контенту
11. Погана якість контенту
12. наявність дублікатів
13. Проблеми з краулінговим бюджетом
14. Технічні нюанси для прискорення сканування
15. Оновлення http-заголовків Last-Modified і If-Modified-Since.
16. Код відповіді сервера
17. Robots.txt
18. Meta Robots
19. Rel Canonical
20. вебмастера
21. файл .htaccess
22. AJAX і JavaScript
23. санкції
24. підсумки

Форуми вебмайстрів рясніють сумними постами з приводу того, що сайт погано індексується пошуковими системами. А адже це основа SEO-просування, без якої популяризація інтернет-ресурсу практично неможлива.

Обидней всього, коли над створенням web-проекту трудився дорогий програміст, а на його наповнення контентом щомісяця витрачається значна сума.

Однак Яндекс і Гугл не поспішають індексувати окремі сторінки або навіть цілий сайт. Чому так відбувається?

На це питання немає однозначної відповіді: існує безліч причин.

Важливо виявити конкретну проблему (технічні помилки, дубляж сторінок, нестабільну роботу хостингу або санкції пошукових систем) і зробити все для її вирішення. Є хороша новина - ситуацію можна виправити. Хочете, знати як? Читайте далі!

Норми індексації сайтів

В Яндекс

Yandex сканує і додає нові сторінки приблизно два-чотири рази на місяць. Потрапити в пошукову видачу раніше здатні лише трастові і часто оновлювані портали - вселяють довіру сайти індексуються бистроботом Яндекса щодня.

В Google

Що стосується Гугла, оновлення можуть зайняти від одного дня до двох тижнів. Тут багато що залежить від категорії вашого сайту. Наприклад, ресурси з актуальними новинами і живі форуми роботи перевіряють із завидною регулярністю.

Матеріали часто оновлюваних порталів зазвичай скануються в той же день або на наступний. Індексація блогу, в якому щотижня з'являється новий контент, нерідко затримується на 2-4 дня.

Зовсім сумно йде справа з третьосортними сайтами, а також зовсім молодими веб-проектами, тільки що з'явилися в Мережі. Пошукові роботи можуть ігнорувати їх протягом місяця.

Важливо! Вищеописані дані актуальні при додаванні малої кількості сторінок в індекс. При додаванні великої кількості сторінок одномоментно, швидкість індексації може збільшитися в кілька разів.

Особливо довго будуть індексуватися сторінки з малою цінністю для відвідувачів.

Що робити, якщо новий сайт не індексується пошуковими системами?

Під це визначення підходить ресурс з віком домену до півроку, який не має зворотних посилань і які раніше не просувався.

Додати сайт в панелі вебмайстрів

Ви тільки що створили сайт і чекаєте чуда під назвою «швидка індексація»? Така стратегія помилкова, адже в перший час Гугл і Яндекс не звертають на новий сайт увагу. Допоможіть своєму проекту зацікавити роботів - зробити це досить просто: треба лише додати сайт в пошукові системи .

Важливо! Використання сервісу Яндекс. Веб-майстер і Google Webmaster не тільки прискорить додавання сторінок в індекс, але і дозволить ефективніше працювати над оптимізацією сайту. Представлені інструменти безкоштовно відкривають вебмастерам безліч можливостей для діагностики, отримання рекомендованих для просування запитів і прив'язки сайту до конкретного регіону.

поліпшити сайт

Пора зайнятися внутрішньою оптимізацією: систематично створювати першокласний контент, поліпшити юзабіліті, зробивши зручні рубрики, а також подбати про адаптивність і перелинковке. Після цього слід задуматися про зовнішній просуванні. Воно включає в себе роботу з соціальними факторами і розміщення природних посилань у надійних донорів.

Якщо сайт все так же не індексується Яндексом, необхідно написати в технічну підтримку пошукача. В результаті вашого запиту ви отримаєте інформацію про наявність бана, фільтра або встановіть іншу об'єктивну причину виниклої проблеми.

Як перевірити індексацію сайту?

Використовуйте в запиті оператор Site

Дізнайтеся кількість просканованих і доданих в індекс сторінок шляхом введення в рядок пошуку Google і Яндекс «site: url вашого сайту». Завдяки додаткових налаштувань легко отримати дані про що відбулися за конкретний проміжок часу зміни.

Наприклад, сьогоднішня перевірка російської версії Вікіпедії показала, що за останні 2 тижні на цьому сайті з'явилося 143 нових матеріалів.

Врахуйте! Різниця між показниками різних пошукових систем є приводом для тривоги. Найчастіше це свідчить про можливе потрапляння під фільтр Гугла або Яндекса.

Введіть в пошуковик url ​​сторінки

Цей спосіб ідеальний для перевірки індексації окремо вибраної сторінки.
для Google

url: https: //ru.wikipedia.org/

для Яндекс

info: https: //ru.wikipedia.org/

Через панель вебмайстрів

Якщо ви раніше вже зареєструвалися в Яндекс. Веб-майстер, то при переході на даний сервіс відразу побачите число завантажених матеріалів та тих, що знаходяться в пошуку. В ідеалі їх кількість повинна збігатися або бути схожим на реальну кількість сторінок сайту.

Більш детальну інформацію ви отримаєте при переході на основну панель, після чого необхідно натиснути «Індексування» і «Сторінки в пошуку».

Аналізуючи отриманий звіт і шукайте сторінки, які не індексуються.

У новому Google вебмайстрів також є інструмент для аналізу індексації.

За допомогою Key Collector перевіряємо індексацію великої кількості сторінок

Скачаний і встановлений на комп'ютері багатофункціональний інструмент полегшить роботу будь-якого оптимізатора. Він дозволяє автоматизувати процес, значить, вам не доведеться вручну перевіряти сотні, а то й тисячі документів.

Щоб скористатися цим методом, потрібно зібрати парсером список всіх сторінок, а потім додати перед кожним адресою оператор url для Google або info для Яндекс. Хочете заощадити час і нерви - скористайтеся для цього автозаміні в блокноті. Далі треба завантажити отримані дані в Key Collector, не забувши про налаштування XML для швидкого аналізу результатів.

Також, потрібно налаштувати правильно пошукові системи, для коректного парсинга. URL краще додавати без зміни регістру.
У проіндексованих матеріалів в графі «Позиція за запитом» буде стояти одиниця. Звірте ваш URL зі сторінкою на першому місці. Вони повинні збігатися.

Це метод не є ідеальним, але має право життя.

Як вирішити проблеми індексації?

Варіант 1: Сайт довго не індексується, роботи не бачать свіжі матеріали - в індекс потрапляє мало нових сторінок, процес здійснюється повільно.

Дізнайтеся далі, що може бути причиною такої жалюгідної ситуації.

Рідкісне оновлення контенту

Для SEO-просування потрібно вчасно підгодовувати роботів новою порцією якісного контенту, тоді вони будуть частіше заходити на ваш сайт. Причому на поведінку пошукових систем позитивно впливають навіть незначні поліпшення старих статей у вигляді більш вдалих ілюстрацій, оновлень дати публікації або додавання цитати експерта.

А ось якщо робот приходить і бачить, що за період його останнього відвідування нічого не змінилося, сайт не буде нормально індексуватися в майбутньому. Більш того, чекайте погіршення позицій у видачі: ресурс, який зупинився в розвитку, випереджають конкуренти.

Тобто

Якщо ви публікуєте нерегулярно - це може бути причиною. Якщо це не ваша ситуація, то читайте далі.

Погана якість контенту

За останні роки і читачі, і роботи стали більш вимогливими до розміщеної в Рунеті інформації. Важливу роль відіграє не тільки технічна, але і смислова унікальність / повнота статей, картинок, відео.

При цьому ключові слова повинні вписуватися в текст природно, а за Переспа є шанс потрапляння під фільтри пошукових систем.

Тобто

Якщо публікується контент малокорисний або складається з 100 слів, то навряд чи він потрапить в індекс. Необхідно змінювати підхід до написання контенту або якості сторінок.

Зацікавлені в генерації відмінного контенту?

Візьміть на озброєння LSI-копірайтинг, який зараз в пошані у пошукових систем. При якісному оформленні, повному розкритті теми з використанням ключів і списку додаткових синонімів, асоціацій вам не доведеться турбуватися про те, що сторінка не буде індексуватися в пошукових системах.

наявність дублікатів

Секретом успішної технічної оптимізації є відсутність однакових мета-тегів і текстів; повних копій сторінок. Якщо такі є, закрийте зайві дані від індексу за допомогою meta name = "robots" content = "noindex, nofollow» або пропишіть на них 301 редирект.

В іншому випадку пошуковики заплутаються в схожих документах і видалять їх з видачі.

Проблеми з краулінговим бюджетом

Існує певний ліміт на кількість сторінок, індексованих роботом за одиницю часу.

Краулінговий бюджет Google безпосередньо залежить від PageRank ресурсу. Чим вище цей показник, тим більше число документів буде проіндексовано. Відповідно, для масштабних сайтів вкрай важливо підвищувати критерій своєї цінності шляхом регулярних оновлень, збільшення відвідуваності і придбання посилань. А то наші люди сторінки можуть не індексуватися в Гуглі.

Тобто

Якщо сайт молодий, то у нього низький краулінговий бюджет. І якщо ви хочете проіндексувати велику кількість сторінок, то ця процедура може зайняти на порядок більше часу.

Технічні нюанси для прискорення сканування

Додавання sitemap.xml

Ця карта, створена для пошукових систем, дає роботам можливість швидко знайти всі сторінки, незалежно від їх числа і рівнів вкладеності. Крім того, вона підвищує довіру до вашого сайту, дозволяє вказувати дату поновлення і розставляти пріоритети.

Алгоритм дій наступний: згенеруйте sitemap.xml з урахуванням стратегії просування, завантажте карту в корінь сайту і додайте в панелі вебмайстрів.

Оновлення http-заголовків Last-Modified і If-Modified-Since.

Last-Modified повідомляє пошуковикам про останні зміни в документі, направляючи роботів відразу до оновлених сторінок і свіжим матеріалами.

Відповідь сервера на запит If-Modified-Since знижує навантаження на краулінговий бюджет, до того ж покращує позиції контенту час сортування за датою.

Перевірити цей заголовок можна тут - https://last-modified.com/ru/if-modified-since.html

Варіант 2: Сайт взагалі не індексується в Яндексі і Гуглі, сторінки випадають з індексу.

Код відповіді сервера

Переконайтеся, що сторінка містить код сервера 200 ОК - це означає: вона дійсно існує, доступна до перегляду для користувачів і пошукових систем.

Перевірка здійснюється за допомогою спеціальних сервісів.

наприклад, http://www.bertal.ru/index.php?a1910327/
Якщо код відповіді не 200 ОК, то саме в цьому може бути причина не індексації сторінки.

Robots.txt

У файлі robots.txt неприпустимі заборони на індексацію сайту і окремих сторінок, а також роботу конкретного пошукача.

Важливо! Обов'язково перевірте сформований robots.txt на помилки. Зробити це можна в Google Веб-майстер: натисніть на «Сканування», а потім на «Інструмент перевірки файлу robots.txt».

Meta Robots

Часто сайт не індексується в Гуглі, якщо додавання відомостей до бази даних заборонено в мета-тегах. Обов'язково видаліть в HTML-коді рядка якщо вони є на важливих сторінках.

Щоб перевірити відкрийте код сторінки і зробіть пошук рядка.

Або використовуйте плагіни для браузера, такі як розширення Seo Meta in 1 Click для Google Chrome .

Rel Canonical

Багато недосвідчених оптимізатори невірно налаштовують атрибут rel = canonical.

Хочете, щоб сторінка потрапила в індекс пошукової системи? Тоді вона не повинна посилатися на інший канонічний документ.

Щоб перевірити відкрийте код сторінки і зробіть пошук рядка.

Або через той же плагін

вебмастера

Використовуйте Google Webmaster Tools для виявлення помилок сканування, через які роботи не отримують відповіді на запити.

Перейдіть в розділ «Переглянути як Googlebot» введіть адресу сторінки, і натисніть кнопку «Отримати і відобразити».

Коли отримаєте результат, порівняйте, що бачить Google і користувач. Картинки повинні бути однаковими. Якщо немає, то шукайте причини блокування файлів.

Протестуйте швидкість завантаження і час відповіді сервера. Переконайтеся, що обраний вами хостинг працює стабільно.

файл .htaccess

Якщо сайт не індексується, він може бути заблокований у файлі .htaccess.

Перевірте .htaccess на наявність таких рядків:

RewriteCond% {USER_AGENT} Googlebot
RewriteRule. * - [F]

Або такий варіант, який буде віддавати роботу Google 404 помилки.

RewriteCond% {USER_AGENT} Googlebot
RewriteRule. * - [R = 404]

Пошукайте в файлі інші варіанти блокувань з використанням USER_AGENT або назви пошукових роботів: googlebot, yandex і т. Д.

AJAX і JavaScript

Поширені проблеми з мовами AJAX і JavaScript. Блог Яндекса для вебмайстрів рекомендує створити в структурі ресурсу певну схему , Яка повідомить пошуковим системам про необхідність індексації.

санкції

Ще одна серйозна проблема - накладення санкцій на сторінку або навіть весь сайт. Дізнайтеся в техпідтримку пошукової системи (тільки Яндекс), за що саме (посилання, Переспа, неунікальний контент) вас покарали, після чого оперативно виправте ситуацію.

Як вже говорилося раніше, причиною відсутності уваги до сторінці часто є низькоякісний і дубльований контент.

Навряд чи робот буде зацікавлений в ваших матеріалах, якщо у видачі вже є схожі документи, які обнародувано за тим же семантичному ядру.
Негативно впливає на швидкість індексування незрілий вік домену, а також забанені раніше б / у домен. У такому випадку варто написати запит на перегляд в Яндекс.

підсумки

Якщо сайт не індексується Яндексом або Гуглом, значить, на те є об'єктивна причина. Ваша мета - виявити і вирішити проблему. Через деякий час необхідно знову перевірити індексацію сторінки. Якщо ви все зробите правильно, позитивні зміни не змусять себе довго чекати!

Якщо у вас складний випадок, рекомендую звернутися за консультацією до фахівців. Команда Livepage проконсультує і виконає SEO-аудит, який вирішить всі проблеми з індексацією в пошукових системах.