Оптимізуйте ваш файл robots.txt для Magento

1. Як robots.txt покращить ваш Magento?
2. Установка Robots.txt
3. Robots.txt для Magento
4. Перевірте ваш файл robots.txt

Важливо створити та оптимізувати файл robots.txt, щоб зробити ваш магазин Magento безпечним і покращити SEO.

Файл robots.txt ("текст роботів") - це текстовий файл, який допомагає роботам пошукової системи (таким як Google bot і Bing bot) визначити, яку інформацію індексувати. За замовчуванням у дистрибутиві Magento Community або Enterprise немає файла robots.txt, тому ви повинні створити його самостійно.

Як robots.txt покращить ваш Magento?

Це лише кілька випадків використання файлу robots.txt, тому ви отримаєте краще уявлення, чому це так важливо:

• Robots.txt допоможе вам запобігти дублюванню проблем із вмістом (це дуже важливо для SEO).
• Він приховує таку технічну інформацію, як журнали помилок, звіти, файли ядра, файли .SVN тощо від несподіваного індексування (хакери не зможуть використовувати пошукові системи для виявлення вашої платформи та іншої інформації).

Установка Robots.txt

Примітка. Файл robots.txt охоплює один домен. Для веб-сайтів Magento з кількома доменами або субдоменами кожен домен / під-домен (наприклад, store.example.com і example.com) повинен мати власний файл robots.txt.

Спільнота Magento та Magento Enterprise

Встановлення файлу robots.txt легко. Вам потрібно лише створити файл robots.txt і скопіювати код robots.txt з нашого блогу. Далі завантажте файл robots.txt до кореня веб-сервера, наприклад, тут: example.com/robots.txt.

Якщо ви завантажите файл robots.txt у підпапку, наприклад example.com/store/robots.txt у цьому випадку robots.txt буде проігноровано всіма пошуковими системами.

Magento Go

У цьому описі інстальовано файл robots.txt для Magento Go Стаття бази знань .

Robots.txt для Magento

Тут ви можете ознайомитися з нашим рекомендованим кодом robots.txt.

## robots.txt для спільноти Magento та підприємства ## ЗАГАЛЬНІ НАЛАШТУВАННЯ ## Увімкнути правила robots.txt для всіх сканерів User-agent: * ## Параметр затримки обходу: кількість секунд, що очікують між послідовними запитами до одного сервера. ## Встановіть спеціальну швидкість сканування, якщо у вас виникають проблеми з трафіком на вашому сервері. # Затримка сканування: 30 ## Magento sitemap: розпакуйте і змініть URL-адресу на файл мапи сайту Magento # Sitemap: http://www.example.com/sitemap/sitemap.xml ## РОЗВ'ЯЗАНІ ПАРАМЕТРИ ## Не сканувати розробку файли та папки: CVS, svn каталоги та файли дампа Disallow: / CVS Disallow: /*.svn$ Disallow: /*.idea$ Disallow: /*.sql$ Disallow: /*.tgz$ ## Загальні налаштування MAGENTO ## Не сканувати Magento сторінку адміністратора Disallow: / admin / ## Не скануйте загальні технічні папки Magento Disallow: / app / Disallow: / downloader / Disallow: / errors / Disallow: / include / Disallow: / lib / Disallow: / pkginfo / Disallow: / shell / Disallow: / var / ## Не сканувати загальні файли Magento Disallow: /api.php Disallow: /cron.php Disallow: /cron.sh Disallow: / error_log Disallow: /get.php Disallow: / install .php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Заборонити: /README.txt Disallow: /RELEASE_NOTES.txt ## MAGENTO SEO ПІДВИЩЕННЯ фільтрується. Disallow: / *? Dir * Disallow: / *? Dir = desc Disallow: / *? Dir = asc Disallow: / *? Limit = all Заборонити: / *? Режим * ## Не сканувати 2-а копію домашньої сторінки ( example.com/index.php/). Розкрийте його, лише якщо ви активували URL-адреси Magento SEO. ## Disallow: /index.php/ ## Не сканувати посилання з ідентифікаторами сеансу Disallow: / *? SID = ## Не сканувати перевірку та сторінки облікового запису користувача Disallow: / checkout / Disallow: / onestepcheckout / Disallow: / customer / Заборонити: / клієнт / рахунок / Disallow: / customer / account / login / ## Не сканувати сторінки пошуку та не-SEO оптимізовані посилання каталогів Disallow: / catalogsearch / Disallow: / catalog / product_compare / Disallow: / catalog / category / view / Disallow: / catalog / product / view / ## НАСТРОЮВАННЯ СЕРВЕРІВ ## Не сканувати загальні технічні папки та файли сервера Disallow: / cgi-bin / Disallow: /cleanup.php Disallow: /apc.php Disallow: /memcache.php Disallow: /phpinfo.php ## НАЛАШТУВАННЯ ІЗОБРАЖЕНЬ ЗОБРАЖЕНЬ ## Додатково: розізміліть, якщо ви не бажаєте, щоб Google та Bing індексували ваші зображення. : /

Перевірте ваш файл robots.txt

Після публікації robots.txt можна перевірити його синтаксис за допомогою цих онлайнових інструментів:

Подальше читання

Олег Чеховський

Улюблена цитата: "Дайте їм якість. Це найкращий вид реклами". - Мілтон Херші.