Аптымізацыя robots.txt для Magento

1. Як robots.txt палепшыць ваш Magento?
2. Устаноўка robots.txt
3. Robots.txt для Magento
4. Праверце robots.txt

Важна стварыць і аптымізаваць robots.txt, каб зрабіць ваш магазін Magento бяспечным і палепшыць SEO.

Robots.txt ("robots dot text") - гэта тэкставы файл, які дапамагае робатам пошукавай сістэмы (напрыклад, Google bot і Bing bot) вызначыць, якую інфармацыю індэксаваць. Па змаўчанні няма робота.txt у распаўсюджванні Magento Community або Enterprise, таму вы павінны стварыць яго самастойна.

Як robots.txt палепшыць ваш Magento?

Гэта толькі некалькі выпадкаў выкарыстання robots.txt, таму вы атрымаеце лепшае ўяўленне, чаму гэта так важна:

• Robots.txt дапаможа вам прадухіліць дубляваныя праблемы з зместам (гэта вельмі важна для SEO).
• Ён будзе схаваць тэхнічную інфармацыю, напрыклад, часопісы памылак, справаздачы, асноўныя файлы, файлы .SVN і г.д. ад нечаканай індэксацыі (хакеры не змогуць выкарыстоўваць пошукавыя сістэмы для выяўлення вашай платформы і іншай інфармацыі).

Устаноўка robots.txt

Заўвага. Файл robots.txt ахоплівае адзін дамен. Для вэб-сайтаў Magento з некалькімі даменамі або суб-даменамі кожны дамен / паддомен (напрыклад, store.example.com і example.com) павінен мець свой уласны файл robots.txt.

Супольнасць Magento і прадпрыемства Magento

Усталёўка robots.txt вельмі простая. Усё, што вам трэба - гэта стварыць файл robots.txt і скапіяваць код robots.txt з нашага блога. Затым загрузіце robots.txt у вэб-корань вашага сервера, напрыклад, тут: example.com/robots.txt.

Калі вы загружаеце robots.txt у падтэчку, напрыклад example.com/store/robots.txt, то ў гэтым выпадку robots.txt будзе праігнараваны ўсімі пошукавымі сістэмамі.

Magento Go

Усталёўка robots.txt для Magento Go апісана ў гэтым Артыкул базы ведаў ,

Robots.txt для Magento

Вось наш рэкамендаваны код robots.txt, калі ласка, прачытайце каментары, адзначаныя # перад публікацыяй robots.txt:

## robots.txt для Magento Community and Enterprise ## АГУЛЬНЫЯ НАСТРОЙКІ ## Уключыць правілы robots.txt для ўсіх сканараў. Карыстальнік-агент: * ## Параметр Crawl-delay: колькасць секунд, каб чакаць паміж паслядоўнымі запытамі на тым жа сэрвэры. ## Усталюйце прыстасаваную хуткасць сканавання, калі ў вас узніклі праблемы з трафікам з серверам. # Затрымка сканавання: 30 ## Карта сайта Magento: ракамментаваць і замяніць URL-адрас у файле файлаў Magento # Карта сайта: http://www.example.com/sitemap/sitemap.xml ## РАЗВІЦЦІ, СВЯЗАНЫЯ РАЗВІЦЦЯ ## Не сканаваць распрацоўку файлы и папки: CVS, svn каталоги и дамп-файлы Disallow: / CVS Disallow: /*.svn$ Забараніць: /*.idea$ Забараніць: /*.sql$ Забараніць: /*.tgz$ ## АГУЛЬНЫЕ НАСТРОЙКІ MAGENTO ## Не сканаваць старонку адміністратара Magento Disallow: / admin / ## Не сканаваць агульныя тэхнічныя тэчкі Magento Disallow: / app / Disallow: / downloader / Disallow: / памылкі / Забараніць: / уключае / Забараніць: / lib / Disallow: / pkginfo / Disallow: / shell / Disallow: / var / ## Не сканаваць агульныя файлы Magento Disallow: /api.php Disallow: /cron.php Disallow: /cron.sh Disallow: / error_log Disallow: /get.php Disallow: / install .php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Забараніць: /README.txt Забараніць: /RELEASE_NOTES.txt ## MAGENTO SEO ПОВЫШЭННІ ## Не абыходзіцца ў падраздзелы катэгорыі, якія з'яўляюцца адсартаваныя. ltered. Disallow: / *? Dir * Disallow: / *? Dir = desc Disallow: / *? Dir = asc Disallow: / *? Limit = all Disallow: / *? Рэжым * ## Не сканаваць 2-я копія хатняй старонкі ( example.com/index.php/). Раккаментуйце яго, толькі калі вы актывавалі URL-адрасы Magento SEO. ## Disallow: /index.php/ ## Не сканаваць спасылкі з ідэнтыфікатарамі сеансу Disallow: / *? SID = ## Не сканаваць рэгістрацыю і старонкі ўліковага запісу карыстальніка Disallow: / checkout / Disallow: / onestepcheckout / Disallow: / customer / Disallow: / customer / account / Disallow: / customer / account / login / ## Не сканаваць старонкі пошуку і аптымізаваныя не SEO-спасылкі каталога Disallow: / catalogsearch / Disallow: / catalog / product_compare / Disallow: / catalog / category / view / Disallow: / catalog / product / view / ## НАСТРОЙКІ СЕРВЕРА ## Не абыходзіцца агульныя серверныя тэхнічныя тэчкі і файлы Disallow: / cgi-bin / Disallow: /cleanup.php Disallow: /apc.php Disallow: /memcache.php Disallow: /phpinfo.php ## НАСТРОЙКІ IMRA CRAWLERS ## Дадатковае: Радкаванне, калі вы не жадаеце, каб Google і Bing праіндэксавалі свае выявы # Карыстальнік-агент: Googlebot-Image # Disallow: / # Карыстальнік-агент: msnbot-media # Disallow : /

Праверце robots.txt

Пасля публікацыі robots.txt вы можаце праверыць сінтаксіс, выкарыстоўваючы гэтыя інструменты:

Далейшае чытанне

Алег Чэхаўскі

Любімая цытата: "Дайце ім якасць. Гэта лепшы від рэкламы". - Мілтан Хершэй.