Zoptymalizuj robots.txt dla Magento

1. Jak robots.txt poprawi twoje Magento?
2. Instalacja Robots.txt
3. Robots.txt dla Magento
4. Przetestuj plik robots.txt

Ważne jest, aby utworzyć i zoptymalizować robots.txt, aby Twój sklep Magento był bezpieczny i poprawił SEO.

Robots.txt („tekst kropki robota”) to plik tekstowy, który pomaga robotom wyszukiwarek (takim jak bot Google i bot Bing) określić, które informacje mają być indeksowane. Domyślnie nie ma robots.txt w Magento Community lub Enterprise, więc powinieneś go utworzyć samodzielnie.

Jak robots.txt poprawi twoje Magento?

To tylko kilka przypadków użycia robots.txt, więc lepiej zrozumiesz, dlaczego jest to tak ważne:

• Robots.txt pomoże Ci uniknąć problemów z powielaniem treści (jest to bardzo ważne dla SEO).
• Ukryje informacje techniczne, takie jak dzienniki błędów, raporty, pliki podstawowe, pliki .SVN itp. Z nieoczekiwanego indeksowania (hakerzy nie będą mogli używać wyszukiwarek do wykrywania Twojej platformy i innych informacji).

Instalacja Robots.txt

Uwaga: Plik robots.txt obejmuje jedną domenę. W przypadku witryn Magento z wieloma domenami lub subdomenami każda domena / subdomena (np. Store.example.com i example.com) musi mieć własny plik robots.txt.

Magento Community i Magento Enterprise

Instalacja robots.txt jest łatwa. Wystarczy utworzyć plik robots.txt i skopiować kod robots.txt z naszego bloga. Następnie prześlij plik robots.txt do katalogu głównego swojego serwera, na przykład tutaj: example.com/robots.txt.

Jeśli prześlesz robots.txt do podfolderu, np. Example.com/store/robots.txt, robots.txt zostanie w tym przypadku zignorowany przez wszystkie wyszukiwarki.

Magento Go

Opisana jest tutaj instalacja robots.txt dla Magento Go Artykuł w bazie wiedzy .

Robots.txt dla Magento

Oto nasz zalecany kod robots.txt, przeczytaj komentarze oznaczone # przed opublikowaniem robots.txt:

## robots.txt dla społeczności Magento i przedsiębiorstwa ## GENERAL SETTINGS ## Włącz reguły robots.txt dla wszystkich robotów User-agent: * ## Parametr Crawl-delay: liczba sekund oczekiwania między kolejnymi żądaniami na ten sam serwer. ## Ustaw niestandardową szybkość indeksowania, jeśli masz problemy z ruchem na serwerze. # Crawl-delay: 30 ## Magento sitemap: odkomentuj i zastąp adres URL do pliku mapy witryny Magento # Mapa strony: http://www.example.com/sitemap/sitemap.xml ## DEVELOPMENT USTAWIENIA ZWIĄZANE ## Nie indeksuj rozwoju pliki i foldery: CVS, katalogi svn i pliki zrzutu Disallow: / CVS Disallow: /*.svn$ Disallow: /*.idea$ Disallow: /*.sql$ Disallow: /*.tgz$ ## GENERAL MAGENTO SETTINGS ## Nie indeksuj strony administracyjnej Magento Disallow: / admin / ## Nie indeksuj wspólnych folderów technicznych Magento Disallow: / app / Disallow: / downloader / Disallow: / errors / Disallow: / includes / Disallow: / lib / Disallow: / pkginfo / Disallow: / shell / Disallow: / var / ## Nie indeksuj wspólnych plików Magento Disallow: /api.php Disallow: /cron.php Disallow: /cron.sh Disallow: / error_log Disallow: /get.php Disallow: / install .php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /README.txt Disallow: /RELEASE_NOTES.txt ## MAGENTO SEO ULEPSZENIA ## Nie indeksuj stron podkategorii, które są posortowane lub fi laserem. Disallow: / *? Dir * Disallow: / *? Dir = desc Disallow: / *? Dir = asc Disallow: / *? Limit = wszystkie Disallow: / *? Tryb * ## Nie indeksuj 2-giej kopii strony głównej ( example.com/index.php/). Odkomentuj go tylko wtedy, gdy aktywowałeś adresy URL Magento SEO. ## Disallow: /index.php/ ## Nie indeksuj linków z identyfikatorami sesji Disallow: / *? SID = ## Nie indeksuj kasy i stron konta użytkownika Disallow: / checkout / Disallow: / onestepcheckout / Disallow: / customer / Disallow: / customer / account / Disallow: / customer / account / login / ## Nie indeksuj stron seach i nie zoptymalizowanych linków katalogowych Disallow: / catalogsearch / Disallow: / catalog / product_compare / Disallow: / catalog / category / view / Disallow: / catalog / product / view / ## SERVER SETTINGS ## Nie indeksuj typowych folderów i plików technicznych serwera Disallow: / cgi-bin / Disallow: /cleanup.php Disallow: /apc.php Disallow: /memcache.php Disallow: /phpinfo.php ## IMAGE CRAWLERS SETTINGS ## Extra: Uncomment, jeśli nie chcesz, aby Google i Bing indeksowali twoje obrazy # User-agent: Googlebot-Image # Disallow: / # User-agent: msnbot-media # Disallow : /

Przetestuj plik robots.txt

Po publikacji robots.txt możesz sprawdzić jego składnię za pomocą tych narzędzi online:

Dalsza lektura

Oleg Chehovsky

Ulubiony cytat: „Daj im jakość. To najlepszy rodzaj reklamy”. - Milton Hershey.