система онлайн-бронирования
г. Донецк, Украина, ул. Артёма, 87
+38 (062) 332 33 32, 332-27-71
ЗАБРОНИРОВАТЬ
НОМЕР

Статьи

Wykorzystaj Google poprzez mapy witryn XML do manipulowania wynikami wyszukiwania

  1. XML Mapa witryny i mechanizm pingowania
  2. Zgłoszenie konsoli Google Search
  3. Otwarte przekierowania
  4. Ping Sitemaps via Open Redirects 😱
  5. Eksperyment: Używanie dyrektywy hreflang do „kradzieży” sprawiedliwości i rangowania za darmo
  6. Dyskusja
  7. Oś czasu ujawnienia

Krótka wersja:

Za 12 USD kosztu domeny udało mi się zaszeregować do wyników wyszukiwania Google z Amazon, Walmart itp. W przypadku pieniądza o wysokiej wartości w USA. Cena ofertowa Adwords dla niektórych z tych warunków wynosi obecnie około 1 USD za kliknięcie, a firmy wydają 10 tys. Dolarów miesięcznie na reklamy w tych wynikach wyszukiwania, a ja pojawiałem się za darmo.

Google rozwiązało problem i przyznało mu nagrodę w wysokości 5000 USD.

Google udostępnia otwarty adres URL, na którym można „pingować” mapę witryny XML, którą będą pobierać i analizować - ten plik może zawierać dyrektywy indeksacji. Odkryłem, że dla wielu witryn możliwe jest pingowanie mapy witryny, którą (atakujący) hostujesz w taki sposób, że Google zaufa złej mapie witryny jako należącej do witryny ofiary.

Uważam, że po raz pierwszy przyznano im nagrodę za problem bezpieczeństwa w rzeczywistej wyszukiwarce, co bezpośrednio wpływa na ranking witryn.

W ramach moich regularnych działań badawczych niedawno odkryłem problem z Google, który umożliwia osobie atakującej przesłanie Google mapy witryny do witryny, dla której nie są uwierzytelnione. Ponieważ pliki te mogą zawierać dyrektywy indeksacyjne, takie jak hreflang, umożliwia to osobie atakującej wykorzystanie tych dyrektyw, aby pomóc własnym stronom w rankingu w wynikach wyszukiwania Google.

Wydałem 12 USD na przygotowanie eksperymentu i znalazłem się na pierwszej stronie pod kątem wyszukiwanych haseł z wysokimi przychodami, z nowo zarejestrowaną domeną bez linków przychodzących.

XML Mapa witryny i mechanizm pingowania

Google zezwala na złożenie mapy witryny XML ; mogą one pomóc im odkryć adresy URL do indeksowania, ale mogą również posłużyć się dyrektywami hreflang, których używają, aby zrozumieć, jakie inne międzynarodowe wersje tej samej strony mogą istnieć (tj. „hej Google, to jest strona amerykańska, ale mam niemiecką stronę ten adres URL… ”). Nie wiadomo dokładnie, w jaki sposób Google korzysta z tych dyrektyw (jak w przypadku wszystkiego, co jest związane z algorytmami wyszukiwania Google), ale wydaje się, że hreflang pozwala na jeden adres URL, aby „pożyczyć” link i zaufanie z jednego adresu URL i użyć go do uszeregowania innego adresu URL ( tzn. większość ludzi łączy się z wersją US .com, więc wersja niemiecka może „pożyczyć” kapitał, aby uzyskać lepszą pozycję w Google.de).

Mapy witryn XML można przesyłać do swojej domeny za pomocą Google Search Console, wewnątrz pliku robots.txt lub specjalnego adresu URL „ping”. Google własne dokumenty wydają się nieco sprzeczne; na górze strony odnoszą się do przesyłania map witryn za pośrednictwem mechanizmu ping, ale na dole strony mają to ostrzeżenie:

Google   własne dokumenty   wydają się nieco sprzeczne;  na górze strony odnoszą się do przesyłania map witryn za pośrednictwem mechanizmu ping, ale na dole strony mają to ostrzeżenie:

Z mojego doświadczenia wynika, że ​​można całkowicie przesłać nowe mapy witryn XML za pomocą mechanizmu ping, przy czym Googlebot zazwyczaj pobiera plik w ciągu 10-15 sekund od pingu. Co ważne, Google wspomina również kilka razy na stronie, że jeśli prześlesz mapę witryny za pomocą mechanizmu ping, nie pojawi się ona w Twojej Konsoli wyszukiwania :

Co ważne, Google wspomina również kilka razy na stronie, że jeśli prześlesz mapę witryny za pomocą mechanizmu ping, nie pojawi się ona w Twojej Konsoli wyszukiwania :

Jako pokrewny test przetestowałem, czy mogę dodać inne znane dyrektywy wyszukiwania (noindex, relore canonical) za pomocą map witryn XML (a także wypróbować kilka exploitów XML), ale Google najwyraźniej ich nie używał.

Zgłoszenie konsoli Google Search

Jeśli spróbujesz przesłać mapę witryny XML w GSC, która zawiera adresy URL dla innej domeny, do której nie masz uprawnień, to GSC je odrzuca:

Wrócimy do tego za chwilę.

(Przepraszam, Jono!)

Otwarte przekierowania

Wiele witryn używa parametru URL do kontrolowania przekierowania:

W tym przykładzie zostałbym przekierowany (po zalogowaniu) na stronę.html. Niektóre witryny o złej higienie dopuszczają tzw. „Otwarte przekierowania”, gdzie te parametry umożliwiają przekierowanie do innej domeny:

Często nie wymagają one żadnej interakcji (jak logowanie), więc po prostu przekierowują użytkownika od razu:

Otwarte przekierowania są bardzo powszechne i często uważane za niezbyt niebezpieczne; Z tych powodów Google nie uwzględnia ich w programie nagród za błędy. Jednak tam, gdzie to możliwe, firmy starają się przed nimi chronić, ale często można obejść ich ochronę:

Tesco to brytyjski detalista, który osiąga ponad 50 miliardów funtów przychodów, w tym ponad miliard funtów za pośrednictwem swojej strony internetowej. Zgłosiłem ten przykład do Tesco (wraz z kilkoma innymi do innych firm, które odkryłem podczas tych badań) i od tamtej pory to naprawili.

Ping Sitemaps via Open Redirects 😱

W tym momencie mógłbyś zgadnąć, dokąd z tym zmierzam. Okazuje się, że gdy pingujesz mapę witryny XML, jeśli podany adres URL jest przekierowaniem, Google zastosuje to przekierowanie, nawet jeśli jest to przekierowanie. Co ważne, wydaje się, że nadal wiąże tę mapę witryny XML z domeną, która dokonała przekierowania, i traktuje mapę witryny znalezioną po przekierowaniu jako autoryzowanym dla tej domeny. Na przykład:

W tym przypadku mapa witryny evil.xml znajduje się na stronie blue.com, ale Google kojarzy ją jako należącą do green.com i będącą jej autorytetem. Za jego pomocą możesz przesyłać mapy witryn XML dla witryn, nad którymi nie powinieneś mieć kontroli, i wysyłać dyrektywy wyszukiwania Google.

Eksperyment: Używanie dyrektywy hreflang do „kradzieży” sprawiedliwości i rangowania za darmo

W tym momencie miałem różne ruchome części, ale nie potwierdziłem, że Google naprawdę zaufałby przekierowanej mapie domeny XML w wielu domenach, więc przeprowadziłem eksperyment, aby go przetestować. Wykonałem wiele mniejszych testów, aby zrozumieć różne części tego (jak również różne ślepe zaułki), ale nie spodziewałem się, że ten eksperyment zadziała tak dobrze, jak on.

Stworzyłem fałszywą domenę dla brytyjskiej firmy detalicznej, która nie działa w USA, i stworzyłem serwer AWS, który naśladował witrynę (głównie poprzez zbieranie legalnych treści i ich zmianę - tj. Zmianę waluty / adresu itp.). Anonimizowałem firmę (i branżę) tutaj, aby ich chronić, więc po prostu nazwijmy ich ofiarą.com.

Teraz utworzyłem fałszywą mapę witryny, która była hostowana na evil.com, ale zawierała tylko adresy URL dla victim.com. Te adresy URL zawierały wpisy hreflang dla każdego adresu URL wskazującego na równoważny adres URL w witrynie evil.com, wskazując, że była to amerykańska wersja victim.com. Teraz przesłałem tę mapę witryny za pomocą otwartego adresu URL przekierowania na ofiara za pośrednictwem mechanizmu ping Google.

W ciągu 48 godzin witryna zaczęła generować niewielkie ilości ruchu na warunkach długiego ogona (zrzut ekranu SEMRush):

W ciągu 48 godzin witryna zaczęła generować niewielkie ilości ruchu na warunkach długiego ogona (zrzut ekranu SEMRush):

Minęło jeszcze kilka dni i zacząłem pojawiać się na konkurencyjnych warunkach na pierwszej stronie, na przykład na Amazon i Walmart:

Minęło jeszcze kilka dni i zacząłem pojawiać się na konkurencyjnych warunkach na pierwszej stronie, na przykład na Amazon i Walmart:

Co więcej, Google Search Console for evil.com wskazała, że ​​ofiara.com linkowała do evil.com, choć oczywiście tak nie było:

com, choć oczywiście tak nie było:

W tym momencie odkryłem, że mogę również przesyłać mapy witryn XML dla ofiar.com wewnątrz GSC dla evil.com:

com:

Wydawało się, że Google połączył strony, a konsola wyszukiwania evil.com miała teraz pewne możliwości wpływania na konfigurację victim.com. Mógłbym teraz również śledzić indeksację moich zgłoszonych map witryn (możesz zobaczyć, że mam teraz zaindeksowane tysiące stron).

Wyszukiwarka pokazywał rosnącą wartość ruchu:

Google Search Console wyświetlało ponad milion wyświetleń wyszukiwania i ponad 10 000 kliknięć z wyszukiwarki Google; w tym momencie nie zrobiłem nic innego, jak przesłać mapę witryny XML!

Powinieneś zauważyć, że nie pozwalałem ludziom sprawdzić się na złej stronie, ale gdybym chciał, w tym momencie mógłbym albo oszukać ludzi za dużo pieniędzy, albo skonfigurować reklamy lub w inny sposób zacząć zarabiać na tym ruchu. Moim zdaniem stanowiło to poważne zagrożenie dla odwiedzających Google, a także ryzyko dla firm polegających na wyszukiwaniu ruchu przez Google. Ruch wciąż się zwiększał, ale zamknąłem eksperyment i przerałem eksperymenty kontrolne z obawy przed uszkodzeniem.

Dyskusja

Ta metoda jest całkowicie niewykrywalna dla ofiar.com - mapy witryn XML nie pojawiają się na ich końcu, a jeśli robisz to, co robiłem i wykorzystując ich kapitał własny dla innego kraju, możesz całkowicie latać pod radarem. Konkurenci w kraju działają w dość zdumiony wynikami twojej witryny (zobacz powyżej, gdzie jestem w wynikach wyszukiwania, jak Amazon, Walmart i Target, którzy wydają znaczne środki, aby tam być).

Jeśli chodzi o SEO Black Hat, miało to wyraźne zastosowanie, a ponadto jest to pierwszy przykład, którego jestem świadomy, jeśli chodzi o wykorzystywanie algorytmu, a nie manipulowanie czynnikami rankingu. Skala potencjalnego wpływu finansowego problemu wydaje się nietrywialna - wyobraź sobie potencjalny zysk z targetowania Tesco lub podobnego (miałem więcej testów do uruchomienia w celu zbadania tego bardziej, ale nie mogłem bez potencjalnie spowodowania szkód).

Google przyznało za to nagrodę w wysokości 5000 USD, a zespół Google miał przyjemność, jak zawsze. Dzięki nim.

Jeśli masz jakieś pytania, komentarze lub informacje, możesz skontaktować się ze mną pod adresem [email protected] , na Twitterze o @TomAnthonySEO lub kontaktując się ze mną za pośrednictwem Destylowany .

Oś czasu ujawnienia

  • 23 września 2017 - złożyłem wstępne zgłoszenie błędu.
  • 25 września 2017 r. - odpowiedział Google - przeprowadzili próbę usterki i sprawdzili ją.
  • 2 października 2017 r. - wysłałem więcej szczegółów.
  • 9 października - 6 listopada - niektóre aktualizacje statusu w tę iz powrotem.
  • 6 listopada 2017 r. - Google powiedział: „Ten raport był nieco trudny do ustalenia, co można zrobić, aby zapobiec tego rodzaju zachowaniom i ich wpływowi na nasze wyniki wyszukiwania. Dotarłem do zespołu, aby uzyskać ostateczną decyzję w sprawie raport. Wiem, że przesiewają dane, aby określić, jak powszechne jest opisywane przez ciebie zachowanie i czy to jest coś, co należy natychmiast zrobić ”.
  • 6 listopada 2017 r. - odpowiedziałem, sugerując, że nie śledzą przekierowań międzydomenowych dla pingowanych map witryn - nie ma ku temu wystarczającego powodu i może to być tylko funkcja GSC.
  • 3 stycznia 2018 r. - poprosiłem o aktualizację statusu.
  • 15 stycznia 2018 r. - Googled odpowiedział: „Przepraszam za opóźnienie, nie chciałem wcześniej zamknąć tego raportu, ponieważ nie byliśmy w stanie uzyskać ostatecznej decyzji, gdyby możliwe było zajęcie się tym zachowaniem za pomocą łańcucha przekierowań bez łamania wielu legalnych przypadków użycia. Wróciłem do zespołu oceniającego ten raport, aby uzyskać ostateczną odpowiedź i zaktualizuję Cię swoją odpowiedzią w tym tygodniu. ”
  • 15 lutego 2018 r. - firma Google zaktualizowała, aby powiadomić mnie o zgłoszeniu błędu w raporcie, a zarząd VRP omówił nagrodę.
  • 6 marca 2018 r. - Google poinformowało mnie, że przyznało nagrodę w wysokości 1337 USD.
  • 6 marca 2018 - udostępniłem szkic tego posta w Google i poprosiłem o zielone światło do ujawnienia.
  • 12 marca 2018 r. - Google poinformowało mnie, że nie ukończyło poprawki, i poprosiło mnie o wstrzymanie się.
  • 25 marca 2018 r. - Google potwierdził, że poprawka jest na żywo, i dał mi zielone światło do opublikowania.
  • 17 kwietnia 2018 r. - Google ponownie skontaktował się ze mną, aby powiedzieć, że podwyższył kwotę nagród do 5000 USD. 🙂

Новости

Отель «Централь» Официальный сайт 83001, Украина, г. Донецк, ул. Артема, 87
Тел.: +38 062 332-33-32, 332-27-71
[email protected]
TravelLine: Аналитика


Студия web-дизайна Stoff.in © 2008