Google эксплуатуюць з дапамогай XML Sitemaps, каб маніпуляваць вынікамі пошуку

1. XML Sitemap & Ping Механізм
2. Google Search Console Прадстаўленне
3. адкрытыя пераадрасоўвае
4. Ping Sitemaps з дапамогай адкрытых Redirects 😱
5. Эксперымент: Выкарыстоўваючы дырэктыву hreflang, каб «скрасці» справядлівасць і ранг бясплатна
6. абмеркаванне
7. раскрыццё Timeline

Кароткая версія:

За кошт $ 12 дамен, я быў у стане заняць месца ў выніках пошуку Google з Amazon, Walmart і г.д. для высокакаштоўных тэрмінаў грошай у ЗША. Цана прапановы Adwords для некаторых гэтых тэрмінаў у цяперашні час каля $ 1 за клік, і кампаніі 10s марнаванні тысяч даляраў у месяц, каб выглядаць як рэклама на гэтых выніках пошуку, і я з'яўляўся бясплатна.

Google зараз выправіў праблему і атрымаў памылку шчадроты $ 5000.

Google дае адкрыты URL, дзе вы можаце «пінг» XML-карта сайта, які яны будуць атрымліваць і аналізаваць - гэты файл можа ўтрымліваць дырэктывы індэксацыі. Я выявіў, што для многіх сайтаў можна пинговать карту сайта, што вы (зламыснік) размяшчаюць такім чынам, што Google будзе давяраць злы карту сайта, як прыналежнасць да месца ахвяры.

Я лічу, што гэта першы раз, калі яны прысудзілі ўзнагароду за праблемы бяспекі ў рэальнай пошукавай сістэме, якая непасрэдна ўплывае на ранжыраванне сайтаў.

У рамках маіх пастаянных намаганняў навукова-даследчых, нядаўна я выявіў праблему з Google, якая дазваляе зламысніку прадставіць XML карты сайта ў Google для сайта, для якога яны не правяраюцца. Паколькі гэтыя файлы могуць утрымліваць дырэктывы індэксацыі, напрыклад, hreflang, што дазваляе зламысніку выкарыстоўваць гэтыя дырэктывы, каб дапамагчы іх уласныя сайты рангу ў выніках пошуку Google.

Я выдаткаваў $ 12 ўстаноўкі майго эксперыменту і быў рэйтынгам на першай старонцы для высокихов прыносяць даход ўмовы пошуку, з нядаўна зарэгістраваным даменам, які не мела ніводнага ўваходзяць спасылак.

XML Sitemap & Ping Механізм

Google дазваляе Падача XML Sitemap ; яны могуць дапамагчы ім адкрыць URL, каб поўзаць, але таксама могуць быць выкарыстаны дырэктывы hreflang, якія яны выкарыстоўваюць, каб зразумець, што могуць існаваць і іншыя міжнародныя версіі аднаго і таго жа старонкі (напрыклад, «эй Google, гэта старонка ЗША, але ў мяне ёсць нямецкая старонка на гэты URL ... »). Гэта дакладна не вядома, як Google выкарыстоўвае гэтыя дырэктывы (як і ўсе звязаныя з алгарытмамі пошуку Google), але гэта, здаецца, што hreflang дазваляе аднаму URL у «пазыку» спасылцы справядлівасці і даверу з боку аднаго URL і выкарыстоўваць яго для ранжыравання іншы URL ( г.зн. большасць людзей спасылаюцца на .com амерыканскай версіі, і таму нямецкая версія можа «заняць» уласны капітал больш высокі рэйтынг у Google.de).

Вы можаце адправіць XML Sitemaps для вашага дамена альбо з дапамогай Google Search Console, ўнутры вашага файла robots.txt або праз спецыяльны URL «пінг». Google-х ўласныя дакументы здаецца, трохі супярэчлівыя; у верхняй частцы старонкі, яны ставяцца да падачы сайтмепов праз механізм пінг, але ў ніжняй частцы старонкі ў іх ёсць гэта папярэджанне:

Тым не менш, у маім вопыце вы можаце абсалютна прадставіць новыя сайтмепы XML з дапамогай механізму пінг, з Googlebot звычайна здабывання файла на працягу 10-15 секунд Пінга. Важна адзначыць, што Google таксама адзначыць пару раз на старонцы, калі вы прадставіць карту сайта з дапамогай механізму пінг ён не будзе адлюстроўвацца ў вашай пошукавай кансолі:

У адпаведных іспытах, я праверыў, ці змагу я дадаць іншыя вядомыя дырэктывы пошуку (NoIndex, отн-кананічны) праз XML Sitemaps (а таксама спрабую куча XML подзвігаў), але Google, здаецца, не выкарыстоўваць іх.

Google Search Console Прадстаўленне

Калі вы спрабуеце прадставіць XML карты сайта ў GSC, які ўключае ў сябе URL-адрасы для іншага дамена Вы ня, то GSC адхіляе іх:

Мы вернемся да гэтага ў хвіліну.

(На жаль, Jono!)

адкрытыя пераадрасоўвае

Многія сайты выкарыстоўваюць параметр URL для кіравання пераадрасацыі:

У гэтым прыкладзе я перанакіраваны (пасля ўваходу ў сістэму), каб page.html. Некаторыя сайты з дрэннай гігіенай дазваляюць так званыя «адкрытыя рэдырэкт», дзе гэтыя параметры дазваляюць перанакіраванне на іншы дамен:

Часта яны не маюць патрэбы ў якім-небудзь узаемадзеянні (як лагін), так што яны проста перанакіроўваюць карыстальнік адразу:

Адкрытыя пераадрасоўвае вельмі распаўсюджаны, і часта лічыцца не надта небяспечна; Google не ўключае іх у памылцы шчадротаў праграмы па гэтых прычынах. Тым не менш, па меры магчымасці кампаніі не спрабуюць абараніцца ад іх, але часта вы можаце абыйсці іх абарону:

Tesco з'яўляюцца Вялікабрытанія рознічнага гандлю робіць больш, чым £ 50 мільярдаў ў даходзе, за £ 1 млрд з якіх праз іх сайт. Я паведаміў пра гэта прыклад Tesco (разам з шэрагам іншых іншых кампаній, якія я знайшоў у ходзе дадзенага даследавання), і яны ліквідавалі яго.

Ping Sitemaps з дапамогай адкрытых Redirects 😱

На дадзены момант, вы ўжо здагадаліся, куды я хілю. У атрымліваецца, што , калі вы пінг XML карты сайта, калі URL вы перадаеце гэта рэдырэкт Google будзе прытрымлівацца , што перанакіраванне, нават калі гэта крос дамен. Важна адзначыць, што, здаецца, да гэтага часу асацыююць, што XML-карту сайт з даменам, які зрабіў перанакіраванне, і лячыць карту сайта ён знаходзіць пасля рэдырэкту ў якасці ўпаўнаважанай для гэтага дамена. Напрыклад:

У гэтым выпадку evil.xml карта сайта размяшчаецца на blue.com, але Google звязвае яго як належыць, і быць аўтарытэтным для, green.com. З дапамогай гэтага вы можаце адправіць XML Sitemaps для сайтаў, не павінны мець кантроль, і адправіць дырэктывы пошуку Google.

Эксперымент: Выкарыстоўваючы дырэктыву hreflang, каб «скрасці» справядлівасць і ранг бясплатна

На дадзены момант у мяне былі розныя рухаюцца часткі, але я не пацвердзіў, што Google сапраўды давярае междоменная перанакіраваны XML карты сайта, таму я раскручваецца эксперымент, каб праверыць яго. Я зрабіў шмат невялікіх тэсты, каб зразумець розныя часткі гэтага (а таксама розныя тупік), але не чакаў, што гэты эксперымент, каб працаваць так жа як гэта было зроблена.

Я стварыў падроблены дамен для брытанскага рытэйлера, які не працуе ў ЗША, і раскручваецца сервер AWS, які імітаваў сайт (у першую чаргу за кошт уборкі законным ўтрыманне і пераабсталяванне яго - гэта значыць змена валюты / адрас і г.д.). Я ананімнай кампаніі (і прамысловасці) тут, каб абараніць іх, так што давайце проста называць іх victim.com.

Цяпер я стварыў фальшывы карту сайта, які быў размешчаны на evil.com, але ня ўтрымлівае URL-адрасы для victim.com. Гэтыя URL ўтрымлівалі hreflang запісу для кожнага URL, які паказвае на эквівалентны URL на evil.com, паказаўшы, што ён быў амерыканскай версіі victim.com. Цяпер я прадставіў гэтую карту сайта праз адкрыты URL пераадрасацыі на victim.com праз механізм пінг Google.

На працягу 48 гадзін сайт пачаў атрымліваць невялікія аб'ёмы трафіку на працяглыя тэрміны хваста (агульны здымак экрана):

Пару больш дзён прайшло, і я пачаў з'яўляцца на канкурэнтных умовах на 1-ай старонцы, супраць падобных Amazon і Walmart:

Акрамя таго, Google Search Console для evil.com паказана, што victim.com было спасылкі на evil.com, хоць гэта, відавочна, было не так:

У гэты момант я выявіў, што я таксама быў у стане прадставіць XML Sitemaps для victim.com ўнутры GSC для evil.com:

Здавалася, што Google звязаў сайты, і пошук кансолі evil.com цяпер была некалькі магчымасцяў, каб уплываць на victim.com-х ўстаноўкі. Цяпер я мог таксама адсочваць індэксацыю для майго прадстаўленага Sitemaps (вы можаце ўбачыць, я тысячы старонак індэксуюцца ў цяперашні час).

Searchmetrics паказваў усё большае значэнне трафіку:

Google Search Console паказваў больш за мільён паказаў пошуку і больш за 10 000 клікаў ад пошуку Google; і ў гэты момант я не зрабіў нічога, акрамя прадставіць XML карты сайта!

Варта адзначыць, што не дазваляе людзям праверыць на злом сайце, але калі б я хацеў, у гэты момант я мог бы альбо ашуканскія чалавек за шмат аб'яў грошай, альбо ўсталявання ці іншым чынам прыступіў да манетызацыі гэтага трафіку. На мой погляд, гэта ўяўляе сур'ёзную небяспеку для наведвальнікаў Google, а таксама рызыка для кампаній, якія абапіраюцца на пошук Google для трафіку. Трафік расце яшчэ, але я зачыніў мой эксперымент ўніз і перапыніць мае наступныя эксперыменты з-за страх рабіць пашкоджанне.

абмеркаванне

Гэты метад цалкам непрыкметны для victim.com - у XML Sitemaps не адлюстроўваецца на іх канцы, і калі вы робіце тое, што я зрабіў, і выкарыстоўваючы іх сувязь справядлівасці для іншай краіны, то вы маглі б цалкам лётаць пад радарам. Канкурэнты ў краіне працуюць у засталося б зусім збіты з панталыку прадукцыйнасць вашага сайта (глядзіце вышэй, дзе я знаходжуся ў выніках пошуку, як Amazon, Walmart і Target, якія ўсё марнуюць значныя рэсурсы, каб быць там).

З пункту гледжання Black Hat SEO, гэта было дакладнае выкарыстанне, і, акрамя таго, гэта першы прыклад я ведаю пра адкрытая выкарыстоўваць у алгарытме, а не маніпулюючы фактараў ранжыравання. Сур'ёзнасць патэнцыйнага фінансавага ўздзеяння пытання, здаецца, не трывіяльная - уявіце сабе патэнцыйную прыбытак ад арыентацыі Tesco або аналагічнай (у мяне быў больш тэстаў, каб бегчы, каб даследаваць гэта больш, але не магу без патэнцыйна можа прывесці да пашкоджання).

Google прысудзілі $ 5000 ўзнагароду за гэта, і каманда Google было прыемна мець справу, як заўсёды. Дзякуючы ім.

Калі ў вас ёсць якія-небудзь пытанні, каментары ці інфармацыі вы можаце звязацца са мной па [Электронная пошта абаронена] , На Твітэры @TomAnthonySEO Або праз кантакт са мной па дыстыляваны ,

раскрыццё Timeline

• 23 верасня 2017 - я падаў першапачатковы справаздачу пра памылку.
• 25 верасня 2017 - Google адказаў - яны адбіралі паранены памылкі і глядзелі на яго.
• 2 кастрычніка 2017 - Я адправіў яшчэ некаторыя дэталі.
• 9 кастрычніка - 6 лістапада - некаторыя назад і наперад абнаўленне статусу.
• 6 лістапада 2017 - Google сказаў «Гэты даклад быў даволі цяжка вызначыць, што можа быць зроблена, каб прадухіліць такога роду паводзіны і колькасць гэтага ўплыву на нашых пошукавых results.I працягнулі да каманды, каб атрымаць канчатковае рашэнне па вашаму справаздачу. Я ведаю, што яны былі прасейвання праз дадзеныя, каб вызначыць, наколькі распаўсюджана паводзіны, якое вы апісалі гэта і ці з'яўляецца што-небудзь адразу, што павінна быць зроблена пра гэта. »
• 6 лістапада 2017 - Я адказаў, мяркуючы, што яны не ідуць междоменные перанакіроўваюць для пингуемого Sitemaps - ёсць трохі добрая прычына для гэтага, і гэта можа быць толькі GSC асаблівасць.
• 3 студзеня 2018 - я папрасіў абнаўленне статусу.
• 15 студзеня 2018 - Googled адказаў «Прашу прабачэння за затрымку, я не хацеў, каб закрыць гэты справаздачу раней, таму што мы не змаглі атрымаць канчатковае рашэнне, калі можна было б вырашыць гэтую праблему з перанакіраваннем ланцугом, не парушаючы многія легітымны выпадкі выкарыстання. Я пацягнуўся назад да каманды разгляду гэтага дакладу, каб атрымаць канчатковы адказ і будзе інфармаваць вас з іх адказам на гэтым тыдні «.
• 15 лютага 2018 - Google абнаўляецца, каб паведаміць мне пра памылку была пададзена ў справаздачы, і рада VRP будзе абмяркоўваць шчадроты.
• 6 сакавіка 2018 - Google, дайце мне ведаць, што яны прысудзілі ўзнагароду ў памеры $ 1337.
• 6 сакавіка 2018 - я падзяліў праект гэтай пасады з дапамогай Google і папрасіў зялёнае святло раскрыць.
• 12 сакавіка 2018 - Google, дайце мне ведаць, што яны не завяршылі папраўку, і папрасіў мяне ўтрымаць.
• 25 сакавіка 2018 - Google пацвердзіў, што выпраўленне было жыць, і даў мне зялёнае святло да слупа.
• 17 красавіка 2018 - Google зноў звязаўся са мной, каб сказаць, што яны павысілі суму Баунті да $ 5000. 🙂