Google prestane podporovať noindex v robots.txt

Google prestane podporovať noindex v robots.txt

Od 1. Septembra 2019 prestane Google podporovať noindex v súbore robots.txt. Google to oznámil na svojom Google Webmaster blogu. To znamená, že Google už nebude podporovať súbory robots.txt pomocou noindex smernice.

“V záujme zachovania zdravého ekosystému a prípravy na potenciálne budúce open source vydania, sme poslali do dôchodku všetky kódy, ktoré spracovávajú nepodporované a nepublikované pravidlá (napríklad noindex) s účinnosťou od 1. septembra 2019. Pre tých z vás, ktorí sa spoliehali na noindex smernicu o indexovaní v súbore robots.txt, ktorý riadi prehľadávanie, existuje množstvo alternatívnych možností, “uviedol Google.

AKÉ SÚ TEDA ALTERNATÍVY? 

Google uviedol nasledujúce možnosti, ktoré odporúča používať:

NOINDEX V ROBOTS META TAGS 

Je to najefektívnejší spôsob na odstránenie URL adries z indexu vyhľadávania.
Ak chcete zabrániť indexovaniu stránky svojho webu väčšine vyhľadávačom, pridajte do časti <head> túto metaznačku:

<meta name="robots" content="noindex">

Ak chcete zabrániť indexovaniu stránky svojho webu iba pre vyhľadávač Google, pridajte nasledujúcu metaznačku:

<meta name="googlebot" content="noindex">

Viac informácií zistíte v Search Console Help.

404 A 410 HTTP STATUS CODES

Obidva kódy znamenajú, že stránka neexistuje, čo tieto URL adresy Google z indexu vyhľadávania vylúči. Tu ale vznikajú ďalšie chybové stránky, ktoré nám môžu zbytočne zavádzať.

OCHRANA HESLOM

Skrytie stránky za prihlásením ju vo všeobecnosti odstráni z Google indexu.

Tento spôsob sa najčastejšie používa ak na subdoméne pripravujete novú stránku a ešte je v testovaní. 

DISALLOW V SÚBORE ROBOTS.TXT

Vyhľadávače môžu indexovať iba stránky o ktorých vedia, takže blokovanie stránky za pomoci disallow často znamená, že jej obsah nebude indexovaný. Aj keď vyhľadávače môžu indexovať URL adresy na základe odkazov z iných stránok bez toho, aby videli samotný obsah. Google sa snaží, aby boli takéto stránky v budúcnosti menej viditeľné.

SEARCH CONSOLE REMOVE URL TOOL

Tento nástroj je rýchla a jednoduchá metóda na dočasné odstránenie URL adresy z výsledkov vyhľadávania Google. Ako používať Remove URL tool v Search Console sa dozviete v Search Console Help.

BUDE TO ŠTANDARDOM

Google oznámil, že pracuje na tom, aby bol protokol o vylúčení robotov (robots exclusion protocol) štandardom a toto je pravdepodobne ich prvá zmena. V skutočnosti Google vydal svoj robots.txt ako open source projekt.

PREČO GOOGLE PRICHÁDZA SO ZMENOU AŽ TERAZ?

Google chce už roky meniť a štandardizovať tento protokol. Teraz sa môže posunúť vpred. Google taktiež uviedol, že „analyzovali použitie pravidiel robots.txt“. Tieto pravidlá neboli nikdy zdokumentované spoločnosťou Google a tak prirodzene pri ich používaní vznikali chyby vo vzťahu k robotovi Googlebot. Tieto chyby poškodili zobrazovanie webových stránok vo výsledkoch vyhľadávania takým spôsobom, aký webmastri určite nemali v pláne.

ČO BY STE SI MALI SKONTROLOVAŤ?

Najdôležitejšie je uistiť sa, že v súbore robots.txt nepoužívate noindex. Nájdete ho ľahko ak si zadáte na konci vašej domovskej stránky /robots.txt 

Ak používate noindex smernicu v súbore robots.txt, tak budete musieť vykonať jednu z vyššie navrhovaných zmien najneskôr do 1. septembra 2019. Tiež sa pozrite, či používate príkazy nofollow alebo crawl-delay a ak áno, pozrite sa na použitie podporovanej metódy presne podľa aktuálnych smerníc.

Ak si predsa len nie ste istí, tak sa obráťte na nás a my vám robots.txt bezplatne preveríme. Stačí ak vyplníte kontaktný formulár 🙂 

Zdroj: searchengineland.com, webmasters.googleblog.com

Pridaj komentár