Robots.txt je textový súbor umiestnený v koreňovom adresári webu, ktorý dáva vyhľadávacím robotom (crawlerom) pokyny, ktoré časti webu môžu a nemôžu prehľadávať.
Pomáha riadiť, ako sa web indexuje. Môžete ním napríklad zabrániť prehľadávaniu administračných sekcií, duplicitných stránok alebo nepodstatných častí, a tým efektívnejšie využiť rozpočet crawlovania (crawl budget) na dôležitý obsah.
Správne nastavenie robots.txt je súčasťou technického SEO. Chyby v ňom môžu mať vážne následky - neúmyselné zablokovanie celého webu znemožní jeho zobrazovanie vo vyhľadávaní. Dôležité je vedieť, že robots.txt riadi prehľadávanie, nie priamo indexáciu - na zabránenie zobrazenia stránky slúžia iné nástroje. Pri zmenách webu je vhodné súbor skontrolovať cez Google Search Console.
← Späť na marketingový slovník