Na vsaki spletni strani bi morala obstajati datoteka, ki jo uporabniki skoraj nikoli ne vidijo, iskalniki pa jo vedno pogledajo najprej. Ta se imenuje robots.txt.

Gre za preprosto tekstovno datoteko, ki jo lahko vsi preberemo. Vedno je nameščena na “rootu” strežnika, primer: https://tvojadomena.si/robots.txt. Njej namen pa je, da posreduje informacije o tem katere strani se lahko pregledujejo in čemu naj se izogibajo. Tako bi lahko rekli, da so to navodila za iskalnike oz. robote (Googlebot, Bingbot, …).

Zakaj je robots.txt pomemben?

Če datoteka ni ustrezno nastavljena lahko:

• iskalniki zapravljajo čas na nepomembnih straneh
• indeksirajo podvojene ali tehnične vsebine
• ali pa (v najslabšem primeru) sploh ne morejo do pomembnih strani

Primer datoteke:
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tvojadomena.si/sitemap.xml

Dobro si je zapomniti:

• robots.txt je navodilo za iskalniške robote.
• Pomaga upravljati “crawl budget”.
• Ni varnostni mehanizem.
• Napačne nastavitve lahko močno škodijo SEO.
• Lahko ga ustvarimo ročno ali pa uporabimo vtičnike.

Dober robots.txt pomeni bolj učinkovit SEO.

Dodatno branje:

• Introduction to robots.txt
• robots.txt
• What Is A Robots.txt File? A Guide to Best Practices and Syntax