Na vsaki spletni strani bi morala obstajati datoteka, ki jo uporabniki skoraj nikoli ne vidijo, iskalniki pa jo vedno pogledajo najprej. Ta se imenuje robots.txt.

Preberi