A robots.txt fájl a weboldal gyökér könyvtárában található. Feladata elsősorban, hogy közölje a keresőrobotok számára, hogy mihez férhetnek hozzá, hogy miket keressenek fel és miket ne. Amikor egy keresőrobot rátalál egy oldalra, elsőként ezt a robots.txt fájlt veszi górcső alá. A keresőrobotok ellenőrzik a robots.txt-ben található indexelésre vonatkozó utasításokat.
A robots.txt fájlt a Google ajánlásoknak megfelelően frissítettük. Több utasítást átszerveztünk és az olyan oldalakat, amelyeket nem szeretnénk, hogy a Google indexeljen (például az admin oldalak) ezentúl robots meta tag segítségével kezeljük. A fontos oldalakat természetesen továbbra sem zárjuk el a Google szeme elől semmilyen módon.
Ezzel az egyszerűsítéssel, optimalizálással a Shoprenter robots.txt fájlja megfelel a Google követelményeinek.
További információ a kereső optimalizálásról és analitikáról a Shoprenter Akadémián.
Szeretnéd, hogy a robots.txt fájl szerkeszthető legyen? Szavazz rá a kívánságlistán!