Robots.txt

Ordbog: Robots.txt

[robots ekskludering, robots standard, ekskluderingsstandard]

Robots.txt er en de-facto standard, der bruges til at angive kataloger på din webserver, som du ikke ønsker at bestemte agenter får adgang til - herunder søgemaskinernes robotter.

Robots.txt er en almindelig textfil (f.eks. skrevet i Notepad) med navnet robots.txt. For at det virker skal filen placeres i din webservers rod, således at den kan findes på: www.dit-domain.dk/robots.txt

Hvis du vil udelukke alle robotter fra hele dit website skrives det således:

User-agent: *
Disallow: /

Hvis det kun er katalogerne /privat/ og /admin/ du ikke vil have robotterne ind i, skrives det således:

User-agent: *
Disallow: /privat/
Disallow: /admin/

Du kan finde yderligere dokumentation af standarden her:
www.searchengineworld.com/robots/robots_tutorial.htm

Gode tilbud fra deMib.com ...
Få en grundig SEO Analyse af dit website En SEO Analyse laves med henblik på, at identificere og beskrive de ting du med fordel kan ændre på dit website, så du opnår en større gennemslagskraft og synlighed i søgemaskinerne. Klik her og læs mere!
En stærk rammeaftale for din SEO Med en SEO retainer aftale er du sikret den løbende fokus på din søgemaskineoptimering, som der skal til, for at opnå de bedste resultater. Klik her og læs mere!
Få en stærk SEO-uddannelse Jo mere du selv ved om SEO jo bedre vil dit website blive optimeret - uanset om du selv ender med, at lave det hele, eller overlader lidt eller meget af det til os. Klik her og læs mere!
Produkter & Services