# diese datei regelt, welche suchmaschinen-robolts auf welche Verzeichnisse zugreifen können User-agent: * # alle robots #Disallow: /cgi-bin/ #heißt der Ordner "/cgi-bin" wird nicht durchsucht Disallow: / Disallow: /drtausend/ Disallow: /party/ Disallow: /cgi-bin/ # Disallow: / soll erreichen, dass die webseite garnicht von suchmaschinen gescannt wird. Im Falle das das nicht klappt, habe ich noch weitere Verzeichnisse eingetragen.