Crawler mit robots.txt aussperren

Das könnte Dich auch interessieren …

3 Antworten

  1. Werner sagt:

    Hallo

    zum Text:
    „Mit diesem Code-Snippet, das in die robots.txt-Datei eingefügt werden muss, werden die Crawler der Personensuchmaschinen ausgesperrt.“

    Also wenn ich aus dem Haus ausgesperrt werde, ist wohl (hoffentlich) ein Sicherheitsschloss dafür verantwortlich.
    Darf ich zum nachdenken bewegen? Welcher Mechanismen sperren einen Crawler aus?

    Selbst wenn,…

    User-agent: wget ???

    –user-agent=““ instructs Wget not
    to send the „User-Agent“ header in HTTP requests.

    Du hast interessante Beiträge!
    Jetzt verstehe ich Dein Beitrag: https://timschropp.com/linux-ist-keine-alternative/

    LG

    • Tim Schropp sagt:

      Hallo Werner,
      jetzt bin ich wenig überrascht, auch hier einen Beitrag von dir vorzufinden – hast du inzwischen alle Artikel durch? Erlaube mir eine Gegenfrage: Geht es hier um die robots-Datei, oder um das von dir erwähnte „Sicherheitsschloss“?

      Sicher, ich kann so und auch mit [i]RewriteCond %{HTTP_USER_AGENT} BOT […][/i] noch eine erweiterte Methodik anwenden – aber darum geht es hier nicht. Durchaus aber ein guter Anstoß für einen eventuell neuen Artikel, setze ich mir auf die Merkliste.

      Ich warte gespannt auf dein weiteres Feedback.

  2. Stephanie Cisco sagt:

    Hurrah, that’s what I was searching for, what a stuff! thanks admin.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.