Crawler mit robots.txt aussperren

Das könnte Dich auch interessieren …

3 Antworten

  1. Werner sagt:

    Hallo

    zum Text:
    „Mit diesem Code-Snippet, das in die robots.txt-Datei eingefügt werden muss, werden die Crawler der Personensuchmaschinen ausgesperrt.“

    Also wenn ich aus dem Haus ausgesperrt werde, ist wohl (hoffentlich) ein Sicherheitsschloss dafür verantwortlich.
    Darf ich zum nachdenken bewegen? Welcher Mechanismen sperren einen Crawler aus?

    Selbst wenn,…

    User-agent: wget ???

    –user-agent=““ instructs Wget not
    to send the „User-Agent“ header in HTTP requests.

    Du hast interessante Beiträge!
    Jetzt verstehe ich Dein Beitrag: https://timschropp.com/linux-ist-keine-alternative/

    LG

    • Tim Schropp sagt:

      Hallo Werner,
      jetzt bin ich wenig überrascht, auch hier einen Beitrag von dir vorzufinden – hast du inzwischen alle Artikel durch? Erlaube mir eine Gegenfrage: Geht es hier um die robots-Datei, oder um das von dir erwähnte „Sicherheitsschloss“?

      Sicher, ich kann so und auch mit [i]RewriteCond %{HTTP_USER_AGENT} BOT […][/i] noch eine erweiterte Methodik anwenden – aber darum geht es hier nicht. Durchaus aber ein guter Anstoß für einen eventuell neuen Artikel, setze ich mir auf die Merkliste.

      Ich warte gespannt auf dein weiteres Feedback.

  2. Stephanie Cisco sagt:

    Hurrah, that’s what I was searching for, what a stuff! thanks admin.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

%d Bloggern gefällt das:

Diese Webseite verwendet Cookies, um Ihnen die bestmögliche Benutzererfahrung bieten zu können. Mit der Weiterverwendung von timschropp.com erklären Sie sich mit der Benutzung von Cookies einverstanden. Datenschutzerklärung

Die Cookie-Einstellungen auf dieser Website sind auf "Cookies zulassen" eingestellt, um das beste Surferlebnis zu ermöglichen. Wenn du diese Website ohne Änderung der Cookie-Einstellungen verwendest oder auf "Akzeptieren" klickst, erklärst du sich damit einverstanden.

Schließen