Robots.txt mit Sitemaps erstellen
Erstelle eine robots.txt mit Sitemap-Verweisen, User-Agent sowie optionalen Allow- und Disallow-Pfaden.
Dein Ergebnis
Hier erscheint dein Ergebnis.
Quelle hinzufügen, Tool starten und das Ergebnis kopieren oder herunterladen.
So nutzt du das Ergebnis
Bündele Crawling-Regeln und Sitemap-Verweise in einer Textdatei. Trage die öffentlichen Adressen deiner Sitemaps ein, wähle die Crawler-Gruppe und ergänze erlaubte oder ausgeschlossene Pfade. Lade die Datei anschließend in das Stammverzeichnis deiner Website.
Robots.txt ist kein Zugriffsschutz und entfernt indexierte Seiten nicht zuverlässig. Verwende Disallow niemals zum Schutz vertraulicher Inhalte.
Häufige Fragen
Stelle sie unter /robots.txt auf der Website-Origin bereit. Prüfe vorhandene Regeln, bevor du eine Datei ersetzt, und verwende vollständige öffentliche Sitemap-URLs. Der Generator erstellt Text zum Prüfen und Veröffentlichen; er verändert deine Website nicht.
Disallow steuert das Crawling und ist keine Anweisung zur Entfernung aus dem Index. Prüfe für auszuschließende Seiten die noindex-Dokumentation der Suchmaschine. Eine Crawl-Sperre kann verhindern, dass der Crawler die noindex-Anweisung auf der Seite liest.
Nein. Die Tools sind ohne Anmeldung kostenlos nutzbar. Gemeinsame Nutzungslimits schützen die Verfügbarkeit. Das Erstellen und Betreiben eines Chatbyte-Chatbots ist ein separates Produkt.
Die Tools verarbeiten übermittelte Inhalte für die Anfrage auf dem Server. KI-Tools senden extrahierten Text über Vercel AI Gateway an den ausgewählten KI-Modellanbieter. Diese App speichert Tool-Eingaben nicht in einer Datenbank. Der Chatverlauf bleibt bis zum Zurücksetzen im aktuellen Tab. Vermeide vertrauliche und personenbezogene Daten.