Robots.txt-generator

Maak een robots.txt-bestand met een user-agentgroep, uitgesloten paden en eventueel een sitemap.

Op je apparaat · Geen account

Robots.txt-generator verwerkt je invoer in deze browser. Invoer en resultaten worden niet opgenomen in de statistieken. Bij recent gebruikte tools worden toolnamen, aantallen bezoeken en tijdstippen van het laatste bezoek opgeslagen. Bij opgeslagen tools worden alleen de namen bewaard. Concepten opslaan is optioneel en gebeurt op dit apparaat; verwijder opgeslagen tekst met de knoppen voor het concept. Tekst laden via een URL is optioneel en maakt verbinding met die server; de server ziet de URL en je IP-adres. De optionele actie “Gebruiken in” bewaart gegevens voor overdracht in dit tabblad. De volgende tool verwijdert die gegevens bij het openen en negeert ze als er meer dan een minuut is verstreken.

‘Link kopiëren’ neemt de invoer die je wilt delen op in het webadres. Iedereen met die link kan de invoer opnieuw openen. Bestanden en gegenereerde resultaten worden niet opgenomen. Tools voor wachtwoorden en sleutels delen alleen instellingen.

Nederlands

Uitgesloten paden, één per regel

Meer opties

User-agent

Sitemap-URL (optioneel)

Je resultaat

Meer

Sneltoetsen

Over links en resetten

Links bevatten je invoer en instellingen. Iedereen met de link kan die zien, dus laat privétekst weg. Bestanden en gegenereerde resultaten worden niet opgenomen; willekeurige trekkingen worden opnieuw uitgevoerd.

Resetten laadt de tool opnieuw met de beginwaarden, sluit geopende bestanden en geeft de bediening van apparaten vrij. Opgeslagen concepten blijven op dit apparaat staan totdat je ze verwijdert.

Zo werkt het

De robots.txt-generator schrijft één user-agentgroep en controleert de padsyntaxis vóór het exporteren. Met een lege lijst van uitgesloten paden blijft crawlen onbeperkt toegestaan voor de gekozen user-agent.

Volgende: Metatags maken

Voorbeeld

Een Disallow-regel voor /private/ vraagt de bijbehorende crawlers om geen paden op te vragen die daarmee beginnen.

Voordat je het resultaat gebruikt

Robots.txt is openbaar en naleving is vrijwillig. Het beschermt geen privébestanden en garandeert geen verwijdering uit zoekresultaten. Publiceer het bestand in de hoofdmap van de site. Toegangsbeheer en instructies voor indexering regel je afzonderlijk.

Bijgewerkt 7 oktober 2026

Deze pagina citeren

Referentiestijl

ToolOctopus. “Robots.txt-generator.” Bijgewerkt 7 oktober 2026. https://tooloctopus.com/nl/robots-txt-generator.

Voeg een raadpleegdatum toe als je instructies dat vereisen.

Bronvermeldingen worden opgemaakt met citeproc-js van Frank Bennett en stijlen uit Citation Style Language. Licentie en broncode.