Sie haben den SaaSwebCrawler in Ihren Logs gesehen?
Hier erfahren Sie, wer dahintersteht, was er abruft und wie Sie ihn einschränken oder sperren können.
Wer betreibt den Crawler – und wozu?
Der SaaSwebCrawler wird von der SaaS Web Internet Solutions GmbH (Karlsruhe) betrieben. Er erfasst öffentlich zugängliche Informationen über Unternehmens-Websites in Deutschland, Österreich und Frankreich, um den Markt für Website- und Software-Dienstleistungen zu analysieren.
Erfasst werden:
- Pflichtangaben aus dem Impressum: Firmenname mit Rechtsform, Anschrift, Registernummer, USt-ID sowie die dort veröffentlichten allgemeinen Kontaktdaten.
- Technische Merkmale der Website: eingesetztes CMS und Version, Sprachen, ungefähre Seitenanzahl, mobile Darstellung, Cookie-Banner, ob vor einer Einwilligung externe Inhalte oder Cookies geladen werden, JavaScript-Fehler.
- Links auf andere Unternehmen (z. B. Partner, Kunden), deren Impressum anschließend ebenfalls geprüft werden kann.
So erkennen Sie ihn
User-Agent beim Abruf von Seiten:
Mozilla/5.0 (compatible; SaaSwebCrawler/0.1; +https://bot.saasweb.network)
Für die Prüfung von Darstellung und Cookies werden einzelne Seiten in einem Browser ohne Bildschirm geladen; dann endet der User-Agent zusätzlich auf HeadlessChrome.
Wie er sich verhält
- Mindestens 3 Sekunden Abstand zwischen zwei Abrufen auf demselben Server; ein höheres
Crawl-delay in Ihrer robots.txt wird übernommen.
- Pro Besuch nur eine kleine Stichprobe: Startseite, Impressum, bis zu ca. 15 weitere Seiten sowie Ihre
sitemap.xml zur Größenschätzung.
- Erneuter Besuch frühestens nach 30 Tagen.
- Bei
429 oder 503 wird gewartet (Retry-After wird beachtet) und das Tempo halbiert.
- Keine Formulare, keine Logins, keine Suche. Cookie-Banner werden nie bestätigt – geprüft wird gerade der Zustand ohne Einwilligung.
Sperren oder einschränken
Der Crawler beachtet die robots.txt, sowohl Regeln für * als auch für seinen Namen:
User-agent: SaaSwebCrawler
Disallow: /
Bei einem Verbot werden keine Unterseiten abgerufen. Die Startseite wird bei einem Besuch einmal geladen (ein Abruf und eine Browser-Darstellung), um technische Merkmale wie das CMS zu erkennen, und Ihre Website wird in einer Liste gesperrter Websites geführt.
Möchten Sie, dass Ihre Domain überhaupt nicht mehr abgerufen wird – auch nicht die Startseite –, schreiben Sie uns eine kurze E-Mail mit der Domain an info@saasweb.net. Wir setzen sie dann dauerhaft auf unsere Sperrliste.
Datenschutz
Verarbeitet werden in erster Linie Unternehmensdaten. Bei Einzelunternehmen können die Impressumsangaben personenbezogene Daten sein (Name, Geschäftsanschrift, geschäftliche Kontaktdaten). Die Verarbeitung erfolgt auf Grundlage unseres berechtigten Interesses an der Marktanalyse und Geschäftsanbahnung (Art. 6 Abs. 1 lit. f DSGVO).
Sie können der Verarbeitung jederzeit widersprechen und Auskunft, Berichtigung oder Löschung verlangen – formlos per E-Mail an info@saasweb.net. Weitere Informationen finden Sie in unserer Datenschutzerklärung.
Seen SaaSwebCrawler in your logs?
Here is who operates it, what it fetches and how you can limit or block it.
Who runs it – and why?
SaaSwebCrawler is operated by SaaS Web Internet Solutions GmbH (Karlsruhe, Germany). It collects publicly available information about company websites in Germany, Austria and France to analyse the market for web and software services.
It records:
- Mandatory legal notice details (Impressum / mentions légales): company name and legal form, address, register number, VAT ID and the general contact details published there.
- Technical characteristics: CMS and version, languages, approximate number of pages, mobile layout, cookie banner, whether third-party content or cookies load before consent, JavaScript errors.
- Links to other companies (e.g. partners, customers), whose legal notice may then be checked as well.
How to recognise it
User agent when fetching pages:
Mozilla/5.0 (compatible; SaaSwebCrawler/0.1; +https://bot.saasweb.network)
To check layout and cookies, a few pages are loaded in a headless browser; the user agent then additionally ends in HeadlessChrome.
How it behaves
- At least 3 seconds between requests to the same server; a higher
Crawl-delay in your robots.txt is honoured.
- Only a small sample per visit: home page, legal notice, up to about 15 further pages and your
sitemap.xml to estimate size.
- Revisits no more often than every 30 days.
- On
429 or 503 it waits (respecting Retry-After) and halves its pace.
- No forms, no logins, no search. Cookie banners are never accepted – the point is to check the state without consent.
Blocking or limiting it
The crawler respects robots.txt, both rules for * and for its own name:
User-agent: SaaSwebCrawler
Disallow: /
If access is disallowed, no subpages are fetched. The home page is loaded once per visit (one request and one browser render) to detect technical characteristics such as the CMS, and your site is kept on a list of blocked sites.
If you want your domain not to be accessed at all – not even the home page – send a short e-mail with the domain to info@saasweb.net and we will add it to our permanent block list.
Data protection
The data processed is primarily business data. For sole traders, legal notice details may be personal data (name, business address, business contact details). Processing is based on our legitimate interest in market analysis and business development (Art. 6(1)(f) GDPR).
You can object to the processing at any time and request access, correction or deletion by e-mail to info@saasweb.net. See our privacy policy (German) for details.
Vous avez vu SaaSwebCrawler dans vos journaux ?
Voici qui l’exploite, ce qu’il consulte et comment le limiter ou le bloquer.
Qui l’exploite – et pourquoi ?
SaaSwebCrawler est exploité par SaaS Web Internet Solutions GmbH (Karlsruhe, Allemagne). Il recueille des informations publiques sur les sites d’entreprises en Allemagne, en Autriche et en France afin d’analyser le marché des services web et logiciels.
Il relève :
- Les mentions légales obligatoires : dénomination et forme juridique, adresse du siège, SIREN/RCS, numéro de TVA et les coordonnées générales publiées.
- Des caractéristiques techniques : CMS et version, langues, nombre approximatif de pages, affichage mobile, bandeau cookies, chargement de contenus tiers ou de cookies avant consentement, erreurs JavaScript.
- Les liens vers d’autres entreprises (partenaires, clients), dont les mentions légales peuvent ensuite être consultées.
Comment le reconnaître
User-agent lors de la consultation des pages :
Mozilla/5.0 (compatible; SaaSwebCrawler/0.1; +https://bot.saasweb.network)
Pour vérifier l’affichage et les cookies, quelques pages sont chargées dans un navigateur sans interface ; le user-agent se termine alors aussi par HeadlessChrome.
Son comportement
- Au moins 3 secondes entre deux requêtes vers le même serveur ; un
Crawl-delay plus élevé dans votre robots.txt est respecté.
- Un petit échantillon par visite : page d’accueil, mentions légales, une quinzaine de pages au plus et votre
sitemap.xml pour estimer la taille.
- Nouvelle visite au plus tôt après 30 jours.
- En cas de
429 ou 503, il attend (Retry-After respecté) et ralentit de moitié.
- Aucun formulaire, aucune connexion, aucune recherche. Les bandeaux cookies ne sont jamais acceptés : c’est justement l’état sans consentement qui est vérifié.
Le bloquer ou le limiter
Le robot respecte le fichier robots.txt, pour * comme pour son propre nom :
User-agent: SaaSwebCrawler
Disallow: /
En cas d’interdiction, aucune sous-page n’est consultée. La page d’accueil est chargée une fois par visite (une requête et un rendu navigateur) pour détecter des caractéristiques techniques comme le CMS, et votre site figure sur une liste de sites bloqués.
Si vous souhaitez que votre domaine ne soit plus du tout consulté – pas même la page d’accueil –, envoyez-nous un court e-mail avec le domaine à info@saasweb.net : nous l’ajouterons à notre liste de blocage permanente.
Protection des données
Les données traitées sont avant tout des données d’entreprise. Pour les entrepreneurs individuels, les mentions légales peuvent contenir des données personnelles (nom, adresse et coordonnées professionnelles). Le traitement repose sur notre intérêt légitime à l’analyse de marché et à la prospection (art. 6, par. 1, f du RGPD).
Vous pouvez à tout moment vous opposer au traitement et demander l’accès, la rectification ou l’effacement de vos données par e-mail à info@saasweb.net. Plus d’informations dans notre politique de confidentialité (en allemand).