nexalign-news-crawler
Dieser Crawler liest einmal täglich öffentliche Feeds und Nachrichtenseiten für Befund.
- User-Agent:
nexalign-news-crawler/1.0 (+https://befund1.com/crawler) - Er beachtet robots.txt (Gruppe
nexalign-news-crawler, sonst*) einschließlich Crawl-delay. - Pro Website höchstens eine Anfrage alle 2 Sekunden, nacheinander, nie parallel.
- Er speichert Titel, Adresse, Datum und kurze Auszüge, keine vollständigen Artikel, und verlinkt immer das Original.
Ausschließen lässt er sich mit User-agent: nexalign-news-crawler und Disallow: /. Fragen an [email protected].