robots.txt

Es wäre gut eine robots.txt anzubieten. Gerade wegen Crawling.

Als Vorlage können die verschiedene Webseiten der Partner dienen. Indexierung für Suchmaschinen ist OK, wir wollen ja gefunden werden, für Sprachmodelle vielleicht, alles andere evtl. standardmäßig blockieren?

Es gibt noch ein paar weitere Dateien, die man ablegen könnte, aber weniger so kritisch.