Hallo zusammen,
ich habe ein hartnäckiges Problem mit meiner robots.txt und der Sitemap. Ich versuche, die robots.txt anzupassen, um bestimmte Suchabfragen und Warenkorbseiten auszuschließen. Jedes Mal, wenn ich die Datei manuell bearbeite und hochlade, wird sie nach einer Weile oder nach dem Speichern der "SEO & URLs"-Einstellungen im Backend wieder überschrieben.
Das größte Problem ist, dass in der generierten robots.txt immer noch Disallow: /assets/ steht, was mir in der Google Search Console als "Mobile Usability"-Problem angezeigt wird, weil CSS/JS blockiert wird. Das ist total nervig und ich finde keine Einstellung, um das zu verhindern.
Wie kann ich eine persistente robots.txt erstellen, die meine Regeln behält und nicht die Assets blockiert? Gibt es da einen Trick im Backend, den ich übersehe?