Nicht kategorisiert
Crawl Budget und Analyse der Serverloges
Was ändert sich und warum es wichtig ist
Das Crawl-Budget bestimmt, wie viele Adressen und wie oft ein Suchmaschine das Web effizient verarbeiten kann. Aber bei einem großen e-Commerce kann die Menge an Filtern, Parametern und Duplikaten einen großen Teil der Aufmerksamkeit des Roboters verbrauchen.
Wie man in der Praxis weitermachen kann
Verbinden Sie die Webkarte, den Indexstatus und die Serverlogs. Unterscheiden Sie wichtige Produkte, Kategorienn und Inhalte von internen Suchen, endlosen Filtern und falschen Adressen. Beheben Sie die Ursache, anstatt die Nutzenressourcen zu blockieren.
Vertrauen, Sicherheit und Qualität
Logs können sensible technische Daten enthalten, so dass Sie Zugang und Aufbewahrungszeit begrenzen. Erkennen Sie die Automatisierten und verfolgen Sie nicht nur den Namen des Benutzeragenten, sondern ändern Sie die Roboter und die kanonischen Adressen, um sie wieder zu erhalten.
Wie man den tatsächlichen Nutzen einschätzt
Messen Sie die Häufigkeit der Besuche wichtiger URLs, Fehlercodes, Reaktionszeiten und den Weg vom Publikation zum Indexieren. Das Ziel ist nicht die maximale Anzahl der Anforderungen, sondern die schnelle und wiederholte Verarbeitung der richtigen Seiten.
