Datenbank-Metriken – welche Werte sollte man überwachen?

Wenn niemand Probleme mit der Datenbank sieht, existieren sie dann wirklich? - Im Gegensatz zum populären philosophischen Dilemma kann diese Frage ganz einfach beantwortet werden - So viel wie möglich.

Zur kontinuierlichen Überwachung dieser Parameter dient die Datenbanküberwachung im Performance Monitor.

Unsichtbare oder nicht überwachte Probleme in Datenbanksystemen treten auf und können tatsächlich zu erheblichen Störungen führen. Es spielt keine Rolle, ob sie nicht sofort sichtbar sind. Die Leistungsparameter der Datenbank sind grundlegende Indikatoren für ihren Zustand. Ohne Überwachung und proaktives Management können diese grundlegenden Probleme eskalieren und zu Leistungseinbußen, potenziellem Datenverlust und sogar Systemausfällen führen. Diese Probleme erfordern naturgemäß dringende und oft umfassende Maßnahmen, um sie zu beheben.

Die Leistungsparameter der Datenbank können nicht ignoriert werden. Es zahlt sich einfach nicht aus.

Reaktionszeiten

Die Antwortzeiten messen die Zeit von der Übermittlung einer Abfrage an die Datenbank bis zur Rückgabe der Ergebnisse. In Echtzeitumgebungen, in denen schnelle Entscheidungen am wichtigsten sind — wie Finanzdienstleistungen oder Notfallmaßnahmen — kann der Unterschied von wenigen Millisekunden eine Frage von Leben und Tod sein.

Was beeinflusst die Reaktionszeit?

Mehrere Schlüsselelemente bestimmen, wie schnell eine Datenbank Anfragen verarbeiten kann:

• Datenbankarchitektur: Es behandelt das physische und logische Design der Datenbank, einschließlich der Art und Weise, wie Daten partitioniert, indexiert und gespeichert werden. Die effektive Nutzung der Partitionierung reduziert den Suchraum für Abfragen, während eine korrekte Indizierung (wie B-Bäume oder Hash-Indizes) einen schnelleren Datenabruf gewährleistet. Erweiterte Konfigurationen, wie z. B. die Verwendung von In-Memory-Datenbanken, können die Reaktionszeit erheblich reduzieren und gleichzeitig den I/O-Aufwand der Festplatte vermeiden.
• Netzwerktopologie und -zustand: In verteilten Datenbanken spielt die Netzwerkkonfiguration, einschließlich Latenz, Bandbreite und Paketverlust, eine wichtige Rolle im Abruf- und Rückgabezyklus. Durch die Optimierung Ihrer Netzwerkkonfiguration und die Anwendung von Datenkomprimierungstechniken können Netzwerkverzögerungen manchmal abgemildert werden.
• Gleichzeitiger Zugriff und Lastenausgleich: Techniken wie Call Merging, Query Load Balancing und Read Replicas können die Last gleichmäßiger verteilen und so optimale Reaktionszeiten auch bei hohem Datenverkehr aufrechterhalten.

Warum ist das wichtig?

Effiziente Reaktionszeiten sind zweifellos einer der wichtigsten Indikatoren für die Datenbankleistung, entscheidend für die betriebliche Effizienz, Kundenzufriedenheit und letztlich für die finanzielle Leistung eines Unternehmens. Diese Leistungsparameter der Datenbank spiegeln den Zustand des Datenbanksystems wider und wirken sich auf den Durchsatz und die Skalierbarkeit der gesamten IT-Infrastruktur aus. Insbesondere in stärker datenabhängigen Sektoren, in denen Geschwindigkeit und Datenmenge zunehmen, kann die Aufrechterhaltung und ständige Verbesserung der Antwortzeiten von Vorteil sein.

Bandbreite

Die Datenbankbandbreite ist ein Maß dafür, wie viele Daten ein System in einem bestimmten Zeitrahmen effektiv „verarbeiten“ kann. Dieser Wert wird normalerweise als Anfragen pro Sekunde (RPS) oder Operationen pro Sekunde (OPS) quantifiziert. Ein hoher Datenbankdurchsatz bedeutet, dass mehr Anfragen oder Operationen schnell und effizient verarbeitet werden können. Dies ist vor allem in Umgebungen wichtig, in denen kontinuierlich große Mengen an Datentransaktionen stattfinden.

Was beeinflusst die Bandbreite?

• Parallelität und Lastmanagement
  • In SQL-Datenbanken Eine große Rolle spielen die Mechanismen des Transaktionsmanagements und der Blockierung. Dank ihnen behindern sich die Operationen nicht gegenseitig und die Integrität der Daten bleibt beim Versuch erhalten Effizienz steigern. Nehmen wir zum Beispiel eine überfüllte E-Commerce-Plattform während eines Flash-Sales. Ein effizientes Transaktionsmanagement stellt sicher, dass mehrere Benutzer gleichzeitig Bestellungen aufgeben können, ohne dass das System abstürzt oder dasselbe Produkt zweimal kauft. Ein zu aggressives Blockieren kann die Aktion jedoch verlangsamen.
  • NoSQL-Datenbanken bewältigen Sie schwere Lasten dank eines Ansatzes, der auf möglicher Kohärenz basiert. Dies bedeutet, dass das System nicht sofort alle Kopien der Daten auf allen Knoten aktualisiert. Dies ist ein schnellerer Vorgang, da Schreibvorgänge nicht darauf warten müssen, dass jeder Knoten aufgeholt hat, bevor sie fortfahren. Wenn beispielsweise eine riesige, global verteilte Datenbank mit Benutzerprofilen aktualisiert wird, können NoSQL-Systeme Änderungen schnell verarbeiten, ohne jeden Datenpunkt blockieren zu müssen, was zu einem höheren Durchsatz führt.

• Verteilung der Daten
  • Sharding In NoSQL-Konfigurationen werden Daten auf mehrere Server aufgeteilt. Jeder Shard unterstützt das Snipping von Daten, wodurch die Belastung einzelner Server reduziert und die allgemeine Fähigkeit des Systems zur Bewältigung großer Betriebsvolumen verbessert wird.
  • Partitionierung in SQL-Datenbanken hilft es auf ähnliche Weise, aber in einem strukturierteren Framework. Daten werden nach bestimmten Regeln partitioniert, die auf Datenbereichen oder anderen Attributen basieren können. Das bedeutet, dass Abfragen oft nur auf Teile der Tabelle zugreifen müssen, was die Arbeit erheblich beschleunigt.

Parallelität

Parallelität bedeutet, mehrere Aktionen gleichzeitig — nicht sequentiell — abzuwickeln, ohne Fehler oder Unterbrechungen zwischen den Transaktionen. Dies gilt insbesondere für Datenbanken, die mehrere Benutzer oder Anwendungen gleichzeitig unterstützen müssen.

Zu den gängigen Datenbankleistungsmetriken, die die Parallelität von Datenbanken messen, gehören Transaktionen pro Sekunde (TPS) und Abfragen pro Sekunde (QPS). Diese Messungen geben Aufschluss über die Anzahl der Transaktionen oder Abfragen, die eine Datenbank in jeder Sekunde verarbeiten kann — ein Indikator dafür, dass die Datenbank in der Lage ist, die Last zu bewältigen und gleichzeitig darauf zuzugreifen.

Was wirkt sich positiv auf die Parallelität aus?

• Verriegelungsmechanismen: Sperren werden verwendet, um die Interaktion mehrerer Transaktionen mit denselben Daten zu verwalten. Eine schwache Blockierungsstrategie kann zu viel Konkurrenz führen und die Datenbank verlangsamen, da Transaktionen aufeinander warten, bis sie abgeschlossen sind.
• Isolationsstufen für Transaktionen: Die Isolationsstufe bestimmt, wie Datenänderungen, die durch eine Transaktion vorgenommen wurden, für andere Transaktionen sichtbar sind. Höhere Isolationsstufen erhöhen die Datengenauigkeit, können jedoch die Parallelität verringern, indem mehr Transaktionen blockiert werden.
• Datenbankarchitektur: Das Gesamtdesign der Datenbank wirkt sich auch auf die Parallelität aus. Beispielsweise können verteilte Datenbanken oft effizient mehrere gleichzeitige Anfragen verarbeiten, wodurch die Last auf mehrere Knoten verteilt wird.

Herausforderungen der Parallelität

• Verklemmen (Deadlocks): Sie treten auf, wenn verschiedene Transaktionen, die andere benötigen, gesperrt sind und keine von ihnen fortgesetzt werden kann, bis die andere die Sperre aufhebt.
• Ressourcenhunger: Es tritt auf, wenn mehrere Prozesse zu viele Systemressourcen (wie CPU oder Arbeitsspeicher) verbrauchen, sodass wenig für andere Prozesse übrig bleibt und somit die allgemeine Parallelität reduziert wird.
• Daten-Hotspots: Häufiger Zugriff auf bestimmte Datenpunkte oder Tabellen kann zu Engpässen führen und die Parallelität verringern, da sich mehrere Transaktionen in die Warteschlange stellen, um auf dieselben Ressourcen zuzugreifen.

Ressourcennutzung (CPU, Arbeitsspeicher, Festplatten-I/O)

Die Ressourcenauslastung in Datenbankumgebungen wirkt sich direkt auf die Effizienz und Effektivität der Datenverarbeitungsvorgänge aus.

CPU-Auslastung

Die CPU verarbeitet alle Berechnungen, die die Datenbank durchführen muss, von der Ausführung von Abfragen bis zur Verwaltung von Transaktionen. Eine hohe CPU-Auslastung kann darauf hindeuten, dass die Datenbank zu viel verarbeitet. Wenn der Prozessor wiederum maximal ausgelastet ist, kann dies auch bedeuten, dass die Abfragen nicht optimiert sind, was zu langsamen Antwortzeiten und Rückständen bei Vorgängen führt.

Speichernutzung

Der Speicher speichert aktiv oder häufig verwendete Daten. Dies ist schneller als das Abrufen von Daten aus dem Festplattenspeicher. Daher ist eine korrekte Speicherzuweisung von entscheidender Bedeutung und wirkt sich auf die Leistungsparameter von Datenbanken aus. Wenn der Datenbank der Arbeitsspeicher ausgeht und sie für grundlegende Operationen auf Festplattenspeicher angewiesen ist, werden Sie einen erheblichen Leistungsabfall feststellen. Dies ist häufig auf Speicherlecks oder auf Einstellungen zurückzuführen, die nicht an die Auslastung angepasst sind.

I/O-Operationen auf der Festplatte

Zu den Festplatten-I/O-Vorgängen gehören das Lesen und Schreiben von Daten. Hier werden Daten für eine lange Zeit gespeichert. Ein hohes Maß an Festplatten-I/O kann ein Symptom für ineffektive Pufferstrategien sein. Idealerweise sollten die am häufigsten verwendeten Daten im Arbeitsspeicher gespeichert werden. Wenn Datenbanken ständig auf die Festplatte zugreifen, insbesondere bei einfachen Abfragen, verlangsamt sich alles und es entsteht ein Engpass.

Abfragen N+1

N+1-Abfragen sind eine häufige Ineffizienz in Anwendungen, die eine Verbindung zu Datenbanken herstellen. Diese Ineffizienz macht sich besonders bei Anwendungen bemerkbar, die Tools für objektrelationales Mapping (ORM) verwenden. Dieses Problem tritt auf, wenn eine Anwendung zunächst eine Abfrage ausführt, um das Primärobjekt aus der Datenbank abzurufen, und dann für jedes zugehörige Objekt eine weitere Abfrage. Nehmen wir zum Beispiel eine Situation an, in der 10 Benutzer mithilfe einer ersten Abfrage heruntergeladen werden. Weitere 10 aufeinanderfolgende Abfragen werden gestellt, um das Profil jedes Benutzers abzurufen. Infolgedessen führt dies zu 11 Abfragen - dies ist das Problem von N+1-Abfragen.

Warum gibt es Probleme mit N+1-Abfragen

1. ORM-Fehlkonfiguration: ORMs wurden entwickelt, um die Datenbankinteraktion zu vereinfachen, indem sie Daten zwischen inkompatiblen Systemen automatisch konvertieren. Wenn sie jedoch nicht richtig konfiguriert sind, verwenden ORMs möglicherweise standardmäßig ineffiziente Richtlinien zum Laden von Daten. Dabei handelt es sich um Probleme wie „Lazy Loading“, bei dem die Daten jeder verknüpften Einheit nach Bedarf einzeln und nicht im Voraus geladen werden. Dies führt häufig zu einer Menge unnötiger Abfragen, insbesondere beim Zugriff auf mehrere verwandte Objekte.
2. Keine verknüpften Abfragen: Eine weitere häufige Ursache für N+1-Abfragen ist die Vernachlässigung der Verwendung von SQL-Joins, bei denen Zeilen aus zwei oder mehr Tabellen mithilfe einer verwandten Spalte zwischen ihnen effektiv verknüpft werden. Ohne Verknüpfungen kann die Anwendung Daten fragmentarisch abrufen. Dabei wird der Hauptdatensatz in einer einzigen Abfrage abgerufen und zusätzliche Abfragen für jeden verknüpften Datensatz ausgeführt.
3. Nicht optimierte Datenzugriffsmuster: Ineffiziente Codierungspraktiken können auch zu N+1-Problemen führen, insbesondere wenn der Datenzugriff in iterative Strukturen wie Schleifen eingebettet ist. Jeder Schleifendurchlauf kann eine neue Datenbankabfrage auslösen, wodurch sich die Gesamtzahl der während der Schleife ausgeführten Abfragen erheblich erhöht.

Fehler in der Datenbank

Zu den Leistungsindikatoren der Datenbank gehören auch Fehler, die das gesamte Spektrum der Probleme umfassen, die bei Datenbankoperationen auftreten und sich auf alles auswirken, von der Art und Weise, wie Daten abgerufen werden, bis hin zur Speicherung. Sie treten häufig als Fehlermeldungen oder Codes auf und weisen auf bestimmte Probleme im Datenbanksystem hin.

Häufige Arten von Datenbankfehlern:

• Verbindungsfehler: Sie werden angezeigt, wenn die Anwendung keine Verbindung zur Datenbank herstellen kann. Dies kann auf Netzwerkprobleme, Fehler in Verbindungszeichenfolgen oder auf den Ausfall des Datenbankservers selbst zurückzuführen sein.
• Syntaxfehler in Abfragen: Sie sind recht einfach, können aber schnell kompliziert werden, insbesondere bei komplexen SQL-Abfragen. Sie treten auf, wenn ein geschriebener SQL-Befehl Fehler enthält, was dazu führt, dass die Datenbank ihn ablehnt.
• Verstöße gegen Beschränkungen: Datenbanken verfügen über Regeln wie Fremdschlüssel und eindeutige Einschränkungen, die darauf ausgelegt sind, die Daten sauber und zuverlässig zu halten. Wenn ein Befehl gegen diese Regeln verstößt, z. B. wenn versucht wird, ein Duplikat einzufügen, an dem nur eindeutige Einträge enthalten sein sollten, meldet die Datenbank einen Fehler.
• Fehler bei der Ressourcenbeschränkung: Sie treten auf, wenn die Datenbank die Grenzen der verfügbaren Ressourcen überschreitet - beispielsweise, wenn kein Speicherplatz oder Arbeitsspeicher vorhanden ist oder der Prozessor überlastet ist. Diese Fehler können den Betrieb des Systems erheblich verlangsamen oder sogar zum Erliegen bringen.
• Genehmigungs- und Sicherheitsfehler: Der Versuch, einen Vorgang ohne die entsprechenden Berechtigungen auszuführen, führt ebenfalls zu Fehlern. Dies kann der Zugriff auf eine Tabelle, das Ausführen bestimmter Arten von Abfragen oder andere Operationen sein, die ein Benutzer oder eine Anwendung ohne die entsprechenden Berechtigungen ausführen kann.