Tier 1-4: Erhöhung des sicheren 24/7-Betrieb in Rechenzentren

Zertifizierte Netzqualitäts-Überwachung und Erhöhung des Brandschutz

Präambel

Das digitale Datenvolumen steigt rasant und stetig weiter an. Nicht zuletzt verursacht durch kryptische Währungen, wie z. B. Bitcoin (XBT), Ether (ETH), Litecoin (LTC) usw. oder etwa durch das Blockchain-Verfahren, eine quasi-Art Datenbank, die auf verschiedenen vernetzten Servern arbeitet. Der steigende Bedarf an Datenaustausch vermehrt auch den Bedarf an Rechenzentren, die global in grossem Ausmass geplant, gebaut und unterhalten werden. Allerdings unterliegen Rechenzentren im elektrisch energetischen Kontext komplexen Herausforderungen, die einen (rechts)sicheren 24/-Betrieb beeinflussen können.

Die grundlegenden Anforderungen

Bei der Planung der Energieversorgung eines Rechenzentrums müssen viele Ansprüche berücksichtigt werden:

• Sicherer Standort bezüglich Energieversorgung und Umgebungsbedingungen
• Hohe Energie-Effizienz zur Minimierung der Betriebskosten
• Maximale Verfügbarkeit (Uptime Insitute Tier 1-4) durch Einsatz von Redundanzen, z. B. USV, Generatoren
• Hohe Sicherheit (Brandschutz, Zutritt, Abwehr von Cyber-Attacken)
• Systemstabilität und Ausfallsicherheit der eingesetzten Betriebsmittel
• Skalierbarkeit

Die Problembeschreibung

Diverse Studien belegen, dass durch Probleme in der Netzqualität jährlich Kosten in Milliardenhöhe entstehen. Bereits 2007 zeigt die Studie „Pan European LPQI Power Quality Survey 2007“, dass sich der Schaden auf 157 Milliarden Euro/anno beziffert. Dabei wachsen die Herausforderungen für alle weiter an. Im Speziellen eben auch für die Rechenzentren. Die Gründe dafür lauten wie folgt:

(1) Netz-Störpegel

• Starke Zunahme von nichtlinearen Verbrauchren (LED-Beleuchtung, Computer, Ladeeinrichtungen, Frequenzumrichter, usw.), die Oberschwingungen erzeugen
• Zunahme der dezentralen Einspeisungen (z. B. Windkraft, PV-Anlagen), die zu Instabilitäten in der Spannungshaltung führen

Abbildung: Dr. Jan Meyer, TU Dresden über die Notwendigkeit einer Netzqualitätsüberwachung durch Netzverschmutzung nichtlinearer Verbraucher und dezentralen Einspeisungen

(2) Wirkung der Störpegel:

• Neuere Betriebsmittel (z. B. Server, Steuerungen,Regelungen, Aufzüge,Brandmeldesysteme,usw.) reagieren empfindlicher auf Störpegel und können ausfallen
• Ganze Bauteile können zerstört werden
• Lifecycle werden reduziert
• Betriebsunterbrüche kosten viel Geld
• Ratlosigkeit bei Anlagenstörungen, da Ursachen oftmals nicht erkennbar
• Eingesetzte Messmittel können Störungen nicht ausreichend erkennen
• Keine Datenaufzeichnung, da die Messgeräteversorgung und Kommunikation ebenfalls gestört wird
• Schlussendlich bedingt eine Ursachenanalyse teures Fachpersonal mit Erfahrung

Die Lösung

Wie eingangs beschrieben, können Netzqualitätsprobleme zu Störungen und Ausfällen führen, die immer mit Aufwand und Kosten verbunden sind. Gerade im Segment der Rechenzentren, wo Ausfälle und mögliche Schäden durch viele investitionsintensive Redundanzen (z. B. USV, Generatoren, multiple Einspeisung) eigentlich vermieden werden sollen, stellen Störpegel ein nicht vernachlässigbares Risiko dar.

Im Idealfall erfüllen alle eingesetzten Betriebsmittel die Normen hinsichtlich Netzrückwirkung und Störimmunität und ein störungsfreier Betrieb ist somit wahrscheinlich. Allerdings und unter ungünstigen Rahmenbedingungen, diese z. B. verursacht durch viele gleichartige Verbraucher, unsymmetrischer Netzbelastung, usw., kann es zu deutlichen Pegelüberschreitungen kommen. Um die Risiken einschätzen als auch begrenzen zu können, ist folglich eine permanente Netzqualitäts-Überwachung essenziell. Je nach Aufbau und Ausdehnung des Rechenzentrums macht eine Überwachung an verschiedenen Punkten innerhalb der Energieversorgung Sinn:

• Am Einspeisepunkt des Netzbetreibers, dem sogenannten Verknüpfungspunkt (PCC = Point of Coupling)
• In allen geschützten Versorgungsbereichen
• Am Einspeisepunkt von Netzersatzanlagen

Abbildung: Prinzip der Aufzeichnung und Auswertung von Power Quality Messdaten

Nebst den oben dargestellten Auswertungen, erlauben die aufgenommenen Netzqualitäts-Daten auch bestehende oder sich anbahnende Probleme frühzeitig zu erkennen, bevor sie zu einem Schaden führen. Für die Konformitätsbewertung werden die aufgenommenen Statistiken mit normativen Grenzwerten verglichen. Bei Rechenzentren sind diese:

• EN 50160 (Merkmale der Spannung in öffentlichen NS-, MS-, HS-Versorgungsnetzen), die normalerweise als Basis für den Vertrag mit dem Energielieferanten dient
• IEC 61000-2-4 (Verträglichkeitspegel in Industrieanlagen), insbesondere Klasse 1 (geschützte Versorgungen)

Die o. g. Normen geben Leitlinien vor, wie sich das Netz am beobachteten Punkt im Normalbetrieb verhalten soll. Nicht abgedeckt sind dabei jene Ausnahmesituationen, die dazu führen können, vorübergehend die Versorgung mit Energie einzuschränken. Solche Störungen, wie Spannungseinbrüche oder -ausfälle müssen zwar verpflichtend erfasst werden, für die Normerfüllung ist deren Anzahl aber nicht begrenzt. Es ist Aufgabe der USV, bzw. von Netzersatzanlagen, solche Versorgungseinschränkungen zu überbrücken. Diese Überbrückung beschränkt sich aber auf die wichtigsten Ressourcen, so dass es zu Funktionseinschränkungen bei anderen Komponenten kommen kann.

Es ist deshalb substanziell, dass das Betriebspersonal zeitnah über das Auftreten von Ereignissen nach IEC 61000-4-30 informiert wird. Dies erfolgt z. B. via einer automatisierten E-Mail-Nachricht an die fachkundigen Personen. Für den Austausch von Netzqualitätsdaten ist es durchaus sinnvoll, ein standardisiertes Format z. B. PQDIF (Power Quality Data Interchange Format) nach IEEE 1159.3 zu verwenden. Demzufolge ist die Auswahl der Analyse-Software von Netzqualitäts-Daten nicht auf proprietäre Hersteller-Systeme beschränkt.

RCM als Brandschutz

Zur Vermeidung unkontrollierter Betriebsunterbrüche, werden in Rechenzentren keine Geräte zur Fehlerstromüberwachung mit direkter Auslösung (RCDs) eingesetzt. Vielmehr ist es vorgeschrieben, Differenzströme permanent zu überwachen. Hierbei bedient man sich dem RCM (Residual Current Monitoring), das nebst dem essenziellen Personenschutz auch dem Anlagen- und Brandschutz dient. Ferner lassen sich aus der Veränderung der Fehlerströme Isolationsverschlechterungen frühzeitig erkennen und Massnahmen können rechtzeitig eingeleitet werden. Auftretende Fehler im TN-S System (z. B. unzulässige oder zusätzliche Verbindungen PE-N) können ebenfalls früh erkannt und dadurch korrigiert werden.

Abbildung: Permanente Differenzstromüberwachung mit Warn- und Alarmschwellen

Korrekte Messdaten durch metrologische Rückführbarkeit

Ein alter Schlossermeisterspruch besagt: „Zentimeter ist ein Uhrmachermass“. Anders ausgedrückt: „Wer misst, misst Mist.“ So wissen Techniker und Ökonomen um die bekannte aber dennoch reale Phrase Bescheid und kümmern sich um entsprechende Messmethoden. Und obwohl die Ansprüche an ein Netzqualitätsgerät sowohl bezüglich Messverfahren (IEC 61000-4-30), Geräteeigenschaften (IEC 62586-1) und Prüfung der Einhaltung der Normen (IEC 62586-2) exakt defniert sind, gibt es dennoch Unterschiede zwischen den Herstellern. Insbesondere können Anbieter oftmals nicht nachweisen, warum ihr Analysegerät die Vorgaben erfüllt, also korrekt misst. Ein Nachweis einer wirklich korrekten Messung ist nur über eine unabhängige Zertifizierungsstelle, im optimalen Fall durch ein metrologisches Institut möglich. Nicht zertifizierte Prüfstellen oder gar Eigendeklarationen der Hersteller können metrologische Zertifikate nicht ersetzen und sollten deshalb auch kritisch betrachtet werden. Speziell dann, wenn es sich um sensible Bereiche,wie z. B. Rechenzentren handelt, die mit hohen Kosten und Risiken verbunden sind.

Der Nutzen einer metrologisch zertifizierten Überwachung der Netzqualität

Der wesentliche Nutzen einer professionellen und permanenten Überwachung der Netzqualität liegt in einer Erhöhung der Verfügbarkeit von Rechenzentren. Dabei definiert sich die Netzqualität als ein wesentlicher Baustein der Versorgungsqualität und gilt selbstverständlich auch für viele andere sensibilisierte Bereiche ausserhalb von Rechenzentren (z. B. in Hospitälern, in sensiblen Industriebetrieben, in der Verkehrsinfrastruktur wie Flughafen, öffentliche Gebäudekomplexe wie Einkaufszentren usw.). Der Nutzen entsteht bei der Analyse der aufgezeichneten Langzeitinformationen durch Beobachtung der Veränderungen und das Entdecken von Korrelationen. Dabei spielt nicht nur die Einhaltung der vertraglichen Einspeiserichtlinien eine Rolle. Zusätzliche und relevante Erkenntnisse können auch aus den folgenden Vorgängen abgeleitet werden:

• Vergleich von Normalbetrieb zu USV- oder Notstrom-Betrieb
• Bewertungen von Oberschwingungen und deren Einfluss auf die Betriebsmittel
• Bewertung der Veränderung der Netzqualität über längeren Zeitraum
• Veränderung der Netzqualität nach Änderungen in der Installation
• Veränderungen der Netzqualität nach Zu- oder Abschalten von Betriebsmitteln
• Bewertung der Spannungsereignisse nach Dauer und Restspannung (ITIC-Kurve) und deren Auswirkung auf die Lebensdauer der Betriebsmittel

Ein weiterer und spezifischer Nutzen begründet sich auf einem permanenten RCM. Bei einer korrekt ausgeführten und permanenten Überwachung eines Fehlerstroms, kann die periodisch wiederkehrende als auch manuelle Prüfung der Isolationsfestigkeit möglicherweise entfallen. Somit ist eine Abschaltung der Anlage während der Prüfung nicht notwendig (= Erhöhung der Verfügbarkeit). Der enorme Prüfaufwand mit den zugehörigen Kosten von Zeit und Personal entfällt.

Fazit

Die richtigen Erkenntnisse aus einer metrologisch zertifizierten Überwachung der Netzqualität inkl. RCM, führen zu einem nachhaltigen Investitionsschutz, zur Kostenreduktion während dem Betrieb, zur Maximierung der Datenverfügbarkeit und schlussendlich der wichtigen Zufriedenheit aller beteiligten Stakeholder. Dazu zählen Kunden, Mitarbeiter/innen, Energieversorger, Betreiber, Investoren, Servicekräfte, Politik, Verbände, usw. Schlussendlich hilft es auch, CO2-Emissionen zu senken, da ein effizienterer und sicherer Betrieb des Rechenzentrums ermöglicht wird.

Decarbonization of the Internet als Ausblick

Betrachtet man die Entwicklung der globalen Datenvolumen so wird man feststellen, dass die Herausforderungen für die Planer und Betreiber eher grösser werden müssen. Alleine in China sollen die derzeit >500.000 bestehenden Rechenzentren bis 2023 auf 1.000.000 ausgebaut werden (Steigerung 21% pro Jahr). Zu den ganzen Themen der Netzqualität wird man sich immer gezielter die Frage stellen, wie man gemäss der PUE (Power User Effectiveness) den wachsenden Energiebedarf reguliert, da die energetische Infrastruktur als auch die benötigten Bauflächen an ihre Grenzen stossen könnten. Dem amerikanischen Wissenschaftler Jonathan Koo-mey zufolge, beträgt bereits heute der Anteil der Rechenzentren am weltweiten Stromverbrauch ca. 1.1 – 1.5%. Alleine im Ballungszentrum Frankfurt sind die Rechenzentren bereits heute mit mehr als 20% am gesamten Stromverbrauch beteiligt.

«Serverleistung versus elektrische Leistung» – welcher Beitrag kann hierbei spezifisch zum PUE erfolgen?

Dazu ist es ratsam, die eingesetzte Energie pro Datenmenge und abgstimmt auf den Arbeitspunkt der Anlage zu überwachen und direkt in Abrechnungsmodelle der Versorgung als auch auf der Kundenseite des Datenaustauschs zu überführen. Quasi eine reale Datenabrechnung mit dem tatsächlichen Energiebedarf pro Dateneinheit. Somit würde ein reales „Datenverbrauchs-Modell“ den Energiepreis definieren und möglicherweise Anbieter von Daten als auch deren Verwender sensibilisieren. Daten könnten aufgrund der tatsächlich erzeugten Energiekosten sparsamer eingesetzt werden.

Technisch wäre dazu ein integriertes Energie-Monitoring denkbar, das auf einem nachvollziehbaren Referenzmodell (Definition des Messstandards) beruht, das wiederum einzelne Server, Racks oder ähnliches Datenequipment überwacht und die tatsächlich eingesetzte Energie pro Datenaufkommen am Arbeitspunkt misst und somit valide zur Abrechnung bringt. Des Weiteren ist zu überlegen, ob cyberkriminelle Übergriffe auf die Energieversorgung in Rechenzentren oder andere sensible Bereiche nicht zusätzlich durch ein qualifiziertes und permanentes Monitoring der Netzqualität zu verhindern sind. Dies quasi als Redundanz zu den bestehenden Überwachungseinrichtungen, die heute über Softwarelösungen bereits etabliert sind, allerdings einer enormen Dynamik unterliegen. Es gilt dabei zu erforschen, ob man Veränderungen in der Netzqualität mit Cyberangriffen auf die Server als auch auf die Infrastruktur eines Rechenzentrums in Verbindung bringen und dadurch Angriffe frühzeitig abwehren kann. In beiden Fällen, Serverleistung versus elektrischer Leistung (PUE) als auch dem zusätzlichen Schutz gegenüber Cyberangriffen mittels Netzqualitätsanalyse, werden die Bezugsreferenzen (Definition des Messstandards) massgebend sein.