Steigerung der Energie-Effizienz am DKRZ

Das Zugpferd der Klimaforschung, das IBM Power6 System "Blizzard", hat eine Leistungsaufnahme von ca. 1,2 MW, wobei für die Plattensysteme und sonstige IT-Infrastruktur 300 kW sowie – bei Außentemperaturen von über 4°C – weitere 450 kW für die Kühlsysteme dazu kommen. Die gesamte Leistungsaufnahme des DKRZ liegt bei ca. 2 MW; mit einem jährlichen Stromverbrauch von mehr als 17 GWh.

Als wichtigster Schritt wurde im Dezember 2011 eine bauliche Trennung zwischen Kalt- und Warmgang geschaffen, um die Luftströme in den Rechnerräumen besser zu regulieren. Außerdem wurde das Zusammenspiel von Kühlwasserkreisläufen und Kältemaschinen optimiert, die zuvor nicht optimal für den Betrieb des Systems eingestellt waren.

Insgesamt werden durch diese Maßnahmen pro Jahr ca. 750 MWh bzw. etwa 425t CO₂ eingespart und die laufenden Kosten um knapp 100.000 Euro reduziert. Das Projekt wurde gefördert durch das Klimaschutzkonzept der Stadt Hamburg, welches sich zum Ziel gesetzt hat, die CO₂-Emissionen bis 2012 um 20% gegenüber 1990 zu reduzieren.

 

Maßnahmen

Die wichtigsten Maßnahmen dieses Projekts waren die bessere Regulierung der Luftströme in den Rechnerräumen sowie die Optimierung der Kühl- und Kaltwasserkreisläufe bei Kältemaschinenbetrieb.

Im ersten Schritt wurden dazu Einhausungen für die bislang offen stehenden Rackreihen in den Rechnerräumen aufgebaut. Durch die Einhausungen wird eine bauliche Trennung zwischen dem „Kaltgang“ und dem „Warmgang“ geschaffen. Kalte Luft wird von den Klimaschränken durch den Unterboden und Lochplatten in den Kaltgang transportiert, wo es von den Rechnerkomponenten angesaugt wird und auf der Rückseite wieder in den Warmgang geblasen wird.

Ohne die Einhausungen mussten im Bereich der Blizzard aktive Bodenlüfter dafür sorgen, dass auch die oberen Bereiche der Racks mit einer ausreichenden Menge Kaltluft versorgt werden. Durch die offenen Rackreihen vermischt sich aber an den Enden der Rackreihen sowie im oberen Bereich der Racks die aus dem Unterboden zugeführte Kaltluft mit der Warmluft aus dem Raum. Für einen zuverlässigen Betrieb war es deshalb notwendig, wesentlich mehr Kaltluft zuzuführen, als eigentlich notwendig wäre, um ausschließlich die luftgekühlten Rechnerkomponenten zu versorgen, da zu einem nicht unerheblichen Teil die gesamte Rechnerhalle gekühlt wurde.

Mit den Einhausungen (vgl. Abbildung 1) wird der Kaltgang durch ein Dach auf den Racks und durch Seitentüren vom Warmgang getrennt. Damit kommt es nicht mehr zur Vermischung der zugeführten Kaltluft mit der wärmeren Luft im Raum. Gleichzeitig wurden die Temperatursensoren zur Steuerung der Klimaschränke, die die Luft kühlen und mit dem notwendigen Druck in den Unterboden bringen, auf der Innenseite im Dachbereich der Einhausungen angebracht. Auf diese Weise kann nun sichergestellt werden, dass genügend Kaltluft in den Kaltgängen vorhanden ist, um auch die oberen Bereiche der Racks optimal mit Kaltluft zu versorgen.

Abbildung 2 und Abbildung 3 zeigen Wärmebildaufnahmen mehrerer Blizzard-Racks vor und nach dem Aufbau der Einhausung. Sie zeigen, wie die bisherigen wärmeren Rackbereiche am Anfang und Ende der Gänge sowie im oberen Bereich wesentlich besser und gleichmäßiger gekühlt werden können. Insbesondere die „Hot Spots“ im oberen Bereich des ersten Racks ganz links sind nun wesentlich besser gekühlt.

Im zweiten Schritt wurden die Kühl- und Kaltwasserkreisläufe mit den Kältemaschinen optimiert. Die Planung der Kältetechnik im Rechenzentrum erfolgte während des Umbau des Gebäudes ohne das feststand, welcher Rechner genau angeschafft wird. Aufgrund dessen wurde die Anlage nicht spezifisch für den tatsächlichen Betrieb optimiert. Für die weiteren Energieeffizienzmaßnahmen wurden deshalb sämtliche Parameter der Kühl- und Kaltwasserkreisläufe hinterfragt, um weitere Einsparpotentiale aufzudecken.
So wurde der Kühlwasserkreislauf z.B. mit einer festen Vorlauftemperatur von 30°C zu den Kältemaschinen betrieben. Es zeigte sich jedoch, dass die Kältemaschinen problemlos auch mit wesentlich geringeren Temperaturen von bis zu 19°C betrieben werden können und dabei auch eine viel geringere Stromaufnahme aufweisen. Im günstigsten Fall der 19°C benötigen die Kältemaschinen ca. 100 kW weniger Leistung als bislang bei 30°C.

Die Einsparung wird teilweise kompensiert durch die höhere Stromaufnahme der Rückkühler auf dem Dach, die das Kühlwasser auf die Temperatur von 19°C kühlen müssen. Dies ist auch nur bei Außentemperaturen bis zu ca. 13°C möglich. Bei höheren Außentemperaturen steigt auch die Kühlwassertemperatur und die Stromersparnis bei den Kältemaschinen sinkt.

Auch bei den Pumpen, die den Kühlwasserkreislauf betreiben, wurde festgestellt, dass diese mit wesentlich geringerem Druck und damit weniger Leistungsaufnahme betrieben werden können, ohne dass die Kühlung dadurch beeinträchtigt wird. Durch den geringeren Druck wird nur die Temperaturspreizung erhöht.

Schätzung der Einsparungen

Die durch die Maßnahmen erreichten Einsparungen und CO₂-Reduktion lassen sich direkt nicht so ohne weiteres bestimmen:

• Im Vergleich zum Vorjahr wurden einige neue Server installiert. Diese erhöhen den Stromverbrauch und erzeugen neue Abwärme, welche zusätzliche Kälteleistung erfordert.
• Die Ersparnis ist in großem Umfang abhängig von der Außentemperatur, sowohl im Tageslauf als auch in den Jahreszeiten.
• Die Leistungsaufnahme des Höchstleistungsrechners schwankt je nach Auslastung des Rechners in Einzelfällen sogar über 100 kW, was wiederum auch zu Schwankungen in der Kälteleistung führt.
• Verschiedene Umstellungen erfolgten schrittweise über mehrere Tage und Wochen.
• Die Leistungsaufnahme einiger von den Umstellungen betroffener Komponenten kann mangels Messstellen nicht direkt bestimmt werden.
• Einige der Optimierungen wie z.B. die Absenkung der Kühlwassertemperatur erhöhen teilweise an anderen Stellen die Stromaufnahme, die dort mangels Messmöglichkeit nicht genau nachvollzogen werden kann.

Aufgrund dieser Eigenschaften ist ein einfacher direkter Vergleich des Stromverbrauchs vor und nach den Maßnahmen nicht möglich. Um die Einsparung abschätzen zu können, bietet sich die Betrachtung des PUE (Power Usage Effectiveness) des Rechenzentrums vor und nach der Maßnahmendurchführung an. Der PUE bestimmt sich als Quotient der gesamten Stromaufnahme des Rechenzentrums (also IT und Kühlung) geteilt durch die Stromaufnahme der vorhandenen IT-Anlagen. Dadurch wird bewertet, wie effizient die IT betrieben wird. Je niedriger der PUE liegt, desto effizienter die Kühlung.

Der PUE am DKRZ lässt sich aus den Messdaten der Gebäudeleittechnik kontinuierlich bestimmen. Die Daten werden seit 10. Juni 2010 aufgezeichnet. Diese Daten können nach Außentemperatur aufgeschlüsselt werden, um die Temperaturabhängigkeit zu berücksichtigen. Abbildung 4 zeigt das Ergebnis dieser Auswertung des PUEs für alle vorhandenen Daten des Jahres 2010, des gesamten Jahres 2011 sowie den Daten vom 14. Juni 2012 bis zum heutigen Tag. Ein wesentlicher Teil der Umstellungen an der Kältetechnik wurde in der Zeit zwischen dem 1. Januar und 14. Juni 2012 vorgenommen, weshalb dieser Zeitraum von der Auswertung ausgenommen wurde.

Der abgebildete PUE bezieht sich nur auf Zeiten, in denen die Kältemaschinen betrieben wurden. Bei Temperaturen unter 7°C Außentemperatur wird die Anlage teilweise in freier Kühlung betrieben, d.h. ganz ohne Kühlmaschinen. Durch die Umschaltlogik zwischen freier Kühlung und Kältemaschinenbetrieb überlappen sich im Temperaturbereich von 1°C bis 7°C Zeiten von freier Kühlung und Kühlung mit Kältemaschine. Um vergleichbare Zahlen zu erhalten, berücksichtigt die Abbildung ausschließlich Zeiten mit Kältemaschinenbetrieb.

Da die durchschnittliche Leistungsaufnahme sämtlicher Rechnerkomponenten 2012 ca. 1490 kW beträgt, entspricht eine Differenz von 0,01 im PUE einer Leistungseinsparung von ca. 14,9 kW. Im Temperaturbereich unterhalb von 12° wird deshalb durch die durchgeführten Maßnahmen eine Einsparung von über 120 kW erreicht.

Die Einsparungen hängen stark von der Außentemperatur ab, so dass die tatsächlichen Einsparungen nur rückwirkend bestimmt werden können. Auf der Basis einer durchschnittlichen Temperaturentwicklung in Hamburg, wie sie in den Jahren 2000 bis 2011 beobachtet wurde, können mit den durchgeführten Maßnahmen pro Jahr ca. 750 MWh eingespart werden, was nach Schätzung des Umweltbundesamts 2011 ungefähr 425t CO₂ entspricht.
Durch die Auswertung der gemessenen Leistungsdaten 2012 unter Berücksichtigung der schrittweisen Umsetzung der Maßnahmen ergibt sich eine Einsparung von ca. 475 MWh bzw. 270t CO₂ in 2012.