Neuer Cluster-Computer geht am Albert-Einstein-Institut in Betrieb
DAMIANA steht auf Platz 192 der heute veröffentlichten Top500 Liste der weltweit leistungsfähigsten Hochleistungsrechner
Mit seinen 386 Intel Xeon (Woodcrest) Prozessoren, die 168 Server (Compute-Nodes) antreiben und eine nachgewiesene Rechenleistung von 6,52 TeraFlop/s (Linpack) erreichen, wird der Cluster-Computer „DAMIANA“ am Max-Planck-Institut für Gravitationsphysik (Albert-Einstein- Institut/AEI) ab sofort hochkomplexe Berechnungen zu Schwarzen Löchern und einstürzenden Neutronensternen durchführen. „Mit dem neuen Cluster-Computer beschleunigen wir je nach Problemstellung unsere Rechnungen um das Vier- bis Fünffache“ sagt Professor Luciano Rezzolla, Leiter der Arbeitsgruppe ‚Numerische Relativitätstheorie’ am AEI. „Das bedeutet, dass wir für eine Rechnung statt einer Woche nur noch eineinhalb Tage benötigen. Außerdem können wir mehr systematische Untersuchungen zu den Quellen von Gravitationswellen durchführen, was unsere Rechnerkapazitäten bislang nicht zugelassen haben.“ Mit Hilfe der Rechenergebnisse werden viel deutlichere Bilder dieser energiereichen Phänomene im Universum gezeichnet werden können als jemals zuvor. Davon profitiert insbesondere die internationale Gemeinschaft der Gravitationswellenforscher, die auf der Grundlage der am AEI durchgeführten Berechnungen sehr viel genauer nach Gravitationswellensignalen suchen können.
Heute wurde im Rahmen der International Supercomputer Conference 2007 (ISC2007) in Dresden veröffentlicht, dass DAMIANA auf Platz 192 der Top500 der weltweit leistungsfähigsten Hochleistungsrechner steht und damit der fünftschnellste Cluster- Computer Deutschlands in der Forschung ist. Der neue Cluster ergänzt die bereits am Institut vorhandenen Supercomputer PEYOTE und BELLADONNA.
Hintergrund
Aus numerischen Simulationen von verschmelzenden Schwarzen Löchern und einstürzenden Neutronensternen können Wissenschaftler wichtige Informationen über die bei diesen kosmischen Großereignissen entstehenden Gravitationswellen ableiten. Gravitationswellen sind die letzte Vorhersage aus Einsteins Relativitätstheorie, die bislang nicht direkt nachgewiesen werden konnte. Weltweit sind derzeit fünf interferometrische Gravitationswellendetektoren in Betrieb: Das deutsch-britische Projekt GEO600 in der Nähe von Hannover, die drei LIGO Detektoren in den USBundesstaaten Louisiana und Washington, sowie das französisch-italienische Projekt Virgo in Pisa, Italien. Geplant ist darüber hinaus das gemeinsame ESA/NASA Weltraumprojekt LISA (Laserinterferometer Space Antenna). Die Wissenschaftler des AEI sind an GEO600 und LISA federführend beteiligt und arbeiten eng mit den Kollegen des LIGO Projektes zusammen.
DAMIANA
Der Cluster-Computer bekam von der Gruppe Numerische Relativitätstheorie um Prof. Rezzolla den Namen DAMIANA – nach einer in Lateinamerika beheimateten Pflanze, der euphorisierende und Potenz steigernde Wirkungen nachgesagt werden. Und die Steigerung der Potenz – zumindest der rechnerischen – ist ja ein wichtiges Ziel dieser Neuanschaffung.
Der Cluster eignet sich insbesondere für Probleme, die sich gut parallelisieren lassen. Das sind Matrizenoperationen, wie sie maßgeblich auch für Simulationsberechnungen verwendet werden. Dafür müssen die einzelnen Knoten des Clusters besonders schnell und effektiv miteinander kommunizieren können. Die Berechnung der Einstein-Gleichungen für astrophysikalisch interessante Fälle wie etwa den Verschmelzungsprozess Schwarzer Löcher oder Neutronensterne ist das Hauptforschungsgebiet der Gruppe Numerische Relativitätstheorie.
MEGWARE
Der neue Cluster am AEI wurde von der Firma MEGWARE Computer GmbH geliefert, eingerichtet und optimiert. Die MEGWARE Computer GmbH wurde 1990 in Chemnitz (Sachsen) gegründet. Unternehmensschwerpunkt sind die Entwicklung, der Vertrieb und Service von ganzheitlichen IT-Systemlösungen für Industrie, Gewerbe und öffentliche Auftraggeber. Im Jahr 2000 begann MEGWARE, sich im Bereich High Performance Computing zu profilieren – hier speziell auf Compute-Cluster. Bisher wurden mehrere hundert solcher Cluster an namhafte Lehr- und Forschungseinrichtungen, aber auch an Industrieunternehmen in Deutschland und vielen Ländern Europas ausgeliefert. MEGWARE entwickelt selber Hardwarekomponenten und Management- Tools für Cluster und ist in enger Partnerschaft mit internationalen Herstellern an der Technologieentwicklung dieser Supercomputer beteiligt.
http://www.megware.com
Numerische Simulationen als virtuelles Labor
Die Arbeitsgruppe ‚Numerische Relativitätstheorie’ am Max-Planck-Institut für Gravitationsphysik erforscht die Modellierung der Quellen von Gravitationswellen und simuliert relativistisch-astrophysikalische Ereignisse, wie etwa den Verschmelzungsprozess zweier Schwarzer Löcher. Bei diesen Katastrophen im Universum werden innerhalb kürzester Zeit enorme Mengen von Energie abgestrahlt, sowohl als elektromagnetische Strahlung als auch durch Gravitationswellen. Diese Ereignisse können nur durch mit Hilfe von Einsteins Allgemeiner Relativitätstheorie beschrieben und auf modernen Supercomputern simuliert werden.
Die Arbeitsgruppe hat über die Jahre numerische Codes, wie den CACTUS-Code und den WHISKY-Code, für die Simulation solcher astrophysikalischen Prozesse entwickelt, darunter sich umkreisende Schwarze Löcher und Neutronensterne, sowie Akkretionsscheiben (Materiescheiben rund um Schwarze Löcher oder Neutronensterne). Die Forscher nutzen diese Codes als virtuelle astrophysikalische Laboratorien mit denen sie die extremen astrophysikalischen Bedingungen herstellen können, die in normalen Laboratorien auf der Erde nicht erreichbar sind.
http://numrel.aei.mpg.de/
http://www.cactuscode.org/
http://www.whiskycode.org/
Der Cluster-Computer: technische Daten
Es handelt sich um einen Hochleistung-Linux-Rechen-Cluster. Er besteht aus 168 Rechen-Knoten (Computenodes), mit jeweils zwei Intel XEON 5160 Woodcrest-Prozessoren mit einer Leistung von je 3.0 GHz, 8 GB RAM und 250 GB lokalem Speicherplatz. Fünf Speicher-Knoten (Storagenodes) mit einer Gesamtkapazität von ca. 50 TB speichern die enormen Mengen der Ergebnisdaten der numerischen Simulationsberechnungen. Ein Anmeldeknoten (Headnode) ermöglicht den Benutzern die Kommunikation mit dem Cluster und dient als Managementbasis für das gesamte System. Drei Netzwerke sorgen andererseits für die Kommunikation der einzelnen Rechner untereinander. Jedes dieser Netzwerke hat seine ganz besondere Aufgabe.
Herzstück des Hochleistungsclusters ist das Netzwerk und damit der entsprechende Switch, der für die Interprozesskommunikation sorgt. In diesem Fall ist es ein Infinibandswitch mit einer Bandbreite von bis zu 11.5 Tbits/sec. Die beiden anderen Netzwerke dienen der Systemadministration und der Integration der Storagenodes in den Cluster. Da typische numerische Simulationen mehrere Tage oder gar Wochen dauern, werden die Rechenläufe (Jobs) durch ein Batchsystem verwaltet. Ein Benutzer meldet sich auf den Headnode an, um Programmcode zu kompilieren oder sich die meist graphisch dargestellten Ergebnisse anzeigen zu lassen. Einen ganz wesentlichen Teil für all die rechnerischen Aufgaben der Wissenschaftler des AEI übernimmt der am AEI entwickelte CACTUS-Code (http://www.cactuscode.org), eine flexible Auswahl von Tools, die es allen Wissenschaftlern ermöglicht, Problemstellungen computergerecht zu formulieren und Berechnungen ausführen zu lassen.
Technische Daten
168 Computenodes mit je
2 Intel XEON 5160 Woodcrest Prozessoren à 3.0 GHz/1333 FSB (Front Side Bus)
8 GByte RAM Memory
250 GB Speicherkapazität
3 Netzwerkanschlüsse (2 x Gigabit, 1 x Infiniband)
IPMI 2.0 card
5 Storagenodes mit je
2 Intel XEON 5160 Woodcrest Prozessoren à 3.0 GHz/1333 FSB (Front Side Bus)
8 GByte RAM Memory
2 x 250 GB interne disks
RAID controller zum Anschluss von brutto 10.5 TB Speicherkapazität ( 14 x 750 GB disks)
3 Netzwerkanschlüsse (2 x Gigabit, 1 x Infiniband)
IPMI 2.0 card
Redundante Stromversorgungseinheiten
1 Headnode (auch Anmelde- , Access- bzw. Managementknoten genannt) mit je
2 Intel XEON 5160 Woodcrest Prozessoren a 3.0 GHz/1333 FSB (Front Side Bus)
8 GByte RAM Memory
3 x 500 GB interne disks
3 Netzwerkanschlüsse (2 x Gigabit, 1 x Infiniband)
IPMI 2.0 card
Redundante Stromversorgungseinheiten
Auf allen Rechnern ist das Betriebssystem Scientific Linux 4.4 installiert.
An Systemnaher Software kommt zum Einsatz:
Compiler: Gnu C++, Intel C++, Intel Fortran
Libraries: BLAS, LAPACK, Intel MKL, Intel MPI, OpenMPI, MPICH, MVAPICH, SCALI MPI
Programmiertool: Intel Cluster Tool Kit
Batch-system: OpenPBS
Monitoring: ClusterWare Appliance (Fa. Megware)
Managementsoftware: Clusterware (Fa. Megware)
Details
Jeder Computenode hat drei Netzwerkschnittstellen für drei spezifische Netzwerke. Das wichtigste ist das Interprozess-Netzwerk, das die Computenodes mit 40 Gbit/s bidirektional über einen leistungsstarken Infinibandswitch miteinander verbindet. Hier wird ein SilverStorm Switch der Fa. QLOGIC eingesetzt. Er hat eine Backplane (BUS-Leiterplatte)-Kapazität von 11.5 Tbits/sec.
Das zweite, ebenfalls sehr wichtige Netzwerk dient der Übertragung der Ergebnisse der einzelnen Knoten auf die so genannten Storagenodes. Wegen der enormen Datenausgabe der Computenodes empfiehlt es sich, die Last auf fünf Knoten zu verteilen. Dieses Netzwerk wird durch einen modularen Foundry FastIron Switch mit 192 Anschlüssen (ports) bedient. Er hat eine Backplane Switching Capacity (Schalt-Kapazität) von 600 Gbit/s.
Das dritte Netzwerk dient dazu alle Komponenten des Clusters überhaupt bedienen zu können. Hier werden fünf Switche der Firma HP (1 x HP ProCurve 2810, 4 x HP ProCurve 2650) eingesetzt. Um die Kabellängen möglichst kurz zu halten, hat man sich für eine Kaskadierung entschieden. Es gibt ein weiteres Netzwerk, das nicht direkt dem Betrieb sondern zur Unterstützung des Systemadministrators bei der Früherkennung von Hardwarefehlern dient. Über die IPMI Karten, die in allen Knoten installiert sind, können Sensorwerte wie z.B. die CPU-Temperatur und Lüfterdrehzahl ausgelesen werden. Übersteigen die Werte vorgegebene Grenzen (thresholds), wird automatisch vom System eine Meldung, je nach Dringlichkeit eine E-Mail oder SMS, an den Systemadministrator gesandt. Dieser kann dann entsprechende Vorsorgemaßnahmen zur Vermeidung von Störungen treffen.
KVM-Switche (Keyboard-Video-Mouse) und intelligente Steckdosenleisten (power distributed unit: PDU) sind weitere Hilfsmittel für den Systemadministrator des Clusters.
Kühlung des Clusters
Dem AEI steht seit Ende 2006 ein großer Rechnerraum für die Hochleistungsrechner der Gruppe der Numerischen Relativitätstheorie zur Verfügung. Der Raum ist ca. 127 qm groß mit einer Höhe 3,40 m und einem Luftvolumen von ca. 433 m3 Der Raum wird über den doppelten Boden mit Kaltluft versorgt. Beim Aufstellen der Cluster folgt man dem Prinzip des Warm-/Kaltgangs. Kalte Luft wird aus dem Doppelboden durch Lochplatten im Kaltgang zu den Racks geblasen und strömt von vorne nach hinten durch die Geräte und gelangt aufgeheizt in den so genannten Warmbereich. Hier wird die warme Luft von den Kälteschränken angesaugt und gekühlt wieder unter den doppelten Boden geblasen und im Kaltgang abgegeben. Für die Cluster der Numerischen Relativitätstheorie stehen zurzeit insgesamt 300kW Kälteleistung zur Verfügung, DAMIANA benötigt davon ca. 56 kW. Der Rest wird für die anderen Cluster PEYOTE und BELLADONNA und weitere Systeme benötigt.
Stromversorgung
Die Stromversorgung für den Cluster DAMIANA erfolgt über PDUs, die an 32 A Leitungen angeschlossen sind. Eine zentrale USV (Unterbrechungsfreie Stromversorgung) sorgt im Falle eines Stromausfalls für max. 15 Minuten für eine durchgängige Stromversorgung der Storage- und Headnodes. Spezielle Software sorgt dafür, dass diese Rechner automatisch heruntergefahren und ausgeschaltet werden.
Weitere Maßangaben
Clusteraufbau
6 luftgekühlte 19" Schränke (Racks)
davon 5 Racks mit je 34 Computenodes und Managementswitches und
1 Rack für Storagenodes und RAID Systeme, Infinifband-, Head-, Storage- und Managementswitches
Spezielle Software
Obwohl der Cluster als eine Einheit betrachtet werden kann, müssen doch die Komponenten softwaremäßig einzeln benutzbar sein. Hier sorgt spezielle Software, eine so genannte Managementsoftware, für enorme Vereinfachung. Die Firma Megware hat dazu eine Clustermanagementsoftware namens Clustware entwickelt.
Besonderheiten des Clusters
PeakPerformance des Clusters
Theoretisch ergibt sich ein Wert von 8.3 Tflops Die wahren Werte werden sich in den Benchmarks herausstellen. Wir erwarten eine Effizienz von über 80%.
