Berechenbare Schwarze Löcher

Cluster-Computer auf Basis von Intel Xeon Architektur am Albert-Einstein-Institut jetzt doppelt so schnell

26. Februar 2004

Knapp 100 Jahre nach der Entwicklung der Relativitätstheorie durch Albert Einstein ist unser Wissen über die Gravitationsphysik rasant angewachsen. Zweifelte Einstein z.B. die Existenz Schwarzer Löcher noch stark an, sind wir heute sicher, dass es sie gibt. Diese Sicherheit verdanken wir u.a. den Fortschritten der Computerforschung. Immer schneller arbeitende Computer ermöglichen heute, die komplexen Denkmodelle und Theorien der Gravitationsphysiker zu testen, realistische astrophysikalische Systeme zu simulieren und sie dreidimensional zu visualisieren.

Am Golmer Max-Planck-Institut für Gravitationsphysik (Albert-Einstein-Institut, AEI), dem internationalen Zentrum der Relativitätstheorie, sitzen die weltweit führenden Köpfe der Gravitationsphysik. 
Für die hochkomplexen numerischen Simulationen Schwarzer Löcher werden immer größere Anforderungen an Rechenleistung, Speicherkapazität und Netzwerkschnelligkeit der verwendeten Rechner gestellt. Das AEI benutzt für diese Art von Rechnungen den PEYOTE-Clustercomputer∗, der Ende 2003 auf 128 Rechenknoten verdoppelt wurde, wodurch die Nutzer ihre Modellrechnungen weiter verfeinern können. Durch die Unterstützung von Intel war es möglich, den neuesten Prozessor der Firma, einen P4 Xeon mit 3.06GHz und 1MB 3rd Level Cache, schon vor der offiziellen Produkteinführung zu testen, um mögliche Leistungssteigerungen durch den Einsatz dieses Prozessortyps gegen die entstehenden Mehrkosten abzuwägen. Dadurch konnten auch die neuesten Entwicklungen beim Design der Erweiterung berücksichtigt werden. Angestrebt ist ein weiterer Ausbau auf 256 PC Knoten für das Cluster im Laufe des Jahres, längerfristig ist eine Aufstockung auf 1024 Prozessoren geplant.

PEYOTE

Hauptnutzergruppe des Clusters sind die Wissenschaftler der Abteilung Astrophysikalische Relativitätstheorie und insbesondere von der Gruppe Numerische Relativitätstheorie. Aber auch Wissenschaftler anderer Gruppen und Kooperationspartner nutzen dieses Hochleistungscluster. Besonders enge Verbindungen bestehen zu Prof. Dr. Ed Seidel, den Direktor des Center for Computation and Technology an der Louisiana State University (LSU) in Baton Rouge und früheren Leiter der Arbeitsgruppe Numerische Relativitätstheorie am AEI. Prof. Seidel, der neben seiner Tätigkeit an der LSU immer noch am AEI beschäftigt ist, betont: „Mit dieser Kooperation bleiben unsere Arbeitsgruppen auch weiterhin an vorderster Front der Forschung über die Physik Schwarzer Löcher. Durch die Bündelung der Ressourcen am AEI und an der Louisiana State University schaffen wir darüber hinaus eine leistungsfähige Grid-Umgebung für die gemeinsame Forschung.“

Das Cluster eignet sich insbesondere für Probleme, die sich gut parallelisieren lassen. Das sind Matrizenoperationen, wie sie maßgeblich auch für Simulationsberechnungen verwendet werden. Dafür müssen die einzelnen Knoten des Clusters besonders schnell und effektiv miteinander kommunizieren können. Die Berechnung der Einstein-Gleichungen für astrophysikalisch interessante Fälle wie etwa den Zusammenstoß Schwarzer Löcher oder Neutronensterne ist das Hauptforschungsgebiet der Gruppe Numerische Relativitätstheorie. Die Ergebnisse dieser Simulationsberechnungen werden entweder auf dem Headnode des Clusters oder auf Workstations, die besonders für Graphikausgabe geeignet sind, visualisiert.

Das Max-Planck-Institut für Gravitationsphysik

Das Max-Planck-Institut für Gravitationsphysik (Albert-Einstein-Institut) in Golm bei Potsdam hat sich seit seiner Gründung 1995 als international führendes Forschungszentrum für Gravitationsphysik etabliert. Über 90 Wissenschaftlerinnen und Wissenschaftler sowie jährlich mehr als 150 Gastforscher arbeiten hier an allen Aspekten der Gravitationsphysik.

Der Cluster / technische Daten

Es handelt sich um ein Hochleistungs Linux Compute Cluster. Nach der Erweiterung verfügt das Cluster über 128 Rechenknoten. 64 davon sind mit jeweils 2 Intel XEON P4 Prozessoren ausgestattet (Leistung je 2.66 GHz und 2 GB RAM). 64 weiteren Knoten verfügen ebenfalls über 2GB RAM, sind aber mit je 2 Intel XEON Prozessoren mit 3.06 Ghz Taktung ausgestattet. Als lokaler Speicherplatz steht beiden Typen eine 120GB Festplatte zur Verfügung Zu den vier Fileservern mit jeweils 1TB Speicherplatz sind vier weitere hinzugekommen, gleichzeitig wurden die vorhandenen erweitert, so dass nun 8x1.5TB zur Verfügung stehen (1Terabyte=1000 Gigabyte). Zum Vergleich: ein gewöhnlicher PC verfügt über 80-120GB Festplattenspeicher.

Für die Interprozesskommunikation des Hochleistungsclusters ist das Netzwerk und damit der entsprechende Switch verantwortlich. Diesen Switch lieferte die Firma Force10Networks. Hier kommt es in besonderem Maße auf kleine Latenzzeiten und verzögerungsfreie Datenübertragung an, die durch die GigaBit Ethernet Technologie gewährleistet wird.

Obwohl heute vielfach Myrinet, eine Hochleistungsswitchtechnik, eine große Rolle spielt, hat man sich für GigaBit entschieden, da dieser Quasistandard auch in der Zukunft günstige Ausbaumöglichkeiten und ein optimales Preis/Leistungsverhältnis verspricht.

Da typische Rechenläufe mehrere Tage oder gar Wochen dauern, werden die Runs durch ein Batchsystem verwaltet. Die Benutzer kommunizieren über Managementknoten mit dem Cluster. Er compiliert dort seine Programme und visualisiert auf diesen Knoten die Ergebnisse. Ein ganz wesentlicher Teil für all die rechnerischen Aufgaben der Wissenschaftler des AEI übernimmt der am AEI entwickelte CACTUS Code (www.cactuscode.org), ein flexible Auswahl von Tools, die es allen Wissenschaftlern leicht ermöglicht, Problemstellungen computergerecht zu formulieren und Berechnungen ausführen zu lassen.

Technische Daten

64 PC Knoten à 2 Prozessoren a 2.66 GHz/533 FSB (Front Side Bus)
64 PC Knoten a 2 Prozessoren a 3.06 GHz/533 FSB (Front Side Bus) Prozessortyp: Intel XEON mit Hyperthreading Technologie

Pro Knoten:
2 GByte RAM Memory
120 GB Speicherkapazität
3 Netzwerkkarten

8 Storageknoten mit je 1.5 TB Speicherkapazität
2 Headnodes (auch Access- bzw. Managementknoten genannt)

Storage und Headnodes sind den Computenodes ähnlich, haben allerdings je 4GB RAM memory, und benötigen kein InterprocessNetzwerk. Die Systemplatten und Stromversorgungseinheiten sind redundant ausgelegt.

Auf allen Rechnern ist das Betriebsystem Linux mit der Distribution RedHat installiert.

Details

Jeder Rechen-Knoten hat drei Netzwerkkarten für drei spezifische Netzwerke.
Das wichtigste ist das InterconnectNetzwerk, das die Rechenknoten mit 1000Mbit/s (1Gbit/s) Leitungen über einen besonders leistungsstarken Switch miteinander verbindet. Hier wird ein Switch der Fa. Force10Networks eingesetzt. (Switchbeschreibung siehe unten). Er hat eine Backplane (BUS-Leiterplatte)-Kapazität von 600 Mbit/s.


Das zweite, ebenfalls sehr wichtige Netzwerk dient der Übertragung der Ergebnisse der einzelnen Knoten auf die so genannten Storagenodes (Speicherknoten). Wegen der enormen Datenausgabe der Rechenknoten empfiehlt es sich die Last auf mehrere Knoten zu verteilen. So wird der Output von 16 Knoten auf jeweils einen Storagenode geschrieben. Dieses Netzwerk wird durch eine HP ProCurve 4108gl Switch bedient. Er hat eine Backplane von 36 Gbit/s. Das reicht aus, um eine Last von 4 Mbyte/s von jedem! Rechenknoten gleichzeitig zu bewältigen.

Das dritte Netzwerk dient dazu alle Komponenten des Clusters überhaupt bedienen zu können. Hier wird ebenfalls ein Switch der Firma HP eingesetzt. Um die Kabellängen möglichst kurz zu halten, werden in diesem Netz noch zusätzlich 4 weitere Switche eingesetzt. Hier ist der Hersteller die Firma 3Com.

Kühlung des Clusters

Wegen des geringen Platzbedarfs hat man sich für SlashTwo Gehäuse entschieden. Diese gepackte Form erfordert besondere Berücksichtigung der Luftströme in dem Gehäuse, da die Prozessoren eine enorme Wärme abgeben, die möglichst schnell abtransportiert werden muss.
Die Raumluft sollte 20°C nicht überschreiten
Es muss dafür gesorgt werden, dass ein Luftvolumen von 4 x 1400 qm vorhanden ist und umgewälzt werden kann.
Die vorhandene Klimaanlage kann diese Werte bewältigen und hat eine Leistung von ca. 50kW. Die vorhandenen Deckengeräte stehen für die besonders sonnenintensiven Sommertage als Reserve zur Verfügung und leisten zusätzlich 24 kW.

Stromversorgung

Das Cluster wird mit 6x25A Leitungen versorgt. Eine USV (Unterbrechungsfreie Stromversorgung) sorgt im Falle eines Stromausfalls für max. 20 Minuten für eine gleichmäßige Stromversorgung der Storage- und Headnodes.
Spezielle Software sorgt dafür, dass diese Rechner dann automatisch ordnungsgemäß heruntergefahren und ausgeschaltet werden.

Weitere Maßangaben

Cluster
Pro Rack (19" Schrank):
Gewicht: 400 kg mit 16 SlashTwo Gehäusen
240 kg für den Netzwerkschrank
250 kg für das Rack mit den Storage-und Headnodes, einschließlich der 6 TB Speichereinheiten

Netzwerk
Force10Networks E600
Gewicht: 110 kg
Stromverbrauch: 2800 W
Abwärme: 1400W - 3500W

Netzspezifikationen
Backplanekapazität: 600 Gbit/s

Spezielle Software
Obwohl das Cluster als eine Einheit betrachtet werden kann, müssen doch die einzelnen Komponenten softwaremäßig einzeln benutzbar sein. Hier sorgt spezielle Software, eine so genannte Managementsoftware für enorme Vereinfachung. Die Firma Megware hat dazu eine Clustermanagementsoftware namens Clustware entwickelt.

Besonderheiten des Clusters

PeakPerformance des Clusters
Theoretisch:
1. Clusterhälfte:
128 x 2 x 2,66GHz = 680GFlops (128 CPUs , pro CPU 2 Floating Point Units, 2.66GHz pro Unit)
2. Clusterhälfte:
128 x 2 x 3.06GHz = 783GFlops (128 CPUs , pro CPU 2 Floating Point Units, 3.06GHz pro Unit)
Gesamt: 1.46TFlops
Die wahren Werte werden sich in den Benchmarks herausstellen.
Ein einzelner PC, wie er im Cluster (2 CPUs) verwendet wird und als DesktopWorkstation einigen Wissenschaftlern am AEI zur Verfügung steht, leistet 10 Gflops/s

Das Communication network basiert auf Gigabit Ethernet. Diese Netzwerkkarte wurde gewählt, weil man davon ausgeht, dass die Entwicklung von Ethernet weiter voranschreitet. Der InterprocessSwitch ist bereits für 10 Gigabit Ehternet ausgelegt.

Weitere interessante Beiträge

Zur Redakteursansicht