So bauen Sie einen Supercomputer: 9 Schritte (mit Bildern)

Brauchen Sie eine Maschine, die Hunderte von Billionen von Fließkomma-Berechnungen pro Sekunde liefern kann? Oder brauchen Sie eine Bar-Geschichte, wie der Supercomputer in Ihrem Keller einen Becher umdreht? Erstellen Sie Ihren eigenen Hochleistungs-Computer-Cluster, a.K.ein. Supercomputer, ist eine Herausforderung, die jeden Experten-Geek mit einem Wochenende mit freier Zeit und etwas Bargeld zu brennen kann. Technisch gesehen ist ein moderner, Multi-Prozessor-Supercomputer ein Netzwerk von Computern, die parallel zusammenarbeiten, um ein Problem zu lösen. Dieser Artikel beschreibt jeden Schritt in diesem Prozess kurz und konzentriert sich auf Hardware und Software.

Schritte

1. Erstellen Sie zuerst die Hardwarekomponenten und -ressourcen, die benötigt werden. Sie benötigen einen Kopfknoten, mindestens ein dutzend identisches Berechnungsknoten, einen Ethernet-Switch, eine Stromverteilungseinheit und ein Rack. Bestimmen Sie den elektrischen Nachfragen, Kühl- und Speicherplatz erforderlich. Entscheiden Sie auch, welche IP-Adresse, die Sie für Ihre privaten Netzwerke, die Sie für Ihre privaten Netzwerke wünschen,, was Sie nennen können, welche Softwarepakete Sie installiert haben, und welche Technologie Sie die parallelen Rechenkapazitäten angeben möchten (mehr dazu später).

Obwohl die Hardware teuer ist, ist die in diesem How-to aufgeführte Software frei, und die meisten sind offene Quelle.
Wenn Sie sehen möchten, wie schnell Ihr Supercomputer theoretisch sein würde, verwenden Sie dieses Tool: http: // HPL-Rechner.Quelleforge.Netz/

Bildtitel Build A Supercomputer Schritt 2

2. Erstellen Sie die Berechnungsknoten. Sie müssen die Berechnungsknoten montieren oder Pre-Build-Server erwerben.

Wählen Sie ein Computerserver-Chassis aus, das Platz, Kühlung und Energieeffizienz maximiert.

Oder Sie können ein Dutzend oder so verwendete, veraltete Server verwenden, dessen Ganzes die Summe ihrer Teile überwiegt, sparen Sie noch einen beträchtlichen Geldklumpen. Alle Prozessoren, Netzwerkadapter und Motherboards sollten identisch sein, damit das gesamte System gut zusammenspielt. Vergessen Sie natürlich nicht RAM und Speicherung für jeden Knoten und mindestens einen optischen Laufwerk für den Kopfknoten.

Bildtitel Build A Supercomputer Schritt 3

3. Installieren Sie die Server in das Rack. Beginnen Sie von unten, damit das Rack nicht hoch ist. Sie brauchen einen Freund, der Ihnen dabei hilft - die dichten Server können sehr schwer sein und sie in die Schienen führen, die sie in das Rack halten, ist schwierig.

Bildtitel Build A Supercomputer Schritt 4

4. Installieren Sie den Ethernet-Schalter über dem Server-Chassis. Nehmen Sie diesen Moment Zeit, um den Switch zu konfigurieren: Erlauben Sie die IP-Adresse von Jumbo-Frame-Größen von 9000 Bytes, setzen Sie die IP-Adresse auf die statische Adresse, auf die Sie in Schritt 1 entschieden haben, und deaktivieren Sie unnötige Routing-Protokolle wie SMTP-Snooping.

Bildtitel Build A Supercomputer Schritt 5

5. Installieren Sie die PDU (Stromverteilereinheit). Je nachdem, wie viel aktuell Ihre Knoten möglicherweise bei maximaler Last benötigen, benötigen Sie möglicherweise 220 Volt für Hochleistungsrechnungen.

Bildtitel Build A Supercomputer Schritt 6

6. Mit allem installiert, können Sie den Konfigurationsprozess beginnen. Linux ist das De-facto-Betriebssystem für HPC-Cluster - nicht nur das ideale Umfeld für wissenschaftliches Computer, aber es kostet nichts, es auf Hunderten oder sogar Tausenden von Knoten zu installieren. Stellen Sie sich vor, wie viel es kostet, Windows auf allen diesen Knoten zu installieren!

Beginnen Sie mit der Installation der neuesten Version des Motherboard-BIOS und der Firmware, das für alle Knoten gleich sein sollte.

Installieren Sie Ihre bevorzugte Linux-Distribution an jedem Knoten mit einer grafischen Benutzeroberfläche für den Kopfknoten. Beliebte Auswahlmöglichkeiten zählen Centos, OpenSUSE, Scientific Linux, Redhat und Sles.

Dieser Autor empfiehlt dringend, die Felsen-Cluster-Verteilung zu verwenden. Neben der Installation aller Tools, die für einen Computer-Cluster erforderlich sind.

Bildtitel Build A Supercomputer Schritt 7

7. Installieren Sie die Nachrichtenübergreifende Schnittstelle, Ressourcen-Manager und andere notwendige Bibliotheken. Wenn Sie im vorherigen Schritt keine Rocks installiert haben, müssen Sie die erforderliche Software manuell einrichten, um die parallelen Rechenmechanismen zu aktivieren.

Zuerst benötigen Sie ein tragbares Bash-Management-System, z. B. den Drehmomentressourcenmanager, mit dem Sie Aufgaben auf mehrere Maschinen aufteilen und verteilen können.

Paar Drehmoment mit dem Maui-Cluster-Scheduler, um das Setup abzuschließen.

Als Nächstes müssen Sie die Nachrichtenüberschreitungsschnittstelle installieren, die für die einzelnen Prozesse auf den separaten Compute-Knoten erforderlich ist, um dieselben Daten zu teilen. OpenMP ist ein Kinderspieler.

Vergessen Sie nicht die Multi-Threading-Math-Bibliotheken und Compiler, um Ihre parallelen Rechenprogramme aufzubauen. Habe ich erwähnt, dass Sie nur Felsen installieren sollten?

Bildtitel Build A Supercomputer Schritt 8

8. Netzwerk die Berechnungsknoten zusammen. Der Head-Knoten sendet die Berechnungsaufgaben an die Berechnungsknoten, die wiederum das Ergebnis zurücksenden und Nachrichten aneinander senden müssen. Je schneller desto besser.

Verwenden Sie ein privates Ethernet-Netzwerk, um alle Knoten in dem Cluster anzuschließen.

Der Kopfknoten kann auch als NFS, PXE, DHCP, TFTP und NTP-Server über das Ethernet-Netzwerk fungieren.

Sie müssen dieses Netzwerk von öffentlichen Netzwerken trennen, was dafür sorgt, dass Broadcast-Pakete nicht mit anderen Netzwerken in Ihrem LAN stören.

Bildtitel Build A Supercomputer Schritt 9

9. Testen Sie den Cluster. Das letzte, was Sie vielleicht tun möchten, bevor Sie alle diese Berechtigungsmacht an Ihre Benutzer freigeben, ist die Leistung der Leistung. Der HPL-Benchmark (High Performance Lynpack) ist eine beliebte Wahl für die Messung der Rechengeschwindigkeit des Clusters. Sie müssen es von der Quelle mit allen möglichen Optimierungen kompilieren, die Ihr Compiler-Angebote für die gewählte Architektur bietet.

Sie müssen natürlich von der Quelle mit allen möglichen Optimierungsoptionen für Ihre Plattform kompilieren. Wenn Sie beispielsweise AMD-CPUs verwenden, kompilieren Sie mit Open64 mit -0 Fast-Optimierungsniveau.

Vergleichen Sie Ihre Ergebnisse auf Top500.Org, um Ihren Cluster mit den schnellsten 500 Supercomputern in der Welt zu vergleichen!

Video.

Mit diesem Service können einige Informationen mit YouTube geteilt werden.

Tipps

Schauen Sie sich für wirklich hohe Netzwerkgeschwindigkeiten in die InfiniBand-Netzwerkschnittstellen an. Seien Sie bereit, erstklassige Preise zu zahlen.

IPMI kann eine Verwaltung eines großen Clusters ein Brise durchführen, indem er KVM-Over-IP, Remote Power Cycling und mehr anbietet.

Verwenden Sie Ganglien, um die Rechenlasten an den Knoten zu überwachen.