Inhoud

• Stappen
• Tips
• Waarschuwingen

Op zoek naar een machine die honderden biljoenen drijvende-kommaberekeningen per seconde kan uitvoeren? Of wil je gewoon met vrienden opscheppen over de supercomputer die in je kamer is gemonteerd? Het bouwen van een krachtig computercluster, of een supercomputer, is een uitdaging die elke liefhebber met een gratis weekend en wat geld over kan proberen te bereiken. Technisch gezien is een multiprocessor-supercomputer een netwerk van computers die samenwerken om een ​​probleem op te lossen. In dit artikel wordt elke stap in het proces kort beschreven, met de nadruk op hardware en software.

Stappen

1. 

   Bepaal eerst de vereiste hardwarecomponenten en bronnen. U hebt een hoofdknooppunt, minimaal 12 identieke netwerkknooppunten, een Ethernet-switch, een stroomverdelingseenheid en een rek nodig. Bepaal de benodigde elektriciteits-, koel- en ruimtevraag. Bepaal ook welk IP-adres u wilt voor uw privénetwerken, hoe u de knooppunten een naam geeft, welke softwarepakketten u wilt installeren en welke technologie wordt gebruikt om parallel computing uit te voeren (daarover later meer).
   • Hoewel de hardware duur is, zijn alle programma's die in de gids worden vermeld gratis en de meeste zijn open source.
   • Als je wilt zien hoe snel je supercomputer theoretisch zou zijn, gebruik dan deze tool: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Maak de knooppunten. U moet de knooppunten mounten of voorgemonteerde servers kopen.
   • Kies een serverchassis dat ruimte, koeling en stroomverbruik maximaliseert.
   • U kunt ook meerdere verouderde servers gebruiken - waarvan de totale kosten hoger zijn dan de som van de onderdelen, maar u bespaart nog steeds veel. Alle processors, netwerkadapters en moederborden moeten identiek zijn om het systeem goed te laten werken. Zorg er uiteraard voor dat u RAM en opslag op elk knooppunt en ten minste één optische schijf voor het hoofdknooppunt opneemt.

3. 

   
   
   Installeer de servers in het rek. Begin vanaf de onderkant, zodat de bovenkant niet te zwaar is. Hiervoor heb je de hulp van je vrienden nodig - dichte servers kunnen erg zwaar zijn, en het is moeilijk om ze langs de sporen te leiden die ze vasthouden.

4. 

   Installeer de Ethernet-switch boven het serverchassis. Neem deze tijd om de switch te configureren: schakel jumbo-framegroottes van 9000 bytes in, stel de IP-adressen in op het statische adres dat in de eerste stap is bepaald en schakel onnodige routeringsprotocollen uit, zoals SMTP-snooping.

5. 

   
   
   Installeer de stroomverdeeleenheid. Afhankelijk van hoeveel stroom de knooppunten nodig hebben bij volledige belasting, hebt u mogelijk 220 volt nodig voor high-performance computing.

6. 

   Als alles is geïnstalleerd, kunt u het configuratieproces starten. Linux is het ideale besturingssysteem voor HPC-clusters - het is niet alleen de ideale omgeving voor wetenschappelijk computergebruik, het is ook gratis te installeren op honderden of zelfs duizenden knooppunten. Stel je voor hoeveel het zou kosten om Windows op al deze knooppunten te installeren?
   • Begin met het installeren van de nieuwste versie van het moederbord-BIOS en de firmware, die identiek moet zijn op alle knooppunten.
   • Installeer uw favoriete versie van Linux op elk knooppunt, met een grafische interface op het hoofdknooppunt. Populaire opties zijn onder meer CentOS, OpenSuse, Scientific Linux, RedHat en SLES.
   • U kunt ook Rocks Cluster Distribution gebruiken. Naast het installeren van alle tools die nodig zijn om het cluster te laten werken, gebruikt Rocks een uitstekende methode om meerdere instanties van zichzelf zeer snel naar de knooppunten te distribueren met behulp van een PXE-boot en de 'Kick Start'-procedure van Red Hat.

7. 

   Installeer de berichteninterface, het bronnenbeheer en andere noodzakelijke bibliotheken. Als u Rocks in de vorige stap niet hebt geïnstalleerd, moet u de benodigde software handmatig configureren om de parallelle rekenmechanismen in te schakelen.
   • Ten eerste hebt u een draagbaar grootschalig beheersysteem nodig, zoals de Torque Resource Manager, waarmee u taken over meerdere machines kunt splitsen en verdelen.
   • Koppel Torque met de Maui Cluster Scheduler om de installatie te voltooien.
   • Vervolgens moet u de interface voor berichtoverdracht installeren, die nodig is om de afzonderlijke processen van de verschillende knooppunten dezelfde gegevens te laten delen. OpenMP is gemakkelijk te gebruiken.
   • Vergeet de multi-threading wiskundige bibliotheken niet voor parallelle computerprogramma's. Het is echt gemakkelijker als u Rocks installeert.

8. 

   Verbind de computerknooppunten. Het hoofdknooppunt verzendt de taken naar de knooppunten van de computer, die vervolgens het resultaat moeten terugsturen en berichten naar elkaar moeten verzenden. Hoe sneller hoe beter.
   • Gebruik een privé Ethernet-netwerk om alle knooppunten in het cluster te verbinden.
   • Het hoofdknooppunt kan ook fungeren als een NFS-, PXE-, DHCP-, TFTP- en NTP-server via het Ethernet-netwerk.
   • U moet dit netwerk scheiden van openbare netwerken, wat ervoor zorgt dat de transmissiepakketten niet interfereren met andere netwerken op uw LAN.

9. 

   Test het cluster. Het laatste dat u wilt doen voordat u al die rekenkracht aan uw gebruikers vrijgeeft, is hun prestaties testen. De HPL-benchmark (High Performance Lynpack) is een populaire keuze voor het meten van de rekensnelheid van het cluster. U moet het vanaf de bron compileren met alle mogelijke optimalisaties die de compiler biedt voor de gekozen architectuur.
   • Het is duidelijk dat u vanaf de bron moet compileren met alle mogelijke optimalisaties voor uw platform. Als u bijvoorbeeld AMD-CPU's gebruikt, compileer dan met Open 64 met -0snel optimalisatieniveau.
   • Vergelijk de resultaten op TOP500.org om uw cluster te vergelijken met de 500 snelste supercomputers ter wereld!

Tips

• IPMI kan het beheer van een groot cluster eenvoudig maken, met KVM-over-IP, externe verwerkingsrelais en meer.
• Zoek naar InfiniBand-netwerkinterfaces om echt hoge netwerksnelheden te bereiken. De prijzen zijn echter niet erg betaalbaar.
• Gebruik Ganglia om de rekenbelasting op de knooppunten te bewaken.

Waarschuwingen

• Zorg ervoor dat uw infrastructuur de belasting aankan.