

AMD AthlonTM64 en AMD OpteronTM ccNUMA
Multiprocessorsystemen
Toepassingsnoot



© 2006 Advanced Micro Devices, Inc. Alle rechten voorbehouden. De inhoud van dit document wordt verstrekt in verband met Advanced Micro Devices, Inc. (BMD-) producten. AMD doet geen verklaringen of garanties met betrekking tot de juistheid of volledigheid van de inhoud van deze publicatie en behoudt zich het recht voor om wijzigingen aan te brengen in specificaties en productbeschrijvingen op elk moment zonder kennisgeving. De hierin vervatte informatie kan van voorlopige of voorafgaande aard zijn en is onderhevig aan verandering zonder kennisgeving. Deze publicatie verleent geen enkele licentie, ongeacht of deze uitdrukkelijk, impliciet, door estoppel dan wel anderszins wordt verleend aan intellectuele-eigendomsrechten. Behalve zoals uiteengezet in de Algemene Verkoopvoorwaarden van AMD, aanvaardt AMD geen enkele aansprakelijkheid en ont-claimt enige uitdrukkelijke of impliciete garantie met betrekking tot haar producten inclusief maar niet beperkt tot de stilzwijgende garantie op verkoopbaarheid, geschiktheid voor een bepaald doel, of schending van enig intellectueel eigendomsrecht.
De producten van AMD zijn niet ontworpen, bestemd voor gebruik als bestanddeel in systemen die bedoeld zijn om een chirurgische implantaat te vormen of andere toepassingen ter ondersteuning of instandhouding van het leven, noch in enige andere toepassing waarbij de mislukking van het product van AMG kan leiden tot een situatie waarin persoonlijk letsel, overlijden, ernstige eigendommen of milieuschade kunnen optreden. AMD behoudt zich het recht voor om de producten op elk moment zonder kennisgeving te staken of aan te passen.
AMD, het logo van de pijlen van AMD Arrow, AMD Athlon en AMD Opteron zijn handelsmerken van Advanced Micro Devices Inc.
HyperTransport is een handelsmerk van het HyperTransmission Technology Consortium.
Linux is een geregistreerd handelsmerk van Linus Torvalds.
Microsoft en Windows geregistreerde handelsmerken van Microsoff Corporation.
Andere in deze publicatie gebruikte productnamen zijn uitsluitend ter identificatie en kunnen handelsmerken van hun respectieve bedrijven zijn.
Handelsmerken


40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
A.2.1 Welke bronnen worden gebruikt wanneer een enkel alleen-lezen of slechts schrijven draad toegang tot gegevens op afstand? 40
A.2.2 Welke bronnen worden gebruikt wanneer twee alleen-schrijven Threads branden op elkaar (Crossfire) op een ondiep systeem? 40
A.2.3 Welke rol spelen buffers in de waargenomen doorvoer? 41
A.2.4 Welke bronnen worden gebruikt wanneer alleen-schrijven Threads niet op elkaar (geen kruisvuur) vuurt op een ondiep systeem? 41
A.3 Waarom is de No Crossfire Case langzamer dan het Crosshire Case op een systeem onder een zeer hoge achtergrondbelasting (volledig abonnement)? 42
A.4 Waarom is 0 Hop-0 Hop geval langzamer dan de 0 hop-1 Hop zaak op een onbelast systeem voor alleen schrijven Threads? 42
A.5 Waarom is 0 Hop-1 Hop geval langzamer dan 0 hop-0 Hop zaak op een systeem onder hoge achtergrond belasting (hoog abonnement) voor alleen schrijven Threads? 43
A.6 Ondersteuning voor een ccNUMA-aware scheduler voor AMD64 ccnUMA Multiprocessor Systems 43
A.7 Gereedschappen en API's voor draad/proces- en geheugenplaatsing (Affinity) voor AMD64 ccNUMA Multiprocessor Systemen 44
A.7.1 Ondersteuning onder Linux® 44
A.7.2 Steun onder Solaris 45
Ondersteuning onder Microsoft® Windows® 45
A.8 Gereedschappen en API's voor knooponderbreken in diverse besturingssystemen voor AMD64 ccNUMA Multiprocessor Systemen 46
A.8.1 Ondersteuning onder Linux 46
A.8.2 Steun onder Solaris 46
A.8.3 Ondersteuning onder Microsoft Windows 46
A.8.4 Knooppunt Interfitting Configuration in de BIOS 47
4 Inhoud

Figuur 1. Kwartettopologie 14
Figuur 2. Interne middelen geassocieerd met een Kwartet Node 15
Figuur 3. Alleen-schrijven draad draait op Node 0, toegang tot gegevens van 0, 1 en 2 Hop weg op een Idle System 17
Figuur 4. Alleen-lezen draad draait op Node 0, toegang tot gegevens van 0, 1 en 2 Hop weg op een Idle System 21
Figuur 5. Alleen-schrijven draad draait op Node 0, toegang tot gegevens van 0, 1 en 2 Hop weg op een Idle System 22
Figuur 6. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-zaak op een onstandsysteem. .26
Figuur 7. Crossfire 1 Hop-1 Hop geval vs No Crosshfire1 Hop-1- Hop zaak onder lage achtergrond belasting (Hoge abonnement) 27
Figuur 8. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-zaak onder een zeer hoge achtergrondbelasting (hoog abonnement) 28
Figuur 9. Crossfire 1 Hop-1 Hop case vs No Crosshire 1 hop-1-zaak onder een zeer hoge achtergrondbelasting (volledig abonnement) 29
Figuur 10. Beide alleen-lezen Threads draaien op Node 0 (Verschillende Kernen) op een Idle System . . .30
Figuur 11. Beide Write-Only Threads draaien op Node 0 (Different Cores) op een Idle System . .31
Figuur 12. Beide alleen-schrijven discussies draaien op Node 0 (verschillende kernen) onder lage achtergrondbelasting 32
Figuur 13. Beide alleen-schrijven discussies draaien op Node 0 (verschillende kernen) onder middelmatige achtergrondbelasting (hoog abonnement) 33
Figuur 14. Beide alleen-schrijven discussies draaien op Node 0 (verschillende kernen) onder Hoge achtergrondbelasting (High Subscription) 33
Figuur 15. Beide alleen-schrijven discussies draaien op Node 0 (verschillende kernen) onder zeer hoge achtergrondbelasting (hoog abonnement) 34
Figuur 16. Interne middelen geassocieerd met een Kwartet Node 39
Lijst van figuren 5

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
6 Lijst van figuren

Revisiegeschiedenis 7

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
8 Revisiegeschiedenis

De AMD AthlonTM 64 en de AMD OpteronTM-familie van singlecore en dual core multiprocessorsystemen zijn gebaseerd op een cache samenhangende architectuur voor niet-Uniforme geheugentoegang (ccNUMA). In deze architectuur heeft elke processor toegang tot zijn eigen lage-latentie, lokaal geheugen (door de processor... on-die lokale geheugen controller), evenals naar hogere latentie remote geheugen via het On-Die geheugen controllers van de andere processoren in de multiprocessor omgeving. Tegelijkertijd is de ccNUMA architectuur ontworpen om de cache samenhang van het gehele gedeelde geheugenruimte te behouden. De high-performance coherente HyperTransportTM technologie verbindt de processoren in het multiprocessorsysteem met elkaar, waardoor geheugentoegang op afstand en cache samenhang mogelijk is.
In traditionele symmetrische multiprocessing (SMP) systemen delen de verschillende processors één geheugencontroller. Deze enkele geheugenverbinding kan een prestatie bottleneck worden wanneer alle processors tegelijkertijd toegang hebben tot het geheugen. Tegelijkertijd wordt de SMP-architectuur niet goed in grotere systemen met een groter aantal processors opschaald. De AMD ccNUMA architectuur is ontworpen om deze inherente SMP-prestatieknelpunten te overwinnen. Het is een volwassen architectuur die ontworpen is om meer prestatiepotentieel uit multiprocessorsystemen te halen.
Omdat ontwikkelaars meer veeleisende werklast inzetten op deze multiprocessorsystemen, doen zich gemeenschappelijke prestatievragen voor: Waar moeten de discussies of processen worden gepland (thread-of procesplaatsing)? Waar moet geheugen worden toegewezen (geheugenplaatsing)? Het onderliggende besturingssysteem (OS), afgestemd op AMD Athlon 64 en AMD Opteron multiprocessor ccNUMA systemen, maakt deze prestatie beslissingen transparant en eenvoudig.
Geavanceerde ontwikkelaars moeten zich echter bewust zijn van de meer geavanceerde hulpmiddelen en technieken die beschikbaar zijn voor prestatie-tuning. Naast het aanbevelen van mechanismen die door het besturingssysteem worden verstrekt voor expliciete thread (of proces) en geheugenplaatsing, onderzoekt deze toepassingsnota geavanceerde technieken zoals node interleding of memory om de prestaties te verhogen. Dit document duiken ook in de karakterisering van een AMD ccNUMA multiprocessor systeem, waardoor geavanceerde ontwikkelaars met inzicht in de fundamentele noodzakelijke om de prestaties van synthetische en echte toepassingen te verbeteren en geavanceerde hulpmiddelen ontwikkelen.
In het algemeen kunnen toepassingen geheugenlatentie gevoelig of memory bandbreedtegevoelig zijn; beide klassen zijn belangrijk voor prestatie-tuning. In een multiprocessorsysteem, naast geheugenlatentie en bandbreedte in het geheugen, beïnvloeden andere factoren de prestaties:
De empirische analyse in dit document is gebaseerd op gegevens die zijn verstrekt door het uitvoeren van een synthetische test met meer schroefdraad. Terwijl deze test geen zuivere geheugenlatentietest is, noch een zuiver herinnerings-
Hoofdstuk 1 Inleiding 9

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
bandbreedtetest, het oefent beide werkingsvormen uit. De test dient als een latency gevoelige testcase wanneer de proefdraden alleen-lezen bewerkingen uitvoeren en als bandbreedtegevoelige test bij het verrichten van schrijfbewerkingen. De onderstaande discussie onderzoekt de resultaten van deze test, met een nadruk op gedrag tentoongesteld wanneer de proef hoge bandbreedte eisen stelt aan het lage niveau middelen van het systeem.
Bovendien worden de tests uitgevoerd in undersubscription, hooggeabonneerd, en volledig ingeschreven Modi. In de undersubscripted mode zijn er aanzienlijk minder threads dan het aantal processoren. In de sterk geabonneerde modus benadert het aantal threads het aantal verwerkers. In de volledig geabonneerde modus is het aantal threads gelijk aan het aantal verwerkers. Het testen van deze voorwaarden geeft inzicht in de impact van het draadabonnement op prestaties.
Op basis van de gegevens en analyse verzameld uit deze synthetische testbank, presenteert dit application note aanbevelingen aan softwareontwikkelaars die werken op toepassingen, compiler tool chains, virtuele machines en besturingssystemen. Ten slotte moeten de testresultaten ook enkele veelvoorkomende mythes over identieke prestatieresultaten verdrijven die verkregen zijn bij het vergelijken van werkbelastingen die symmetrisch in alle opzichten, behalve voor draad en geheugenplaatsing gebruikt.
De volgende weblinks worden in de tekst genoemd en leveren waardevolle informatie over bronnen en achtergronden:
[1] http://www.hotchips.org/archives/hc14/3 Tue/28 AMD Hammer MP HC v8.pdf
[2] http://www.kernel.org/pub/linux/kernel/people/mbligh/presentations/OLS2004- numa paper.pdf
[3] http://www.amd64.org/lists/discusses/msg03314.html
[4] http://www.pgroup.com/doc/pgiug.pdf
[5] http://www.novell.com/collateral/4621437/462137.pdf
[6] http://opensolaris.org/os/community/performance/mpo overview.pdf
[7] http://www.opensolaris.org/os/community/performance/numa/observability/
[8] http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dllproc/base/ multiple processors.asp
[9] http://msdn.microsoft.com/library/default.asp?url=/libary/en-us/memory/base/ virtueelalloc.asp
[10] http://msdn2.microsoft.com/en-us/library/ms186255(SQL90).aspx
[11] http://www.microsoft.com/technet/prodtechnol/WindowsServer2003/Library/IIS/ 529588d3-71bc-45ea-a84b-267914674709.mspx
10 Inleiding Hoofdstuk 1

[12] http://msdn.microsoft.com/library/default.asp?url=/libary/en-us/dngenlib/html/ msdn heapmm.asp
[13] http://msdn.microsoft.com/library/default.asp?url=/libary/en-us/memory/base/ laag fragmentatie-heap.asp
[14] http://msdn2.microsoft.com/en-us/library/tt15eb9t.aspx
[15] https://www.pathscale.com/docs/UserGuide.pdf
[16] http://docs.sun.com/source/819-3688/parallel.html
Hoofdstuk 1 Inleiding 11

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
12 Inleiding Hoofdstuk 1

Dit hoofdstuk geeft een beschrijving van de experimentele omgeving waarin het volgende prestatieonderzoek werd uitgevoerd. In dit gedeelte worden de gebruikte hardwareconfiguratie en het software testkader beschreven.
Alle experimenten en analyses die in deze toepassingsnota werden besproken, zijn uitgevoerd op een Quartet-systeem met vier 2.2 GHz E1 Dual Core AMD OpteronTM processoren van de Linux® 2.6.12-rc1-mm1 kernel (ccNUMA-aware kernel).
Terwijl Quartet een intern ontwikkelingsplatform is, is de manier waarop processoren op het Kwartet worden aangesloten een veel gebruikte methode om de processors te verbinden en te routeren via andere ondersteunde 4P AMD platforms. Wij verwachten dat deze resultaten ook op andere systemen die op dezelfde manier met elkaar verbonden zijn, zullen blijven bestaan en wij verwachten van de aanbevelingen om door te gaan in het huidige generatie Opteron-systeem. We verwachten ook dat de resultaten op andere Linux kernels en zelfs andere besturingssystemen zullen blijven om redenen die later worden uitgelegd.
Elke processor had 2x1GB DDR400 CL2.5 PC3200 (Samsung K4H510838B-TCCC) DRAM geheugen. Om elke storing van de Xserver en het netwerk uit te sluiten, werden alle tests uitgevoerd op runlevel 3 met een verbinding tussen het netwerk.
Op hoog niveau, in een Kwartet, zijn de vier dual-core processors verbonden met coherente HyperTransportTM links. Elke processor heeft één bidirectionele HyperTransport-link die is gewijd aan I/O en twee bidirectioneel samenhangende HyperTrans port links die worden gebruikt om verbinding te maken met twee andere dual core processors. Hierdoor kan een bepaalde dual-core processor direct worden aangesloten op alle andere dual-kern processors, behalve één in 4-weg configuratie. De doorvoer van elke bidirectionele HyperTransport link is 4 GB/s in iedere richting. Elke knooppunt heeft zijn eigen on-chip geheugen controller en is verbonden met het eigen geheugen.
Zoals in figuur 1 op bladzijde 14 is aangegeven, worden de verwerkers (ook wel: nodes===N0, N1, N3 en N2 ==="N" is linksboven genummerd. Elke knoop heeft twee kernen met respectievelijk C0 en C1 gelabeld [1].
Hoofdstuk 2 Experimentele opstelling 13

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen

N2 N3
Figuur 1. Kwartettopologie
De term hop wordt vaak gebruikt om toegangsafstanden op Numa-systemen te beschrijven. Wanneer een draad toegang tot het geheugen op dezelfde knooppunt als die waarop hij draait, is het een 0-hop access of lokaal Toegang. Als een draad draait op één knooppunt maar toegang tot het geheugen dat is gevestigd op een andere knoop, de toegangspoort is a remote Toegang. Als de knooppunt waarop het draadje draait en de knoop waar het geheugen zich bevindt direct met elkaar verbonden zijn, is de toegang tot het geheugen een 1-hop-toegang. Als ze indirect met elkaar verbonden zijn (d.w.z. er is geen directe coherente HyperTransport link) in de 4P configuratie weergegeven in figuur 1, dan is het geheugen toegang tot 2 hops. Bijvoorbeeld, als een draad die draait op Node 0 (N0) toegang heeft tot geheugen dat zich bevindt op Nod 3 (N3), dan is de memory access een 2-hop-toegang.
Figuur 2 op pagina 15 geeft de bronnen van elke knoop vanuit een lager niveau perspectief weer. Elke (duale-kern) processor heeft twee kernen. De twee kernen praten met een systeemverzoek interface (SRI), die op zijn beurt praat tegen een crossbar (XBar). De crossbar is aan de ene kant verbonden met het lokale geheugenbeheer (MCT) en aan de andere kant met de verschillende HyperTransport links. De SRI, XBar en MCT worden gezamenlijk de Northbridge op het knooppunt genoemd. De MCT is verbonden met het fysieke geheugen (DRAM) voor die knoop.
14 Experimentele opzet Hoofdstuk 2


4 GV/s per richting @ 2 GHz Data Rate
4 GV/s per richting @ 2 GHz Data Rate
4 GV/s per richting @ 2 GHz Data Rate
HT = HyperTransportTM-technologie
Figuur 2. Interne middelen geassocieerd met een Kwartet-knooppunt
Vanuit het perspectief van de MCT kan een geheugenaanvraag afkomstig zijn uit ofwel de lokale kern of vanuit een andere kern via een coherente HyperTransport-verbinding. Het eerste verzoek is een lokaal De Commissie heeft de Raad verzocht om een remote verzoek. In het eerste geval kan de aanvraag worden doorgestuurd van de lokale kern naar SRI, dan naar XBar en vervolgens naar MCT. In het latere geval wordt de aanvraag van de externe kern via een coherente HyperTransport-verbinding naar de XBar en vandaar naar de MCT geleid.
De MCT, de SRI en XBar op elke node hebben allemaal interne buffers die worden gebruikt om transactiepakketten in te vullen voor transmissie. Voor meer details over de Northbridge buffer wachtrijen, zie sectie A.1 op bladzijde 39.
Vanuit systeemperspectief kan de ontwikkelaar het systeem zien als drie belangrijke bronnen die invloed hebben op doorvoer: geheugenbandbreedte, HyperTransport bandbreedte en buffer wachtrij capaciteit.
De gebruikte test is een eenvoudige synthetische werklast bestaande uit twee draden met elke draad toegang tot een reeks die niet wordt gedeeld met de andere schroefdraad. De tijd die elke thread nodig heeft om toegang te krijgen tot deze array wordt gemeten.
Elke thread heeft een reeks alleen-lezen of schrijf-alleen toegangen tot opeenvolgende elementen van de array met behulp van een cache lijnrit (64 bytes). De test itereert door alle permutaties van gelezen, lezen-schrijven, schrijven en schrijf-schrijf voor de toegangspatronen van beide draden. Elke array is 64MB
Deze synthetische test is geen zuivere geheugenlatentietest of een pure geheugenbandbreedte-test; het plaatst daarentegen verschillende doorvoer en capaciteitseisen op de bronnen van het systeem zoals beschreven in het vorige deel. Dit geeft inzicht in hoe het systeem zich gedraagt wanneer een van de
Hoofdstuk 2 Experimentele opstelling 15

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
De middelen zijn verzadigd. De test heeft twee modi: alleen-lezen en alleen schrijven. Wanneer de testdraden alleen-lezen zijn, benadrukt het debiet niet de capaciteit van de systeembronnen en is dus de proef gevoeliger voor latentie. Wanneer de draden echter alleen schrijven, is er een zware doorvoerbelasting op het systeem. Dit wordt in de latere delen van dit document uitvoerig beschreven.
Elke draad wordt achtereenvolgens op alle mogelijke kernen in het systeem geplaatst. De gegevens (array) die door elke draad worden geraadpleegd, worden ook achtereenvolgens op alle mogelijke knooppunten in het systeem geplaatst. Verschillende Linux applicatie programmeerinterfaces (API's) worden gebruikt om een draad expliciet vast te koppelen aan de opgegeven kern en data naar een bepaalde node, waardoor volledige controle over condire- en geheugenplaatsing mogelijk is. (Voor aanvullende details over de Linux API verwijzen naar sectie A.1 op pagina 39.) Zodra een thread of data is gepind tot een kern of knoop, blijft het er voor zijn hele levensduur wonen. Zo loopt de test door alle permutaties van draad en geheugen plaatsing mogelijk voor de twee draden. Aangezien de test niet afhankelijk is van het besturingssysteem voor draad en geheugenplaatsing, zijn de resultaten uit de test onafhankelijk van de lage niveau beslissingen die door het OS worden genomen en dus OS agnostisch.
Ten eerste worden de twee draadexperimenten uitgevoerd op een stationair systeem, waardoor er een waarheidstabel van 4096 timing-ingangen voor beide draden wordt gegenereerd. De resultaten worden vervolgens gedolven om interessante scenario's van draad en geheugen plaatsing te evalueren. Verschillende van deze scenario's worden in verschillende grafieken in dit document gepresenteerd.
Vervolgens worden de experimenten verbeterd door een variabele belasting van achtergronddraden toe te voegen. Het gedrag van de twee test (of voorgrond) draden wordt bestudeerd onder invloed van deze variabele belasting achtergrond threads.
Elk van de achtergrond threads leest een lokale 64-MB reeks. De snelheid waarmee elke achtergrond draad toegang tot geheugen kan worden aangepast van laag tot medium tot hoog tot zeer hoog de achtergrondbelasting te regelen. Tabel 1 definieert deze kwalificatiepercentages.
Tabel 1. Qualifiers voor gegevenstoegangsfrequentie
Data Access Rate Qualifier Geheugen Bandbreedte Vereist door een achtergrond
Thread op een inactief systeem
Laag 0,5 GB/s
Zeer hoog 4 GB/s
Het aantal achtergronddraden is ook zo gevarieerd als nodig om een toenemend aantal kernen en knooppunten op het systeem druk met andere woorden, te verhogen van de abonnement. Een volledig abonnement betekent dat elke kern in het systeem bezig is met een draad. Hoge abonnement betekent dat terwijl meerdere cores zijn bezet, er nog steeds enkele kernen vrij in het systeem.
De data-mining stelde verschillende basisaanbevelingen voor prestatieverbeteringen op deze systemen. Ook werden enkele interessante gevallen van asymmetrie die het lage niveau mogelijk maakten onthuld
16 Experimentele opzet Hoofdstuk 2
Middelgroot 1 GB/s · Hoog 2 GB/ s

karakterisatie van het resourcegedrag in het systeem. Deze aanbevelingen, in combinatie met deze interessante gevallen, bieden een inzicht in het lage gedrag van het systeem, dat cruciaal is voor de analyse van grotere workloads uit de echte wereld.
Figuur 3 hieronder toont een van de grafieken die later in detail zullen worden besproken.
■ de
0 Ho p 1 ho p 2 ho p
0.0.w .0 0.0.w .1 0 .0.w .2 0.0.w .3
Figuur 3. Alleen-schrijven draad draait op knoop 0, toegang tot gegevens van 0, 1 en 2
Hops Away op een inactief systeem
De X-as toont de verschillende combinaties van draad en geheugenplaatsing die vergeleken moeten worden. Elk geval toont de volgende informatie voor het garen, in de volgorde die vermeld staat:
In figuur 3 hierboven komen de vier staven overeen met de volgende schroefdraadcombinaties:
0.w.0
0.w.1
0.w.2
0.w.3
Hoofdstuk 2 Experimentele opstelling 17
14 9% · 113% 127% 129%

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
Elk van de staven op de grafiek wordt voorzien van het Hop-informatie voor de draad.
Voor de one-thread testcases op het inactief systeem tonen de grafieken de tijd die door een enkele draad wordt genomen, genormaliseerd tot aan de tijd van het snelste single-threak geval.In dit geval is er slechts één read-draad nodig om lokale toegang te doen via een niet-actieve installatie.
In figuur 3 op blz. 17 wordt de tijd die door het geval 0.05.00 genomen is genormaliseerd tot de tijd van 0,0.r.0-geval. De reden voor de verschillende tijden die in deze twee gevallen zijn geregistreerd, wordt later toegelicht.
Voor de testcases met twee schroefdraad op een stationair systeem, tonen de grafieken het totale aantal tijd dat beide draden hebben genomen en worden genormaliseerd tot aan de tijd die wordt gebruikt door het snelste geval van twee-draads in dit geval wanneer er slechts twee lezende threads nodig zijn om lokale toegang te doen via een niet-actief systeem.
Deze grafieken worden verder verbeterd door de twee-thread cases opnieuw te draaien met een aantal achtergrond draden.
Voor de testcases met tweethreads bij een achtergrondbelasting, tonen de grafieken het totale aantal tijd dat door beide proefdraden (voorgrond) wordt genomen genormaliseerd zoals voorheen. De tijd die de achtergronddraden in beslag nemen, wordt niet gemeten. Alleen het effect van achtergronddraden op de prestaties van testdraden wordt beoordeeld door te meten welke tijd nodig is voor de proefdraden. De belasting die door de achtergronddraden wordt opgelegd, varieert van laag tot zeer hoog en grafieken worden uitgezet voor de individuele lading scenario's.
18 Experimentele opzet Hoofdstuk 2

In dit gedeelte worden aanbevelingen voor ontwikkelaars uiteengezet. Verschillende van deze aanbevelingen gaan vergezeld van empirische resultaten die zijn verzameld uit testgevallen met analyse, indien van toepassing.
Naast aanbevelingen voor prestatieverbeteringen, verduidelijkt dit hoofdstuk enkele van de gemeenschappelijke percepties die ontwikkelaars hebben over prestaties op AMD-ccNUMA systemen en toont tegelijkertijd het effect van laag niveau systeembronnen op prestaties. De omvang van de impact van deze middelen op het functioneren van een bepaalde toepassing hangt af van de aard van de aanvraag. Het doel is om ontwikkelaars te helpen denken als de machine bij het interpreteren van counter intuïtief gedrag terwijl prestaties stemmen.
Hoewel alle analyses en aanbevelingen worden gedaan met betrekking tot de context van threads, kunnen ze ook op processen worden toegepast.
Het plannen van meerdere draden over knopen en kernen van een systeem wordt gecompliceerd door verschillende factoren:
Bij het plannen van meerdere threads die toegang hebben tot onafhankelijke gegevens op een inactief systeem, is het beter eerst de draadjes te plannen om aan een stationaire kern van elk knoopje totdat alle nodes zijn uitgeput en dan schema de andere niet-actieve kern van elke node. Met andere woorden, schema met behulp van knooppunt grote orde eerst, gevolgd door kern belangrijke volgorde. Dit is het voorgestelde beleid voor een ccNUMA bewust besturingssysteem op een AMD dual-core multiprocessor systeem.
Bijvoorbeeld, wanneer het plannen van threads die toegang hebben tot onafhankelijke gegevens op het dual-core Quartet wordt aanbevolen de thres in onderstaande volgorde te programmeren:
De twee kernen op elke knoop van de dual-core AMD OpteronTM processor delen de Northbridge resources, waaronder het geheugen controller en het fysieke geheugen dat is aangesloten op die node. De belangrijkste motivatie voor deze aanbeveling is om te voorkomen dat de middelen op één node worden overbelast, terwijl het resterende deel van het systeem niet wordt gebruikt.
Hoofdstuk 3 Analyse en aanbevelingen 19

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
Bij het plannen van meerdere threads die gegevens delen op een inactief systeem, is het beter om de discussies eerst te plannen over beide kernen van een stationaire knoop, dan op beide cores van de volgende niet-actieve knoop, enzovoort. Met andere woorden, schema met behulp van de belangrijkste kern orde eerst gevolgd door knooppunt grote volgorde.
Bijvoorbeeld, wanneer het plannen van threads die gegevens delen over een dual-core Quartet systeem, AMD raadt aan de volgende volgorde te gebruiken:
Meerdere draden voor een optimale toepassing op niet-dle systeem is moeilijker te plannen. Het vereist dat de toepassing globale holistische beslissingen over machine resources te nemen, zich met andere toepassingen al draaiende en evenwicht tussen besluiten onderling. In dergelijke gevallen kan het beter worden gebaseerd op de passende belastingsbalancering van het besturingssysteem [2].
In het algemeen zullen de meeste ontwikkelaars goede prestaties bereiken door te vertrouwen op het ccNUMA-bewuste besturingssysteem om de juiste planningsbeslissingen over inactieve en niet-idle systemen te nemen. Voor meer informatie over ondersteuning van ccNUMA-planners in verschillende besturingssystemen, zie sectie A.6 op pagina 43.
Naast de scheduler bieden verschillende NUMA-aware OS'en hulpmiddelen en interfaces voor toepassingsprogramma's (API's) waarmee de ontwikkelaar expliciet draadplaatsing kan instellen op een bepaalde kern of knoop. Met behulp van deze tools of API's overschrijft de scheduler en geeft het controle voor draadplaatsing aan de ontwikkelaar, die moet gebruik maken van de eerder genoemde technieken om redelijke planning te verzekeren.
Voor meer informatie over de hulpmiddelen en API-bibliotheken die in verschillende besturingssystemen worden ondersteund, zie sectie A.7 op pagina 44.
Het is het beste om gegevens lokaal te houden tot de node van waaruit ze wordt benaderd. De toegang tot gegevens op afstand is langzamer dan de lokale toegang. Hoe verder de hopafstand naar de data, hoe hoger de kosten van toegang tot geheugen op afstand. Voor de meeste geheugen-latency gevoelige toepassingen, het houden van gegevens lokaal is de belangrijkste aanbeveling om te overwegen.
Zoals uitgelegd in paragraaf 2.1 op pagina 13, wordt een discussie die toegang heeft tot gegevens over dezelfde knoop, beschouwd als lokale toegang. Als een thread draait op één node maar toegang tot gegevens resident op een andere knoop, wordt het beschouwd als een externe toegang. Als de knooppunt waar het draadje loopt en de knoop waarin de gegevens zijn opgeslagen direct met elkaar verbonden worden, wordt deze beschouwd als 1 hop toegang
20 Analyse en aanbevelingen Hoofdstuk 3

Afstand. Als ze indirect met elkaar verbonden zijn in een 4P configuratie, wordt het beschouwd als 2 hop toegang afstand.
Het volgende voorbeeld .uit de winning van de resultaten van het synthetische test geval .substantieert de aanbeveling om gegevens lokaal te houden.
Bij deze test liep één enkele draad op knoop 0 (kern 0) in een anders stationair systeem en werden de volgende gevallen gemeten en vergeleken:
Zoals te zien in Figuur 4 en Afbeelding 5 op pagina 22, naarmate de hopafstand toeneemt, neemt het aantal toegangstermijnen voor zowel lezen als schrijven toe.
0 Hop 1 Hop 2 Hop
0.0.r.0 0.0.r.1 0.0.r.2 0.0.r.3
Figuur 4. Alleen-lezen draad draait op knoop 0, toegang tot gegevens van 0, 1 en 2
Hops Away op een inactief systeem
Hoofdstuk 3 Analyse en aanbevelingen 21
Tijd voor lezen · 130% · 100% 108% 109%

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
T im e voor schrijven
0 Hop 1 Hop 2 Hop
0.0.w .0 0.0.w .1 0.0.w .2 0.0.w .3
Figuur 5. Alleen-schrijven draad draait op knoop 0, toegang tot gegevens van 0, 1 en 2
Hops Away op een inactief systeem
In dit testgeval is een schrijftoegang vergelijkbaar met leestoegang voor zover het samenhangende HyperTransportTM-linkverkeer of het gegenereerde geheugenverkeer, behalve bepaalde belangrijke verschillen. Een schrijftoegang brengt gegevens in de cache zoals een lees en wijzigt ze vervolgens in het archief. In dit specifieke synthetische testcase zijn er echter verschillende opeenvolgende schrijftoegangen tot sequentiële cache-regelelementen in een 64 MB reeks. Dit resulteert in een steady-state toestand van cache lijn uitzettingen of write-backs voor elke schrijf toegang. Dit verhoogt het geheugen en HyperTransport verkeer dat normaal gesproken voor een schrijf-alleen draad tot bijna twee keer die van een alleen-lezen thread. Voor onze testbank, wanneer een draad lokale lees-alleen toegangen doet genereert het bijna twee keer de geheugenbandbreedtebelasting van 1,64 GB/s en als een thread lokaal alleen schrijftoegang uitvoert, genereert dit een bandbreedtelast voor 2,98 GB/ s. Niet alleen schrijven duurt langer dan voor elke bepaalde hopafstand, maar ze vertragen sneller met de Hop afstand als gevolg.
Om gegevens lokaal te houden, wordt aanbevolen de volgende beginselen in acht te nemen.
Zolang een thread de gegevens die het nodig heeft (schrijft er voor het eerst) initialiseert en niet afhankelijk is van enige andere draad om de initialisatie uit te voeren, houdt een ccNUMA-bewuste OS data lokaal op de node waar de three draait. Dit beleid van het houden van gegevens lokaal door schrijven naar haar voor de eerste keer is bekend als de lokale toewijzing beleid op grond van eerste aanraking. Dit is het standaardbeleid dat gebruikt wordt door een ccNUMA-aware besturingssysteem.
Een ccNUMA-bewuste besturingssysteem zorgt voor lokale toewijzing door een paginafout te maken op het moment van de eerste aanraking met gegevens. Wanneer de paginafout optreedt, brengt het besturingssysteem virtuele pagina's in kaart die met de gegevens zijn geassocieerd om fysieke pagina' s te nulden. Nu zijn de gegevens residence op het knooppunt waar de eerste aanraking plaatsvond en eventuele latere toegangen tot de data zal moeten worden bediend vanaf die node.
22 Analyse en aanbevelingen Hoofdstuk 3
149% · 113% 127% 129%

Een ccNUMA-bewuste besturingssysteem houdt gegevens lokaal op de node waar eerste aanraking optreedt, zolang er voldoende fysiek geheugen beschikbaar is op die knoop. Als er niet genoeg fysiek geheugen beschikbaar is op de knooppunt, dan worden verschillende geavanceerde technieken gebruikt om te bepalen waar de gegevens moeten worden geplaatst, afhankelijk van het besturingssysteem.
Gegevens die eenmaal op een knooppunt geplaatst zijn vanwege de eerste aanraking, bevinden zich normaal gesproken gedurende hun leven in dat knooppunt. Echter, de OS scheduler kan migreren van de draad die eerst raakte de gegevens van een kern naar een andere kern. Zelfs tot een kern op een ander knoopje. Dit kan door het besturingssysteem worden gedaan met als doel de belastingsbalancering [3].
Deze migratie heeft het effect dat de draad verder van zijn gegevens wordt verplaatst. Sommige planners proberen de draad terug te brengen naar een kern op een knooppunt waar de gegevens in het lokale geheugen zijn, maar dit is nooit gegarandeerd. Bovendien kon de draad eerst meer gegevens over het knooppunt waarop hij werd verplaatst raken voordat deze terug wordt bewogen. Dit is een moeilijk probleem voor het besturingssysteem om op te lossen, omdat er geen voorafgaande informatie over hoe lang de draad zal lopen en dus of migreren van terug is wenselijk of niet.
Als een toepassing aantoont dat threads door de scheduler van hun bijbehorende geheugen worden verwijderd, is het meestal nuttig om draadplaatsing expliciet in te stellen. Door een draad expliciet vast te knikken aan een knooppunt, kan de toepassing het besturingssysteem vertellen om de draad op dat knooppunt te houden en zo gegevens toegankelijk door de lokale draad er naar toe te houden met behulp van eerste aanraking.
De prestatieverbetering die wordt verkregen door expliciete draadplaatsing kan variëren afhankelijk van de vraag of het programma multithreaded is, of er meer geheugen nodig heeft dan beschikbaar op een knooppunt, of draden worden verplaatst uit hun gegevens, enz.
In sommige gevallen, wanneer threads vanaf het begin op een kern staan gepland die ver van hun gegevens verwijderd is, kan het nuttig zijn om de dataplaatsing expliciet te controleren. Dit wordt uitvoerig besproken in punt 3.2.2.
De eerder besproken tools en API's voor het expliciet controleren van draadplaatsing kunnen ook worden gebruikt om de gegevensplaatsing uitdrukkelijk te regelen. Voor meer informatie over draad- en geheugenplaatsingsinstrumenten en API in diverse besturingssystemen, zie sectie A.7 op pagina 44.
3.2.2 Dataplaatsingstechnieken om onnodige gegevensuitwisseling tussen nodes te verhelen door eerste aanraking
Wanneer gegevens worden gedeeld tussen threads die op verschillende nodes draaien, kan het standaardbeleid van lokale allocatie door eerste aanraking gebruikt door het besturingssysteem niet optimaal zijn.
Bijvoorbeeld, een multithreaded toepassing kan hebben een opstart draad die de omgeving instelt, allocaties en initialiseert van een data structuur en vorken af werknemersdraden. Zoals volgens het standaard lokaal allocatiebeleid, wordt de datastructuur geplaatst op fysiek geheugen van het node waar de start-up draad deed de eerste aanraking. De gevorkte werkdraden worden verspreid door de scheduler om in evenwicht te zijn over alle knooppunten en hun kernen. Een werkdraad begint toegang te krijgen tot de datastructuur op afstand vanaf het geheugen van de knooppunt waar de eerste aanraking plaatsvond. Dit kan leiden tot aanzienlijk geheugen en hypertransportverkeer in het systeem. Dit maakt de knoop waar de gegevens zich bevinden het bottleneck. Deze situatie is vooral slecht voor de prestaties als het opstarten draad alleen doet de initialisatie en
Hoofdstuk 3 Analyse en aanbevelingen 23

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
nawoorden hebben niet langer de gegevensstructuur nodig en als slechts één van de werkdraden een data structuur heeft. Met andere woorden, de gegevensstructuur wordt niet echt gedeeld tussen de werkdraden.
Het is het beste in dit geval om een data initialisatie schema dat onjuiste gegevensplaatsing als gevolg van eerste aanraking vermijdt te gebruiken. Dit wordt gedaan door elke werker draad om eerst zijn eigen gegevens of expliciet vast te stellen de data die met elk werknemerdraad op het knooppunt waar de arbeider garen loopt.
Bepaalde OS'en bieden geheugenplaatsingtools en API's die ook datamigratie mogelijk maken. Een werkdraad kan deze gebruiken om de gegevens van het knooppunt waar de opstart draad deed de eerste aanraking aan te raken naar de knoop, waar de werknemer garen nodig heeft. Er is een kosten in verband met de migratie en het zou minder efficiënt dan gebruik maken van de juiste data initialisatie-regeling op de eerste plaats.
Als het niet mogelijk is om de toepassing te wijzigen naar een correcte data initialisatie schema of als gegevens echt worden gedeeld door de verschillende werknemers threads.as in een database-applicatie ... dan kan een techniek genaamd node intervious kunnen gebruikt worden voor verbetering van prestaties. Knooppunt interleding maakt het mogelijk om geheugen te worden gespleten over elke subgroep van knooppunten in de multiprocessor systeem. Wanneer het node tussenliggende beleid wordt gebruikt, overschrijft dit de standaard lokaal toewijzingsbeleid dat door het besturingssysteem bij eerste aanraking wordt toegepast.
Laten we aannemen dat de gegevensstructuur die gedeeld wordt tussen de werkdraden in dit geval van grootte 16 KB is. Als het standaardbeleid van lokale allocatie wordt gebruikt, dan bevindt de gehele 16KB datastructuur zich op het knooppunt waar de startup draad eerst aanraakt. Echter, met behulp van het beleid van knooppunt interleding, de 16-KB data structuur kan worden gespleten bij eerste aanraking zodat de eerste 4KB eindigt op node 0, de volgende 4K B eindigt op knoop 1, en de volgende 5KB komt uiteindelijk op punt 2 enzovoort. Dit veronderstelt dat er voldoende fysiek geheugen beschikbaar is op elke knooppunt. Dus, in plaats van alle geheugen die op een enkele knoop woont en waardoor dat de bottleneck is nu verspreid over alle knooppunten.
De tools en API's die expliciete draad-en geheugenplaatsing genoemd in de vorige secties ondersteunen kunnen ook worden gebruikt door een toepassing om het node tussenlaten beleid voor zijn geheugen te gebruiken. Voor nadere bijzonderheden zie punt A.8 op bladzijde 46.
Standaard wordt de granulariteit van het tussenlaten door tools/API's meestal ingesteld op de grootte van de virtuele pagina ondersteund door hardware, wat 4K is (wanneer systeem geconfigureerd is voor normale pagina's, dat is standaard) en 2M ((als het systeem is geconfigureerd voor grote pagina' s), Daarom zal elk voordeel van node interleaving alleen worden verkregen als de gegevens die wordt benaderd aanzienlijk groter is dan een virtuele pagina grootte.
Als gegevens worden benaderd door drie of meer kernen, dan is het beter om data te interlinken over de knooppunten die toegang tot de gegevens hebben dan deze op één knoop achterlaten. We verwachten dat het gebruik van deze vuistregel een aanzienlijke prestatieverbetering kan geven. Echter, ontwikkelaars wordt geadviseerd om te experimenteren met hun toepassingen aan elke prestatie verandering.
Een goed voorbeeld van het gebruik van knooppunten tussen uitgang wordt waargenomen met Spec JBB 2005 door Sun JVM 1.5.0 04-GA te gebruiken. Door gebruik te maken van knooppuntinterleaving verbeterde de piekdoorvoerscore die door Spec JBB 2005 werd gerapporteerd met 8%. We zien dat, aangezien deze benchmark begint met één draad en dan tot acht draden oploopt, alle threads uiteindelijk toegang krijgen tot het geheugen van een enkele knoop door de deugd eerste aanraking.
24 Analyse en aanbevelingen Hoofdstuk 3

Spec JBB 2005 werd uitgevoerd met behulp van de NUMA-tools die door Linux® werden geleverd om de prestatieverbetering te meten met knooppuntonderbrekend. De resultaten werden verkregen op hetzelfde interne 4P-kwartetsysteem dat voor de synthetische tests werd gebruikt.
In een ccNUMA multiprocessorsysteem kunnen gegevens binnen één enkele cachelijn die gedeeld wordt tussen kernen, zelfs op dezelfde node, de prestaties verminderen. In bepaalde gevallen, zoals semaforen, kan dit soort cache-lijn gegevens delen niet worden vermeden, maar het moet zo mogelijk geminimaliseerd.
Gegevens kunnen vaak worden geherstructureerd zodat dergelijke cache-lijn delen niet optreedt. Cachelijnen op AMD AthlonTM 64 en AMD OpteronTM processoren zijn momenteel 64 bytes, maar een schema dat dit probleem vermijdt, ongeacht de cache-lijngrootte, zorgt voor meer prestatieportable code. Een multithreaded toepassing moet bijvoorbeeld voorkomen dat statisch gedefinieerde gedeelde arrays en variabelen gebruikt worden die mogelijk in één enkele cachelijn zijn gelokaliseerd, gedeeld tussen conversaties.
In dit hoofdstuk worden verscheidene algemeen aanvaarde opvattingen behandeld over het effect van geheugentoegangs hop op de systeemprestaties.
3.4.1 Mythe: Alle gelijke Hop gevallen nemen evenveel tijd.
In het algemeen geldt dat elke n hop case is equivalent aan elke andere n hop geval in de prestaties, als de enige verandering tussen beide gevallen is draad en geheugen plaatsing. Er zijn echter uitzonderingen op deze regel.
Het volgende voorbeeld toont aan hoe een gegeven 1 hop-1 hop geval niet gelijkwaardig is in prestaties met nog eens 1 hop-1-Hop case waarbij de synthetische test wordt gebruikt. Het voorbeeld laat zien hoe het verzadigen van de HyperTransport link doorvoer en benadrukken van de hypertransport wachtrij buffers kan deze uitzondering veroorzaken.
In de grafieken die volgen, vergelijken we de volgende drie gevallen:
Hoofdstuk 3 Analyse en aanbevelingen 25

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
In elk geval worden de twee threads uitgevoerd op kern 0 van welke code ze ook draaien. Het systeem is niet actief, behalve voor de twee draden. Zoals in figuur 6 op pagina 26 is de crossfire 1 hop-1 hop case de slechtste performer.
Totale tijd voor beide threads (schrijf-write)
1 Hop 1 hop NO Xfire
1 Hop 1 hop Xfire
0 Hop 0 hop
0,00 w.0 1,0w.1 (0 Hop) (0 hops)
0,0.w.1 1,0.w.3 (1 Hop) (1 hops)
0,0.w.1 1,0 w.0 (1 Hop) (1 hops)
Figuur 6. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-zaak op een inactief
Wanneer de alleen-schrijven draden op elkaar schieten (kruisvuur), wordt het bidirectionele HyperTransport verbinding tussen knoop 0 en node 1 verzadigde en geladen bij 3,5 GB/s in elke richting. De theoretische maximale bandbreedte van de HyperTransport-verbinding bedraagt 4 GB/s in elke richting. Het gebruik van de bidirectionele HyperTransport link is dus 87% (3.5 › 4) in elke richting op die HyperTrans port verbinding.
Anderzijds, wanneer de alleen-schrijven draden niet op elkaar schieten (geen kruisvuur), is het gebruik van de bidirectionele koppeling tussen knoop 0 en punt 1 60% in elke richting. Bovendien is het gebruik van de bidirectionele koppeling tussen knooppunt 1 en 3 op 54% in elke richting. Aangezien de belasting nu verdeeld is over twee bidirectionele HyperTransport links in plaats van één, zijn de prestaties beter.
De verzadiging van deze coherente HyperTransport-verbindingen is verantwoordelijk voor de slechte prestaties in het geval van kruisvuur vergeleken met die zonder kruitvuur. Voor een gedetailleerde analyse, zie deel A.2 op bladzijde 40.
Bij deze synthetische test leiden alleen-lezen draden niet tot slechte prestaties. De doorvoer van dergelijke draden is niet hoog genoeg om de HyperTransport-link bronnen uit teputten. Wanneer beide draden alleen-lezen zijn, is de crossfire case in prestatie gelijkwaardig aan het geen kruisvuur geval.
Het is ook nuttig om te onderzoeken of deze waarneming een systeem bevat dat niet inactief is. De volgende analyse onderzoekt het gedrag van de twee voorgronddraden onder een variabele achtergrondbelasting.
26 Analyse en aanbevelingen Hoofdstuk 3
113% 130% 149% · Systeem

Hier werden dezelfde twee voorgrond draden als voorheen uitgevoerd hoewel de gevallen zoals eerderlokaal, kruisvuur en geen kruisvuur. Daarnaast zijn er vier achtergronddraden die blijven draaien op:
Elk van deze achtergrond threads leest een lokale 64 MB-array en de snelheid van het geheugen vraag van elk van deze thres is gevarieerd van laag naar zeer hoog tegelijkertijd. Een lage geheugenbehoefte impliceert dat elk van de achtergronddraden een geheugenbandbreedte vereist van 0,5 GB/s. Een zeer hoge geheugenbehoefte impliceert dat elk van de achtergronddraden een geheugenbandbreedte vereist van 4 GB/s zoals weergegeven in tabel 1 op pagina 16.
Zelfs met de achtergronddraden zijn er nog enkele vrije kernen over in het systeem. We noemen dit een hooggeabonneerd conditie.
Zo kunnen we de impact van achtergrondbelasting op voorgronddraden bestuderen.
Zoals getoond in figuur 7 en Figuur 8 op pagina 28, zowel onder lage als zeer hoge belastingen en hoog abonnement, merken we nog steeds dat het slechtste prestatiescenario optreedt wanneer alleen-schrijvende draadjes elkaar aansteken (kruisvuur).
1 Hop 1 hop NO Xfire
1 Hop 1 hop Xfire
0 Hop 0 hop
0,00 w.0 1,0w.1 (0 Hop) (0 hops)
0,0.w.1 1,0.w.3 (1 Hop) (1 hops)
0,0.w.1 1,0 w.0 (1 Hop) (1 hops)
Figuur 7. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-Hopcase onder a
Lage achtergrondbelasting (hoog abonnement)
Hoofdstuk 3 Analyse en aanbevelingen 27
113% 136% 144%

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
1 Hop 1 hop NO Xfire
1 Hop 1 hop Xfire
0 Hop 0 hop
0,00 w.0 1,0w.1 (0 Hop) (0 hops)
0,0.w.1 1,0.w.3 (1 Hop) (1 hops)
0,0.w.1 1,0 w.0 (1 Hop) (1 hops)
Figuur 8. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-Hopcase onder a
Zeer hoge achtergrondbelasting (hoog abonnement)
Vervolgens verhogen we het aantal achtergrond threads tot zes, die op:
Elk van deze achtergrond threads leest een lokale 64 MB-array en de snelheid van het geheugen vraag van elke draad is zeer hoog. Een zeer hoge geheugenbehoefte impliceert dat elk van de achtergronddraden een geheugenbandbreedte vereist van 4GB/s, zoals weergegeven in tabel 1 op pagina 16.
Er zijn geen vrije kernen meer in het systeem. Dit is de volledig ingeschreven conditie.
Zoals in figuur 9 op bladzijde 29 is aangegeven, wordt het geen kruisvuurgeval langzamer dan de kruin.
28 Analyse en aanbevelingen Hoofdstuk 3
186% 195% · 158%

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2 2.4
1 Hop 1 hop NO Xfire
1 Hop 1 hop Xfire
0 Hop 0 hop
0,00 w.0 1,0w.1 (0 Hop) (0 hops)
0,0.w.1 1,0.w.3 (1 Hop) (1 hops)
0,0.w.1 1,0 w.0 (1 Hop) (1 hops)
Figuur 9. Crossfire 1 Hop-1 Hop Case vs No Crosshfire1 Hop-1-Hopcase onder a
Zeer hoge achtergrondbelasting (volledig abonnement)
In het geen kruisvuur geval, de totale geheugenbandbreedte waargenomen op de geheugen controller op knooppunt 3 is 4,5 GB/s en verschillende buffer wachtrijen op knoop 3 zijn verzadigde. Voor een gedetailleerde analyse, zie deel A.3 op blz 42.
Hoewel alle gelijke gevallen van hop in het algemeen evenveel tijd vergen, kunnen er uitzonderingen op deze regel zijn als sommige bronnen in het systeem verzadigd zijn zoals de bandbreedte voor hypertransportlinks en de capaciteit van HyperTransportbuffer
3.4.2 Mythe: Grotere Hopafstand betekent altijd een tragere tijd.
In het algemeen zal een 2 hop case langzamer zijn dan een 1 hop case, die op zijn beurt trager is dan een 0 hop case als de enige verandering tussen de gevallen draad en geheugen plaatsing.
De synthetische test toont bijvoorbeeld aan hoe een gegeven 0 hop-0 hop geval langzamer is dan een 0 hop-1 hop case. Het voorbeeld laat zien hoe verzadigd geheugenbronnen dit kunnen veroorzaken.
Stel je voor in de volgende situatie: u bent klaar om te checken bij uw favoriete supermarkt met een winkelwagen vol boodschappen. Direct voor u is een check-out rijstrook met 20 klanten in de lijn, maar 50 meter naar links is nog een uitcheckbaan met slechts twee klanten staan in de rij. Waar zou jij naartoe gaan? De uitcheckbaan die het dichtst bij uw positie ligt heeft de laagste latentie omdat u niet ver hoeft te reizen. Maar de check-out baan op 15 meter afstand heeft een veel grotere latentie omdat je moet lopen 50 voet.
De meeste mensen zouden de 15 meter lopen, lijden onder latency en komen op een check-out baan met slechts twee klanten in plaats van 20. De ervaring leert ons dat de tijd die wacht om te check-out met 20 personen vooruit is veel langer dan de tijd nodig heeft om naar de .remote
Hoofdstuk 3 Analyse en aanbevelingen 29
216% 202% · 156%

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
Deze analogie geeft duidelijk de effecten van wachtrijen weer versus latentie. In een computerserver, met veel gelijktijdige uitstaande geheugenverzoeken, zouden we graag wat extra latency (wandelen) om het geheugen transacties te verspreiden (check-out processen) over meerdere geheugen controllers (uitcheckbanen), omdat dit sterk verbetert prestaties door de wachtrij tijd.
Als het aantal klanten in de wachtrij op afstand echter toeneemt tot 20 of meer, dan zou de klant veel liever wachten voordat hij zich bevindt.
Het volgende voorbeeld werd verkregen door de resultaten van het synthetische testcase te ontginnen.
In figuur 10 worden vier gevallen geïllustreerd. In elk geval zijn er twee threads die draaien op knoop 0 (kern 0 respectievelijk kern 1). Het systeem is niet actief, behalve voor de twee draden.
Zoals in figuur 10 is aangegeven, geven synthetische tests aan dat wanneer beide draden alleen-lezen zijn de 0 hop-0 hop zaak sneller dan de 0Hop-1 hop en 0 hop-2 hop geval.
Totale tijd voor beide draden (lees-lezen)
102% 108% 107% 118%
0 Hop 0 hop 1 Hop 2 Hop
0,00 0,1.r 0 (0 Hop) (0,0 Hops) 0,0.r,0 0,1.1 (0 hops) 1,0 0.r.0 0,10 0,20 (0 Hopsen)
Figuur 10. Beide alleen-lezenthreads draaien op Node 0 (differentieel cores) op een onstandsysteem
30 Analyse en aanbevelingen Hoofdstuk 3

Echter, zoals weergegeven in figuur 11 op pagina 31 wanneer beide draden alleen schrijven zijn de 0 hop-1 hop en 0 hop-2 hop gevallen sneller dan het 0 hop-0 hop geval.
Totale tijd voor beide threads (schrijf-write)
0 Hop 1 Hop 0 hop 2 Hop
0,00 0,1 w.0 (0 Hop) 0,00 0.1 g/g (1 Hops) 0,02 kg/kg) 0,01 g/l 0,10 g/m3 (2 Hopsen)
Figuur 11. Beide alleen-schrijfdraden draaien op Node 0 (verschillende kernen) in een onstandsysteem
Wanneer een enkele draad lokaal leest, genereert het een geheugenbandbreedtebelasting van 1,64 GB/s. Als een duurzame geheugenbandbreedte van 70% van het theoretische maximum van 6,4 GB/s (PC3200 DDR-geheugen) wordt aangenomen, is de cumulatieve bandbreedte die door twee alleen-lezen threads wordt gevraagd niet groter dan de aanhoudende geheugenbandwijdte op dat node en dus is de lokale of 0 hop-0 hop geval snelste.
Wanneer een enkele draad echter lokaal schrijft, genereert het een geheugenbandbreedtebelasting van 2,98 GB/s. Dit komt omdat elke schrijf in dit testcase resulteert in een cache lijn uitzetting en dus genereert tweemaal het geheugen verkeer gegenereerd door een lees. De cumulatieve geheugenbandbreedte die door 2 write-only threads wordt gevraagd, overtreft nu de aanhoudende bandbreedte van het geheugen op dat node. De 0 hop-0 hop zaak heeft nu de boete van het verzadigen van de geheugenbandbreedte op die knooppunt. Voor een gedetailleerde analyse, zie deel A.4 op blz 42.
Het is nuttig te onderzoeken of deze waarneming ook onder een variabele achtergrondbelasting van toepassing is.
Men zou verwachten dat, als de vereiste geheugenbandbreedte van het remote knooppunt werd verhoogd, op een gegeven moment de 0 hop-1 hop geval zo langzaam zal worden en misschien langzamer dan, de 0Hop-0 hop case voor de schrijf-alleen threads.
Dezelfde twee alleen-schrijven threads als voorheen draaien op node 0, gaand hoewel de volgende gevallen:
Hoofdstuk 3 Analyse en aanbevelingen 31
147% · 126% 125% 136% · 0 Hop

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
Daarnaast draaien er drie achtergronddraden op de knooppunten 1, 2 en 3.
Elk van deze achtergrond threads toegang tot gegevens lokaal. De geheugenbehoefte van elk van deze draden varieert tegelijkertijd van laag tot middelhoog naar zeer hoog, zoals blijkt uit tabel 1 op bladzijde 16. Hierdoor kunnen we de impact van achtergrondbelasting op voorgronddraden bestuderen en de prestaties van twee voorgrond threads evalueren.
Zelfs met de achtergronddraden zijn er nog enkele vrije kernen over in het systeem; dit heet hoog geplaatste voorwaarde.
Zoals in de figuren 12, 13 en 14 op pagina 33 is aangegeven, neemt het voordeel van een geheugen voor één of twee hopjes weg als deze wordt verhoogd.
145% 127% 126% 136%
0 Hop 0 hop 1 Hop 2 Hop
0,00 0,1 w.0 (0 Hop) 0,00 0.1 g/g (1 Hops) 0,02 kg/kg) 0,01 g/l 0,10 g/m3 (2 Hopsen)
Figuur 12. Beide alleen-schrijfdraden draaien op Node 0 (verschillende kernen) onder
Lage achtergrondbelasting (hoog abonnement)
32 Analyse en aanbevelingen Hoofdstuk 3

146% 129% 129% 139%
0 Hop 0 hop 1 Hop 2 Hop
0,00 0,1 w.0 (0 Hop) 0,00 0.1 g/g (1 Hops) 0,02 kg/kg) 0,01 g/l 0,10 g/m3 (2 Hopsen)
Figuur 13. Beide alleen-schrijfdraden draaien op Node 0 (verschillende kernen) onder
Middelmatige achtergrondbelasting (hoog abonnement)
146% 136% 135% 146%
0 Hop 0 hop 1 Hop 2 Hop
0,00 0,1 w.0 (0 Hop) 0,00 0.1 g/g (1 Hops) 0,02 kg/kg) 0,01 g/l 0,10 g/m3 (2 Hopsen)
Figuur 14. Beide alleen-schrijven discussies draaien op knoop 0 (verschillende kernen) onder hoog
Achtergrondbelasting (hoog abonnement)
Zoals in figuur 15 wordt aangegeven, verdwijnt het voordeel bij zeer hoge belastingen en de 0 hop-1 hop zaak wordt langzamer dan de 0Hop-0 hop geval.
Hoofdstuk 3 Analyse en aanbevelingen 33

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
147% 158% 158% 169%
0 Hop 0 hop 1 Hop 2 Hop
0,00 0,1 w.0 (0 Hop) 0,00 0.1 g/g (1 Hops) 0,02 kg/kg) 0,01 g/l 0,10 g/m3 (2 Hopsen)
Figuur 15. Beide alleen-schrijven Threads draaien op Node 0 (verschillende kernen) onder Zeer
Hoge achtergrondbelasting (hoog abonnement)
Onder een zeer hoge achtergrondbelasting, voor de 0 hop-1 hop case is er een totale geheugentoegangssnelheid van 4,78 GB/s op knooppunt 1. Verschillende buffer wachtrijen op knooppunt 1 zijn verzadigd. Voor een gedetailleerde analyse, zie sectie A.5 op bladzijde 43.
Een grotere hopafstand betekent dus niet altijd een tragere tijd. Onthoud dat het nog steeds wordt geadviseerd dat de ontwikkelaar houdt van de gegevens lokaal zo veel mogelijk. In de bovenstaande analogie, als de lokale wachtrij 20 klanten heeft en de externe een twee heeft, zou de klant veel liever voor de rij staan met 2 klanten en dat zijn plaatselijke wachtrij in eerste instantie. In het synthetische geval hierboven, zou de eerste draad op knooppunt 0 houden met lokale schrijfsels en de tweede draad op knoop 1 die lokaal schrijft het snelst zijn.
In het algemeen is het een goede praktijk voor gebruikers-niveau en kernel niveau code om sloten op hun natuurlijke grenzen af te stemmen. In sommige hardware implementaties worden sloten die niet natuurlijk zijn uitgelijnd behandeld met de mechanismen voor het legacy geheugen in kaart gebracht I/O en moeten absoluut vermeden worden indien mogelijk.
Als een slot goed is uitgelijnd, wordt het behandeld als een snellere cache vergrendeling. Het beduidend langzamere alternatief voor een cache slot is een busslot, dat ten koste van alles vermeden moet worden. Bussloten zijn zeer traag en forceren de serialisering van vele operaties die niet gerelateerd zijn aan het slot binnen de processor. Bovendien voorkomt bussloten dat de hele HyperTransport stof vooruit gaat tot het slot van de bus volledig is. Cache sloten aan de andere kant zijn gegarandeerd atomicity door het gebruik van de onderliggende cache samenhang van het ccNUMA systeem en veel sneller.
34 Analyse en aanbevelingen Hoofdstuk 3

Verschillende compilers voor AMD multiprocessor systemen bieden extra haken om automatische parallelisatie van andere serieprogramma's mogelijk te maken. Verschillende compilers ondersteunen ook de OpenMP API voor parallel programmeren. Voor details over ondersteuning voor autoparallelisering en OpenMP in verschillende compilers, zie de referenties [4], [14], [15] en [16].
Hoofdstuk 3 Analyse en aanbevelingen 35

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
36 Analyse en aanbevelingen Hoofdstuk 3

De belangrijkste aanbeveling voor de meeste toepassingen is om gegevens lokaal te houden op knooppunt waar het wordt benaderd. Zolang een thread de gegevens die het nodig heeft, met andere woorden schrijft naar hem voor de eerste keer, zal een ccNUMA bewust besturingssysteem meestal houden van de data lokaal op de node waar de draad loopt. Door lokale toewijzing over het eerste touch beleid voor dataplaatsing toe te staan, maakt een ccNUMA bewust besturingssysteem de taak van gegevensplaatsing transparant en gemakkelijk voor de meeste ontwikkelaars.
In sommige gevallen, als een toepassing symptomen toont dat de threads worden verplaatst van hun gegevens, kan het nuttig zijn om expliciet te koppelen aan een specifieke knoop. Verschillende ccNUMA-bewuste besturingssystemen bieden hulpmiddelen en API's om de draadplaatsing te beïnvloeden. Typisch een OS-planner maakt gebruik van belastingsbalanceringssystemen om beslissingen te nemen over waar ze draadjes moeten plaatsen. Met behulp van deze tools of API's zal de scheduler overschrijven en het beheer voor draadplaatsing aan de ontwikkelaar overdragen. . De ontwikkelaar dient redelijke planning met deze hulpmiddelen of API's te verrichten door zich aan de volgende richtlijnen te houden:
Standaard gebruikt een ccNUMA-aware besturingssysteem de lokale toewijzing op het eerste touch beleid voor dataplaatsing. Normaal gesproken kan dit beleid suboptimal worden als een draad eerst gegevens raakt op één knooppunt dat het vervolgens niet meer nodig heeft, maar die later door andere draad vanuit een ander knoopje wordt bereikt. Het is het beste om de gegevens initialisatie schema te veranderen zodat een draad initialiseert van de data die nodig zijn en niet afhankelijk bent van enige andere thread aan de initialisatie doen. Verschillende ccNUMA bewust besturingssystemen bieden hulpmiddelen en API's om dataplaatsing te beïnvloeden. Het gebruik van de tools of API zal het standaard lokale allocatie door eerste aanraking beleid en overdracht overhandigen aan de ontwikkelaar voor gegevensplaatsing.
Als het niet mogelijk is om de gegevens initialisatie schema te wijzigen of als de data echt wordt gedeeld door threads die op verschillende nodes, dan een techniek genaamd knooppuntonderbrekend van het geheugen kan worden gebruikt. Het gebruik van knooppunten die elkaar op gegevens overlappen wordt aanbevolen wanneer de data zich bevindt op één enkele knoop en door drie of meer kernen toegankelijk is. De interleaving moet worden uitgevoerd op de knooppunten van waaruit gegevens toegankelijk zijn en mag alleen gebruikt worden wanneer de toegang tot data aanzienlijk groter is dan 4K (wanneer het systeem geconfigureerd wordt voor normale pagina's, wat standaard is) of 2M (als het systeem ingesteld is voor grote pagina' s). Ontwikkelaars wordt geadviseerd om te experimenteren met hun toepassingen om de prestatieverandering als gevolg van knooppunt interlatende peilen. Voor meer details over de hulpmiddelen en API's die door verschillende besturingssystemen worden aangeboden voor het onderbreken van knooppunten, zie deel A.8 op bladzijde 46.
Hoofdstuk 4 Conclusies 37

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
De tools voor gegevensplaatsing kunnen ook van pas komen wanneer een draad meer data nodig heeft dan de hoeveelheid fysiek geheugen die beschikbaar is op een knoop. Bepaalde besturingssystemen staan ook datamigratie toe met deze tools of API. Met behulp van deze functie, kunnen gegevens worden gemigreerd uit de knooppunt waar het voor het eerst werd aangeraakt naar de node waar ze vervolgens wordt geopend. Er is een kosten verbonden aan deze migratie en het wordt niet aangeraden om vaak gebruik te maken van. Voor meer details over de tools en API's die door verschillende besturingssystemen worden aangeboden voor draad- en geheugenplaatsing, zie sectie A.7 op pagina 44.
Het wordt aanbevolen om te voorkomen dat delen van gegevens resident binnen een enkele cache lijn tussen threads die op verschillende cores.
Geavanceerde ontwikkelaars kunnen ook in interessante gevallen bij het experimenteren met de draad en data plaatsing hulpmiddelen en API's. Soms kan bij het vergelijken van werklast die symmetrisch zijn in alle opzichten behalve voor de gebruikte draad en gegevensplaatsing, de verwachte symmetrie worden verduisterd. Deze gevallen kunnen meestal worden verklaard door het onderliggende systeem te begrijpen en verzadiging van de hulpbronnen als gevolg van een onevenwichtige belasting te vermijden.
De buffer wachtrijen vormen een dergelijke bron. De lengtes van deze wachtrijen worden door de BIOS geconfigureerd met enkele hardware-specifieke limieten die zijn gespecificeerd in de BOS Kernel en Ontwikkelaars Guide voor de specifieke processor. Op basis van AMD-aanbevelingen, de BIOS allocaties deze buffers op een link-by-link basis om te optimaliseren voor de meest voorkomende werkbelasting.
In het algemeen moeten bepaalde pathologische toegangspatronen worden vermeden: verschillende knooppunten die toegang proberen te krijgen tot gegevens op één node of in een kruisvuurscenario kunnen onderliggende bronnen zoals de HyperTransportTM-verbindingsbandbreedte en hypertransportbufferwachtrijen verzadigen, zodat deze indien mogelijk dienen te worden voorkomen. AMD maakt event profiling tools beschikbaar die de ontwikkelaars kunnen gebruiken om te analyseren of hun toepassing is het demonstreren van dergelijk gedrag.
AMD raadt sterk aan om de sloten op gebruikersniveau en kernel-level uit te rusten met hun natuurlijke grenzen.
Sommige compilers voor AMD multiprocessor systemen bieden extra haken om automatische parallelisatie van andere serieprogramma's mogelijk te maken. Er is ook ondersteuning voor uitbreidingen van de OpenMP richtlijnen die door Openmp programma's gebruikt kunnen worden om prestaties te verbeteren.
Hoewel alle eerdere conclusies in de context van threads worden vermeld, kunnen ze ook op processen worden toegepast.
38 Conclusies Hoofdstuk 4

De volgende afdelingen geven aanvullende toelichting bij de onderwerpen die in de voorgaande paragrafen van dit document zijn behandeld.
Figuur 16 geeft de interne middelen in elk Kwartetknooppunt weer. De geheugencontroller (MCT), de Systeemverzoek Interface (SRI) en de Crossbar (XBar) op elke knooppunt hebben allemaal interne buffers die worden gebruikt om in een wachtrij verzonden transactiepakketten. Fysiek heeft elk van deze eenheden slechts twee soorten buffers, commando en data.
HT = HyperTransportTM cHT = coherent hypertransport
Figuur 16. Interne middelen geassocieerd met een Kwartet-knooppunt
Beschouw de buffers die in het spel komen op de interface tussen XBar en HyperTransportTM links.
Elke knoop heeft een inkomende en uitgaande coherente HyperTransport link op zijn XBar naar elke andere knoop, behalve één van het systeem. Node 0 heeft een uitgaande link waarmee het gegevens kan versturen van node 0 naar node 1. Ook node 0 heeft een inkomende link van knoop 1 naar knoop 0. De twee koppelingen kunnen worden beschouwd als één bidirectionele koppeling.
Elke node heeft HyperTransport buffers in zijn XBar die worden gebruikt om de pakketten op te wachten die zullen verzonden worden via de uitgaande link. De verzendende knooppunt stuurt de pakketten niet totdat het ontvangende node is klaar om ze te ontvangen.
Denk nu aan de buffers die in het spel komen op de interface tussen XBar en MCT. Pakketten die vanuit de XBar naar het MCT worden verzonden, staan in de wachtrij van
Aanhangsel A 39

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
De pakketten die vanuit de MCT naar de XBar verzonden moeten worden, staan in de wachtrij van De buffers in de SRI, XBar en MCT kunnen worden gezien als gespreide wachtrijen op de verschillende eenheden.
A.2 Waarom is de Crossfire Case langzamer dan het No Crosshire Case op een Idle System?
De volgende analyse wijst op enkele belangrijke kenmerken van de onderliggende middelen die in het spel komen wanneer er kruisvuur is versus geen kruisvuur.
A.2.1 Welke bronnen worden gebruikt wanneer een enkel alleen-lezen of slechts schrijven draad toegang tot gegevens op afstand?
Wanneer een thread die draait op node 0 gegevens leest van knoop 1, op een anders inactief systeem, is er verkeer zowel op de binnenkomende als uitgaande links.
Wanneer een node een leesgeheugenverzoek van een geheugencontroller doet, stuurt het eerst een verzoek om het geheugen naar die geheugen controller, dat lokaal of op afstand kan zijn. Die geheugencontroller stuurt dan sondes naar alle andere knooppunten in het systeem om te zien of ze het geheugen hebben. Zodra het antwoord van de knooppunten, stuurt een reactie op de aanvragende knoop. Tenslotte stuurt het ook de gelezen gegevens naar de verzoekende node.
Wanneer een thread die draait op node 0 gegevens leest van knoop 1, ziet het niet-dataverkeer (geladen bij 752 MB/s) op de uitgaande koppeling en zowel data als non-gegevens verkeer op de inkomende verbinding (2.2 GB/s). Er is ook een aantal niet-gegevensverkeer op de coherente HyperTransport links die andere knooppunten dan nodes 0 en 1 verbinden vanwege de sondes en de reacties.
Wanneer een thread die draait op node 0 gegevens naar knoop 1 schrijft, ziet het net zoveel dataverkeer in de binnenkomende koppeling als bij de uitgaande verbinding (binnenkomende en uitgaand koppelen elk van 2,2 GB/s). In dit synthetische testcase zijn er verschillende opeenvolgende schrijfsels die plaatsvinden op achtereenvolgende cachelijnelementen van een 64MB-array. Deze resulteren in een steady state conditie van de uitzetting van een cachelijn of schrijven terug voor elke schrijftoegang. Elke schrijf toegang van knooppunt 0 tot knoop 1 triggers een gegevens gelezen uit node 1, en dan schrijven de data naar knooppunt 1.
A.2.2 Welke bronnen worden gebruikt wanneer twee alleen-schrijven Threads branden op elkaar (Crossfire) op een ondiep systeem?
Als de coherente HyperTransport-links tussen knooppunt 0 en knoop 1 een oneindige verwerkingscapaciteit hebben, wordt verwacht dat wanneer alleen geschreven draadjes op elkaar afbranden, het doorvoervermogen van elk van deze verbindingen tweemaal zo groot is als waargenomen zou worden bij één enkele schrijfdraad die draait op node 0 naar knooppunt 1, d.w.z. 2*(2.2 GB/s).
De theoretische maximale HyperTransport bandbreedte van elke coherente hypertransportverbinding tussen node 0 en node 1 bedraagt 4 GB/s. Daarom kunnen we niet verwachten dat de HyperTransport bandbreedte het
40 Aanhangsel A

4.4 GB/s noodzakelijk. De twee coherente HyperTransport links worden geladen op 3,5 GB/s elk. Het gebruik van elk van de twee coherente HyperTransport-verbindingen die knooppunt 0 en knoop 1 verbinden, is dus gelijk aan 87% (3,5/4,54).
Node 0 wacht pakketten in HyperTransport buffers en stuurt ze alleen op de uitgaande link als node 1 deze kan ontvangen. Evenzo wordt 1 wachtrijen omhoog pakketten in HyperTransport buffers en stuurt ze alleen op de uitgaande link als node 0 kan accepteren.
Wanneer de HyperTransport buffers verzadigd zijn, kunnen zij voorkomen dat de coherente hypertransport links hun volledige verwerkingscapaciteit van 4GB/s bereiken en dus volledig 100% gebruik maken.
Ook het verzadigen van de HyperTransport buffers in de XBar heeft een domino-effect op andere buffers. Onthoud dat de SRI is verbonden met de XBar, die aangesloten is op de coherente HyperTransport links.
Wanneer pakketten worden gestald in de XBar buffer wachtrij die via coherente HyperTransport links wordt verzonden, kan een keteneffect ervoor zorgen dat pakketjes uit het SRI-bufferwachtrij naar de Xbar gestuurd zullen worden.
AMD maakt verschillende event profiling tools beschikbaar onder NDA om de HyperTransport bandbreedte en buffer wachtrij gebruik patronen te bewaken.
De bufferlengtes zijn BIOS configureerbaar binnen enkele hardware-specifieke limieten die worden gespecificeerd in de juiste BIOS Kernel en Ontwikkelaars Guide voor de processor waar het om gaat. Op basis van AMD-aanbevelingen, de BIOS allocaties deze buffers op een link-by-link basis om te optimaliseren voor de meest voorkomende werkbelasting.
A.2.4 Welke bronnen worden gebruikt wanneer alleen-schrijven Threads niet op elkaar (geen kruisvuur) vuurt op een ondiep systeem?
Beschouw nu het geval waarin de schrijverdraden niet op elkaar schieten: d.w.z., de eerste draad loopt op node 0 en schrijft naar geheugen op knoop 1 en tweede draad draait op punt 1 en schrijft aan herinneringen op nrd 3.
In dit geval is de bidirectionele koppeling van knooppunt 0 naar knoop 1 in aanzienlijke gebruik (60% gebruik per richting). Bovendien wordt de bidirectionele koppeling van knooppunt 1 naar knoop 3 ook aanzienlijk gebruikt (54% gebruik in elke richting).
Aangezien de belasting nu over twee bidirectionele schakels in plaats van 1 is gespreid, zijn de prestaties beter dan bij kruisvuur.
Aanhangsel A 41

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
A.3 Waarom is de No Crossfire Case langzamer dan het Crosshire Case op een systeem onder een zeer hoge achtergrondbelasting (volledig abonnement)?
Wanneer de draden op elkaar afvuren (kruisvuur) en alle andere vrije kernen achtergrondthreads draaien bij zeer hoge belasting, ziet het systeem het volgende verkeerspatroon waarin elke knoop geheugenverzoeken ontvangt van de beschreven draadjes:
In het geval van geen kruisvuur ziet het systeem de volgende verkeerspatronen:
De geen kruisvuurzaak lijdt aan een grotere belastingsonbalans dan de kruinvuur zaak, waarbij knooppunt 3 het ergste effect van deze onevenwichtigheden heeft.
Onthoud dat elk van de achtergrond threads vraagt om gegevens met een snelheid van 4GB/s en elke voorgrond thress vraagt naar data bij 2,98 GB/s.
Gegevens tonen aan dat er totale geheugentoegang is van 4,5GB/s op node 3 en dat meerdere buffer wachtrijen op knooppunt 3 zijn verzadigde en kunnen de gegevens die door het geheugen controller niet sneller absorberen.
A.4 Waarom is 0 Hop-0 Hop geval langzamer dan de 0 hop-1 Hop zaak op een onbelast systeem voor schrijven - alleen Threads?
Wanneer beide schrijf-alleen threads draaien op verschillende kernen van node 0 toegangsgegevens lokaal (0 hop-0 hop), worden belangrijke eisen geplaatst aan het lokale geheugen op knoop 0.
Gegevens tonen aan dat er totale geheugentoegang is van 4,5 GB/s op knooppunt 0. Het geheugen op knooppunt 0 kan verzoeken om gegevens niet sneller behandelen en draait volledig. Verschillende buffer wachtrijen op knooppunt 0 zijn verzadigd en wachten tot de geheugenverzoeken worden onderhouden.
42 Aanhangsel A

A.5 Waarom is 0 Hop-1 Hop geval langzamer dan 0 hop-0 Hop zaak op een systeem onder hoge achtergrond belasting (hoog abonnement) voor schrijven - alleen Threads?
Wanneer een 0 hop-0 hop scenario wordt onderworpen aan een zeer hoge achtergrondbelasting, ziet het systeem de volgende verkeerspatroon, waar elke knoop krijgt geheugenverzoeken van de draden zoals beschreven:
In het geval van 0 hop-1 hop ziet het systeem de volgende verkeerspatronen:
De 0 hop-1 hop zaak heeft een grotere belastingsonbalans dan de 0 hop-0 hop geval, waarbij knooppunt 1 het ergste effect van deze onevenwicht.
Elk van de achtergrond threads, zoals voorheen, vraagt om gegevens met een snelheid van 4GB/s en elk voorgrond thress vraagt naar data in een tempo van 2,98 GB/s.
Gegevens tonen aan dat er een totale geheugentoegangssnelheid van 4,78 GB/s op node 1 en verschillende buffer wachtrijen op knooppunt 1 zijn verzadigde en kunnen de gegevens die door het geheugen controller niet sneller absorberen.
Ontwikkelaars moeten ervoor zorgen dat het besturingssysteem correct is geconfigureerd om ccNUMA te ondersteunen. Alle versies van Microsoft® Windows® XP voor AMD64 en Windget Server voor Amad64 ondersteunen ccNUMA zonder enige configuratiewijzigingen. De 32-bits versies van Windows Server 2003, Enterprise Edition en Windware Serveer 2003, Datacenter Editor vereisen de /PAE boot parameter om ccNUMA te ondersteunen. Voor 64-bit Linux® kunnen er aparte kernels zijn die ccNUMA ondersteunen en geselecteerd moeten worden. De 2.6.x Linux kernels hebben Numa bewustzijn in de scheduler[11]. De meeste SuSE en Red Hat Enterprise distributies van 64-bit Linux hebben de ccNUMA bewuste kernel. Solaris 10 en daaropvolgende versies van Solaris voor AMD64 ondersteunen ccNUMA zonder enige wijzigingen.
Aanhangsel A 43

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
A.7 Gereedschappen en API's voor Thread/Process and Memory Placement (Affinity) voor AMD64 ccNUMA Multiprocessor Systemen
In deze volgende secties worden tools en API's besproken die beschikbaar zijn voor het toewijzen van draad/proces-en geheugenaffiniteit onder verschillende besturingssystemen.
Linux biedt commandoregelhulpprogramma's om proces/thread en meory affiniteit met zowel nodes als cores expliciet in te stellen op een node[5]. Bovendien, libnuma, een gedeelde bibliotheek, wordt voorzien voor nauwkeurigere controle van de affiniteit binnen toepassingen.
Controleproces en Thread Affinity
De Linux commandolijn utlities bieden affiniteitscontroleopties op hoog niveau. De numactl hulpprogramma is een commandoregel tool voor het uitvoeren van een proces met een specifieke knooppunt affiniteit.
Om bijvoorbeeld het foobar programma op de kernen van node 0 uit te voeren, voer dan bij de opdrachtprompt:
Toepassing en kernel ontwikkelaars kunnen gebruik maken van de libnuma gedeelde bibliotheek, die kan worden gekoppeld aan programma's en biedt een stabiele API voor het instellen van draadaffiniteit met een bepaalde knooppunt of set van nodes. Geïnteresseerde ontwikkelaars moeten de Linux raadplegen man pagina's voor details over de verschillende beschikbare functies.
Op een dual-core processor heeft een node meer dan één kern. Als een proces of draad wordt beëdigd tot een bepaald knooppunt met behulp van de hierboven besproken hulpmiddelen of API, kan het nog steeds heen en weer migreren tussen beide kernen van die knoop. Deze migratie kan al dan niet van invloed zijn op de prestaties.
De takenet utility is een command-line tool voor het instellen van de procesaffiniteit voor een gespecificeerd programma op elke kern. Om bijvoorbeeld programmafoobar op de twee kernen van node 0 uit te voeren, voer dan het volgende in:
takenet -c 0,1 foobar
In SuSE Linux Enterprise Server 10/10.1, de numactl hulpprogramma kan worden gebruikt in plaats van takenet om procesaffiniteit te stellen voor elke kern.
Linux biedt verschillende functies waarmee de affiniteit met een kern of set cores kan worden ingesteld:
numactl --cpubind=0 foobar · 44 Aanhangsel A

Beide numactl en libnuma bibliotheekfuncties kunnen worden gebruikt om geheugenaffiniteit[5] in te stellen. Geheugenaffiniteit ingesteld door gereedschappen zoals numactl is van toepassing op alle gegevens die door het hele programma worden geraadpleegd (inclusief kindprocessen). Geheugenaffiniteit ingesteld door libnuma of andere bibliotheekfuncties kunnen alleen van toepassing zijn op specifieke gegevens zoals bepaald door het programma.
Beide numactl en de libnuma API kan worden gebruikt om een voorkeur geheugenaffiniteit in te stellen, in plaats van het met geweld binden. In dit geval is de opgegeven binding een hint naar het besturingssysteem; het OS kan ervoor kiezen om zich er niet aan te houden.
Op hoog niveau zijn de normale eerste touch binding, expliciete bindend en voorkeursbinding beschikbaar als geheugenbeleid op Linux.
Standaard gebruikt Linux, wanneer geen van de tools/API's wordt gebruikt, het eerste touch binding beleid voor alle data. Zodra het geheugen is gebonden, hetzij door het besturingssysteem, of met behulp van de tools/API, zal het geheugen normaal gesproken blijven wonen op dat node voor zijn levensduur.
Sun Solaris biedt verschillende hulpmiddelen en API's voor het beïnvloeden van draad/proces en geheugenaffiniteit[6].
Solaris biedt een commandoregelhulpmiddel aan genaamd pbind om procesaffiniteit in te stellen. Er is ook een gedeelde bibliotheek genaamd liblgrp dat een API biedt die door een programma kan worden aangeroepen om draadaffiniteit in te stellen.
Solaris biedt een geheugenplaatsing API om de plaatsing van het geheugen te beïnvloeden. Een programma kan de madvise() functie om hints te geven aan het besturingssysteem wat betreft de geheugenbeleid dat gebruikt moet worden. Deze API staat niet toe dat geheugen aan een expliciete node of verzameling van knooppunten die op de opdrachtregel of in het programma zijn gespecificeerd, wordt gebonden. Maar er zijn verschillende andere beleidsmaatregelen dan het eerste touchbeleid die kunnen worden gebruikt.
Bijvoorbeeld, een draad kan gebruiken madvise om de gegevens te migreren naar het knooppunt waar hij draait, in plaats van op een andere knoop achter te laten waarop ze eerst door een ander draadje werd aangeraakt. Er is natuurlijk een kostenpost verbonden aan de migratie.
Solaris biedt een bibliotheek genaamd madv.so.1 die kunnen interposeren op geheugen allocatie systeem oproepen en de madvise functie intern voor het geheugen beleid te bellen.
Standaard gebruikt Solaris het eerste touch bindingsbeleid voor gegevens die niet worden gedeeld. Zodra het geheugen is gebonden aan een knooppunt blijft normaal gesproken op dat node voor zijn levensduur.
Sun werkt ook aan het ondersteunen van verschillende command line-tools om draad en geheugenplaatsing te regelen. Deze zullen naar verwachting worden geïntegreerd in de komende versies van Solaris, maar experimentele versies zijn momenteel beschikbaar[7].
In de Microsoft Windows omgeving, is de functie om een draad op bepaalde kernen te binden SetThreadAffinityMask(). De functie om alle threads in een proces op bepaalde kernen te draaien is SetProcessAffinityMask()[8].
Controlerende geheugenaffilialiteit · Aanhangsel A 45

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
De functie om geheugenaffiniteit voor een draad in te stellen is VirtualAllic( )[9]. Deze functie geeft de ontwikkelaar de keuze om direct het geheugen te binden op toewijzing of uit te stellen binding tot eerste aanraking.
Hoewel er geen command-line tools zijn voor draad/proces en geheugenplaatsing, bieden verschillende Microsoft Enterprise producten ondersteuning en configureerbaarheid van de NUMA's zoals SQL Server 2005 [10] en IIS [11].
Als een toepassing steunt op hopen in Windows, raden we het gebruik van een lage fragmentatiehoop (LFH) en met behulp van een lokale hoop in plaats van een globale berg[12][13].
Standaard gebruikt Windows het eerste touch bindend beleid voor alle gegevens. Zodra het geheugen is gebonden aan een knooppunt, het normaal verblijft op dat node voor zijn leven.
A.8 Gereedschappen en API's voor knooponderbreken in diverse besturingssystemen voor AMD64 ccNUMA Multiprocessor systemen
In dit hoofdstuk worden de beschikbare hulpmiddelen en API's besproken voor het uitvoeren van knooppuntinterruptie onder verschillende besturingssystemen.
Linux biedt verschillende manieren voor een toepassing om knooppunten te gebruiken [5].
Om bijvoorbeeld alle geheugen dat door programmafoobar op knooppunten 0 en 1 wordt geopend, te interleateren:
Linux ondersteunt alleen het robin knooppunt tussendoor beleid.
Solaris biedt een API genaamd madvise, die kunnen worden gebruikt met de MADV ACCESS MANY vlag om het besturingssysteem te vertellen een geheugenbeleid dat ervoor zorgt dat het OS willekeurig verbinding maakt met het geheugen over de nodes. Dit biedt gedrag vergelijkbaar met het ronde robin knooppunt interleaving van geheugen aangeboden door Linux.
Deze willekeurige beleid is het standaard geheugenplaatsingsbeleid dat Solaris gebruikt voor gedeeld geheugen.
Microsoft Windows biedt geen node interleaving.
numactl --interleave=0x03 foobar · 46 Aanhangsel A

AMD OpteronTM en AthlonTM 64 ccNUMA multiprocessorsystemen kunnen in de BIOS worden geconfigureerd om alle geheugens over alle nodes op paginabasis te laten (4KB voor reguliere pagina's en 2M voor grote pagina' s). Het inschakelen van knooppunt interleding in de BIOS overschrijft het gebruik van alle hulpmiddelen en zorgt ervoor dat het besturingssysteem om al het beschikbare geheugen aan het systeem beschikbaar op een ronde robin manier.
Aanhangsel A 47

40555 Rev. 3.00 June 2006 Prestatierichtlijnen voor AMD AthlonTM64 en AMD OpteronTM ccNUMA Multiprocessorsystemen
48 Aanhangsel A
Pagina's waarnaar wordt verwezen in deze handleiding — fabrikant, ondersteuning en downloads.
Eigenaren en ons team reageren doorgaans binnen een dag — en uw vraag helpt ook de volgende persoon.
Stel als eerste een vraag — andere eigenaren of ons team geven antwoord.