AMD dosud nemá zastoupení na poli superpočítačů a plánování překonání Aurory je zjevná snaha urvat kus trhu Intelu v přes 30 let trvajícím nepřátelství plném zrady a zášti.
Uvedený plánovaný výkon u Frontier superpočítače 1.5 EFLOPS je špičkový (peak), což znamená výpočty pouze z L1 cache, žádné zpomalení mezi jádry. Pro reálné výpočty se uvádí maximální výkon, který bývá u amerických počítačů cca 80%, můžeme očekávat tedy kolem 1.2 EFLOPS.
Čína plánuje spuštění prvního počítače Tianhe-3 (Mléčná dráha 3) o výkonu přes 1 EFLOP na rok 2020, tedy o rok dříve než Aurora s Frontierem, a aktuálně jsou v testovací fázi.
Předchůdce tohoto počítače Tianhe-2, který je v současnosti na 4. místě, prodělal loni úpravu nahrazení starších procesorů Xeon Phi proprietárními procesory Matrix-2000 domácí výroby. V současnosti nejrychlejší čínský superpočítač - TaihuLight (pracuje též na procesorech domácí výroby Sunway) - se dělí o třetí místo s americkým počítačem Sierra postaveným na procesorech IBM.
Výrobci počítačů si nekonkurují přímo politicky, jsou řízeni především poptávkou domácích trhů. Např. IBM poslední dobou upravuje své portfolio přesunem investic z vývoje procesorů do cloud computing, (prodejem značky ThinkPad čínskému Lenovo a rozvojem systému Bluemix).
Shodou okolností druhý nejvýkonnější evropský počítač - SuperMUC v Německu - pochází od společnosti... Lenovo. Běží na americkém Xeon Platinum, což je řada škálovatelných procesorů nahrazující odepsaný Xeon Phi.
Náš nejvýkonnější superpočítač – Salomon na VŠB v Ostravě – se za poslední rok a půl propadl o 127 příček na 214. pozici ve světě.
V první desítce je 5 počítačů USA, 2 počítače Číny, 2 evropské (dodané americkými a čínskými firmami) a 1 japonský (americké firmy). V první desítce běží 9 počítačů na variantách OS Linux, 0 (slovy nula) na Windows Server a na Mac OS ještě o něco méně. (Sunway dodává i vlastní OS pro svůj superpočítač.)
Klíčovou roli zde hrají mesh sběrnice pro přenos dat mezi jádry, v současnosti jsou úspěšné Intel OmniPath, InfinityBand od Mellanox (která se podílí na Summitu a Sierra), Aries (nahrazující starší Gemini) od Cray, čínský TH-Express 2 od NUDT a InfinityFabric od AMD (má být nasazen na Frontier). (Sunway vyvíjí svou vlastní, např. výkon na jedno jádro Tianhe-2 je kolem 3 TFLOPS, přenosová rychlost TH-Express 2 je 112 Gb/s na port (celková propustnost v řádu TB/s), poměr k výkonu je 3.7%.
Při zachování současné mesh architektury by toto číslo nemělo klesnout, jinak se stane sběrnice zúžené hrdlo lahve systému. To vyžaduje zvýšení rychlosti na 400 Gb/s. Intel a Mellanox zavádějí 200 Gb/s s využitím PCIe4. Velmi brzy má vyjít specifikace PCIe5, díky které bychom této rychlosti mohli dosáhnout.
Další důležitý faktor je počet GFLOPs, který dostaneme z jednoho Wattu, odvod tepla je tvrdý fyzikální limit. TaihuLight dosahuje 6 GFLOPS/W, Summit až 15 GFLOPS/W. Na Zettascale bude třeba dosáhnout úrovně 30-50 GFLOPS/W na jádro při výkonu 20-30 MW.
Dennardův zákon (výkon - P=UxI - na plochu čipu zůstává konstantní) přestal platit a tím předvídá konec Moorova zákona, pokud jej nezachrání nová technologie.
Miniaturizaci brání též 7nm technologie, která tvoří limit, pod kterým začínají do fungování elektroniky nezanedbatelně promlouvat jevy kvantové mechaniky.
V současnosti je ale plánovaná masová výroba nové architektury čtyř hradel GAAFET, která by měla do dvou let umožnit vyrábět tranzistory 4nm technologií.
Pokud Moorův zákon nepřestane platit, měli bychom tu mít Zettascale superpočítače (tj. milionkrát výkonnější než náš Salomon) kolem roku 2030 – 2035.
Pokud se na tyto mašiny nasadí slavná neuronová síť AlphaZero, zažijeme technologickou singularitu?
Tak už je to tady: Čína staví terminátora
Autor: Jan Turoň (19.01.2017)
Alpha Zero: soumrak slabých umělých inteligencí
Autor: Jan Turoň (23.12.2017)
Exascale závody: Nejrychlejším superpočítačem světa by se měl stát Frontier
Autor: Stanislav Mihulka (09.05.2019)
Diskuze:
Zavádějící pojmy
Daniel Langr,2019-05-13 15:17:25
"Uvedený plánovaný výkon u Frontier superpočítače 1.5 EFLOPS je špičkový (peak), což znamená výpočty pouze z L1 cache, žádné zpomalení mezi jádry. Pro reálné výpočty se uvádí maximální výkon, který bývá u amerických počítačů cca 80%, můžeme očekávat tedy kolem 1.2 EFLOPS."
Tohle je dost nepřesné a zavádějící. Jako "peak performance" se většinou (např. na Top500.org) uvádí teoretický maximální výkon, který se spočítá jako počet jader krát teoretický maximální výkon jádra uváděný výrobcem (případně plus akcelerátory). Jako "maximal performance" se uvádí výkon dosažený LINPACK testem za použití L1 cache.
Reálný výkon aplikací v praxi je obecně o jeden až dva řády nižší než peak/max, čili se k těmto číslům ani zdaleka nepřiblíží. Je to samozřejmě dáno hlavně propustností paměťové sběrnice a komunikačních síťí mezi uzly. Existují i návrhy na benchmarky, které by to zohledňovaly (viz např. HPCG benchmark navržený týmem prof. Dongarry).
Re: Zavádějící pojmy
Jan Turoň,2019-05-13 22:31:02
Měl jsem za to, že u RMax se bere v potaz přenos dat z hlavní paměti, nejen z L1 cache. Soudě podle http://www.netlib.org/utk/people/JackDongarra/faq-linpack.html, konkrétně
There are many reasons why your results may vary from results recorded in the Linpack Benchmark Report. Issues such as load on the system, accuracy of the clock, compiler options, version of the compiler, size of cache, **bandwidth from memory**, amount of memory, etc can effect the performance even when the processors are the same.
Re: Re: Zavádějící pojmy
Daniel Langr,2019-05-14 07:28:14
Vypadá to, že máte pravdu, omlouvám se za nepřesnost. Jedná se ale o extrémně výhodný výpočet z hlediska poměru množství aritmetických operací na přenesený byte z paměti (flops/byte ratio). V reálných aplikacích bývá tento poměr výrazně nižší. Krásně to dokládá právě HPCG list, který reálné aplikace zohledňuje, viz https://www.hpcg-benchmark.org/custom/index.html?lid=155&slid=297. V posledním sloupečku jsou uvedena procenta z peak výkonu, které byly v benchmarku dosaženy. Typické hodnoty jsou mezi 1 a 2 procenty.
Technologicka singularita
Richard Malaschitz,2019-05-12 20:47:39
1. AlphaZero nie je neruonová sieť ale počítačový program, ktorý hraje hry (Šach, Šógi, Go). Využíva dve neurónové siete a algortimus MCTS.
2. Neurónová sieť od Google (Tensor Flow), ktorú pravdepodobne využíva Alpha Zero využíva špeciálne TPU procesory - Tensor processing unit. Je otázne či by ten superpočítač bol vôbec rýchlejší ako riešenie od Google. Neurónové siete potrebujú to čo im poskytujú TPU procesy - paralelné jednoduché výpočty (násobenie) dvoch čísiel s pohyblivou rádovou čiarkou. A nemusí byť ten výpočet ani príliš presný - stačia 2-3 desatinné miesta. Je to pomerne špeciálna úloha a ten procesor sa nedá použiť na nič iné.
Re: Technologicka singularita
Josef Šoltes,2019-05-13 08:47:08
Podle toho, co jsem o Alpha Zero četl, tak běžela na běžných grafických kartách od nVidie. Neměla žádné speciální TPU procesory.
Re: Re: Technologicka singularita
Milan Krnic,2019-05-14 06:30:52
Kde? https://en.wikipedia.org/wiki/AlphaZero
Re: Re: Re: Technologicka singularita
Josef Šoltes,2019-05-15 13:18:32
Aha, ano, každý mluvíme o něčem jiném. Trénink proběhl na TPU procesorech, ale síť samotná pak už běžela na běžných grafikách.
Re: Re: Re: Re: Technologicka singularita
Lada 1,2019-05-15 15:43:41
Ne, byly pouzity TPU1 a TPU2. Pokud mate zajem pak dalsi info k Deepmind:
A general reinforcement learning algorithm that masters chess, shogi and Go through self-play:
https://deepmind.com/documents/260/alphazero_preprint.pdf
Mastering the game of Go with Deep Neural Networks & Tree Search:
https://deepmind.com/research/publications/mastering-game-go-deep-neural-networks-tree-search/
Mastering the game of Go without Human Knowledge:
https://deepmind.com/research/publications/mastering-game-go-without-human-knowledge/
Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm:
https://arxiv.org/abs/1712.01815
Re: Re: Re: Re: Technologicka singularita
Milan Krnic,2019-05-15 19:15:13
Ano, já se ptal kde (jste to četl). Jinak např. pro zobrazení na monitoru běžnou grafiku zřejmě potřebujete.
Re: Re: Technologicka singularita
Lada 1,2019-05-14 11:14:39
na GPU a CPU bezi Leela Chess Zero (Lc0)
OS
Alexandr Kostka,2019-05-12 20:09:12
Jen k tomu zastoupení systémů: Sunway pokud vím jede na "vlastním os", které je ale také variantou na linux/unix.
Singularita
Peter Somatz,2019-05-12 11:55:08
"Pokud se na tyto mašiny nasadí slavná neuronová síť AlphaZero, zažijeme technologickou singularitu?" Nezazijeme.
Ludia tu umelu inteligenciu trochu precenuju. Zatial este nemame pocitac, ktory by dokazal fungovat a mysliet ako clovek, a tak skoro ho ani mat nebudeme. Najvykonnesie stroje dneska dokazu simulovat na urovni AI, tak 1 mm3 mozgoveho tkaniva.
Mozno tie Zettascale pocitace v roku 2030 budu mat hruby vykon ako jeden ludsky mozog, pri 20 MW vs 20 W. A to je len vykon, este je tam samotna funkcionalita. Len samotne neuronove siete, akehokolvek typu, nestacia.
V mozgu su stovky specializovanych typov buniek o ktorych funkcii nemame ani sajn. Plus stovky vrodenych specializovanych systemov, ktore sa vyvijali doslova miliony rokov. Navyse, na to aby clovek myslel, nestaci len mozog - ten musi zasobovanany kvantami dat zo zmyslov, a musi byt aj moznost motoriky v prostredi. Az ked je cely ten cyklus uzatvoreny, mozme hovorit o "umelom cloveku".
Ak by takyto umely clovek aj existoval, dajmetomu s IQ ake mal Einstein, aj tak by to nebola technologicka singularita. Bol by to len "trochu mudrejsi ujo", ktory by potom pracoval roky a roky pre IBM, Google, Intel atd., na nejakej ciastkovej ulohe typu napr.: ako sa dostat pri vyvoji cipov zo 4nm na 1 nm.
Ono je to v tom vesmire vymyslene tak, ze systemy (ludia, spolocnost, technika) su uz dnes extremne organizovane a efektivne. Hranice, ktore nam stanovuje priroda (rychlost svetla, kvantove javy) su pre pokrocile technologie stale tazsie a tazsie prekonatelne. Technologicky vyvoj urcite nepojde stale tak rychlo, ako v dobe, ked vymysleli prvy tranzistor.
Prejavi sa klasicky zakon hranicnych nakladov, marg. uzitku.
Ina vec by bola, keby taka AI pochopila (a prezradila nam :) ) nejake este fundamentalnejsie zakony fyziky ako pozname dnes. Ale tymto smerom sa to tiez "zozlozituje". Newtonova teoria je radovo jednoduchsia ako taka VTR alebo kvan. mechanika.
Re: Singularita
Jan Turoň,2019-05-12 14:11:25
Lidské myšlení funguje na elektrochemickém principu, počítače na elektronickém. To neznamená, že nemůže být funkčně izomorfní. Zatím se daří realizovat procesy, které dokážeme přesně popsat. Např. chápání významu slov v kontextu ostatních slov (https://www.tensorflow.org/tutorials/representation/word2vec) či vymýšlení strategií na základě pravidel (https://www.youtube.com/watch?v=Q70ulPJW3Gk). AlphaZero je neuronová síť. Dokážeme přesně popsat funkci neuronu a spojení s ostatními neurony. Když to realizujeme, výsledkem je něco, co na nás působí jako přesvědčivá kreativita. Ale kreativitu nedovedeme exaktně popsat, opíráme se jen o subjektivní dojem. Je to mapování umělé sítě na tu naší. Musíme zde exaktně popsat, co znamená poučit se z chyby, a architektura se pak vystaví sama opakováním a zpětnou vazbou. Z toho ale nesmíte vynechat tu matematiku, jinak máte opět jen dojem a podstata sítě vám unikne. Všimněte si například, jak používáte čísla: jsou to pro vás dojmy = 1mm3 mozku, stovky buněk (chápu, řeknete malé číslo, vnímáte-li něco malé a velké číslo, máte-li pocit, že je to velké - tak, aby bylo dodrženo mapování pocitu uspořádání). Počítače (a mnozí lidé) používají čísla pro účely výpočtu. Můžeme si tu psát a vzájemně pochopit myšlenky, i když pojem čísla chápete úplně jinak než já a naše myšlení se vyvíjela úplně jiným způsobem.
Neuronová síť není umělý člověk. Pokud bychom ji chtěli antropomorfní, museli bychom exaktně popsat pojmy jako vědomí, nálada, temperament, sexualita a mnohé další. Ale jednak těmto kategoriím nerozumíme a druhak o jejich mapování do neuronové sítě nestojíme: k čemu by vám bylo, kdyby vám neuronová síť řekla, že vaše estetické cítění stojí za prd? Konečným arbitrem byste byl opět vy, řekl byste, že síť nefunguje.
Re: Re: Singularita
Peter Somatz,2019-05-12 16:48:23
Nemyslim si, ze by sme vedeli na 100% presne simulovat akykolvek neuron. Vzdy to bude len viac, ci menej presny model. Ak by alphazero bol ten "silver bullet", ktory vyriesi technologicku
singularitu, a vieme ze alphazero si berie priklad z prirody, tak sa cudujem ze priroda uz davno nevymyslela organizmus, ktory by alphazero realizoval vo svojej hlave na biologickom principe.
Teoreticky by to malo byt ovela jednoduchsie ako je sucasna realita. Jeden typ neuronu, namnozeny v bilionoch, s vela spojeniami, napchatymi vo velkej hlave nejakeho organizmu, napr.slona ... a "zachvilu" by z toho mal byt superorganizmus, ktory presiel "biotechnologickou singularitou". Ale nie je.
Myslim si, ze silnejsie a silnejsie pocitace realizujuce tento jeden princip, coskoro stratia dych a bude tam nutna specializacia do velkeho stromu roznych "modulov", tak isto ako su specializovane rozne "oddelenia" v mozgoch organizmov. Pri vyvoji cohokolvek, riesenie tych "okrajovych podmienok" zaberie vacsinou najviac casu - az tak, ze sa mozno pride na to, ze naprogramovat nejaku vec klasicky, alebo v kombinacii s clovekom natrenovanou AI bude schodnejsie
riesenie, ako zapnut zazracny stroj a cakat, co z toho vypadne.
Co sa tyka toho antropomorfizmu pri AI, ten je vyhodny z toho dovodu, ze tu AI potrebujeme trenovat - a trenovat ju mozme len poznatkami, ktore mame my sami, a vztahuju sa na nas - alebo, ktore si ziska sam(a) ako robot pohybujuci sa v nejakom fyzickom alebo virtualnom prostredi. Zbytocne budete vyrabat chatbota, ktory nema vlastne "fyzicke" skusenosti. Na jeho reci sa to prejavi.
Dalsia vec - aby sa AI/robot vyvijal, tak musi mat vlastny ZAUJEM. U organizmov je ten zaujem dany evoluciou, snahou prezit a rozmnozit sa. Uz bakterie maju nejaky zivotny cyklus - "narodenie", rast, rozmnozenie, smrt. A tento cyklus s malymi obmenami plati aj pre nas, a pohana nas aby sme realizovali ciastkove ulohy, ktore riesi "nasa neuronova siet". Ale ta je iba mala cast celkoveho obrazu.
Re: Re: Re: Singularita
Josef Šoltes,2019-05-13 08:53:39
Zapomínáte, že příroda a evoluce je omezená hlavní premisou – musí to být výhodné pro přežití. K čemu by byl výhodný supermozek přemítající o stvoření vesmíru? K přežití asi moc ne. Navíc mozek sám naráží na fyzikální limity, hlavně ohledně spotřeby energie a výroby tepla.
Re: Re: Re: Re: Singularita
Milan Krnic,2019-05-13 09:04:58
Výhodné pro přežíti je jen takové zobecnění, přesněji výhodné pro přežití (ne)určitého celku (viz lidská společnost vč. samostatně nepřeživších jedinců).
Re: Re: Re: Re: Re: Singularita
Josef Šoltes,2019-05-13 09:06:58
Ano, je to zjednodušeno, netřeba vysvětlovat.
Re: Re: Re: Re: Re: Re: Singularita
Milan Krnic,2019-05-14 06:16:10
Netřeba? Jenže z toho vyplývá, že samostatné entita nemusí být schopná sama o sobě přežívat, což odporuje tomu, co jste psal. Ostatně jedinců solidně přežívajících o nesmrtelnosti chrousta přemýšleje máme dost i bez AI.
Re: Re: Singularita
Milan Krnic,2019-05-12 17:53:10
"Z toho ale nesmíte vynechat tu matematiku, jinak máte opět jen dojem"
Exaktní, matematický popis vyvinuté neuronové sítě přeci nemáme. Právě proto je to intuice.
Re: Singularita
Josef Šoltes,2019-05-13 08:51:25
Nepotřebujete vysloveně umělou inteligenci. Stačí vám počítač schopný manipulace se symboly, ze kterých bude schopen vyvodit další symboly. Nepotřebujete vědomí, nepotřebujete schopnost špičkové komunikace. Člověk je silně omezen tím, že do jedné úvahy dokáže zahrnout velmi omezený počet vstupů. Pokud situace překročí daný zvládnutelný počet, tak si můžete pomoci dnešní technikou, ale to není všespásné a o moc dál se nedostanete. Počítač schopný zahrnout miliony faktorů na tom bude mnohem lépe. Netvrdím, že technologická singularita bude znamenat okamžitou a naprostou změnu našich životů, ale povede minimálně ke zvládnutí technologií, se kterými se dnes lidstvo poměrně potýká. A také k zásadnímu prodloužení lidského života.
Re: Re: Singularita
Jan Novák9,2019-05-13 18:27:37
A ti lidi s prodlouženým životem ho budou trávit koukáním na televizi, protože bude existovat umělá inteligence která nemusí být ani univerzální ani chytřejší než člověk, ale lepší v konkrétním zaměstnání než 90% lidí bez nutnosti zaučení, dovolené, nemocenské...
Nikdo nebude studovat protože kromě supergéniů je to zbytečné - stačí se zeptat, AI to ví stejně líp než je možné se naučit a vědomosti není kde uplatnit.
Scénář z filmu Idiokracie, a to je nejlepší možnost. Je mnoho dalších možností, kde lidstvo bojuje o přežítí, nebo je vyhlazeno než si všimne nebezpečí, nebo je odstaveno na vedlejší kolej a zanecháno osudu aby nespotřebovávalo zdroje využitelné pro AI jako kovy a energii...
Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce
