Čeká nás další průmyslová revoluce? Umělá inteligence zařazuje druhý stupeň | Kapitola 2
Seznam kapitol
Čas od času probleskují informace o nových funkcích AI, jako jsou filmy generované nástrojem Sora. To ale není to opravdu podstatné: To podstatné je, že se dostupné technologie pro vývoj AI skokově zlepšují, ať už jde o nový superčip Cerebras WSE-3, inferenční akcelerátory Qualcomm anebo Nvidia H200 oznámená na GTC March 2024.
Když se mluví o tom, „kolik AI spotřebuje energie“, což je klasické strašení západních zelenistů ze seriálu „všichni na to umřeme“, obvykle vůbec nerozlišuje tyto dva stavy. Věc se má tak, že učení je sice podstatně náročnější na energii a na výpočetní výkon, ale můžete ho provozovat v datacentrech, která specificky postavíte tam, kde máte velmi levnou energii například z hydroelektráren anebo využívající nějaký jiný typ potenciálové anebo jiné obnovitelné energie. Protože dnes využíváme cloudové služby, můžete klidně postavit takové datacentrum někde v Norsku anebo na Islandu a vůbec ničemu to nevadí.
Ta druhá věc, inference, je podstatně zajímavější, protože jde o přímé odpovědi na dotazy uživatelů – a to se taky blbě počítá, protože na dotazy opět může odpovídat cloud, ale taky k inferenci může docházet lokálně, tedy na vašem počítači anebo telefonu. Pokud vás zajímá, proč máte v mobilech a v moderních procesorech tenzorové jednotky TPU (někdy poeticky nazvané NPU, neural processing unit), tak proto. Říká se tomu edge computing, tedy výpočet na straně klientského zařízení – a pokud se modely udělají opravdu dobře, inference není až tak energeticky náročná.
Takže vítejte do světa duálního řešení, se kterým přichází firma Cerebras, která dělá „ty největší procesory na světě“ Cerebras CS-3 / WSE-3 – bez přehánění. Jejich procesory zabírají plochu celého waferu (WSE – Wafer Scale Engine), použitá litografie má 5 nm a na ploše 46225 mm² má tento výpočetní cluster-on-a-chip (haha!) 4 biliony tranzistorů (po americku se číslo 10¹² poněkud zmateně označuje jako trilion). Poněkud se zdráhám tuto obludu označit jako prostý procesor, protože ono to má 900 000 jader a jenom paměť dostupná na čipu je 44 GB, přičemž to celé dokáže adresovat až 1,2 PB RAM.
Konektivita je brutální, paměťová propustnost je 21 PB/s a propustnost celého systému propojujícího tyhle obludy navzájem přes komunikační síť (fabric) je 214 Pbit/s. Když si srovnáte parametry téhle příšery s v současnosti s nejpopulárnější Nvidií H100, tak parametry Nvidie vypadají vedle ní jako takový muší bobek – Cerebras WSE-3 má výkony od padesátinásobku výše.
Komentáře naleznete na konci poslední kapitoly.
