Nyligen har ChatGPT blivit den nya hotspot för AI, med Microsoft och Google i Silicon Valley som investerar kraftigt i sådan teknik (Microsoft har en andel på 10 miljarder dollar i OpenAI, företaget bakom ChatGPT, och Google har nyligen släppt sin egen BARD-modell). medan internetteknikföretag i Kina, representerade av Baidu och andra, också har indikerat att de utvecklar sådan teknik och kommer att gå live inom en snar framtid. I Kina har Baidu och andra Internetteknikföretag också indikerat att de utvecklar sådan teknik och kommer att gå live inom en snar framtid.
De generativa modellerna som representeras av ChatGPT har ett gemensamt drag, det vill säga att de använder massiv data för förträning och är ofta ihopparade med en mer kraftfull språkmodell. Språkmodellens huvudfunktion är att lära av den massiva befintliga korpusen, och efter inlärning kan den förstå användarens språkliga instruktioner, eller dessutom generera relevant textutdata enligt användarens instruktioner.
Generativa modeller kan grovt klassificeras i två kategorier, en är språkbaserade generativa modeller och den andra är bildbaserade generativa modeller. De språkbaserade generativa modellerna representeras av ChatGPT, vars språkmodell inte bara kan lära sig att förstå innebörden av användarkommandon (t.ex. "skriva en dikt, i stil med Li Bai"), utan också generera relevant text baserad på användaren kommandon efter träning med massiva data (i exemplet ovan, att skriva en dikt i stil med Li Bai). dikt). Det betyder att ChatGPT behöver ha en stor språkmodell (LLM) som förstår användarens språk och kan producera högkvalitativa språkutdata – till exempel måste modellen förstå hur man genererar dikter, hur man skapar dikter i stil med Li Bai , och så vidare. Detta innebär också att stora språkmodeller i språkbaserad generativ AI kräver ett väldigt stort antal parametrar för att kunna göra den här typen av komplex inlärning och komma ihåg så mycket information. ChatGPT har till exempel 175 miljarder parametrar (700 GB lagringsutrymme om standard flyttal används), vilket visar hur "stor" dess språkmodell är.
En annan klass av generativa modeller är bildgenereringsmodellen representerad av Diffusion, typiskt Dalle från OpenAI, ImaGen från Google, och för närvarande den mest populära stabila diffusionen från Runway AI. Dessa bildliknande generationsmodeller använder också en språkmodell för att förstå användarens språkliga kommandon och genererar sedan högkvalitativa bilder baserat på dessa kommandon. Till skillnad från språkbaserade generativa modeller använder språkmodellen som används här främst språk för att förstå användarinmatning utan att generera språkutdata, så antalet parametrar kan vara ganska litet (i storleksordningen några hundra miljoner), medan antalet parametrar för bildbaserade diffusionsmodeller är relativt små, i storleksordningen några miljarder totalt sett, men beräkningsansträngningen är inte liten eftersom upplösningen på de genererade bilderna eller videorna kan vara mycket hög.
Generativa modeller kan producera oöverträffad högkvalitativ produktion genom massiv datautbildning, och det finns redan ett antal tydliga applikationsmarknader, inklusive sökning, dialogrobotar, bildgenerering och redigering, etc. Fler applikationer förväntas i framtiden, vilket också ställer efterfrågan på relaterade marker.
Behovet av chips för att generera klassmodeller
Som nämnts tidigare representerar ChatGPT en generativ modell som behöver lära sig av stora mängder träningsdata för att uppnå högkvalitativ generativ produktion. För att stödja effektiv träning och slutledning har generativa modeller sina egna krav på relaterade chips.
Den första är behovet av distribuerad beräkning; antalet parametrar för språkgenerativa modeller som ChatGPT uppgår till hundratals miljarder, och det är nästan omöjligt att använda en datorträning och slutledning, men mycket distribuerad beräkning måste användas. Vid distribuerad datoranvändning har datasammankopplingsbandbredden mellan maskiner och datorchipet för sådan distribuerad datoranvändning (som RDMA) en stor efterfrågan, eftersom uppgiftens flaskhals ofta inte ligger i datoranvändning, utan i datasammankopplingen ovan, särskilt i denna typ av storskalig distribuerad datoranvändning har chipet för effektivt stöd för distribuerad databehandling blivit mer kritiskt.
Nästa är minneskapaciteten och bandbredden. Även om distribuerad träning och slutledning är oundvikliga för språkbaserade generativa modeller, kommer det lokala minnet och bandbredden för varje chip till stor del att avgöra exekveringseffektiviteten för ett enda chip (eftersom varje chips minne används till dess gränser). För bildbaserade generativa modeller är det möjligt att lägga alla modellerna (cirka 20GB) i minnet på chippet, men i takt med att bildbaserade generativa modeller utvecklas ytterligare i framtiden är det troligt att dess minneskrav också kommer att öka ytterligare . Ur detta perspektiv kommer minnesteknologi med ultrahög bandbredd som representeras av HBM att bli det oundvikliga valet för relaterade acceleratorchips, medan de generativa klassmodellerna också kommer att accelerera HBM-minnet för att ytterligare öka kapaciteten och bandbredden. Utöver HBM kommer nya lagringsteknologier som CXL i kombination med mjukvaruoptimeringar också att ha potential att öka kapaciteten och prestandan för lokal lagring i sådana applikationer och beräknas få mer industriell användning genom framväxten av den generativa klassmodellen.
Slutligen, beräkning, både språkbaserade och bildbaserade generativa klassmodeller har ett stort beräkningsbehov, och bildbaserade generativa modeller kan ha ett mycket högre krav på aritmetisk kraft eftersom de genererar högre och högre upplösningar och går mot videoapplikationer - nuvarande vanliga bildgenerativa modeller har en beräkningsvolym på cirka 20 TFlops, och när det gäller hög upplösning och bilder är 100-1000 TFLOPS av aritmetisk efterfrågan sannolikt normen.
Sammanfattningsvis tror vi att kraven på generativa modeller för chip inkluderar distribuerad beräkning, lagring och beräkning, vilket kan sägas involvera alla aspekter av chipdesign, och ännu viktigare, hur man kombinerar alla dessa krav tillsammans på ett rimligt sätt för att säkerställa att en enskild aspekt inte blir en flaskhals, vilket också kommer att bli ett systemtekniskt problem för chipdesign.
GPU och det nya AI-chippet, vem har en bättre chans
Generativa modeller har en ny efterfrågan på chips. Vem har en bättre chans att fånga denna nya efterfrågan och marknad för grafikprocessorer (representerade av Nvidia och AMD) och nya AI-chips (representerade av Habana, GraphCore)?
För det första, ur perspektivet av språkbaserade generativa modeller, är GPU-leverantörer som för närvarande har en komplett layout i denna typ av ekologi mer fördelaktiga på grund av det enorma antalet deltagare och behovet av bra distribuerad datorstöd. Detta är ett systemtekniskt problem som kräver en komplett mjukvaru- och hårdvarulösning, och i detta avseende har Nvidia kombinerat sina GPU:er för att lansera Triton-lösningen, som stöder distribuerad utbildning och distribuerad slutledning, vilket gör att en modell kan delas upp i flera delar och bearbetas på olika GPU, vilket löser problemet med för många parametrar som inte kan rymmas av huvudminnet i en GPU. Detta löser problemet med för många parametrar för en GPU:s huvudminne. Oavsett om du använder Triton direkt eller utvecklar vidare på basis av Triton i framtiden är det bekvämare att ha en komplett ekologisk GPU. Ur beräkningssynpunkt, eftersom huvudberäkningen av den språkbaserade generationsmodellen är matrisberäkning, vilket är styrkan hos GPU:n, har det nya AI-chippet inte en uppenbar fördel gentemot GPU:n ur denna synvinkel.
Ur synvinkel av bildbaserade genereringsmodeller är antalet parametrar för sådana modeller också stort, men en till två storleksordningar mindre än de språkbaserade generationsmodellerna, förutom att dess beräkning fortfarande kommer att användas i en stor antal faltningsberäkningar, så slutsatsapplikationer, om du kan göra en mycket bra optimering, kan AI-chips ha vissa möjligheter. Här inkluderar optimeringen en stor mängd on-chip-lagring för att rymma parametrar och mellanliggande beräkningsresultat, för faltning och effektivt stöd för matrisoperationer.
I allmänhet är den nuvarande generationen av AI-chip designad för att rikta in sig på mindre modeller (antal parametrar på miljardnivå, beräkning på 1TOPS-nivå), medan efterfrågan på generativa modeller fortfarande är relativt större än det ursprungliga designmålet. GPU:er är designade för att vara mer flexibla till kostnaden för effektivitet, medan AI-chips är designade för att göra det motsatta, för att uppnå effektiviteten hos målapplikationen. Därför tror vi att GPU:er fortfarande kommer att dominera sådan generativ modellacceleration under nästa år eller två, men eftersom generativa modelldesigner blir mer stabila och AI-chipdesigner hinner komma ikapp med generativa modelliterationer, har AI-chips möjlighet att överträffa GPU:er i det generativa modellutrymmet ur ett effektivitetsperspektiv.

