[Kina, Šenžen, 14. jula 2023.] Huawei je danas predstavio svoje novo rešenje za skladištenje veštačke inteligencije za eru velikih modela, pružajući optimalna rešenja za skladištenje za osnovnu obuku modela, obuku modela specifičnu za industriju i zaključivanje u segmentiranim scenarijima, tako oslobađanje novih AI sposobnosti.
U razvoju i implementaciji aplikacija velikih modela, preduzeća se suočavaju sa četiri glavna izazova:
Prvo, vrijeme potrebno za pripremu podataka je dugo, izvori podataka su raštrkani, a agregacija je spora i potrebno je oko 10 dana za prethodnu obradu stotina terabajta podataka. Drugo, za multimodalne velike modele sa masivnim tekstualnim i slikovnim skupovima podataka, trenutna brzina učitavanja za masivne male datoteke je manja od 100MB/s, što rezultira niskom efikasnošću za učitavanje skupa za obuku. Treće, česta podešavanja parametara za velike modele, zajedno sa nestabilnim platformama za obuku, uzrokuju prekide treninga otprilike svaka 2 dana, što zahtijeva da mehanizam Checkpoint nastavi trening, pri čemu oporavak traje jedan dan. Konačno, visoki pragovi implementacije za velike modele, složeno postavljanje sistema, izazovi raspoređivanja resursa i korištenje GPU resursa često ispod 40%.
Huawei se usklađuje s trendom razvoja umjetne inteligencije u eri velikih modela, nudeći rješenja prilagođena različitim industrijama i scenarijima. Uvodi OceanStor A310 Deep Learning Data Lake Storage i FusionCube A3000 Super-konvergentni uređaj za obuku/zaključivanje. OceanStor A310 Deep Learning Data Lake Storage cilja na osnovne scenarije i scenarije jezera podataka velikih modela na nivou industrije, postižući sveobuhvatno AI upravljanje podacima od agregacije podataka, predprocesiranja do obuke modela i aplikacija zaključivanja. OceanStor A310, u jednom 5U rack-u, podržava propusni opseg od 400 GB/s i do 12 miliona IOPS, sa linearnom skalabilnošću do 4096 čvorova, omogućavajući besprijekornu međuprotokolnu komunikaciju. Globalni sistem datoteka (GFS) olakšava inteligentno preplitanje podataka kroz regione, pojednostavljujući procese agregacije podataka. Računarstvo sa skorom pohranom ostvaruje prethodnu obradu skoro podataka, smanjujući kretanje podataka i poboljšavajući efikasnost prethodne obrade za 30%.
FusionCube A3000 Super-konvergentni uređaj za obuku/zaključivanje, dizajniran za scenarije obuke/zaključivanja velikih modela na nivou industrije, služi aplikacijama koje uključuju modele sa milijardama parametara. Integriše OceanStor A300 čvorove za skladištenje visokih performansi, čvorove za obuku/zaključivanje, opremu za prebacivanje, softver za AI platformu i softver za upravljanje i rad, pružajući velikim partnerima modela sa plug-and-play iskustvom implementacije za isporuku na jednom mestu. Spreman za upotrebu, može se postaviti u roku od 2 sata. Čvorovi za obuku/zaključivanje i skladištenje mogu se nezavisno i horizontalno proširiti kako bi odgovarali različitim zahtjevima skale modela. U međuvremenu, FusionCube A3000 koristi kontejnere visokih performansi kako bi omogućio obuku više modela i zadatke zaključivanja za dijeljenje GPU-a, povećavajući korištenje resursa sa 40% na preko 70%. FusionCube A3000 podržava dva fleksibilna poslovna modela: Huawei Ascend One-Stop Solution i jedno-stop rješenje treće strane sa softverom za otvoreno računarstvo, umrežavanje i AI platformu.
Huaweijev predsjednik linije proizvoda za pohranu podataka, Zhou Yuefeng, izjavio je: „U eri velikih modela, podaci određuju visinu AI inteligencije. Kao nosilac podataka, skladištenje podataka postaje ključna temeljna infrastruktura za velike modele AI. Huawei Data Storage će nastaviti s inovacijama, pružajući raznolika rješenja i proizvode za eru velikih modela AI, surađujući s partnerima kako bi osnažili AI u širokom spektru industrija.”
Vrijeme objave: 01.08.2023
