Red Hat AI 3.5 donosi naprednu sigurnost, observability, upravljanje GPU resursima i alate za razvoj AI agenata u poslovnim hibridnim cloud okruženjima
Red Hat je predstavio Red Hat AI 3.5, novo izdanje svoje platforme za umjetnu inteligenciju koje u središte stavlja sigurnost, nadzor, upravljanje resursima i kontrolu AI radnih opterećenja u poslovnim okruženjima.
Kako se umjetna inteligencija iz eksperimentalnih projekata sve više seli u produkciju, tvrtke trebaju infrastrukturu koja može osigurati kontrolirano korištenje modela, transparentnost troškova i resursa te pouzdan rad u hibridnom cloudu. Red Hat AI 3.5 upravo je usmjeren na pretvaranje AI-ja u upravljivu i nadziranu poslovnu uslugu.
Jedna od važnijih novosti je EvalHub, koji omogućuje procjenu AI modela prije njihove implementacije, uključujući sigurnosna testiranja i izradu izvještaja potrebnih za dokazivanje usklađenosti s regulatornim zahtjevima. Validirani modeli u katalogu sada uključuju i rezultate Garak sigurnosnih testova, procjene izloženosti osobnih podataka te rizika od toksičnog sadržaja.
Red Hat dodatno uvodi napredne mogućnosti observabilityja, odnosno nadzora AI infrastrukture. Nova nadzorna ploča omogućuje praćenje zdravlja inferencije, iskorištenosti GPU-a i performansi modela, dok mjerenje potrošnje tokena po korisniku olakšava transparentno praćenje korištenja AI usluga.
Poseban naglasak stavljen je na multi-tenancy i dijeljenje GPU infrastrukture. Fair-share GPU scheduling omogućuje raspodjelu resursa između korisnika i radnih opterećenja, dok prioritetno posluživanje zahtjeva omogućuje prednost aplikacijama kojima je potrebna obrada u stvarnom vremenu.
Red Hat AI 3.5 donosi i nove mogućnosti za razvoj AI agenata. AutoRAG povezuje poslovne izvore podataka s agentnim aplikacijama, uz podršku za višejezične dokumente, kontekstualno dohvaćanje podataka i vizualno testiranje RAG konfiguracija. Dostupni su i predlošci za česte scenarije poput pregleda koda, obrade dokumenata i istraživačkih zadataka.
Inference-Time Scaling omogućuje dinamičko prilagođavanje računalnih resursa složenosti pojedinog upita, što može pomoći u učinkovitijem korištenju skupih GPU resursa. Platforma također donosi podršku za Responses API, ugrađeni RAG i NeMo Guardrails za dodatnu kontrolu agentnih interakcija i potencijalno opasnih poziva alata.
Red Hat AI 3.5 dostupan je odmah, a Red Hat ga istodobno nudi i u sklopu Red Hat AI Factory with NVIDIA. Novim izdanjem tvrtka nastoji objediniti sigurnost, upravljanje resursima, razvoj AI agenata i nadzor u platformu namijenjenu širem uvođenju umjetne inteligencije u poslovne sustave.
