CyberJurnal

Știri · Analize · Securitate cibernetică

AWS aduce un cache comun pentru modelele AI auto-găzduite. Când merită costul

ElastiCache permite serverelor GPU să reutilizeze calcule pentru contexte repetate, iar KVTrace estimează avantajul înaintea unui test. Cifra de 40% provine dintr-un scenariu AWS.

Oprican Marius Edward3 min citire
Distribuie
XLinkedInFacebookWhatsAppTelegram
Rânduri de servere și sisteme de stocare într-un centru de date ilustrativ
Sursă foto: aws.amazon.com

AWS a publicat pe 20 noiembrie un modul pentru agenți de programare care ajută echipele să estimeze dacă merită să adauge un cache comun lângă serverele care rulează modele lingvistice. Modulul completează lansarea din 18 noiembrie a cache-ului KV distribuit în Amazon ElastiCache pentru Valkey. Noutatea nu este un model AI mai rapid, ci posibilitatea de a evita o parte din calculele repetitive atunci când solicitările trec între servere GPU. Ghidul AWS din 20 noiembrie · Anunțul disponibilității

Ce se reutilizează

Înainte de primul cuvânt al unui răspuns, modelul procesează solicitarea și calculează reprezentări intermediare pentru textul de intrare. Într-o conversație care revine mereu la același manual tehnic, mare parte din context poate rămâne identică de la o întrebare la alta. Motorul poate reutiliza calculele pentru începutul comun al solicitării, fără să refacă acea muncă. Nu este vorba de a reda un răspuns gata făcut: partea nouă a cererii este procesată, iar răspunsul este generat din nou. Cum funcționează cache-ul distribuit

Cache-ul de pe GPU și memoria locală a serverului rămân primele opțiuni. ElastiCache adaugă un al treilea nivel, partajat, astfel încât un alt server din flotă să poată recupera starea deja calculată. Beneficiul depinde de cât de des se repetă începutul solicitărilor și de cât timp durează transferul. Pentru intrări scurte, refacerea calculelor poate fi mai rapidă decât citirea din cache prin rețea. Ghidul de evaluare AWS

Când are sens calculul de cost

Cifra de până la 40% a rezultat, potrivit AWS, dintr-un test cu întrebări și răspunsuri peste documente comune. Compania a comparat vLLM cu cache local și cu același tip de sarcină după adăugarea unui nod ElastiCache, pe servere P6 cu opt GPU-uri fiecare. În acel scenariu, serverele au susținut de două ori mai multe cereri pe secundă în limitele de latență alese, iar costul pe milion de tokenuri generate a scăzut cu 40%, incluzând nodul nou. Nu este o reducere garantată a facturii și nu măsoară viteza cu care este generat fiecare răspuns până la final. Metodologia benchmarkului AWS

Instrumentul KVTrace folosește evenimentele de cache produse de vLLM și SGLang pentru a simula ce s-ar fi întâmplat cu diferite dimensiuni ale cache-ului partajat. Rezultatul este o estimare bazată pe trafic, nu o măsurătoare a configurației viitoare. Un test controlat poate compara apoi timpul până la primul token, proporția solicitărilor care reutilizează cache-ul și costul pe unitate de lucru, nu doar consumul GPU. Estimare și configurare

Nodul costă și când nu are trafic

Serviciul cere Valkey 9.1 sau mai nou și noduri dedicate cache.i8ge.48xlarge, facturate pe oră. Pentru accesul rapid prin RDMA peste Elastic Fabric Adapter, serverele GPU și cache-ul trebuie să fie în aceeași zonă de disponibilitate. Datele din cache nu se replică și nu pot fi restaurate din backup; când un nod pierde conținutul, motorul recalculează starea necesară. Cache-ul este, așadar, o optimizare de performanță, nu un loc de păstrare a conversațiilor. Cerințe și facturare · Comportament la defectare

Imagine ilustrativă generată cu AI pentru CyberJurnal; nu reprezintă un centru de date AWS.

Sursă: AWS și documentația Amazon ElastiCache

awselasticachevalkeyinferențăllmkv cache

Comentarii (0)

    Autentifică-te pentru a comenta.

    Citește și