In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip per l'inferenza AI presentato da OpenAI, progettato per migliorare le prestazioni e l'efficienza energetica.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Alla recente conferenza Hot Chips, OpenAI ha presentato Jalapeño, il suo nuovo chip progettato per ottimizzare le prestazioni nell’inferenza AI. I primi risultati di benchmark, condotti da Semianalysis, indicano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, utilizzando i propri modelli per guidare il processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, in grado di coordinare chip, memoria e modelli in modo efficiente.
L’architettura del chip è stata concepita per ridurre i colli di bottiglia che si verificano durante le fasi di prefill e comunicazione, minimizzando il movimento dei dati e i ritardi di comunicazione. Come spiegato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione ottimale di calcolo, memoria e rete per ciascuna fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato attuale della tecnologia. Jalapeño può gestire più lavoro AI per unità di energia, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo al contempo una bassa latenza.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi limitati entro la fine del 2026, con una distribuzione più ampia attesa per il 2027. Questa innovazione potrebbe segnare un punto di svolta nel campo dell’inferenza AI, rendendo i servizi più accessibili e reattivi.
