In Breve
- Qual è la previsione di LinkedIn per gli investimenti in GPU?
- LinkedIn prevede di mantenere invariati gli investimenti in GPU per il prossimo anno fiscale.
- Come ha migliorato LinkedIn l'efficienza delle GPU?
- LinkedIn ha raddoppiato l'efficienza delle GPU esistenti grazie a miglioramenti nell'utilizzo e nell'allocazione dei carichi di lavoro.
- Qual è il contesto dell'approccio di LinkedIn rispetto a Microsoft?
- LinkedIn adotta un approccio diverso rispetto a Microsoft, che sta espandendo significativamente la propria infrastruttura.
LinkedIn ha comunicato che non prevede di aumentare in modo significativo la spesa per hardware AI nel prossimo anno fiscale. L’investimento in GPU rimarrà sostanzialmente piatto, con l’impronta di calcolo e storage che sarà mantenuta all’incirca invariata. La società ha riferito di aver raddoppiato l’efficienza delle GPU esistenti in circa sei mesi, grazie a miglioramenti cumulativi nell’utilizzo delle GPU, nella distillazione dei modelli e nell’allocazione dei carichi di lavoro.
Il Chief Technology Officer per l’ingegneria, Erran Berger, ha descritto l’obiettivo di LinkedIn come la capacità di mantenere stabile il footprint di calcolo, pur immettendo in produzione funzionalità più esigenti dal punto di vista computazionale. Questo approccio si inserisce in un contesto in cui LinkedIn è controllata da Microsoft dal 2016, ma ha scelto di adottare una strategia diversa rispetto alla consistente espansione infrastrutturale del gruppo.
Microsoft, infatti, ha registrato 41 miliardi di dollari di spesa in conto capitale nell’ultimo trimestre, aggiungendo 31 data center in quel periodo e 88 nell’anno, con previsioni di oltre 50 miliardi nel trimestre corrente. In passato, LinkedIn aveva avviato un progetto di migrazione su Azure, noto come Blueshift, che è stato sospeso nel 2022. La società ha quindi deciso di puntare su data center propri situati in Oregon, Texas e Virginia.
Avere il controllo dell’intero stack è considerato un fattore abilitante, poiché consente di monitorare e ottimizzare ogni livello, trattando l’efficienza come un investimento continuo. Raghu Hiremagalur, CTO per l’infrastruttura, ha sottolineato che mantenere per un anno senza incremento storage e compute è «non una piccola impresa» e ha richiesto un lavoro significativo.
I miglioramenti ottenuti sono presentati come il risultato di un processo cumulativo, piuttosto che di una singola svolta tecnologica. Tra le strategie adottate vi sono un migliore utilizzo delle GPU, la riallocazione dei carichi, la distillazione di modelli maggiori in versioni più piccole e una riprogettazione della divisione del lavoro tra training, inference, storage e progettazione dei sistemi.
Il cambiamento è motivato anche dalla dinamica dei costi: il costo per singola query era in aumento, mentre la quantità di dati immagazzinati raddoppiava ogni anno, una tendenza giudicata insostenibile. LinkedIn non sostiene di aver risolto definitivamente il problema; tuttavia, questa scelta rappresenta un’alternativa alla tendenza prevalente di crescita proporzionale dell’hardware. La sua rilevanza dipenderà dalla capacità del programma di efficienza di reggere nel tempo.

