C'è una voce di costo che nella maggior parte delle aziende sta crescendo senza che nessuno la stia davvero governando: la spesa per inferenza dei modelli linguistici. Il meccanismo è insidioso perché il consumo non è proporzionale al numero di utenti ma alla lunghezza e alla complessità delle interazioni, due variabili che nessuno controlla a priori.
Il problema principale è l'opacità. Una singola richiesta dell'utente può tradursi in molteplici chiamate al modello: recupero di documenti, ragionamento intermedio, invocazione di strumenti, sintesi finale. Chi guarda solo la fattura mensile vede un totale che cresce senza poterlo attribuire a un reparto, a un caso d'uso o a un comportamento specifico.
La disciplina FinOps, nata per il cloud, si applica quasi senza adattamenti. Le metriche fondamentali sono tre: costo per interazione, costo per utente attivo e costo per esito utile. Quest'ultima è la più difficile da misurare e la più informativa, perché è l'unica che mette in relazione la spesa con il valore prodotto.
Le leve di controllo sono altrettanto note. Instradare le richieste semplici verso modelli economici e riservare i modelli di punta ai compiti che li giustificano. Usare il caching sui contesti ricorrenti. Limitare la lunghezza dei contesti recuperati. Impostare tetti di spesa per reparto e allarmi sulle anomalie.
Il prerequisito di tutto questo è la visibilità: sapere chi consuma cosa, con quale modello, su quale caso d'uso. Un'organizzazione che non ha questi dati non può ottimizzare nulla, può solo tagliare in modo indiscriminato quando il costo diventa insostenibile, che è il modo peggiore di gestire una tecnologia che sta iniziando a produrre valore.