Molte aziende che iniziano a usare l’intelligenza artificiale commettono lo stesso errore: usano sempre lo stesso modello per tutto, dal semplice riassunto di un’email alla generazione di un contratto complesso. Il risultato è quasi sempre lo stesso: costi che salgono senza controllo, oppure risposte troppo semplici per compiti che richiederebbero un ragionamento più approfondito. La soluzione si chiama model routing: invece di affidarsi a un unico modello AI, ogni richiesta viene indirizzata automaticamente verso il modello più adatto al compito specifico.
In questo articolo spiego cos’è il model routing, perché è una delle scelte architetturali più concrete per chi vuole integrare l’AI in azienda senza sprechi, e come si implementa in pratica.
Cos’è il model routing e perché conviene
Il model routing è la logica che decide, richiesta per richiesta, quale modello AI utilizzare. Non tutti i compiti hanno la stessa complessità: classificare un’email in “urgente” o “da archiviare” non richiede lo stesso modello che serve per redigere un’analisi contrattuale o generare codice. Usare sempre il modello più potente e costoso disponibile per ogni attività è come chiamare un avvocato per rispondere al telefono: funziona, ma è uno spreco di risorse.
Un sistema di routing ben progettato porta tre vantaggi concreti:
- Riduzione dei costi: i modelli più economici e veloci gestiscono la maggior parte del traffico, quello ripetitivo e a bassa complessità.
- Qualità dove serve: i compiti critici o ambigui vengono affidati a modelli più capaci, con margini di errore inferiori.
- Resilienza: se un provider ha un rallentamento o un’interruzione, il traffico può essere spostato su un modello alternativo senza fermare il servizio.
Come funziona in pratica: le strategie di routing
Non esiste un’unica ricetta: la strategia va scelta in base al tipo di attività aziendale. Le più utilizzate sono:
Routing basato su regole
La forma più semplice: si definiscono regole esplicite. Ad esempio, le richieste di supporto clienti di primo livello vengono gestite da un modello economico, mentre le escalation più complesse passano a un modello più potente. È l’approccio più facile da implementare e da spiegare a un team non tecnico.
Routing basato sulla complessità stimata
Un modello “classificatore” leggero analizza la richiesta in ingresso e ne stima la difficoltà prima di scegliere dove instradarla. Questo approccio funziona bene quando il volume di richieste è alto e non è possibile definire regole rigide per ogni caso.
Routing a cascata (fallback progressivo)
Si parte dal modello più economico; se la risposta non soddisfa criteri di qualità predefiniti (ad esempio bassa confidenza, risposta incompleta, errore di formato), la richiesta viene automaticamente rielaborata da un modello superiore. È una strategia particolarmente efficace quando non si vuole rinunciare alla qualità ma si vuole comunque contenere la spesa media.
Model routing e agenti AI: un legame naturale
Il model routing diventa ancora più rilevante quando si parla di orchestrazione di agenti AI che devono gestire processi aziendali articolati. Un agente che pianifica, chiama strumenti esterni e coordina più passaggi non ha bisogno dello stesso modello per ogni fase: la pianificazione iniziale può richiedere un modello di ragionamento più sofisticato, mentre l’esecuzione dei singoli passaggi, incluso il tool calling, può spesso appoggiarsi a modelli più leggeri e veloci.
Lo stesso principio si applica quando un’azienda serve più clienti con lo stesso sistema: in un contesto di agenti AI multi-tenant, il routing permette di applicare configurazioni diverse per cliente, ad esempio riservando modelli più performanti ai clienti con contratti premium o con esigenze di conformità più stringenti.
Quando conviene affiancare anche il fine-tuning
Il model routing e il fine-tuning non sono alternative, ma si completano. Il routing decide quale modello usare; il fine-tuning migliora le prestazioni di un modello specifico su un compito ricorrente e ben definito, ad esempio la classificazione di ticket con una terminologia di settore. Un’azienda matura, dopo aver introdotto il routing, spesso scopre che una fetta consistente del traffico ricade su pochi compiti ripetitivi: a quel punto ha senso valutare se un modello più piccolo, ottimizzato su quel compito specifico, possa sostituire un modello generico più costoso in quel ramo del routing.
Misurare i risultati: cosa monitorare
Introdurre il model routing senza misurarne l’impatto è un errore comune. Le metriche da tenere sotto controllo sono:
- Costo medio per richiesta, confrontato prima e dopo l’introduzione del routing (si ricollega direttamente al tema di come ottimizzare i costi delle API AI in azienda).
- Tasso di escalation: quante richieste iniziano su un modello economico e devono essere rielaborate da uno più potente. Un tasso troppo alto indica che le regole di routing vanno riviste.
- Qualità percepita, tramite feedback degli utenti finali o revisione a campione delle risposte generate.
- Tempo di risposta, perché un routing mal calibrato può introdurre latenza inutile, ad esempio con troppi passaggi a cascata.
Come iniziare senza costruire tutto da zero
Non serve un’infrastruttura complessa per iniziare: si può partire con una regola semplice (ad esempio, per volume o per tipo di richiesta) e affinarla nel tempo osservando i dati reali di utilizzo. L’importante è progettare fin da subito il sistema in modo che i modelli siano intercambiabili, evitando di legare la logica di business a un singolo provider: è una scelta che protegge l’azienda da aumenti di prezzo, cambi di policy o interruzioni di servizio di un singolo fornitore.
Se la tua azienda usa l’AI in più processi e vuoi capire se un sistema di model routing può ridurre i costi senza sacrificare la qualità delle risposte, contattami: valuto insieme a te l’architettura più adatta, dalla scelta dei modelli all’integrazione con i sistemi già in uso. Trovi altri progetti ed esempi concreti su cornelcaba.com.
