Modelli decisionali AI: come differiscono dagli LLM

I modelli decisionali hanno recentemente attirato l'attenzione come un approccio diverso all'intelligenza artificiale. Uno di quelli più discussi è Jev di TypeSafe AI. Jev produce scelte strutturate, punteggi e stime di confidenza anziché testo.

Mentre i modelli AI tradizionali effettuano previsioni e classificazioni da anni, Jev si concentra sulla creazione di decisioni strutturate che il software può utilizzare direttamente. Questo approccio offre un altro modo per costruire applicazioni AI, in particolare quando un sistema deve valutare le informazioni e scegliere cosa fare in seguito.

Come funziona Jev?

Con un LLM tradizionale, si invia un prompt e si riceve testo generato. Anche quando si richiede JSON, l'applicazione deve gestire la risposta e validarne i contenuti prima dell'uso.

Jev funziona in modo diverso. Si fornisce un contesto, si definiscono le domande a cui si vuole rispondere e si specifica il tipo di risposta atteso. Jev restituisce risultati strutturati che la tua applicazione può elaborare direttamente.

Jev supporta tre tipi principali di domande:

• Sceglitura: Seleziona un'opzione da un elenco definito dall'utente, come fatturazione, assistenza tecnica o vendite.
• Punteggio: Valuta qualcosa su una scala ordinata, come bassa, media o alta priorità.
• 
  Sì o no: Stimano la probabilità che un'affermazione sia vera, ad esempio se un ticket di assistenza richiede l'intervento umano.

Si possono porre diverse domande sullo stesso input in un'unica richiesta. Ad esempio, un'applicazione di supporto potrebbe classificare un ticket, valutarne l'urgenza e stimare se debba essere esaminato da un operatore umano. Jev restituisce i risultati in un formato strutturato, permettendo all'applicazione di decidere i passaggi successivi.

Modelli decisionali vs. LLM

LLM e modelli decisionali servono scopi diversi. Un LLM può spiegare una decisione, generare contenuti, scrivere codice o ragionare su compiti complessi. Jev è progettato per decisioni mirate con output definiti.

La distinzione non è che gli LLM non possano prendere decisioni. Possono anch'essi classificare le informazioni e restituire dati strutturati. Jev è costruito specificamente attorno a questo compito, senza generare una risposta libera che l'applicazione debba interpretare.

Questo può renderlo utile per decisioni ripetute e ben definite. Per i compiti che richiedono spiegazioni dettagliate, output creativi o ragionamento complesso multi-step, un LLM rimane lo strumento più adatto.

Che cos'è un punteggio di confidenza?

Una delle principali caratteristiche di Jev è che i suoi output includono probabilità e informazioni di confidenza. Questi valori aiutano gli sviluppatori a valutare quanto fortemente il modello favorisca una determinata risposta.

Ad esempio, un'applicazione di supporto clienti potrebbe chiedersi se un ticket debba essere escalato. Se il modello indica una alta probabilità che l'escalation sia necessaria, l'applicazione potrebbe inviare il ticket a un team di supporto senior. Se il risultato è incerto, potrebbe inviare il ticket per una revisione umana.

Tuttavia, la confidenza non garantisce la correttezza. Un modello può essere altamente confidente e comunque prendere la decisione sbagliata. Gli sviluppatori dovrebbero testare i suoi risultati contro esempi reali e scegliere soglie adatte alle conseguenze di ciascuna decisione.

È inoltre importante distinguere la probabilità di una risposta da un punteggio di confidenza separato. Il significato esatto dipende dal tipo di output. Le applicazioni dovrebbero seguire la documentazione del modello anziché trattare ogni numero restituito come la stessa misura.

Dove possono essere utili i modelli decisionali?

Classificazione e instradamento

Molte applicazioni hanno bisogno di ordinare le informazioni in ingresso prima di elaborarle. Una piattaforma di supporto potrebbe classificare le richieste per argomento e inviarle al team giusto. Un'applicazione aziendale potrebbe categorizzare documenti, e-mail o feedback dei clienti.

Jev può restituire una categoria da un elenco predefinito, permettendo all'applicazione di instradare l'elemento senza analizzare un paragrafo generato.

Scoring e valutazione

I modelli decisionali possono anche valutare le informazioni su una scala definita. Ad esempio, un'applicazione potrebbe valutare un ticket di supporto per urgenza, dare un punteggio di pertinenza a un documento o valutare se una risposta soddisfa criteri specifici.

I risultati possono essere utilizzati per classificare gli elementi per importanza, dare priorità al lavoro o identificare i casi che richiedono un'ulteriore revisione. La qualità di queste decisioni dipende comunque dal modello e da quanto bene i criteri descrivono il compito.

Agenti AI e selezione degli strumenti

Gli agenti AI utilizzano modelli per decidere quali azioni intraprendere. Un agente potrebbe scegliere uno strumento, classificare una richiesta o determinare se un compito richiede informazioni aggiuntive.

Un LLM general-purpose può prendere queste decisioni come parte del suo ragionamento. Un modello decisionale può gestire una scelta più ristretta prima che l'agente agisca.

Ad esempio, un flusso di lavoro personalizzato utilizzando Hermes Agent potrebbe usare Jev per classificare un compito in ingresso prima di passarlo all'agente. Potrebbe anche aiutare a determinare quale flusso di lavoro debba gestire la richiesta. Ciò richiederebbe un'integrazione personalizzata piuttosto che fare affidamento su un supporto nativo ipotetico.

I modelli decisionali non dovrebbero essere considerati controlli di sicurezza da soli. Se un agente può eseguire comandi o modificare file, i permessi e le regole deterministiche devono imporre quali azioni sono consentite. La classificazione di un modello può informare quel processo, ma non sostituirlo.

Alternative a Jev

Jev fa parte di una categoria più ampia di modelli progettati per produrre decisioni strutturate. OpenJev e Laya sono due altri progetti da esplorare quando si confrontano gli approcci.

OpenJev

OpenJev è un progetto open source relativo all'approccio di Jev. Vale la pena esaminarlo se si desidera esplorare un'implementazione al di fuori di un servizio hosted. Prima di utilizzarlo, verifica la sua attuale disponibilità, i requisiti hardware, le funzionalità supportate e la licenza.

Laya

Laya è un modello decisionale open source di Convai Innovations. Si concentra su compiti come la scelta tra opzioni predefinite, la valutazione delle informazioni e la risposta a domande sì/no. Può essere rilevante se si desidera valutare un modello che può essere eseguito nel proprio ambiente.

Questi progetti dovrebbero essere confrontati in base alle prestazioni reali, non solo alle capacità dichiarate. Utilizza gli stessi dati di test e misura accuratezza, latenza, requisiti di risorse e quanto bene le stime di confidenza corrispondano ai risultati reali.

Puoi eseguire modelli decisionali localmente?

Eseguire un modello localmente ti dà più controllo sull'ambiente del software e sul luogo in cui i dati vengono elaborati. Tuttavia, le opzioni di deployment disponibili variano da progetto a progetto. Jev è offerto tramite API, mentre le alternative open source potrebbero offrire opzioni per eseguire l'inferenza sul proprio hardware.

I requisiti hardware dipendono dalla dimensione del modello, dall'utilizzo della memoria e dal throughput. Alcuni modelli possono girare su CPU, mentre altri beneficiano di una GPU, soprattutto quando si elaborano molte richieste.

Se si desidera sperimentare con modelli AI locali, DaDesktop offre cloud desktop con opzioni GPU dedicate. Puoi usarli per lo sviluppo e i test senza acquistare una GPU di fascia alta per il tuo computer locale.

Scopri di più su come eseguire LLM locali o esplora ambienti per agenti AI.

Quando dovresti usare un modello decisionale?

I modelli decisionali sono utili quando un'applicazione ha bisogno di una risposta definita che possa innescare un passaggio specifico successivo. Possono integrare gli LLM gestendo la classificazione, lo scoring e l'instradamento, mentre un modello generativo gestisce il linguaggio e il ragionamento più complesso.

La scelta migliore dipende dalla tua applicazione. Testa il modello contro i tuoi dati, confrontalo con i classificatori tradizionali e gli LLM e misura accuratezza, latenza e costi. Per decisioni importanti, includi la revisione umana e misure di sicurezza dove necessario.

Vuoi parlare del tuo caso d'uso? Contattaci e ti indirizzeremo nella giusta direzione.