Cosa sono gli LLM Uncensored?

Gli LLM uncensored sono modelli linguistici open-weight modificati per ridurre parte del comportamento di rifiuto riscontrato negli assistenti AI standard. Concedono all'utente un maggiore controllo sul comportamento del modello, risultando particolarmente rilevanti per chi esegue ed sperimenta LLM in locale.

Che cos'è un LLM Uncensored?

La maggior parte degli assistenti AI moderni è addestrata per seguire regole di sicurezza e rifiutare determinate richieste. Questo comportamento può derivare dall'instruction tuning, dal preference training, dai system prompt e da altre parti del modello o dell'applicazione.

Un LLM uncensored è generalmente un modello che è stato modificato o addestrato per ridurre alcune di queste dinamiche di rifiuto. Non esiste una definizione tecnica univoca di "uncensored". Diversi creatori di modelli possono utilizzare metodi differenti, e i modelli risultanti possono comportarsi in modo piuttosto diverso.

Alcuni modelli uncensored vengono creati tramite un ulteriore fine-tuning. Altri utilizzano tecniche che modificano comportamenti specifici all'interno di un modello esistente. Il termine può anche riferirsi a modelli descritti come abliterated, sebbene l'abliteration sia una tecnica specifica anziché un sinonimo per ogni modello uncensored.

Uncensored non significa Illimitato

Rimuovere o ridurre il comportamento di rifiuto non rende il modello più capace. Un modello uncensored può ancora produrre informazioni errate, fraintendere le istruzioni o rifiutare determinate richieste.

• La capacità conta comunque: Un modello più piccolo non diventerà un ragionatore migliore semplicemente perché il suo comportamento di rifiuto è stato modificato.
• La qualità varia: I modelli uncensored possono differire significativamente a seconda del modello sottostante e del modo in cui sono stati modificati.
• Il comportamento non è garantito: Un modello uncensored potrebbe ancora rifiutare alcune richieste o seguire le istruzioni in modo incoerente.
• Il comportamento di sicurezza può cambiare: La riduzione dei rifiuti può rimuovere anche alcune salvaguardie che facevano parte dell'addestramento del modello originale.

È quindi più utile pensare a "uncensored" come a una descrizione del comportamento del modello, piuttosto che come a una garanzia di ciò che il modello può fare.

Uncensored vs Open-Weight vs Modelli Base

Questi termini sono spesso utilizzati insieme, ma descrivono aspetti diversi di un LLM.

Queste categorie possono sovrapporsi. Un modello uncensored può essere open-weight e basato su un modello esistente. Può anche essere un fine-tune o un'altra modifica di quel modello. L'etichetta da sola non spiega esattamente come il modello sia stato creato.

Perché Eseguire un LLM Uncensored in Locale?

Eseguire un LLM uncensored in locale offre all'utente un maggiore controllo sul modello e sul suo ambiente. Invece di fare affidamento su un servizio AI hostato, il modello viene eseguito su hardware controllato dall'utente.

• Controllo: Scegli tu il modello, il software di inferenza e la configurazione.
• Privacy: Prompt e risposte generate possono rimanere all'interno del tuo ambiente di calcolo.
• Personalizzazione: I modelli open-weight possono essere modificati, sottoposti a fine-tuning e configurati per diversi carichi di lavoro.
• Uso offline: Un modello hostato in locale non necessita di inviare prompt a un servizio AI esterno.
• Sperimentazione: Gli sviluppatori e i ricercatori possono confrontare diverse versioni e modifiche dei modelli.

L'inferenza locale offre inoltre il controllo sull'hardware che esegue il modello. Questo diventa importante al crescere delle dimensioni dei modelli.

Quali Hardware Servono agli LLM Uncensored?

I modelli uncensored hanno generalmente gli stessi requisiti hardware del modello sottostante su cui sono basati. I fattori principali sono la dimensione del modello, la quantizzazione, la lunghezza del contesto e le impostazioni di inferenza.

Un modello più grande richiede più memoria di uno più piccolo. La quantizzazione può ridurre la memoria necessaria per caricare un modello, rendendo i modelli più grandi pratici su GPU con meno VRAM.

La VRAM viene utilizzata anche dal processo di inferenza stesso. La cache KV e altri dati di runtime richiedono memoria aggiuntiva e finestre di contesto più lunghe possono aumentare la quantità di memoria necessaria.

Questo significa che scegliere un modello è solo una parte della pianificazione di un setup LLM locale. La GPU deve avere abbastanza VRAM disponibile per il modello e il carico di lavoro che si intende eseguire.

Prova su DaDesktop

Se desideri eseguire un LLM uncensored senza acquistare e installare il tuo stesso hardware GPU, DaDesktop offre desktop cloud con risorse GPU dedicate. Puoi eseguire workload LLM locali su DaDesktop o confrontare le opzioni GPU disponibili in base al modello che desideri eseguire.