Come usare ComfyUI: workflow, modelli e configurazione

ComfyUI è un'applicazione gratuita per la generazione locale di immagini e video con l'IA sulla propria macchina. È ideale per gli utenti che desiderano un controllo più avanzato rispetto a quello offerto dai tipici strumenti di generazione basati su prompt, permettendo di visualizzare e regolare ogni fase del processo di generazione. Questa flessibilità comporta una curva di apprendimento, quindi questa guida ti aiuterà a iniziare, dalla configurazione all'esecuzione e alla modifica del tuo primo workflow.

Cosa serve per iniziare

ComfyUI richiede un computer con risorse GPU sufficienti per i modelli e i workflow che desideri eseguire. I modelli più grandi e i workflow più complessi richiedono generalmente più VRAM.

Dovrai inoltre disporre dei file dei modelli utilizzati dal tuo workflow. A seconda del modello, questo può includere checkpoint, modelli di diffusione, VAE, text encoder, LoRAs o altri componenti. Questi file vengono normalmente archiviati nella directory ComfyUI/models.

Se non disponi di una GPU adeguata in locale, puoi anche eseguire ComfyUI su un desktop remoto basato su GPU. Questo sposta il carico di lavoro di generazione alla GPU remota, consentendoti di accedere al desktop dal tuo computer normale.

Installare ComfyUI

Per Windows e macOS, ComfyUI consiglia l'applicazione desktop per i nuovi utenti. Sono disponibili altri metodi di installazione, inclusa l'installazione manuale e lo strumento da riga di comando di ComfyUI. Il metodo appropriato dipende dal tuo sistema operativo e dalla tua configurazione.

Dopo aver installato ComfyUI, avvia l'applicazione e apri l'interfaccia. Vedrai la tela del workflow e gli strumenti utilizzati per creare e gestire i tuoi workflow.

Perché i workflow di ComfyUI sono importanti

Un workflow di ComfyUI definisce come viene generata un'immagine o un video. Controlla i modelli, le impostazioni e i passaggi di elaborazione utilizzati per produrre il risultato finale.

Ciò ti dà un controllo molto maggiore rispetto a una semplice casella di testo per i prompt. Puoi modificare il modello, aggiungere un LoRA, utilizzare un'immagine di input, regolare le impostazioni di generazione, eseguire l'upscaling del risultato o aggiungere altri passaggi di elaborazione.

I workflow possono anche essere salvati e riutilizzati. Invece di ricostruire la stessa configurazione ogni volta, puoi conservare un workflow che produce risultati soddisfacenti e modificare le impostazioni individuali quando necessario. Puoi anche scaricare workflow creati da altri utenti e adattarli alla tua configurazione.

Comprendere un workflow di ComfyUI

Un workflow è composto da nodi collegati. Ogni nodo gestisce una parte specifica del processo di generazione e le connessioni determinano come le informazioni vengono trasferite tra di essi.

Un workflow base da testo a immagine potrebbe contenere nodi per caricare un modello, inserire un prompt, creare i dati immagine iniziali, generare l'immagine, decodificare il risultato e salvarlo.

• Caricatore di modello: Carica il modello utilizzato per la generazione.
• Text encoder: Converte il tuo prompt in informazioni utilizzabili dal modello.
• Sampler: Esegue il processo di generazione utilizzando le impostazioni selezionate.
• VAE: Converte tra dati latenti e immagine.
• Salva immagine: Scrive l'immagine generata su disco.

Non è necessario costruire ogni workflow da zero. ComfyUI fornisce modelli di workflow e molti workflow della comunità possono essere scaricati e aperti direttamente.

Caricare un workflow esistente

Utilizzare un workflow esistente è generalmente il modo più semplice per iniziare. ComfyUI fornisce workflow di esempio per diversi modelli e attività, mentre i siti della comunità ne offrono molti altri.

Molte immagini dei workflow contengono i dati del workflow nei loro metadati. Puoi trascinare l'immagine in ComfyUI o utilizzare Workflow → Apri per caricarlo. Il workflow apparirà sulla tela con i suoi nodi e le sue impostazioni già configurati.

Una volta caricato il workflow, verifica quali modelli si aspetta. Se mancano file richiesti, ComfyUI può identificare i modelli mancanti per i modelli di workflow supportati. Per altri workflow, potrebbe essere necessario trovare e installare i modelli da soli.

Trovare modelli per ComfyUI

I modelli possono essere trovati su repository come Hugging Face e Civitai, nonché sulla pagina del progetto del modello stesso. La parte importante è trovare un modello compatibile con il workflow che desideri utilizzare.

Non dare per scontato che qualsiasi file di modello possa essere caricato in qualsiasi workflow. Diverse architetture di modello possono richiedere caricatori e file di supporto diversi.

Prima di scaricare un modello, verifica:

• Architettura e versione del modello
• Workflow di ComfyUI richiesto
• Formato del file del modello
• VRAM e hardware consigliati
• Qualsiasi VAE, text encoder, LoRA o altri file di supporto richiesti
• La licenza del modello e le restrizioni di utilizzo

ComfyUI supporta diversi tipi di file di modello. La cartella dipende dal tipo di modello che viene installato. Ad esempio, i checkpoint possono essere posizionati in models/checkpoints, i LoRAs in models/loras e i VAE in models/vae. Alcuni modelli più recenti utilizzano cartelle come models/diffusion_models e models/text_encoders.

Installare un modello

Una volta scaricato un modello, posizionalo nella directory prevista dal workflow. Potrai quindi selezionarlo nel corrispondente caricatore di modello.

Ad esempio, un checkpoint potrebbe essere archiviato in:

ComfyUI/models/checkpoints/

Un LoRA potrebbe invece essere archiviato in:

ComfyUI/models/loras/

Se il nuovo modello non appare nell'elenco dei modelli, aggiorna l'interfaccia o riavvia ComfyUI.

Installare nodi personalizzati

Molti workflow avanzati di ComfyUI utilizzano nodi personalizzati non inclusi nell'installazione standard. Un workflow potrebbe mostrare nodi mancanti se queste dipendenze non sono state installate.

ComfyUI fornisce un Manager per l'installazione di nodi personalizzati. I nodi possono anche essere installati manualmente posizionando i loro repository nella directory custom_nodes e installando le dipendenze richieste.

Installa nodi personalizzati solo da fonti a cui fai affidamento. I nodi personalizzati possono contenere codice eseguibile e possono avere le proprie dipendenze e considerazioni di sicurezza.

Eseguire e modificare il tuo workflow

Una volta installati i modelli e i nodi personalizzati richiesti, controlla le impostazioni importanti nel workflow. Inizia con il modello, il prompt, le dimensioni dell'immagine e le impostazioni di campionamento.

Quando tutto è pronto, usa il pulsante Code per eseguire il workflow. ComfyUI elabora ogni passaggio e produce l'output definito dal workflow.

Poi puoi modificare le parti individuali del workflow senza ricostruirlo. Aggiungi un LoRA, collega un'immagine di input, cambia il sampler, aggiungi un upscaler o regola altre impostazioni per modificare il risultato.

Salvare i tuoi workflow

Salva i workflow che intendi riutilizzare. Un workflow contiene il grafo dei nodi e le sue impostazioni, ma non necessariamente i file dei modelli stessi. Tieni traccia di quali modelli e nodi personalizzati il workflow richiede.

Questo diventa particolarmente importante quando si sposta un workflow su un altro computer o desktop cloud. Potrebbe essere necessario installare gli stessi modelli e nodi personalizzati prima che il workflow venga eseguito correttamente.

Prova ComfyUI su DaDesktop

Non devi acquistare una nuova GPU solo per eseguire ComfyUI. Se il tuo computer attuale non ha risorse GPU sufficienti, puoi eseguire ComfyUI su un desktop cloud e utilizzarlo quando ne hai bisogno.

DaDesktop fornisce desktop cloud con risorse GPU dedicate per carichi di lavoro come la generazione di immagini e video con l'IA. Puoi installare ComfyUI, scaricare i modelli che desideri e creare i tuoi workflow senza aggiungere una GPU dedicata al tuo computer locale.

Scopri di più sulla generazione di immagini e video con l'IA su DaDesktop. Puoi anche visualizzare le GPU disponibili e scegliere una configurazione in base ai modelli e ai workflow che desideri eseguire.