Glossario Deep Learning

Tecnica di risparmio memoria che nel forward conserva solo un sottoinsieme delle attivazioni e ricalcola le altre durante il backward invece di memorizzarle. Scambia calcolo aggiuntivo con minor uso di memoria, permettendo reti più profonde o batch più grandi.

Variante dell'ottimizzatore Adam che disaccoppia il weight decay dall'aggiornamento basato sul gradiente, applicando la penalizzazione dei pesi separatamente anziché sommandola al gradiente come nella regolarizzazione L2. Migliora regolarizzazione e generalizzazione.

In una GAN, termine di perdita che misura quanto il generatore riesce a ingannare il discriminatore: il generatore la minimizza e il discriminatore la massimizza, in un gioco che spinge le uscite generate verso la distribuzione dei dati reali.

Rete neurale convoluzionale profonda di Krizhevsky, Sutskever e Hinton che vinse la ImageNet ILSVRC 2012 abbattendo l'errore di classificazione. Diffuse su larga scala l'uso di ReLU, dropout e addestramento su GPU, rilanciando il deep learning moderno.

Coefficienti, di norma normalizzati con una softmax così da sommare a uno, che indicano quanto ciascun elemento dell'input contribuisce a una data uscita. Definiscono la media pesata dei valori nel meccanismo di attenzione, evidenziando le parti più rilevanti.

Modello che genera una sequenza un elemento alla volta, stimando la probabilità di ciascun elemento condizionatamente a quelli già prodotti. La probabilità congiunta è fattorizzata come prodotto di condizionali; è alla base di modelli come GPT e PixelRNN.

Operazione di sottocampionamento che riduce la dimensione spaziale di una feature map sostituendo ogni regione locale con la media dei suoi valori. Diminuisce risoluzione e costo e conferisce una certa invarianza a piccole traslazioni.

Algoritmo che addestra le reti ricorrenti srotolandole lungo la sequenza temporale in una rete profonda equivalente e applicando la retropropagazione per calcolare i gradienti attraverso i passi. Può soffrire di gradienti che svaniscono o esplodono.

Elaborazione simultanea di più input raggruppati in un batch durante la predizione, per sfruttare il parallelismo dell'hardware (GPU/TPU) e aumentare il throughput. Si contrappone all'inferenza online su singolo esempio, ottimizzata per la latenza.

Strategia di decodifica che a ogni passo mantiene le k sequenze parziali più probabili (la 'beam'), espandendole e ripotandole. Bilancia qualità e costo tra la ricerca greedy e quella esaustiva nella generazione di sequenze.

Regione dell'input che influenza il valore di una singola unità in un dato layer: nelle CNN cresce con la profondità e con parametri come dimensione del kernel, stride e dilatazione. Determina quanta parte del segnale ciascun neurone 'vede'.

Architettura proposta da Sabour, Frosst e Hinton in cui gruppi di neuroni, le capsule, rappresentano entità codificandone in un vettore proprietà come posa e orientamento. Usa il routing per accordo tra capsule per preservare le relazioni spaziali.

Fenomeno per cui una rete addestrata in sequenza su nuovi compiti sovrascrive i pesi e perde bruscamente le competenze apprese in precedenza. È una sfida centrale del continual learning, mitigata con metodi come EWC o il replay dei dati.

Tecnica usata nei Transformer autoregressivi che, tramite una maschera, impedisce a ciascuna posizione di attendere ai token futuri, ammettendo l'attenzione solo alle posizioni precedenti e a sé stessa. Garantisce che la predizione dipenda solo dal passato.

Nelle reti LSTM, canale di memoria a lungo termine che attraversa i passi temporali con interazioni prevalentemente lineari, regolato dai gate di dimenticanza, ingresso e uscita. Il flusso quasi diretto attenua il problema del gradiente che svanisce.

Funzione di perdita, di norma combinata con la cross-entropy, che avvicina ciascuna rappresentazione al centro appreso della propria classe, riducendo la varianza intra-classe. Introdotta per il riconoscimento facciale per feature più discriminanti.

Tecnica per i modelli di diffusione condizionati che, senza un classificatore esterno, combina le predizioni condizionata e non condizionata dello stesso modello per amplificare l'aderenza al condizionamento, migliorando la fedeltà a scapito della diversità.

Variante di GAN in cui generatore e discriminatore ricevono un'informazione ausiliaria, come un'etichetta di classe, così da controllare quale tipo di dato viene generato. Consente la generazione condizionata anziché il campionamento casuale.

Nei modelli encoder-decoder con attenzione, vettore ottenuto come media pesata delle rappresentazioni dell'input, con pesi forniti dal meccanismo di attenzione. Riassume l'informazione rilevante dell'ingresso usata dal decoder per generare l'uscita corrente.

Autoencoder che aggiunge alla perdita di ricostruzione una penalizzazione sulla norma di Frobenius della matrice jacobiana della codifica rispetto all'input, rendendo la rappresentazione robusta e poco sensibile a piccole variazioni dei dati.

Approccio di apprendimento delle rappresentazioni, spesso auto-supervisionato, che avvicina nello spazio latente le rappresentazioni di viste correlate dello stesso dato (positivi) e allontana quelle di dati diversi (negativi). Alla base di SimCLR e MoCo.

Funzione di perdita per apprendimento metrico che, date coppie di esempi, minimizza la distanza tra rappresentazioni di coppie simili e forza quelle di coppie diverse oltre un margine prefissato, apprendendo embedding con struttura di similarità.

Schedulazione del learning rate che lo fa decrescere seguendo una funzione coseno da un valore iniziale a un minimo, talvolta con riavvii periodici (warm restarts). La discesa graduale spesso migliora la convergenza rispetto a un tasso costante.

Meccanismo di attenzione in cui le query provengono da una sequenza e chiavi e valori da un'altra, consentendo a un modulo (es. il decoder) di attingere informazioni da una fonte diversa (es. l'encoder). È il ponte tra encoder e decoder nei Transformer.

Tecnica di data augmentation che ritaglia una regione rettangolare da un'immagine e la incolla su un'altra, mescolando in proporzione all'area le rispettive etichette. Migliora robustezza e capacità di localizzazione rispetto al semplice ritaglio o a Mixup.

GAN per la traduzione immagine-immagine tra due domini senza coppie allineate di esempi. Usa due generatori e due discriminatori vincolati da una perdita di consistenza ciclica, che impone che ritradurre un'immagine al dominio d'origine la riporti a sé.

Architettura di GAN che impiega reti completamente convoluzionali con linee guida come convoluzioni strided/transposed, batch normalization e attivazioni ReLU/LeakyReLU, stabilizzando l'addestramento e generando immagini realistiche. Modello di riferimento.

Modello generativo (Denoising Diffusion Probabilistic Model) che definisce un processo diretto di graduale aggiunta di rumore gaussiano ai dati e addestra una rete a invertirlo passo per passo, generando campioni a partire da rumore puro.

Modello generativo profondo formato da più strati di variabili latenti, costruito impilando Restricted Boltzmann Machine e addestrato con un pre-training strato per strato non supervisionato. Fu chiave nella rinascita del deep learning intorno al 2006.

Convoluzione che apprende offset spaziali da sommare alle posizioni di campionamento della griglia del kernel, adattandone dinamicamente la forma alla geometria degli oggetti. Migliora la modellazione di trasformazioni e deformazioni nelle CNN.

Autoencoder addestrato a ricostruire un dato pulito a partire da una sua versione corrotta con rumore, così da apprendere rappresentazioni robuste che catturano la struttura sottostante dei dati anziché limitarsi a copiare l'input.

Rete convoluzionale in cui, all'interno di ogni blocco denso, ciascun layer riceve in ingresso le feature map concatenate di tutti i layer precedenti. Questa connettività favorisce il riuso delle feature, migliora il flusso del gradiente e riduce i parametri.

Convoluzione scomposta in due fasi: una depthwise che filtra separatamente ciascun canale e una pointwise 1x1 che ne combina le uscite. Riduce fortemente calcolo e parametri rispetto alla convoluzione standard, alla base di reti efficienti come MobileNet.

Funzione di perdita usata soprattutto in segmentazione, derivata dal coefficiente di Dice, che ottimizza direttamente la sovrapposizione tra la maschera predetta e quella reale. È robusta allo sbilanciamento tra classi di primo piano e sfondo.

Convoluzione (detta anche a trous) i cui elementi del kernel sono spaziati secondo un fattore di dilatazione, così da ampliare il campo recettivo senza aumentare i parametri né ridurre la risoluzione. Molto usata nella segmentazione semantica.

Iperparametro delle convoluzioni che introduce una spaziatura tra gli elementi del kernel: un valore maggiore di uno allarga il campo recettivo effettivo senza aggiungere parametri né costo, campionando l'input in modo più rado.

In una GAN, rete addestrata a distinguere i campioni reali provenienti dai dati da quelli sintetici prodotti dal generatore, emettendo la probabilità che un input sia reale. Il suo segnale guida, in modo avversario, il miglioramento del generatore.

Comportamento per cui l'errore di test, all'aumentare della capacità del modello, prima scende, poi risale intorno al punto di interpolazione e infine scende di nuovo nel regime sovra-parametrizzato. Contraddice la classica curva a U del compromesso bias-varianza.

Regolarizzazione per architetture con connessioni residue che durante l'addestramento azzera casualmente interi rami residui (percorsi) con una data probabilità, forzando la rete a non dipendere da singoli percorsi. Correlata alla stochastic depth.

Instradamento dinamico. Algoritmo che, nelle capsule network, decide quali capsule di basso livello attivano quelle superiori tramite accordo iterativo tra le predizioni.

Rete scalata in modo bilanciato. CNN che scala in modo uniforme profondità, larghezza e risoluzione tramite un unico coefficiente composto (compound scaling).

Unità lineare esponenziale. Funzione di attivazione che usa una curva esponenziale per i valori negativi, avvicinando la media delle attivazioni a zero e accelerando la convergenza.

Layer di embedding. Strato che trasforma indici discreti in vettori densi a dimensione fissa, appresi durante il training.

Spazio degli embedding. Spazio vettoriale in cui gli elementi sono rappresentati così che la vicinanza geometrica rifletta la similarità semantica.

Architettura encoder-decoder. Struttura in cui un encoder comprime l'input in una rappresentazione interna e un decoder genera l'output a partire da essa.

Modello basato sull'energia. Modello che associa a ogni configurazione un valore di energia e assegna probabilità maggiore alle configurazioni a energia minore.

Media mobile esponenziale dei pesi. Tecnica che mantiene una media smorzata dei parametri del modello per stabilizzare la valutazione e l'inferenza.

Mappa delle caratteristiche. Output di un canale di un layer convoluzionale che segnala la presenza di una determinata caratteristica nelle diverse posizioni dell'input.

Corrispondenza di caratteristiche. Tecnica per GAN che addestra il generatore a far coincidere le statistiche di attivazione di un layer intermedio del discriminatore con quelle dei dati reali.

Rete feedforward. Nel Transformer, sottolayer applicato a ogni posizione composto da due trasformazioni lineari con una non linearità intermedia.

Messa a punto. Fase in cui un modello pre-addestrato viene ulteriormente addestrato su un compito o dominio specifico, adattandone i pesi con nuovi dati.

Attenzione efficiente in memoria. Implementazione esatta dell'attenzione, IO-aware, che riduce gli accessi alla memoria ad alta banda accelerando il calcolo.

Perdita focale. Funzione di perdita che riduce il peso degli esempi facili per concentrare l'addestramento su quelli difficili, utile con classi fortemente sbilanciate.

Diffusione in avanti. Processo che aggiunge progressivamente rumore gaussiano ai dati in più passi, fino a trasformarli in rumore puro.

Meccanismo a gate. Componente che, con valori compresi tra zero e uno, regola quanta informazione lasciar passare o trattenere nella rete.

Funzione di attivazione GELU (Gaussian Error Linear Unit). Non linearità liscia usata nei Transformer che pesa ogni input per la probabilità data dalla CDF gaussiana.

Generatore di una GAN. Rete che, a partire da rumore casuale, produce dati sintetici cercando di ingannare il discriminatore.

Pooling medio globale. Operazione che riduce ogni feature map a un singolo valore calcolando la media di tutti i suoi elementi.

Unità lineare con gate (Gated Linear Unit). Componente che modula il flusso di informazione moltiplicando un segnale lineare per un gate sigmoideo appreso.

Rete Inception originale. Architettura CNN profonda costruita impilando moduli Inception, che riduce i parametri rispetto a reti equivalenti.

Accumulo del gradiente. Tecnica che somma i gradienti di più mini-batch prima di aggiornare i pesi, simulando batch più grandi con poca memoria.

Checkpoint del gradiente. Tecnica che, invece di conservarle, ricalcola alcune attivazioni durante la backpropagation per risparmiare memoria nel training.

Taglio del gradiente. Tecnica che limita la norma del gradiente entro una soglia per evitare aggiornamenti instabili e il fenomeno dell'esplosione del gradiente.

Penalità sul gradiente. Termine che vincola la norma del gradiente del discriminatore verso uno per imporre il vincolo di Lipschitz e stabilizzare le GAN.

Rete di attenzione su grafi. GNN che pondera i contributi dei nodi vicini tramite pesi di attenzione appresi, senza richiedere l'intera struttura del grafo in anticipo.

Convoluzione su grafo. Operazione che aggiorna la rappresentazione di ogni nodo combinando (aggregando) le caratteristiche dei nodi vicini.

Rete neurale su grafi. Modello che apprende rappresentazioni dei nodi propagando e aggregando informazioni lungo gli archi che connettono i nodi del grafo.

Decodifica avida. Strategia di generazione che sceglie a ogni passo il token più probabile, senza considerare l'effetto sulle scelte future.

Fenomeno in cui una rete neurale, dopo aver a lungo memorizzato i dati di training con scarsa generalizzazione, compie improvvisamente una transizione verso una soluzione che generalizza bene, molto oltre il punto di overfitting.

Normalizzazione a gruppi. Tecnica che normalizza le attivazioni suddividendo i canali in gruppi, con prestazioni indipendenti dalla dimensione del batch.

Unità ricorrente con gate (Gated Recurrent Unit). Variante semplificata della LSTM con meno gate ma prestazioni spesso comparabili.

Stato nascosto. Rappresentazione interna che una rete ricorrente mantiene e aggiorna a ogni passo mentre elabora una sequenza.

Rete autostradale. Architettura profonda con gate che regolano quanta informazione attraversa la trasformazione di un layer e quanta lo salta direttamente.

Modulo Inception. Blocco che applica in parallelo convoluzioni di dimensioni diverse (e pooling) e ne concatena gli output lungo i canali.

Normalizzazione per istanza. Tecnica che normalizza ogni canale di ogni esempio separatamente, utile nel trasferimento di stile.

Nucleo convoluzionale (o filtro). Piccola matrice di pesi che scorre sull'input per estrarre caratteristiche locali.

Perdita di divergenza KL. Termine che misura quanto la distribuzione latente si discosta da una distribuzione a priori, usato per regolarizzare i VAE.

Perdita di distillazione. Termine che addestra un modello piccolo (studente) a imitare le uscite morbide (soft target) di un modello più grande (insegnante).

Nei Transformer autoregressivi, memoria che conserva le chiavi e i valori dell'attenzione già calcolati per i token precedenti, così che a ogni nuovo passo la generazione non li ricalcoli, riducendo il costo per token e velocizzando l'inferenza.

Tecnica di regolarizzazione che sostituisce i target one-hot con una distribuzione ammorbidita, assegnando una piccola probabilità anche alle classi errate; riduce l'eccessiva sicurezza del modello e ne migliora calibrazione e generalizzazione.

Ottimizzatore per l'addestramento con batch molto grandi che combina gli aggiornamenti adattivi di Adam con un rapporto di fiducia calcolato per layer, permettendo di scalare il learning rate senza degradare la convergenza.

Modello generativo che esegue il processo di diffusione e denoising non sui pixel ma in uno spazio latente compresso da un autoencoder, riducendo il costo di calcolo e abilitando la sintesi di immagini ad alta risoluzione; è alla base di Stable Diffusion.

Tecnica che normalizza le attivazioni di un singolo esempio calcolando media e varianza su tutte le feature dello strato, indipendentemente dagli altri esempi del batch; stabilizza il training ed è centrale nelle RNN e nei Transformer.

Variante della ReLU che, invece di azzerare i valori negativi, li moltiplica per una piccola pendenza fissa (per esempio 0,01), mantenendo un gradiente non nullo per gli input negativi ed evitando così il problema dei neuroni morti.

Fase iniziale del training in cui il learning rate parte da un valore basso e cresce gradualmente fino a quello nominale nelle prime iterazioni, riducendo l'instabilità dovuta a gradienti grandi e imprecisi tipica dell'addestramento dei Transformer.

Rete neurale convoluzionale pionieristica proposta da LeCun, in particolare LeNet-5, progettata per il riconoscimento di cifre scritte a mano; alterna strati convoluzionali e di pooling ed è considerata capostipite delle CNN moderne.

Valori grezzi e non normalizzati prodotti dall'ultimo strato di una rete prima di essere convertiti in probabilità tramite softmax o funzione sigmoide; possono assumere qualsiasi valore reale, positivo o negativo.

Ottimizzatore che mantiene due insiemi di pesi: pesi veloci aggiornati da un ottimizzatore interno per k passi e pesi lenti spostati verso di essi per interpolazione lineare, riducendo la varianza e stabilizzando la traiettoria di ottimizzazione.

Ipotesi secondo cui una rete densa inizializzata casualmente contiene una sottorete sparsa che, addestrata isolatamente dalla stessa inizializzazione, raggiunge prestazioni paragonabili alla rete completa. Fornisce una base al pruning e alla ricerca di architetture efficienti.

Long Short-Term Memory: variante di rete ricorrente dotata di una cella di memoria e di gate (ingresso, dimenticanza, uscita) che regolano il flusso di informazione, mitigando il problema del gradiente evanescente e permettendo di apprendere dipendenze su lunghe sequenze.

Modello di apprendimento auto-supervisionato che maschera una porzione elevata delle patch di un'immagine e addestra un encoder-decoder a ricostruire i pixel mancanti, apprendendo rappresentazioni robuste e trasferibili a compiti a valle.

Operazione di sottocampionamento che divide la mappa delle feature in regioni e ne conserva solo il valore massimo, riducendo la dimensione spaziale e il numero di parametri e fornendo una certa invarianza a piccole traslazioni.

Unità che calcola più trasformazioni lineari dell'input e ne restituisce il massimo; potendo approssimare funzioni convesse arbitrarie, è in grado di apprendere la propria funzione di attivazione ed è progettata per operare bene con il dropout.

Meccanismo che, per ogni elemento da elaborare, calcola pesi di rilevanza sulle diverse parti dell'input e ne produce una combinazione pesata, permettendo al modello di concentrarsi sulle informazioni più utili; è alla base dei Transformer.

Schema di calcolo delle reti neurali su grafi in cui ogni nodo aggrega i messaggi provenienti dai nodi vicini e aggiorna il proprio stato; ripetuto su più iterazioni, propaga l'informazione lungo la struttura del grafo.

Funzione di attivazione liscia, continua e non monotona definita come x per tanh(softplus(x)); essendo illimitata superiormente evita la saturazione e, preservando piccoli valori negativi, può migliorare accuratezza e stabilità del training rispetto a ReLU.

Tecnica che esegue gran parte dei calcoli in virgola mobile a 16 bit mantenendo una copia dei pesi a 32 bit e uno scaling della loss, così da ridurre l'uso di memoria e accelerare il training sulle GPU moderne senza perdita rilevante di accuratezza.

Tecnica di data augmentation che genera nuovi esempi combinando linearmente coppie di input e le rispettive etichette con lo stesso coefficiente, incoraggiando un comportamento lineare tra gli esempi e migliorando generalizzazione e robustezza.

Famiglia di CNN efficienti pensate per dispositivi mobili ed embedded, che sostituiscono le convoluzioni standard con convoluzioni separabili in profondità per ridurre drasticamente calcolo e numero di parametri con una minima perdita di accuratezza.

Fallimento tipico dell'addestramento delle GAN in cui il generatore produce output poco vari, concentrandosi su pochi modi della distribuzione dei dati e ignorandone altri, anche al variare del rumore in ingresso.

Componente dei Transformer che esegue in parallelo più meccanismi di attenzione (teste) su proiezioni diverse di query, chiavi e valori e ne concatena i risultati, permettendo al modello di cogliere relazioni differenti in sottospazi distinti.

Variante dell'ottimizzatore Adam che incorpora il momento di Nesterov nel calcolo del primo momento, anticipando la direzione del gradiente per ottenere aggiornamenti più reattivi e una convergenza spesso più rapida.

Modello che interpreta la trasformazione degli stati nascosti come soluzione di un'equazione differenziale ordinaria parametrizzata da una rete, calcolata con solutori numerici; generalizza le reti residuali a una profondità continua.

Relazioni empiriche che descrivono come la perdita di un modello diminuisca in modo prevedibile, spesso secondo leggi di potenza, al crescere di parametri, dati e calcolo. Guidano la pianificazione degli addestramenti indicando come allocare al meglio le risorse.

Rappresentazione vettoriale a bassa dimensione di un nodo di un grafo che ne codifica ruolo strutturale e contesto di vicinato, in modo che nodi simili risultino vicini nello spazio; usata per classificazione, clustering e predizione di collegamenti.

Nei modelli di diffusione, funzione che determina la quantità di rumore aggiunta a ciascun passo del processo diretto e rimossa in quello inverso; la sua forma, per esempio lineare o a coseno, incide su qualità e stabilità della generazione.

Modello generativo che costruisce una distribuzione complessa applicando a una distribuzione semplice una sequenza di trasformazioni invertibili e derivabili, consentendo di calcolare esattamente la verosimiglianza tramite la formula del cambio di variabile.

Strategia di scheduling che, in un unico ciclo, fa crescere il learning rate fino a un massimo e poi lo fa calare al di sotto del valore iniziale, spesso variando il momento in senso opposto, per accelerare la convergenza (super-convergenza).

Aggiunta di valori, di solito zeri, ai bordi dell'input di una convoluzione per controllare la dimensione della mappa di output e preservare l'informazione ai margini; con il padding 'same' l'output mantiene la dimensione spaziale dell'input.

Variante della Leaky ReLU in cui la pendenza applicata ai valori negativi non è fissa ma è un parametro appreso durante il training, eventualmente distinto per canale; introdotta insieme all'inizializzazione He per reti profonde.

Funzione di costo che misura la differenza tra due immagini confrontando le feature estratte da una rete pre-addestrata anziché i pixel grezzi, catturando somiglianze percettive di alto livello; usata in super-risoluzione e trasferimento di stile.

Convoluzione con kernel 1x1 che combina linearmente i canali in ciascuna posizione spaziale senza mescolare pixel vicini; è la seconda fase della convoluzione separabile in profondità e serve a modificare il numero di canali.

Informazione aggiunta agli embedding dei token per indicarne la posizione nella sequenza, necessaria perché l'attenzione dei Transformer è di per sé invariante all'ordine; nella formulazione originale usa funzioni seno e coseno a frequenze diverse.

Le tre proiezioni lineari dell'input usate nell'attenzione: la query viene confrontata con le chiavi per calcolare i pesi, che pesano i valori nella somma finale; nell'attenzione scaled dot-product il prodotto query-chiave è scalato e passato a softmax.

Rete neurale per dati sequenziali che elabora un elemento alla volta mantenendo uno stato interno aggiornato a ogni passo e condividendo gli stessi pesi nel tempo; addestrata con backpropagation through time, soffre di gradienti evanescenti su sequenze lunghe.

Tecnica usata nei VAE che riscrive il campionamento da una distribuzione come funzione deterministica dei suoi parametri più un rumore esterno indipendente, rendendo l'operazione derivabile e permettendo di propagare il gradiente attraverso il campione.

Modulo, introdotto con le ResNet, che somma l'input di alcuni strati alla loro uscita tramite una connessione di scorciatoia (skip connection), facilitando il flusso del gradiente e permettendo di addestrare reti molto profonde senza degrado dell'accuratezza.

Architettura convoluzionale profonda che introduce connessioni residue (skip): ogni blocco apprende una funzione residua sommata al proprio ingresso, permettendo di addestrare reti con centinaia di layer senza il degrado dell'accuratezza.

Rete neurale generativa stocastica a due strati (visibile e nascosto) senza connessioni interne a ciascuno strato, che apprende una distribuzione di probabilità sui dati. E stata usata come blocco per il pre-addestramento delle deep belief network.

Processo generativo appreso che, partendo da puro rumore, lo rimuove gradualmente passo dopo passo fino a produrre un dato realistico; inverte il processo diretto di diffusione che aggiunge rumore progressivamente ai dati.

Rete ricorrente composta da due RNN che scorrono la sequenza in direzioni opposte; a ogni istante combina gli stati dei due versi così da sfruttare insieme il contesto passato e quello futuro. Adatta quando l'intera sequenza e disponibile.

Codifica posizionale che rappresenta la posizione ruotando i vettori query e chiave di un angolo proporzionale alla posizione; inserisce così la dipendenza posizionale relativa direttamente nel calcolo dell'attenzione. Introdotta con RoFormer.

Meccanismo di attenzione che calcola i prodotti scalari tra query e chiavi, li divide per la radice della dimensione delle chiavi per stabilizzare i gradienti, applica la softmax e pesa i valori corrispondenti. E il nucleo del Transformer.

Meccanismo in cui ogni elemento di una sequenza calcola pesi di attenzione verso tutti gli altri, se compreso, per costruire una rappresentazione che integra le relazioni con l'intero contesto. E il componente fondante dei Transformer.

Fase in cui il modello apprende da grandi quantita di dati non etichettati risolvendo compiti pretesto costruiti dai dati stessi (parole mascherate, porzioni da predire), producendo rappresentazioni riutilizzabili nei compiti a valle.

Architettura encoder-decoder che trasforma una sequenza di input in una sequenza di output di lunghezza variabile: l'encoder comprime l'input in una rappresentazione e il decoder genera l'output token per token. Usata per la traduzione automatica.

Aggiunta di token di riempimento alle sequenze più corte per uniformarne la lunghezza all'interno di un batch, così da poterle elaborare come un unico tensore; una maschera segnala i token fittizi affinché vengano ignorati dal modello.

Metodo di ottimizzazione che cerca minimi della funzione di perdita non solo bassi ma anche piatti, minimizzando la perdita in un intorno dei pesi anziché nel singolo punto. I minimi piatti tendono a correlarsi con una migliore generalizzazione del modello.

Architettura con due rami identici a pesi condivisi che elaborano due input separati e ne confrontano le rappresentazioni per misurarne la similarità; usata per la verifica di volti e firme e per il matching one-shot.

Collegamento che porta l'attivazione di un layer direttamente a uno più profondo bypassando quelli intermedi; facilita il flusso del gradiente e l'addestramento di reti profonde. E l'elemento chiave di ResNet e delle architetture a U.

Etichette espresse come distribuzioni di probabilità continue sulle classi anziché come singola classe netta; nella distillazione della conoscenza sono prodotte da un modello insegnante e trasferiscono informazione a un modello più piccolo.

Variante dell'attenzione che, invece di collegare ogni posizione a tutte le altre, calcola i pesi solo su un sottoinsieme selezionato di posizioni; riduce così il costo computazionale, tipicamente quadratico, nelle sequenze molto lunghe.

Autoencoder in cui un vincolo di sparsita forza solo poche unità latenti a essere attive per ciascun input; apprende così rappresentazioni compatte e più interpretabili delle caratteristiche presenti nei dati.

Tecnica che divide la matrice dei pesi per il suo massimo valore singolare (norma spettrale), imponendo un vincolo di Lipschitz sui layer; stabilizza l'addestramento delle GAN controllando la regolarita del discriminatore.

Modulo che ricalibra i canali di una feature map: comprime l'informazione spaziale in un descrittore per canale (squeeze) e ne apprende pesi di importanza (excitation) con cui riscalare i canali, enfatizzando quelli più informativi.

Rete convoluzionale compatta che raggiunge un'accuratezza paragonabile ad AlexNet con circa 50 volte meno parametri, grazie ai moduli fire che combinano filtri 1x1 e 3x3 per ridurre il numero di pesi. Pensata per contesti a risorse limitate.

Tecnica di regolarizzazione che durante l'addestramento salta casualmente interi blocchi residui, sostituendoli con l'identità; riduce la profondita effettiva e i tempi di training e migliora la generalizzazione delle reti molto profonde.

Passo con cui il kernel di convoluzione o di pooling si sposta sull'input a ogni applicazione; uno stride maggiore di uno riduce la dimensione spaziale dell'output sottocampionando la mappa delle caratteristiche.

Architettura GAN generativa che inietta lo stile a diverse risoluzioni tramite un vettore latente intermedio, consentendo di controllare separatamente i tratti grossolani e i dettagli fini delle immagini sintetizzate.

Funzione di attivazione liscia e non monotona definita come x moltiplicato per la sigmoide di x (self-gated); nelle reti profonde spesso migliora leggermente le prestazioni rispetto a ReLU. Nota anche come SiLU.

Tecnica di addestramento dei modelli sequenziali in cui, a ogni passo, si fornisce al decoder il token corretto di riferimento invece della sua previsione precedente; accelera la convergenza ma può creare disallineamento in inferenza.

Divisione dei logit per un parametro di temperatura prima della softmax: valori maggiori di 1 rendono la distribuzione più uniforme, minori di 1 più concentrata. Usata per calibrare la confidenza del modello o regolare la generazione.

Operazione che aumenta la dimensione spaziale di una feature map effettuando un upsampling appreso; usata nei decoder e nei generatori per ricostruire o generare immagini a risoluzione maggiore. Detta anche convoluzione frazionaria.

Funzione di perdita che opera su terne ancora-positivo-negativo e spinge l'ancora a essere più vicina al positivo che al negativo di almeno un margine prefissato; apprende embedding in cui la distanza riflette la similarità.

Architettura con tre rami a pesi condivisi che elaborano ancora, esempio positivo ed esempio negativo; addestrata con triplet loss, apprende uno spazio di embedding in cui i campioni simili risultano vicini e i dissimili lontani.

Architettura convoluzionale encoder-decoder a forma di U con connessioni skip che collegano i livelli di contrazione ai corrispondenti di espansione; progettata per la segmentazione di immagini pixel per pixel, in particolare in ambito biomedico.

Rete a U impiegata come spina dorsale nei modelli di diffusione: a ogni passo del processo inverso stima il rumore presente nell'immagine per rimuoverlo gradualmente. Le connessioni skip aiutano a preservarne i dettagli.

Rete convoluzionale profonda caratterizzata da un'architettura uniforme di piccoli filtri 3x3 impilati in sequenza con pooling progressivo; disponibile nelle varianti a 16 e 19 layer, e molto usata come estrattore di caratteristiche.

Variante di GAN che addestra il critico ad approssimare la distanza di Wasserstein tra distribuzione reale e generata; fornisce gradienti più stabili e informativi rispetto alla GAN classica e attenua il collasso dei modi.

Tecnica che media i parametri del modello raccolti in fasi diverse dell'addestramento invece di usare solo i pesi finali; tende a convergere verso soluzioni più piatte e migliora la generalizzazione, come nello Stochastic Weight Averaging.

Riparametrizzazione dei pesi che separa il modulo dalla direzione del vettore, ottimizzandoli in modo indipendente; disaccoppia la scala dal verso e accelera e stabilizza l'addestramento senza dipendere dalle statistiche del batch.

Riduzione della precisione numerica con cui sono rappresentati i pesi (per esempio da 32 bit a 8 bit o meno); diminuisce l'occupazione di memoria e accelera l'inferenza, di solito con una minima perdita di accuratezza.

Riuso degli stessi parametri in punti diversi della rete: nelle CNN lo stesso kernel scorre l'intera immagine, nelle RNN gli stessi pesi si ripetono a ogni passo temporale; riduce il numero di parametri e impone invarianze utili.

Tecnica che condivide un'unica matrice tra l'embedding dei token in ingresso e la proiezione lineare in uscita di un modello linguistico; riduce il numero di parametri e spesso migliora le prestazioni della rete.

Architettura convoluzionale che porta all'estremo l'idea di Inception sostituendone i moduli con convoluzioni separabili in profondita (depthwise separable); a parita di parametri migliora l'accuratezza rispetto a Inception-v3.