Glossario NLP e LLM

Modulo inserito. Piccolo strato aggiunto dentro il modello e addestrato per specializzarlo su un compito, tenendo congelati i pesi originali.

Bias di attenzione. Metodo che penalizza linearmente l'attenzione in base alla distanza tra i token.

Studio del lessico. Esame delle unità lessicali di un testo per identificarne forma e funzione di base.

Studio delle forme. Scomposizione delle parole nei loro morfemi per analizzarne radice, prefissi e suffissi.

Maschera di attenzione. Filtro che impedisce a un token di considerare posizioni non valide, come i token di riempimento o, nei modelli causali, quelli futuri.

Pesi di attenzione. Coefficienti che indicano quanto ogni token influenza la rappresentazione di un altro.

Retro-traduzione. Metodo di aumento dati che traduce un testo in un'altra lingua e poi di nuovo nella prima.

Rappresentazione a sacco. Modello che conta le parole ignorando ordine e struttura sintattica del testo.

Autoencoder denoising. Modello seq2seq che impara ricostruendo testo volutamente corrotto in fase di addestramento.

Raggruppamento variabile. Composizione di lotti di lunghezza simile per ridurre il riempimento inutile.

Ricerca a fascio. Strategia che mantiene più sequenze candidate per trovare un'uscita complessivamente più probabile.

Banco di prova. Insieme standardizzato di compiti usato per confrontare le prestazioni dei modelli.

Encoder bidirezionale. Modello che apprende rappresentazioni leggendo il contesto a sinistra e a destra simultaneamente.

Similarità semantica. Metrica che valuta la qualità del testo confrontando embedding contestuali anziché parole esatte.

Codifica separata. Modello che vettorizza query e documenti indipendentemente per confronti rapidi su larga scala.

Distorsione del linguaggio. Tendenza del modello a riprodurre pregiudizi presenti nei dati di addestramento.

Metrica di traduzione. Punteggio che confronta gli n-grammi dell'output con quelli di traduzioni di riferimento.

Algoritmo di tokenizzazione. Tecnica che fonde iterativamente le coppie di simboli più frequenti per costruire un vocabolario di subword.

Affidabilità della confidenza. Corrispondenza tra la probabilità stimata dal modello e la reale correttezza.

Dimenticanza catastrofica. Perdita delle competenze precedenti quando un modello viene riaddestrato su nuovi dati.

Mascheramento causale. Vincolo che permette a ogni token di guardare solo i token precedenti durante la generazione.

Predizione del centro. Architettura di Word2Vec che predice una parola a partire dal suo contesto circostante.

Strategia in cui il modello, dopo una prima risposta, genera domande di verifica, vi risponde in modo indipendente e infine rivede la risposta iniziale alla luce di tali controlli. Riduce le allucinazioni introducendo un passo esplicito di auto-verifica.

Errore a caratteri. Variante del WER calcolata sui singoli caratteri anziché sulle parole.

Segmentazione sintattica. Raggruppamento di parole adiacenti in unità non sovrapposte come sintagmi nominali.

Alternanza di codice. Passaggio tra lingue diverse all'interno della stessa frase o conversazione.

Analisi a costituenti. Tecnica che scompone una frase in sintagmi annidati secondo una grammatica.

Decodifica vincolata. Generazione forzata a rispettare uno schema o una grammatica predefinita.

Ottimizzazione che memorizza gli stati interni calcolati per una porzione di prompt riutilizzata frequentemente, così da non ricomputarla a ogni richiesta. Riduce latenza e costo quando molte chiamate condividono un lungo prefisso comune, come istruzioni di sistema o documenti.

Estensione del contesto. Tecniche che permettono a un modello di gestire sequenze più lunghe di quelle di addestramento.

Decodifica contrastiva. Tecnica che migliora la qualità confrontando le uscite di un modello forte e uno debole.

Apprendimento contrastivo. Addestramento che avvicina coppie simili e allontana coppie diverse nello spazio.

Risoluzione dei riferimenti. Identificazione delle espressioni che si riferiscono alla stessa entità in un testo.

Attenzione incrociata. Meccanismo in cui il decoder attende le rappresentazioni prodotte dall'encoder.

Codifica congiunta. Modello che elabora insieme query e documento per stimarne la rilevanza con precisione.

Apprendimento graduale. Strategia che presenta esempi dal più semplice al più complesso durante l'addestramento.

Contaminazione dei dati. Presenza nei dati di addestramento di esempi del set di test, che falsa la valutazione.

Blocco di decodifica. Componente che genera la sequenza di output a partire dalle rappresentazioni e dai token già prodotti.

Recupero denso. Ricerca che confronta embedding vettoriali invece di parole chiave esatte.

Analisi delle dipendenze: tecnica di parsing sintattico che individua i legami grammaticali diretti tra le parole di una frase, collegando ogni termine a una testa (head) e costruendo un albero di relazioni etichettate come soggetto, oggetto o modificatore.

Detokenizzazione: processo inverso della tokenizzazione che riassembla una sequenza di token in una stringa di testo leggibile, ripristinando spazi, punteggiatura e maiuscole secondo le regole del tokenizzatore utilizzato.

Direct Preference Optimization (DPO): metodo di allineamento che ottimizza direttamente un modello linguistico sulle preferenze umane, a partire da coppie di risposte preferita e rifiutata, senza addestrare un modello di ricompensa separato né usare reinforcement learning come nell'RLHF.

Distillazione della conoscenza: tecnica di compressione in cui un modello piccolo (studente) viene addestrato a imitare le uscite di uno più grande (insegnante), apprendendo dalle sue distribuzioni di probabilità per ottenere prestazioni simili con meno risorse.

Document chunking: suddivisione di testi lunghi in frammenti più piccoli (chunk) di dimensione gestibile, spesso con parziale sovrapposizione, per consentire indicizzazione e recupero efficienti nei sistemi di retrieval e nelle pipeline RAG.

ELECTRA: modello encoder pre-addestrato con il compito di replaced token detection, in cui un generatore sostituisce alcuni token e il modello impara a distinguere quelli reali da quelli sostituiti; applicando la supervisione a tutti i token risulta più efficiente del masked language modeling.

ELMo (Embeddings from Language Models): rappresentazioni di parole contestuali che variano in base alla frase, ottenute combinando gli stati interni di una rete ricorrente biLSTM profonda pre-addestrata come modello linguistico.

Embedding semantico: rappresentazione numerica di un testo come vettore in uno spazio multidimensionale, costruita in modo che testi con significato simile risultino vicini, permettendo di misurarne la similarità tramite distanze o coseno.

Encoder: componente di una rete neurale che trasforma una sequenza di input in una rappresentazione interna densa e ricca di contesto; nei transformer usa l'attenzione bidirezionale per codificare ogni token tenendo conto dell'intera sequenza.

Exact Match (EM): metrica di valutazione binaria che assegna punteggio pieno solo quando la risposta generata coincide esattamente con quella di riferimento, in genere dopo una normalizzazione di spazi, punteggiatura e maiuscole.

F1 a livello di token: metrica che tratta risposta e riferimento come insiemi di token e calcola la media armonica tra precisione e richiamo sui token condivisi, premiando le sovrapposizioni parziali; è usata per esempio nel benchmark SQuAD.

Faithfulness (fedeltà): nella valutazione dei sistemi RAG, grado in cui una risposta generata resta ancorata alle fonti fornite, senza aggiungere affermazioni non supportate dal contesto o inventate (allucinazioni).

FastText: libreria e modello di word embedding di Facebook AI che estende Word2Vec rappresentando ogni parola come somma dei vettori dei suoi n-grammi di caratteri; questo consente di gestire parole rare e fuori vocabolario sfruttando la morfologia.

Feed-forward network: sottostrato di un blocco transformer costituito da una rete pienamente connessa applicata in modo indipendente a ogni posizione della sequenza, tipicamente due trasformazioni lineari con una non linearità interposta.

Flash attention: implementazione esatta e IO-aware dell'attenzione che, tramite tiling e fusione delle operazioni, riduce gli accessi alla memoria ad alta larghezza di banda della GPU, accelerando il calcolo e abbassando l'uso di memoria sulle sequenze lunghe.

Function calling: capacità di un modello linguistico di produrre, in risposta a una richiesta, l'invocazione strutturata (in genere in formato JSON) di uno strumento o funzione esterna, con nome e argomenti, per interagire con sistemi e dati esterni.

GloVe (Global Vectors): modello di word embedding non supervisionato che costruisce i vettori di parola a partire dalle statistiche globali di co-occorrenza in un corpus, fattorizzando la matrice dei conteggi per catturare relazioni semantiche.

GPT-2: modello linguistico decoder-only basato su transformer rilasciato da OpenAI nel 2019 e addestrato a predire il token successivo; ha mostrato la capacità di generare testo coerente su larga scala e buone prestazioni zero-shot su vari compiti.

Gradient accumulation: tecnica di addestramento che somma i gradienti calcolati su più mini-batch consecutivi prima di aggiornare i pesi, simulando un batch di dimensione maggiore senza superare i limiti di memoria della GPU.

Greedy decoding: strategia di generazione che a ogni passo seleziona in modo deterministico il token con probabilità più alta, senza esplorare alternative; è veloce ma può produrre testi ripetitivi o subottimali rispetto a beam search o campionamento.

Grouped-query attention (GQA): variante dell'attenzione multi-testa in cui gruppi di teste di query condividono le stesse teste di chiave e valore; riduce la dimensione della cache KV e la banda di memoria in inferenza, con qualità vicina all'attenzione multi-testa completa.

Hidden state (stato nascosto): rappresentazione vettoriale interna prodotta da uno strato di una rete neurale per ogni token, che codifica le informazioni apprese fino a quel punto e viene passata allo strato successivo.

Hybrid search (ricerca ibrida): approccio di recupero che combina la ricerca densa basata su embedding vettoriali con quella sparsa basata su termini (come BM25), fondendo i risultati per unire comprensione semantica e corrispondenza lessicale esatta.

HyDE (Hypothetical Document Embeddings): tecnica di recupero in cui un LLM genera un documento ipotetico che risponde alla query, il cui embedding serve a cercare nell'indice; il testo fittizio, pur impreciso nei dettagli, migliora il recupero dei documenti rilevanti.

Jailbreak: tecnica che, tramite prompt costruiti ad arte, induce un modello linguistico ad aggirare le proprie regole di sicurezza e i filtri, portandolo a produrre contenuti che le sue politiche normalmente vietano.

KV cache (cache chiave-valore): meccanismo che memorizza i tensori di chiave e valore già calcolati per i token precedenti durante la generazione autoregressiva, evitando di ricalcolarli a ogni passo e velocizzando così l'inferenza.

Label smoothing: tecnica di regolarizzazione che sostituisce le etichette target rigide (uno per la classe corretta, zero per le altre) con una distribuzione ammorbidita, riducendo l'eccessiva sicurezza del modello e migliorandone la generalizzazione.

Layer normalization: tecnica che normalizza le attivazioni di ogni token in modo indipendente sulle sue feature, riportandole a media zero e varianza unitaria con parametri appresi di scala e traslazione; stabilizza e accelera l'addestramento dei transformer.

Lemmatizzazione: tecnica di normalizzazione linguistica che riconduce ogni parola alla sua forma base canonica (il lemma) usando dizionari e regole morfologiche e tenendo conto della categoria grammaticale; a differenza dello stemming produce forme reali.

Llama: famiglia di modelli linguistici decoder-only basati su transformer sviluppata da Meta e rilasciata a pesi aperti, distribuita per la ricerca e per l'uso applicativo secondo una licenza dedicata.

LLM-as-a-judge: pratica di valutazione automatica in cui un modello linguistico di grandi dimensioni giudica la qualità delle risposte prodotte da un altro modello, assegnando punteggi o preferenze secondo criteri definiti in un prompt.

Logit: valore numerico grezzo e non normalizzato prodotto dallo strato finale di un modello per ciascun token del vocabolario, che viene poi trasformato in una distribuzione di probabilità tramite la funzione softmax.

Logit bias: parametro che aggiunge un valore fisso ai logit di token specifici prima del campionamento, aumentando o riducendo la loro probabilità di essere generati; permette di favorire o scoraggiare determinate parole in output.

Long-context model: modello linguistico progettato per elaborare finestre di contesto molto ampie, da decine di migliaia fino a milioni di token, mantenendo la coerenza tra parti distanti del testo grazie ad attenzione e codifica posizionale adeguate.

LoRA (Low-Rank Adaptation): tecnica di fine-tuning efficiente che congela i pesi originali del modello e addestra solo piccole matrici aggiuntive a basso rango inserite negli strati, riducendo drasticamente i parametri da aggiornare e la memoria richiesta.

Masked Language Modeling (MLM): obiettivo di pre-addestramento, reso celebre da BERT, in cui alcuni token della frase vengono mascherati in modo casuale e il modello deve predirli sfruttando il contesto bidirezionale circostante.

Matrice di co-occorrenza: tabella che registra quante volte ogni coppia di parole compare insieme entro una finestra di contesto in un corpus; è alla base dei metodi di rappresentazione distribuzionale come GloVe.

METEOR: metrica di valutazione per la traduzione automatica che allinea le parole tra output e riferimento considerando corrispondenze esatte, radici (stemming) e sinonimi, e penalizza le differenze di ordine; correla con i giudizi umani meglio del BLEU.

Min-p sampling: strategia di campionamento che scarta i token la cui probabilità è inferiore a una frazione (min-p) della probabilità del token più probabile; la soglia si adatta alla fiducia del modello, restringendo o ampliando l'insieme dei candidati.

Famiglia di modelli linguistici open-weight sviluppata da Mistral AI: il modello 7B introduce grouped-query attention e sliding window attention per unire buone prestazioni a costi di calcolo e memoria contenuti.

Tecnica di addestramento che combina numeri in bassa precisione (come FP16 o BF16) e alta precisione (FP32) per accelerare i calcoli e ridurre l'uso di memoria, mantenendo la stabilita numerica tramite accumuli e scaling in FP32.

Benchmark che valuta conoscenza e ragionamento dei modelli linguistici con domande a scelta multipla su 57 materie, dalla matematica al diritto alla medicina. E un riferimento diffuso per confrontare i modelli, pur esposto al rischio di contaminazione dei dati di test.

Tecnica che combina i pesi di più modelli addestrati separatamente in un unico modello, ad esempio mediando i parametri, per fondere competenze diverse senza un nuovo addestramento completo. Permette di unire specializzazioni ottenute da fine-tuning distinti a costo ridotto.

Architettura Transformer che usa solo lo stack decoder e genera testo in modo autoregressivo, predicendo un token alla volta condizionato sui precedenti tramite attenzione mascherata. E la base dei modelli generativi come la famiglia GPT.

Architettura Transformer che usa solo lo stack encoder e trasforma l'input in rappresentazioni contestuali bidirezionali, senza generare testo. E adatta a compiti di comprensione come classificazione e riconoscimento di entità; BERT ne e l'esempio tipico.

Architettura encoder-decoder che mappa una sequenza di input in una sequenza di output di lunghezza anche diversa: l'encoder codifica l'input, il decoder genera l'output. E usata per traduzione, riassunto e altri compiti di trasformazione del testo.

Meccanismo del Transformer che esegue più operazioni di attenzione in parallelo, ciascuna con proiezioni distinte di query, key e value, per catturare relazioni diverse tra i token; i risultati delle teste vengono poi concatenati e proiettati.

Capacità di un modello linguistico di comprendere e generare testo in più lingue, spesso grazie a un addestramento su corpora multilingue e a un vocabolario condiviso, che consente anche un certo trasferimento di competenze tra lingue diverse.

Sequenza contigua di n elementi consecutivi, tipicamente parole o caratteri, estratta da un testo. I modelli linguistici a n-grammi stimano la probabilità di un elemento a partire dai n-1 precedenti e sono un approccio statistico classico al linguaggio.

Test di valutazione dei modelli a contesto lungo in cui un'informazione specifica viene nascosta in un testo molto esteso e si verifica se il modello riesce a recuperarla. Misura quanto efficacemente il modello sfrutta l'intera finestra di contesto, non solo le sue estremita.

Tecnica di addestramento, introdotta in word2vec, che approssima la funzione di costo distinguendo la coppia osservata da alcuni esempi negativi campionati a caso, invece di normalizzare sull'intero vocabolario, riducendo così il costo computazionale.

Compito di pre-addestramento usato in BERT in cui il modello riceve due frasi e deve predire se la seconda segue effettivamente la prima nel testo originale oppure e stata scelta a caso, così da apprendere relazioni tra frasi.

Insieme di trasformazioni che riportano il testo a una forma standard, ad esempio conversione in minuscolo, gestione uniforme di accenti e punteggiatura, rimozione di spazi superflui. Precede spesso la tokenizzazione nelle pipeline di NLP.

Rappresentazione di una parola come vettore lungo quanto il vocabolario, con un solo elemento pari a 1 in corrispondenza della parola e tutti gli altri a 0. E sparsa e non cattura la similarità semantica, a differenza degli embedding densi.

Aggiunta di token speciali di riempimento alle sequenze più corte per portarle tutte alla stessa lunghezza, così da poterle elaborare in batch. Una maschera di attenzione indica al modello di ignorare le posizioni di padding.

Parameter-Efficient Fine-Tuning: famiglia di tecniche che adatta un modello pre-addestrato aggiornando solo una piccola frazione dei parametri, o aggiungendone di nuovi, e lasciando congelato il resto. Riduce costi di calcolo e memoria; comprende metodi come LoRA e prefix tuning.

Metrica che valuta un modello linguistico misurando quanto e incerto nel predire una sequenza di test; corrisponde all'esponenziale della cross-entropy media per token. Valori più bassi indicano previsioni migliori.

Operazione che aggrega i vettori dei singoli token in un'unica rappresentazione di lunghezza fissa per una frase o un documento, ad esempio con la media (mean pooling), il massimo o l'uso del token speciale di classificazione.

Part-of-speech tagging: compito che assegna a ciascuna parola di un testo la sua categoria grammaticale, come nome, verbo, aggettivo o preposizione, tenendo conto del contesto per risolvere le ambiguita.

Informazione aggiunta agli embedding dei token per rappresentarne la posizione nella sequenza, necessaria perché l'attenzione del Transformer e di per se invariante all'ordine. Può essere fissa, con funzioni sinusoidali, oppure appresa.

Tecnica di fine-tuning efficiente che antepone una sequenza di vettori continui addestrabili, il prefisso, all'input di ogni strato del Transformer, ottimizzando solo tali vettori e lasciando congelati i pesi del modello.

Attacco alla sicurezza dei modelli linguistici in cui un aggressore inserisce istruzioni malevole nel testo di input, o in dati esterni recuperati, per aggirare le istruzioni originali e alterare il comportamento del modello.

Struttura riutilizzabile di prompt con segnaposto in cui inserire input variabili, così da formulare le richieste al modello in modo coerente e ripetibile per un dato compito. E alla base delle pipeline di prompting.

Tecnica di fine-tuning efficiente che apprende un insieme di vettori di prompt continui, detti soft prompt, anteposti all'input, lasciando completamente invariati i pesi del modello pre-addestrato e ottimizzando solo questi vettori.

Tecnica di compressione che elimina dal modello i parametri o le connessioni meno influenti, riducendone dimensione e costo computazionale. Può essere non strutturata, su singoli pesi, o strutturata, su interi neuroni, teste o strati.

Variante efficiente di LoRA che effettua il fine-tuning applicando adattatori a basso rango su un modello base quantizzato a 4 bit, riducendo drasticamente la memoria necessaria senza addestrare i pesi originali.

Tecnica di compressione che rappresenta i pesi, ed eventualmente le attivazioni, di un modello con un numero ridotto di bit, ad esempio da 32 a 8 o 4 bit, per risparmiare memoria e accelerare l'inferenza con una minima perdita di qualità.

I tre vettori che ogni token produce nel meccanismo di attenzione: la query interroga, le key vengono confrontate con essa per calcolare i pesi di attenzione e i value forniscono il contenuto che viene combinato secondo tali pesi.

ReAct (Reasoning and Acting): schema di prompting per agenti che alterna passi di ragionamento espressi in linguaggio naturale e azioni verso strumenti esterni, usando le osservazioni ottenute per guidare i passi successivi.

Pratica di valutazione della sicurezza in cui si sollecita deliberatamente un modello con input ostili o ingannevoli per scoprirne vulnerabilita, output dannosi o comportamenti indesiderati prima del rilascio.

Parametro di decodifica che riduce la probabilità di generare nuovamente token già comparsi nel testo, per contrastare ripetizioni e cicli. Un valore troppo alto può pero penalizzare parole legittimamente frequenti.

Tecnica che, dato un insieme di documenti recuperati da un primo sistema di ricerca, ne riordina i risultati usando un modello più preciso che ne valuta la rilevanza rispetto alla query. E usata nelle pipeline di retrieval e RAG.

Collegamento che somma l'input di un sotto-strato alla sua uscita (skip connection), facilitando il flusso del gradiente e l'addestramento di reti profonde. Nel Transformer accompagna ogni blocco di attenzione e feed-forward.

Componente di una pipeline di recupero che riordina i documenti candidati restituiti dalla ricerca iniziale, assegnando a ciascuno un punteggio di rilevanza più accurato rispetto alla query, spesso tramite un modello cross-encoder.

Variante di BERT (Robustly Optimized BERT Approach) addestrata più a lungo, con batch più grandi e molti più dati, che rimuove il compito di next sentence prediction e adotta il masking dinamico, ottenendo prestazioni migliori.

Rotary Position Embedding: tecnica che codifica la posizione ruotando i vettori query e key di un angolo proporzionale all'indice del token. Il prodotto scalare dell'attenzione dipende così dalla posizione relativa tra i token.

Sinonimo di RoPE: metodo di codifica posizionale che incorpora la posizione dei token applicando rotazioni ai vettori query e key nell'attenzione, in modo che le relazioni dipendano dalla distanza relativa tra le posizioni.

Recall-Oriented Understudy for Gisting Evaluation: insieme di metriche che valutano riassunti e testi generati misurando la sovrapposizione di n-grammi e sottosequenze con uno o più testi di riferimento. E molto usata nel riassunto automatico.

Campionamento casuale. Generazione che estrae il token successivo secondo la distribuzione di probabilità del modello.

Auto-attenzione. Meccanismo in cui ogni token pesa la rilevanza di tutti gli altri token della stessa sequenza.

Coerenza interna. Tecnica che genera più ragionamenti e sceglie la risposta più frequente tra essi.

Vettore di frase. Rappresentazione numerica che cattura il significato complessivo di un'intera frase.

Tokenizzatore agnostico. Sistema che tratta il testo come flusso grezzo di byte o caratteri, senza dipendere da spazi o lingua specifica.

Misura angolare. Indice che valuta la vicinanza tra due vettori in base all'angolo che li separa.

Predizione del contesto. Architettura di Word2Vec che predice le parole di contorno data una parola centrale.

Attenzione a finestra. Meccanismo che limita ogni token ad attendere solo i vicini entro una finestra fissa.

Normalizzazione probabilistica. Funzione che converte i logit in una distribuzione di probabilità sui token.

Recupero sparso. Ricerca basata su corrispondenza di termini e pesi come nei modelli a parole chiave.

Token di controllo. Simbolo riservato come inizio sequenza o separatore che guida il comportamento del modello.

Decodifica speculativa. Tecnica che usa un modello piccolo per proporre token poi verificati dal modello grande.

Riduzione alla radice. Tecnica che taglia i suffissi delle parole per ricondurle a una forma comune approssimata.

Prompt a ritroso. Strategia che invita il modello a generalizzare il problema prima di affrontarlo.

Parole vuote. Termini molto frequenti come articoli e preposizioni spesso rimossi perché poco informativi.

Output strutturato. Generazione vincolata a un formato preciso come JSON conforme a uno schema.

Unità intermedia. Frammento di parola più piccolo del termine ma più grande del carattere, usato per gestire termini rari.

Regolarizzazione subword. Tecnica che varia la tokenizzazione durante l'addestramento per maggiore robustezza.

Affinamento supervisionato. Fase in cui il modello impara da coppie di istruzioni e risposte etichettate.

Tutto testo-a-testo. Modello che riformula ogni compito linguistico come trasformazione da testo di input a testo di output.

Forzatura del docente. Tecnica che alimenta il token corretto invece di quello predetto durante l'addestramento.

Pesatura dei termini. Misura che valorizza le parole frequenti in un documento ma rare nell'intera collezione.

Suddivisione minima. Approccio che spezza il testo nei singoli caratteri anziché in parole o subword.

Suddivisione lessicale. Approccio che separa il testo in parole intere usando spazi e punteggiatura.

Segmentazione in frasi. Suddivisione di un testo nelle sue singole frasi individuando i confini di senso.

Campionamento top-k. Tecnica che limita la scelta ai k token più probabili prima di campionare.

Rilevamento tossicità. Identificazione automatica di linguaggio offensivo o dannoso nei testi.

Albero di pensieri. Strategia che esplora più percorsi di ragionamento ramificati prima di concludere.

Troncamento sequenza. Taglio del testo che eccede la lunghezza massima ammessa dal modello.

Tokenizzazione probabilistica. Metodo che parte da un vocabolario ampio e rimuove i token meno utili secondo un modello unigramma.

Insieme dei simboli. Elenco finito di unità testuali che un modello sa riconoscere e produrre.

Parola sconosciuta. Termine non presente nel vocabolario, gestito con token speciali o subword.

Riscaldamento iniziale. Fase in cui il tasso di apprendimento cresce gradualmente all'inizio dell'addestramento.

Tasso di errore. Misura della trascrizione che conta inserimenti, cancellazioni e sostituzioni rispetto al riferimento.

Disambiguazione semantica. Scelta del significato corretto di una parola polisemica in base al contesto.

Embedding di parole. Modello che apprende vettori densi associando parole a contesti tramite reti neurali superficiali.

Tokenizzazione a subword. Metodo usato da BERT che divide le parole in unità scelte massimizzando la verosimiglianza del corpus.

Permutazione autoregressiva. Modello che predice i token considerando tutti gli ordini possibili della sequenza.