Batch Inference
Verificato
Significato di «Batch Inference»
Elaborazione simultanea di più input raggruppati in un batch durante la predizione, per sfruttare il parallelismo dell'hardware (GPU/TPU) e aumentare il throughput. Si contrappone all'inferenza online su singolo esempio, ottimizzata per la latenza.
Fonti: Predizione su lotti per massimizzare il throughput. Fonti: documentazione TensorFlow Serving (batching); documentazione PyTorch (inference/DataLoader). Verifica web 2026-08-03. · Verificato il 2026-08-03