Non c'è un vantaggio nell'inferenza Non c'è stato dal 2023 con la compilazione dei modelli da torch 2.0 e la consolidazione ai transformers da DiT Nvidia perde il mercato dell'inferenza a lungo termine a favore di batch per ridurre il TCO (AMD) e in tempo reale (TPU, ASICS)