Calcolatore delle dimensioni del modello
Calcola l'impronta di memoria di un modello di machine learning in base al numero di parametri e alla precisione numerica.
Come utilizzare il calcolatore delle dimensioni del modello
- Inserisci il numero di parametri del modello in milioni.
- Seleziona la precisione numerica (FP32, FP16 o INT8).
- Fare clic su Calcola per ottenere le dimensioni del modello e la memoria di inferenza.
Casi d'Uso
- •Pianificazione dei requisiti GPU per la distribuzione del modello.
- •Confronto delle dimensioni dei modelli prima dell'acquisto dell'hardware.
- •Valutazione dei vantaggi della quantizzazione per l'implementazione edge.
- •Stima dei costi per la fornitura di modelli basati su cloud.
Formula
Dimensione modello (MB) = Parametri × byte_per_param / 1.048.576.
Domande Frequenti
Cos'è FP16 rispetto a INT8?
FP16 utilizza 2 byte per parametro (mezza precisione);
Perché la memoria di inferenza è più grande della dimensione del modello?
I tensori di attivazione durante il passaggio in avanti richiedono memoria aggiuntiva, in genere un sovraccarico del 30–50%.
Quanti parametri ha GPT-2?
GPT-2 large ha 774 milioni di parametri, richiedendo circa 1,5 GB in FP16.