Lernratenrechner
Berechnen Sie die endgültige Lernrate nach der Anwendung von Schritt-, Exponential- oder Kosinus-Abfallsplänen.
So verwenden Sie den Lernratenrechner
- Geben Sie Ihre anfängliche Lernrate ein.
- Geben Sie die Anzahl der Trainingsepochen ein.
- Wählen Sie den Abklingtyp aus.
- Klicken Sie auf Berechnen, um die endgültige Lernrate und den endgültigen Zeitplan anzuzeigen.
Anwendungsfälle
- •Planung von Hyperparameter-Zeitplänen für Deep-Learning-Training.
- •Vergleich von Abklingstrategien für die Konvergenzgeschwindigkeit.
- •Dokumentation von Trainingskonfigurationen in ML-Experimenten.
- •Lehren von Konzepten zur Optimierung neuronaler Netze.
Formel
Schritt: lr = lr0 × 0,1^floor(epoch/30).
Häufig gestellte Fragen
Was ist ein Lernratenplan?
Ein Lernratenplan reduziert die Lernrate im Laufe der Zeit, um die Konvergenz des Modells zu einem besseren Minimum zu unterstützen.
Welche Zerfallsart sollte ich verwenden?
Cosinus-Annealing ist für Deep Learning beliebt;
Was ist eine typische anfängliche Lernrate?
Übliche Werte liegen je nach Optimierer und Modellarchitektur zwischen 0,0001 und 0,01.