Есть ли способ сохранить или извлечь веса нейронной сети во время ее обучения?

Я запустил свой обучающий скрипт на 2 дня, но забыл сохранить файл весов для контрольных точек модели. Можно ли как-то извлечь веса без необходимости перезапускать обучение? Например, с помощью обратного вызова или чего-то еще. Я работаю на частном сервере GPU.

Я построил графики результатов во время обучения, и они выглядят многообещающе, но мне нужны веса сети.