You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
Vladimir 96d18b4873 maybe more readable code 10 months ago
checkpoints update 11 months ago
data update 11 months ago
logs added padding mask 10 months ago
src maybe more readable code 10 months ago
.dockerignore IC 11 months ago
.gitattributes IC 11 months ago
.gitignore IC 11 months ago
Dockerfile IC 11 months ago
build.sh IC 11 months ago
readme.md dp and ddp update 10 months ago
start.sh IC 11 months ago

readme.md

Скрипты для обучения bert предсказанию кредитного дефолта по данным кредитных историй

https://ods.ai/competitions/dl-fintech-bki

# single gpu версия
CUDA_VISIBLE_DEVICES=0 python src/bert_training.py experiment_name
# data parallel версия 
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python src/bert_training_dp.py experiment_name
# distributed data parallel версия 
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --standalone --nproc-per-node=8 src/bert_training_ddp.py experiment_name

Логирование ведётся в tensorboard в папку ./logs/. В папку с логами при запуске копируется текущая версия скрипта. Чекпоинты моделей сохраняются в папку ./checkpoints/.

Разбиение на обучающую и тестовую выборки осуществляется скриптом train_test_split.py.