You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
Vladimir 96d18b4873 maybe more readable code 2 weeks ago
checkpoints update 2 months ago
data update 1 month ago
logs added padding mask 2 weeks ago
src maybe more readable code 2 weeks ago
.dockerignore IC 2 months ago
.gitattributes IC 2 months ago
.gitignore IC 2 months ago
Dockerfile IC 2 months ago
build.sh IC 2 months ago
readme.md dp and ddp update 2 weeks ago
start.sh IC 2 months ago

readme.md

Скрипты для обучения bert предсказанию кредитного дефолта по данным кредитных историй

https://ods.ai/competitions/dl-fintech-bki

# single gpu версия
CUDA_VISIBLE_DEVICES=0 python src/bert_training.py experiment_name
# data parallel версия 
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python src/bert_training_dp.py experiment_name
# distributed data parallel версия 
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --standalone --nproc-per-node=8 src/bert_training_ddp.py experiment_name

Логирование ведётся в tensorboard в папку ./logs/. В папку с логами при запуске копируется текущая версия скрипта. Чекпоинты моделей сохраняются в папку ./checkpoints/.

Разбиение на обучающую и тестовую выборки осуществляется скриптом train_test_split.py.