本站由于前段时间遭受到大量临时和国外邮箱注册，所以对可注册的邮箱类型进行了限制！
如果觉得本站的内容有帮助，可以考虑打赏博主哦！
感谢大家访问本站，希望本站的内容可以帮助到大家！
欢迎大家交换友链，可在https://www.stubbornhuang.com/申请友情链接进行友链交换申请！
本站会放置Google广告用于维持域名以及网站服务器费用。
问题反馈可发送邮件到stubbornhuang@qq.com
计算机图形学与计算几何经典必备书单整理，下载链接可参考：https://www.stubbornhuang.com/1256/
在本站开通年度VIP，无限制下载本站资源和阅读本站文章
工资「喂饱肚子」，副业「养活灵魂」！

nohub后台运行AI训练进程与指定训练GPU和环境变量

StubbornHuang 建站运维发布于2024-11-30 阅读 1,414次 0次评论 0次点赞本文共860个字，阅读需要3分钟。

1 Ubuntu使用nohub后台运行训练程序

我在这篇文章Centos7 – nohup方式优雅的部署jar包中已经详细介绍了如何使用nohub后台运行程序，在阅读以下内容之前先阅读这篇文章。

比如训练模型命令为：

python train.py

要使用nohub后台训练上述模型，我们新建两个个shell脚本，start_train.sh，stop_train.sh。

其中start_train.sh内容为

#! /bin/bash
#注意：必须有&让其后台执行，否则没有pid生成   jar包路径为绝对路径
nohup python train.py > ./train_log.txt 2>&1 &

# 将jar包启动对应的进程pid写入文件中，为停止时提供pid
echo $! > ./train_pid.txt

stop_train.sh内容为

#! /bin/bash
PID=$(cat ./train_pid.txt)
kill -9 $PID

这样就可以通过

bash start_train.sh

启动模型训练进程，通过

bash stop_train.sh

终止模型训练程序。

如果要查看训练中的实时日志，可以使用以下命令

tail -f ./train_log.txt

2 nohub在启动后台时制定GPU

我们经常通过以下命令在有多个GPU的情况下指定训练时所使用的GPU

CUDA_VISIBLE_DEVICES=0 python train.py

如果要想在nohub中使用，则需要修改start_train.sh的内容，以下为修改的内容

#! /bin/bash
#注意：必须有&让其后台执行，否则没有pid生成   jar包路径为绝对路径
CUDA_VISIBLE_DEVICES=0 nohup python train.py > ./train_log.txt 2>&1 &

# 将jar包启动对应的进程pid写入文件中，为停止时提供pid
echo $! > ./train_pid.txt

就是将CUDA_VISIBLE_DEVICES=0放在nohub之前即可，其他的环境变量设置也可以通过放在nohub之前进行设置。

欢迎扫码关注我的微信公众号，及时获取文章更新