这是一个创建于 966 天前的主题，其中的信息可能已经有所发展或是发生改变。
今天在 GitHub 上看到了 faceswap 这个换脸项目，兴致大发，在自己的 1070 Ti 显卡上试了一番。这个项目不错，感觉真的是把机器学习做到了开箱即用了。
于是我尝试把女朋友常跟着跳舞的 UP 主视频，那个 UP 主的脸换成我的脸，丧心病狂地准备让她看着我跳舞，哈哈。
现在还在跑模型训练，预计要……两三天，1070 Ti 这么拉垮了吗？我都闻到糊味了，话说搞机器学习的人都经常要等这么久吗？
 |
1
Merlini 2022-03-30 21:53:14 +08:00 via Android
深度学习实验室都用的 tesla v100 那种比较贵的卡吧，关键贵的卡可能也得跑几天，或者 google 的 tpu 。
不是 1070ti 拉，是算力要求太高了。 |
 |
2
villivateur OP @Merlini 话说如果不求质量的话，模型训练到一半停下来也能用？
|
 |
3
vopin 2022-03-30 22:22:14 +08:00 via iPhone
不清楚具体，一般用别人训练好的模型 inference 很快的吧，你这个必须从头训练吗
|
|
4
Merlini 2022-03-30 22:49:34 +08:00  1
@villivateur #2 对的，处理好 keyboardinterruptexception 能保存下来就能用。其实一开始的模型里面的 vector 全随机也能用，只是效果不好而已，训练的过程就是让模型里面的 vector 更逼近理想的结果。现在单纯用的话都是 fine-tuning 多，不需要训练那么长时间了，有些是完全不需要再训练直接开箱即用。
|
 |
5
hertzry 2022-03-31 00:06:34 +08:00 via Android
找找有没有预训练好的模型参数，直接下载下来。
|
 |
6
ekidona 2022-03-31 07:45:19 +08:00 via iPhone
我这边做真正的 training 一般是提交一个 kubeflow pipeline 到 aws 上，然后通常会拉起几十个 worker ，几百个 GPU 啥的。
|
|
7
ekidona 2022-03-31 07:46:16 +08:00 via iPhone
当然 train 一次都是几万刀的电费
|
 |
8
netnr 2022-03-31 08:32:30 +08:00 via Android 1
源动力实足
|
 |
9
yaphets666 2022-03-31 09:12:10 +08:00
我们是 5 张 3080
|
 |
10
vicalloy 2022-03-31 10:16:49 +08:00
机器学习很大程度上是算力的比拼，就是烧钱。
个人玩一般都是用预训练好的模型吧，为啥要自己从头训。 对 faceswap 不熟，你应当只是用预训练好的模型做推理吧。 |
|
11
villivateur OP |
 |
12
lizytalk 2022-03-31 20:08:11 +08:00 via iPhone
小数据测通模型，再跑大数据，等大数据结果的时间干别的
|
 |
13
pydiff 2022-03-31 21:21:07 +08:00 via iPhone
用了 4 张 v100 ，所有卡都是吃满状态，算了 17 天了都还没完，这玩意太耗性能了
|
 |
14
necomancer 2022-04-01 14:06:17 +08:00
1920x1080 是不行的，你试试 64x36 ，缩小 G 和 D 的 filter 个数，把 64 ，128 ，256 ，512 换成 8 ，16 ，32 ，64 ，训练起来就快多啦～无非是糊得抽象些，加油～
|
|
15
necomancer 2022-04-01 14:07:33 +08:00
卧槽我看了一下难道 faceswap 本来就是 64x64.....上 32x32 ？糊成头像(￣▽￣)
|
 |
16
RatioPattern 2022-04-04 06:27:53 +08:00 1
1070 系列当时镁光显存有质量问题，炼丹可能失败或者偏离太大可以往这方面考虑，已经踩坑..............
|
 |
17
shm7 2022-05-20 23:58:14 +08:00
所以，糊了没？
|
|
18
villivateur OP @shm7 糊了，满地狼藉
|
|
19
shm7 2022-05-21 14:50:45 +08:00
@villivateur 允悲。用 gpustat 或者 nvidia-smi 监测下使用率和温度，真的很考验散热。
|
Select Language