写神经网络，想保存当前状态，调试三个小时都没搞定，烦啊。似乎总是有变量忘记存，但是不知道是哪个。（程序可以正常运行）

如果有朋友想挑战一下，可以看这个，我把代码复制上来了： https://paste.ubuntu.com/p/jRWr4dfhqg/（没问题的代码略去了）
（ Andrej Karpathy 写的字符循环神经网络）

其中 vocab_size, seq_length, data, hidden_size, char_to_ix, ix_to_char, learning_rate 是常量，不会出问题；
n, p, Wxh, Why, Whh, bh, by, hprev, smooth_loss, mWxh, mWhh, mWhy, mbh, mby 是我识别出来的参数，我都用 numpy.save/load 或者 json 保存和读取了，不会出错。现在找漏掉的变量，但是死活找不到……

yanhh

2020-12-26 02:09:30 +08:00

昨晚跑了一晚上加上今天上午，训练了很多，结果因为这个问题一下子所有训练结果都损失了
见训练过程图： https://imgchr.com/i/rfUvDA （下午一点钟的时候损失函数又跳到很高就是因为这个）

Weixiao0725

2020-12-26 05:12:27 +08:00

请问你的 training dashboard 是用什么制作的？

yanhh

2020-12-26 08:52:30 +08:00

@Weixiao0725 我这个网络是直接 numpy 写的，所以这个仪表盘是自己写，用 Highcharts.js ；然后是用 web.py 写了一个本地的服务器跑起来。如果不用 numpy，用 tensorflow 写网络，就可以用它自带的 tensorflow dashboard.

jc89898

2020-12-26 09:05:50 +08:00 via iPhone

你干嘛要这样写呢？为啥不 z 写个 class

dick20cm

2020-12-26 16:33:40 +08:00

你好菜啊

YouLMAO

2020-12-26 17:53:53 +08:00 via Android

菜菜子

ofooo

2020-12-26 19:38:21 +08:00

把所有参数放在一个字典里，把保存和载入代码弄成自动遍历的。。。。。

810244966

2020-12-27 01:51:54 +08:00 via Android

备忘录模式

northisland

2020-12-29 13:35:45 +08:00

`param += -learning_rate * dparam / np.sqrt(mem + 1e-8) # adagrad update`

import pickle

with open("snapshot.pkl", "wb") as f:
pickle.dump(param)

厉害了，第一次看到用 numpy 来自己搞定 bp 的人。。。确定不用框架试试？

yanhh

2020-12-29 21:46:29 +08:00

@northisland 感谢，这代码不是我写的，是 Andrej Karpathy 写的字符循环神经网络。刚刚调试发现是因为 enumerate(set(...))不知为何在不同 Python 中实例顺序是随机的，而我用它来预处理输入，所以每次训练的输入都不一样= = 详见 https://www.v2ex.com/t/740130，我又发了个帖子

yanhh

2020-12-29 21:47:47 +08:00

@dick20cm
@YouLMAO 主要是懒= =今天一调就调出来了，之前不知道为什么没有去动它。