1
Madcrow 2017-05-25 00:01:54 +08:00 via Android
梯度爆炸了吧
|
2
nixing123 OP @Madcrow 搜索了一下,梯度爆炸好像是深度神经网络才会出现的,我这个才一个隐层也会炸吗?= =,请问具体怎么解决呢?
|
3
cheroky 2017-05-25 00:23:36 +08:00
只试过 tensorflow 的,楼主提供代码哪里写了梯度下降,我并没有看懂,是 dw 那几行么。。。还有这种是不应该用 dummy variable ??把属性拓展到列,是哪个属性就在哪一列标 1。还发现一个问题是楼主应该想训练出那个表上各个属性的权重吧?为啥输入层就俩 w,俩 b
|
4
0asis 2017-05-25 00:24:34 +08:00 via iPhone
python 的话,有 nan 值可能是因为你数据本来就有 nan,然后在做矩阵计算的时候传染得所有数都变成了 nan
|
5
hu6360567 2017-05-25 06:38:16 +08:00 via iPhone
昨天新学了个词 过拟合?
|
6
miaoever 2017-05-25 06:58:28 +08:00 via iPhone
Nan 的话看看迭代的时候数据是不是有除零异常
|
7
clavichord93 2017-05-25 08:38:15 +08:00
梯度爆炸了。
|
8
yemenchun1 2017-05-25 08:45:29 +08:00 via iPhone
有没有随机初始化到一个小值啊,有没有矩阵求解时候低秩啊,信息太少不好诊断
|
9
aaronzjw 2017-05-25 09:13:15 +08:00
numpy 的 nan 会传播的,检查一下开始有没有 nan 吧
|
10
crackhopper 2017-05-25 10:32:44 +08:00
我看 BP 算法中,对偏置项 b 的更新 db 貌似不应该乘以矩阵吧。直接用 delta 就行了。
|
11
Morriaty 2017-05-25 10:46:52 +08:00
更新权重的时候,为什么要用`+=`?
还有,你那不是归一化,只能算 CategoricalEncode |
12
Madcrow 2017-05-25 11:01:11 +08:00 via Android
@nixing123 我也是菜鸟,我看原 bolg 的代码对输入和输出都做了归一化,你的输出没有归一化导致求出的 loss 太大吧
|
13
ipwx 2017-05-25 11:19:55 +08:00
我建议你用正经的框架写,比如 TensorFlow,而不是 NumPy 手撸,不然浪费你我的时间。
原因是这样的,你作为初学者,写出来的代码,无论是命名方式还是结构性都太差了(和违反 Neural Network 业内的 Best Practice ),懂的人看你的代码就好像 C++ 的老手看初学者仿照谭浩强的教材写出来的代码那么痛苦。 https://www.tensorflow.org |
14
IC0ZB 2017-05-25 11:49:04 +08:00
学习率太大了。
|
15
ruoyu0088 2017-05-25 21:14:11 +08:00
这种数据应该先用 statsmodels 或 sklearn 中的模型试试看。这里有 boston 房价的例子:
http://cs.smith.edu/dftwiki/index.php/Tutorial:_Playing_with_the_Boston_Housing_Data |
16
ruoyu0088 2017-05-25 21:25:26 +08:00
对于分类数据你需要进行 one hot 编码,例如 http://blog.csdn.net/bitcarmanlee/article/details/51472816
|