V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
nixing123
V2EX  ›  Python

用神经网络做预测,训练出来的权值和阈值都是 nan 值,误差越训练越大,求解?

  •  
  •   nixing123 · 2017-05-24 23:26:20 +08:00 · 4577 次点击
    这是一个创建于 2740 天前的主题,其中的信息可能已经有所发展或是发生改变。
    论文题目选的这方面,自己也的确没有基础,参考了别人的代码,结果就悲剧了 = =
    代码和数据,在这里: http://bbs.csdn.net/topics/392171719
    请大家帮忙看看,感激不尽!
    16 条回复    2017-05-25 21:25:26 +08:00
    Madcrow
        1
    Madcrow  
       2017-05-25 00:01:54 +08:00 via Android
    梯度爆炸了吧
    nixing123
        2
    nixing123  
    OP
       2017-05-25 00:20:32 +08:00
    @Madcrow 搜索了一下,梯度爆炸好像是深度神经网络才会出现的,我这个才一个隐层也会炸吗?= =,请问具体怎么解决呢?
    cheroky
        3
    cheroky  
       2017-05-25 00:23:36 +08:00
    只试过 tensorflow 的,楼主提供代码哪里写了梯度下降,我并没有看懂,是 dw 那几行么。。。还有这种是不应该用 dummy variable ??把属性拓展到列,是哪个属性就在哪一列标 1。还发现一个问题是楼主应该想训练出那个表上各个属性的权重吧?为啥输入层就俩 w,俩 b
    0asis
        4
    0asis  
       2017-05-25 00:24:34 +08:00 via iPhone
    python 的话,有 nan 值可能是因为你数据本来就有 nan,然后在做矩阵计算的时候传染得所有数都变成了 nan
    hu6360567
        5
    hu6360567  
       2017-05-25 06:38:16 +08:00 via iPhone
    昨天新学了个词 过拟合?
    miaoever
        6
    miaoever  
       2017-05-25 06:58:28 +08:00 via iPhone
    Nan 的话看看迭代的时候数据是不是有除零异常
    clavichord93
        7
    clavichord93  
       2017-05-25 08:38:15 +08:00
    梯度爆炸了。
    yemenchun1
        8
    yemenchun1  
       2017-05-25 08:45:29 +08:00 via iPhone
    有没有随机初始化到一个小值啊,有没有矩阵求解时候低秩啊,信息太少不好诊断
    aaronzjw
        9
    aaronzjw  
       2017-05-25 09:13:15 +08:00
    numpy 的 nan 会传播的,检查一下开始有没有 nan 吧
    crackhopper
        10
    crackhopper  
       2017-05-25 10:32:44 +08:00
    我看 BP 算法中,对偏置项 b 的更新 db 貌似不应该乘以矩阵吧。直接用 delta 就行了。
    Morriaty
        11
    Morriaty  
       2017-05-25 10:46:52 +08:00
    更新权重的时候,为什么要用`+=`?

    还有,你那不是归一化,只能算 CategoricalEncode
    Madcrow
        12
    Madcrow  
       2017-05-25 11:01:11 +08:00 via Android
    @nixing123 我也是菜鸟,我看原 bolg 的代码对输入和输出都做了归一化,你的输出没有归一化导致求出的 loss 太大吧
    ipwx
        13
    ipwx  
       2017-05-25 11:19:55 +08:00
    我建议你用正经的框架写,比如 TensorFlow,而不是 NumPy 手撸,不然浪费你我的时间。

    原因是这样的,你作为初学者,写出来的代码,无论是命名方式还是结构性都太差了(和违反 Neural Network 业内的 Best Practice ),懂的人看你的代码就好像 C++ 的老手看初学者仿照谭浩强的教材写出来的代码那么痛苦。

    https://www.tensorflow.org
    IC0ZB
        14
    IC0ZB  
       2017-05-25 11:49:04 +08:00
    学习率太大了。
    ruoyu0088
        15
    ruoyu0088  
       2017-05-25 21:14:11 +08:00
    这种数据应该先用 statsmodels 或 sklearn 中的模型试试看。这里有 boston 房价的例子:

    http://cs.smith.edu/dftwiki/index.php/Tutorial:_Playing_with_the_Boston_Housing_Data
    ruoyu0088
        16
    ruoyu0088  
       2017-05-25 21:25:26 +08:00
    对于分类数据你需要进行 one hot 编码,例如 http://blog.csdn.net/bitcarmanlee/article/details/51472816
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1105 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:45 · PVG 02:45 · LAX 10:45 · JFK 13:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.