我不知道描述的清不清楚。
一个实际例子:
对于 NLP 中句子情感分类(正负情感),对于简单的 LSTM 或者 RNN 模型,有没有什么办法知道哪个样本(或者单词)对这个模型的效果影响最大?
比如说一共 3 个样本,A、B、C,10 个 epoch 后,acc 达到 0.80
去除 A 之后样本只剩下 B、C,10 个 epoch 后,acc 只有 0.1 了,那么 A 影响力很大。
就是这个样本很重要。
现在问题是如何找到这个样本 A ?
谢谢大家,小白发问。
1
nightwitch 2020-02-09 23:47:04 +08:00
从数据集中去掉部分数据,结果保持不变,这个数据集才算是能用的。如果从数据集中去掉某部分数据以后结果发生了变化,说明数据集的分布不均匀。
|
2
chizuo OP @nightwitch emmm,可能我描述有问题。这样子举个例吧
训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。 现在问题是如何找到 A 这个 word ? |
3
chizuo OP @nightwitch emmm,可能我描述有问题。这样子举个例吧
训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。 现在问题是如何找到 A ? |