这是一个创建于 853 天前的主题，其中的信息可能已经有所发展或是发生改变。
在 B 站看到一个 hugging face 的预训练模型应该如何使用的教学
它提到如果要用来做分类任务的话，比如对文本情感进行分类，一般结构不是 bert block *n -> mlp 输出么，视频里说在 bertblock 结束后，进入 mlp 前，要先把网络的输出只取第一维，也就是比如[32, n, 512]取[:, 0, :]变成[32, 512]然后再进入 mlp
这是为什么呢？如果不是做分类任务，而是做回归类任务，比如给情绪打个分之类的，也需要这么操作吗？
 |
1
billgreen1 2022-07-24 19:50:00 +08:00 via iPhone
主要是维度问题，它输出的是 batch size * seq length* 512 ，分类问题是一个与序列长度无关的，所以应该把这边维度压缩到 1 ，变成 batch size * 512
|
 |
2
longbye0 2022-07-24 20:09:10 +08:00
class token
|
|
3
longbye0 2022-07-24 20:13:05 +08:00
@billgreen1 维度问题是极小的一面，如果仅仅是维度问题，为啥不像 cv 任务一样全局平均呢。class token 可以认为是学到了位置无关的，而且一直在参与 self attention 计算的 token ，这比手动融合强多了。
|
 |
4
sm1314 2022-07-24 22:20:44 +08:00
[cls]{文本内容} -> Bert -> [sentence embedding]{words embedding} 这两个输出中的 sentence embedding 代变整句的涵义，可以用于情感分类 所以取第 0 个 sentence embedding
|
 |
5
Richard14 OP @sm1314 谢谢，你的解释醍醐灌顶。我观察网上的实现代码里，原本有一个疑惑是，它有一个结构是在__init__里生成一个 cls=nn.Parameter(512)，但是在每次 forward 里都要 torch.cat(cls, n)，然后加到输入数据上，让形状变成[batch_size, n+1, 512]这样，原来还搞不太懂他到底是干啥的，所以按你说的可以理解成是人为添加了一个表示全局信息的部分？然后 bert 的输出就可以理解为原先的 n 个数据，还是表示输入的 n 个信息各自的词信息？外加一个 cls 的部分表示全局信息？所以按照这个说法，如果我想改成回归任务，就也只用这部分全局信息就行了呗
|
Select Language