实践问题解决方法

最后更新于6年前

这有帮助吗？

样本分类不平衡的问题

使用特殊的损失函数
- robust category cross entropy, 降低分类问题的自信程度, 过于自信的网络对于噪音也会很极端的分类, 通过引入每个样本对于每个类别的损失, 降低网络的自信程度, 减少过拟合的现象.

对于分类问题, 有时更关注样本最后的特征向量 $\mathbf{x}$ , 而不是最后类别. 因为在应用中, 我们对最后的分类没有兴趣, 而是通过训练分类任务得到一个表征模型, 然后进行下一步的任务.
但实际上, 如果使用softmax作为最后损失的计算方法, 则整个模型得到的特征不一定具有聚类特性, 相反, 它们会尽量布满整个空间(参考center loss的相关论文和文章).
为了使训练之后的表征具有聚类特性, 使用center loss, 对原来的cross entropy增加一个聚类的惩罚项:
- $loss = - \log\frac{e^{\boldsymbol{W}_y^{\top}\boldsymbol{x}+b_y}}{\sum\limits_i e^{\boldsymbol{W}_i^{\top}\boldsymbol{x}+b_i}} + \lambda \Big\Vert \boldsymbol{x}-\boldsymbol{c}_y \Big\Vert^2$
- 第二项就是额外的惩罚项, 它给每个类定义了可训练的中心 $\mathbf{c}$ , 要求每个类要跟各自的中心靠得很近.
Embedding层的妙用

最后更新于6年前

这有帮助吗？

使用特殊的损失函数
- robust category cross entropy, 降低分类问题的自信程度, 过于自信的网络对于噪音也会很极端的分类, 通过引入每个样本对于每个类别的损失, 降低网络的自信程度, 减少过拟合的现象.

对于分类问题, 有时更关注样本最后的特征向量 $\mathbf{x}$ , 而不是最后类别. 因为在应用中, 我们对最后的分类没有兴趣, 而是通过训练分类任务得到一个表征模型, 然后进行下一步的任务.
但实际上, 如果使用softmax作为最后损失的计算方法, 则整个模型得到的特征不一定具有聚类特性, 相反, 它们会尽量布满整个空间(参考center loss的相关论文和文章).
为了使训练之后的表征具有聚类特性, 使用center loss, 对原来的cross entropy增加一个聚类的惩罚项:
- $loss = - \log\frac{e^{\boldsymbol{W}_y^{\top}\boldsymbol{x}+b_y}}{\sum\limits_i e^{\boldsymbol{W}_i^{\top}\boldsymbol{x}+b_i}} + \lambda \Big\Vert \boldsymbol{x}-\boldsymbol{c}_y \Big\Vert^2$
- 第二项就是额外的惩罚项, 它给每个类定义了可训练的中心 $\mathbf{c}$ , 要求每个类要跟各自的中心靠得很近.
Embedding层的妙用