这篇文章也是针对aspect-level SA的一篇文章,其实准确的说更像一篇针对注意力机制的文章,提出了SA模型目前注意力机制的缺陷:过度注意高频词,忽略了低频次,本文用了两个技巧:第一个是迭代的mask注意力权重最大的词,第二个是加入了一个正则化项
这篇文章也是针对aspect-level SA的一篇文章,其实准确的说更像一篇针对注意力机制的文章,提出了SA模型目前注意力机制的缺陷:过度注意高频词,忽略了低频次,本文用了两个技巧:第一个是迭代的mask注意力权重最大的词,第二个是加入了一个正则化项