Learning Disentangled Semantic Representation for Domain Adaptation-IJCAI-2019文章解读

• 1. 摘要
• 2.main contributions
• 3. 可解耦的语义表达模型
• 4. 理论证明详见论文
• 5. 实验

论文下载链接

1. 摘要

1. 现有的大多数域适应方法无法从特征空间提取具有entangle domain information（域耦合信息）和语义信息的域不变表示（domain-invariant representation）。作者提出的方法是通过latent disentangled semantic representation来扩展语义信息。
2. 假设数据的生成过程是由两个变量集控制：语义隐变量和域隐变量。
3. 使用变分自编码器重建语义隐变量和域隐变量，再用双对抗网络对这两个集合进行解耦，解耦后的语义隐变量是具有跨域适应性的。

2.main contributions

1. 作者首次提出域信息和类别信息的解耦表达
2. 提出了双对抗网络结构解耦域信息和类别信息，从而学习较有影响力的类别信息。

3. 可解耦的语义表达模型

这篇文章的主要目的是解决两个问题：

1. 跨域的域不变性表达是什么？
2. 怎样设计一个模型提炼域不变性表达。

关于第一个问题，首先是摘要提出的假设，zdz_dzd​和zsz_szs​分别表示域隐变量和语义隐变量。同时假设他们是相互独立的。作者认为不同域的域信息差异性较大，所以语义隐变量对域不变性表达有重要作用。

关于第二个问题，作者提出了基于解耦语义信息的域适应算法，基本思想如摘要3中所示。

如上图框架所示：

1. 上面一部分是隐变量重构网络，由一个backbone feature extractor G(⋅)G(\\cdot)G(⋅)如ResNet等提取特征zzz，再通过类似于VAE的网络得到语义隐变量zyz_yzy​和域隐变量zdz_dzd​。（这一部分得到的两个隐变量并不具有实际意义，还要通过第二部分的解耦网络约束反馈才能得到有实际意义的隐变量）
   

2. 下面一部分的解耦网络是两个对抗学习模块，左边的标签对抗模块尽量将语义信息学到zyz_yzy​中，同时把域信息推到右边的zdz_dzd​中，右边的域对抗模块功能正好相反。最终目的是得到不含域信息的语义隐变量，实现解耦。
   标签对抗学习模块的目标函数如下：
   这一模块的目的是为了将语义信息完全嵌入到zyz_yzy​中，所以要最小化分类器的loss，最大化域分类器loss，也就是模糊域之间的差异，只关注类差异。

   域对抗学习模块目标函数如下：
   
   这一部分的目标函数，其目的是将与信息完全嵌入到zdz_dzd​中，所以和前一模块正好相反，需要最小化域分类器loss，最大化标签分类器loss。

由此可得到整体的目标函数：

4. 理论证明详见论文

5. 实验

两个数据集：

1. Office-31：4652张图片31个类，分为3个域，Amazon（A），Webcam（W），DSLR（D）
2. Office-Home：15500张图片65个类，分为4个域，Art (Ar)，Clipart (Cl)，Product(Pr) ，Real-world (Rw).

实验结果：