一篇很有意思的文章。在一个半监督学习的框架下把需要预测的部分和其他隐含的变化因素(Hidden variations)分开。
比如我们现在的问题是表情分类，给定七种不同的表情，喜怒忧思悲恐惊(老中医..)，我们可以训练出一个来判断任一输入图片中人的表情，记为\(y\)。
于此同时，我们还从输入图片中得到了代表其他和任务无关部分的信息，记为\(z\)。具体来说，两个不同的人的照片可以是同样的表情。但是除了表情相同之外，两张照片因为来自不同的人当然有很多其它的不同。除了表情之外其它的隐含信息就是\(z\)。
具体的实现上是基于auto encoder的，在encoding的时候设置两部分输出\(y\)和\(z\)。其中\(y\)的部分就同有监督学习一样。
目标函数:
\[ \hat{\theta}, \hat{\phi} = \arg \underset{\theta,\phi} \min \sum_{\{x,y\}\in \cal{D}} \alpha U(x,\hat{x}) + \beta S(y,\hat{y}) + \gamma C(\hat{y},z) \]
其中\(\hat{\theta}, \hat{\phi}\)是encoder和decoder的参数，\(\alpha,\beta,\gamma\)是个部分的权值。第一部分就是auto encoder的无监督学习，第二部分是针对需要预测的量的有监督学习，第三部分是作者提出的 cross-covariance penalty (XCov)。目标函数的第三部分XCov意在最小化\(y\)和\(z\)的相关程度，让两者分开。
实验部分也很有意思，给定一个输入图片得到\(y\)和\(z\)之后。可以固定\(z\)然后改变\(y\)，从而使得decoder部分可以重建出同样一个人的不同表情。
You must be logged in to post a comment.