[Note] Saliency Detection: A Boolean Map Approach

Saliency应该是翻译为显著性。个人理解显著性检测是得到一张图片上每一个像素点的显著程度的过程。对于这个显著程度，直观的理解就是它在这张图上的重要程度。比如，这些照片里 组成鸟的像素应该是比背景的像素更加重要，也就是应该有更高的显著性值。知道了各个像素点的显著性之后，可以用来帮助一系列的更加具体的任务，比如这篇文章里的Eye Fixation的预测，也就是预测在这张图片上人会看哪里。还有显著物体的检测，可以更进一步的做物体检测和识别。 直接描述这篇文章的方法吧。输入是一张图片，输出是一张Saliency Map，表示每一个像素点上的显著性。根据Saliency Map可以进一步的做更佳具体的任务。得到Saliency Map的过程是先得到一组Boolean Maps，然后每一张Boolean Map得到一张Attention Map，对所有的Attention Maps求均值之后做Dilation就得到了Saliency Map。过程很简洁。 假设输入图片有三个颜色通道，随机的选一个颜色取一个阈值。然后据此把图片转成一张0/1的图片，颜色值大于阈值的为1，否则为0。这张0/1的图就是一张Boolean Map。重复这个过程就得到了一组Boolean Maps。Boolean Map如果一块区域和很好的封闭的边缘，那么就有可能是一个显著的物体。所以连着图片边框的区域显著性就会比较低。基于这个假设，把连着图片边框的区域都去掉，然后对全图做归一化，就得到了Attention Map。 没有做过Saliency Detection，欢迎指出各种错误。看到一篇文章引用了这个叫BMS的方法就找来看看。然后就发现作者是一起实习的小伙伴。。

[Note] Learning to See by Moving

这是一篇用CNN做特征学习的文章，题目比较格调。目标是训练得到可以用来做场景识别、物体识别等等任务的特征。 和之前的工作相比，训练时需要的监督信息不是图片所属的类别，而是两张图片之间的位置变换。准确地说，是拍摄两张相关图片的相机的相对位置变换。 具体的网络结构如上图。输入两张图片，训练这个网络来判断两张图片之间的变换(Transformation)。每两个BaseCNN取得的特征(Lk)连接起来作为TopCNN的输入，TopCNN输出变换向量。训练结束之后TopCNN就不用了，直接用BaseCNN对输入图片取特征。 在使用相同数量的有标记数据的情况下，用这种相对更容易得到的监督信息训练出来的网络来做分类网络的初始化，比随机初始化分类效果更好。 虽然这个方法并不是完全的无监督学习，但是在移动机器人这种平台上，两张照片的相对位置变换确实是很容易得到的信息。按照这种方法确实可以很方便的给机器人增加场景识别功能。理想情况下，只需要在所在环境下移动的时间采集一些图片来学习特征，简单的通过人机交互标定几个场景，这种用CNN得到的特征应该会有很不错的表现吧。 Reference: Pulkit Agrawal, Joao Carreira, Jitendra Malik, Learning to See by Moving

[Note] Discovering Hidden Factors of Variation in Deep Networks

一篇很有意思的文章。在一个半监督学习的框架下把需要预测的部分和其他隐含的变化因素(Hidden variations)分开。 比如我们现在的问题是表情分类，给定七种不同的表情，喜怒忧思悲恐惊(老中医..)，我们可以训练出一个来判断任一输入图片中人的表情，记为\(y\)。 于此同时，我们还从输入图片中得到了代表其他和任务无关部分的信息，记为\(z\)。具体来说，两个不同的人的照片可以是同样的表情。但是除了表情相同之外，两张照片因为来自不同的人当然有很多其它的不同。除了表情之外其它的隐含信息就是\(z\)。 具体的实现上是基于auto encoder的，在encoding的时候设置两部分输出\(y\)和\(z\)。其中\(y\)的部分就同有监督学习一样。 目标函数: \[ \hat{\theta}, \hat{\phi} = \arg \underset{\theta,\phi} \min \sum_{\{x,y\}\in \cal{D}} \alpha U(x,\hat{x}) + \beta S(y,\hat{y}) + \gamma C(\hat{y},z) \] 其中\(\hat{\theta}, \hat{\phi}\)是encoder和decoder的参数，\(\alpha,\beta,\gamma\)是个部分的权值。第一部分就是auto encoder的无监督学习，第二部分是针对需要预测的量的有监督学习，第三部分是作者提出的 cross-covariance penalty (XCov)。目标函数的第三部分XCov意在最小化\(y\)和\(z\)的相关程度，让两者分开。 实验部分也很有意思，给定一个输入图片得到\(y\)和\(z\)之后。可以固定\(z\)然后改变\(y\)，从而使得decoder部分可以重建出同样一个人的不同表情。 Reference: Brian Cheung and Jesse A. Livezey and Arjun K. Bansal and Bruno A. Olshausen, Discovering Hidden Factors of Variation in Deep Networks, […]

[推荐] 王天珍老师的文章

来自科学网博客，王天珍老师的博文: 视觉研究的前世今生(上) 视觉研究的前世今生(中) 视觉研究的前世今生(下) 虽然很多概念不是很明白，但是感觉非常值得一读。这不是关于Computer Vision的研究，主要讨论是对人类视觉的研究。一开始读起来感觉像是在回顾很久远的时代里人们对人类视觉研究的初步探索，读到最后才惊觉原来人们至今对人类视觉的原理仍然知之甚少。我不觉得CV一定要去模拟生物特性来才能得到好的效果。但是人类视觉毕竟是一个强大复杂的系统，非常的有意思。 看到这些文章就想起来上次CVPR上的关于Professor Tsao的邀请报告，讲到她们对猴脑是如何响应视觉刺激而对猴脑的不同部位的不同刺激又是如何影响到视觉感知的研究。虽然我们的CV算法已经可以在很多视觉任务上面得到很好的结果，但是我们对于人类的视觉系统似乎还是不甚了解啊。