Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

some questions #13

Closed
cymedu opened this issue May 25, 2021 · 1 comment
Closed

some questions #13

cymedu opened this issue May 25, 2021 · 1 comment

Comments

@cymedu
Copy link

cymedu commented May 25, 2021

(1)传统的训练好的CNN对所有query都是同一套参数,而QAconv对每个query的参数是不同的,这样理解是否正确?如果正确的话,测试时新的query的QAconv的参数是如何得到的呢?如果不正确的话,query-adaptive中的’adaptive’该怎么理解?
(2)这个自适应卷积的参数,是这个query的每个位置都对应一个特异的卷积核还是这个query的所有位置共享一个卷积核?
(3)QAConv是怎么学到的图像匹配?因为整个监督信息只有ID信息,也就是说,只能反馈这两个是不是同一个人,怎么学到这个局部和那个局部匹配上?
(4)QAconv是用于图像匹配的卷积核,它也是从数据集里面训练的,那么会不会也存在只对训练数据的已有的模式响应的问题?也就是说,对于新的类别,QAconv如何保证能对新的模式响应呢?

期待您耐心的解答

@ShengcaiLiao
Copy link
Owner

谢谢关注。

(1)QAconv对每个query的参数是不同的:CNN backbone的参数是一样的,只有QAConv层的卷积核参数不一样。测试时新的参数是从query feature map里得到的,可以看论文的示意图。Adaptive也就这个意思,指的是QAConv层的卷积核是根据query确定。

(2)query的每个位置都对应一个特异的卷积核。

(3)对,这个是QAConv高光的地方,对于局部匹配这个任务来说相当于是弱监督学习。原理上可以这么理解,是QAConv的这个机制和end-to-end的训练共同决定的。给定ID信息后,整个网络需要朝着正确识别ID的方向训练,然后在QAConv里寻找最大局部匹配分数的机制下,如果找到的匹配都是随机混乱的,那是很难完成ID识别任务的,因此网络会逐渐能找到一些靠谱的匹配去完成ID识别任务。

(4)这也是QAConv的机制决定的。传统的提取特征的CNN网络,提取的特征是个一维向量,是全局的响应,大致是抽象了训练集的一些显著的鉴别性特征,但“显著”和“鉴别性”在新domain下可能会变化。而QAConv的backbone提取的是保留了空间信息的2D特征图,因此这个局部响应会有更多的自由度;同时,QAConv的匹配方法的假设基础是同一个ID的不同图像具有一些相似的局部响应就行,而不是要求高度抽象了的全局特征要在特征空间中同ID聚拢,这样在新domain下只要这个假设还成立,就能匹配得好。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants