Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

最后的训练阶段,crop_size(240,1248) 显卡内存只有11G无法满足怎么办,减小crop_size貌似会影响最后kitti的测试精度吧 #75

Open
seeyouagain111 opened this issue Dec 23, 2019 · 6 comments

Comments

@seeyouagain111
Copy link

No description provided.

@tianshenghui
Copy link

作者介绍的时候用了8个24G的GPU,你这种配置要么降低crop_size,要么降低max_disp,要么降低batchsize。应该会影响精度吧,batchsize太小训练太慢,crop_width应该大一些,视差在横向上。crop_size的大小跟4D代价量的提取以及后面的SGA,LGA都有关吧,尤其是后面的SGA和LGA。我在遥感图像上训练了这个模型,感觉缺点是视差图的边缘不是很明显,锐化效果比不了传统的sbgm+wls和mgm这些,这个模型借鉴了传统sgm算法的做法,是不是容易产生条纹现象?我想把SGA聚合改为8个方向的,但奈何不懂cuda,不知道怎么做。

@feihuzhang
Copy link
Owner

@seeyouagain111 用 384X48n 和 48nX1248 两种crop_size finetune吧。根据你的memory 调一下n到最大能用的值。
结果应该也会有提升。
@tianshenghui pretrained model 用4块卡batchsize为8。crop_size的确影响精度。边缘不明显的原因一定和training data有关。需要保证你自己的trainning data在边缘ground truth要准确。如果 training data的label精度较差或者错误较多。deep neural netwok基本都会表现很差。
可以试着用simulation data去train model。可以参考这篇文章:https://arxiv.org/pdf/1911.13287.pdf

@tianshenghui
Copy link

@feihuzhang 非常感谢大佬的回复,为我指点迷津。

@seeyouagain111
Copy link
Author

@seeyouagain111 用 384X48n 和 48nX1248 两种crop_size finetune吧。根据你的memory 调一下n到最大能用的值。
结果应该也会有提升。
@tianshenghui pretrained model 用4块卡batchsize为8。crop_size的确影响精度。边缘不明显的原因一定和training data有关。需要保证你自己的trainning data在边缘ground truth要准确。如果 training data的label精度较差或者错误较多。deep neural netwok基本都会表现很差。
可以试着用simulation data去train model。可以参考这篇文章:https://arxiv.org/pdf/1911.13287.pdf

谢谢作者的回答,另有一处疑问,当我用384x624训练完成后,测试时候将测试图片裁剪为多个384x624预测然后拼接的效果会比直接测试384x1248的图片效果好吗,作者可否试过。

@feihuzhang
Copy link
Owner

@seeyouagain111 用 384X48n 和 48nX1248 两种crop_size finetune吧。根据你的memory 调一下n到最大能用的值。
结果应该也会有提升。
@tianshenghui pretrained model 用4块卡batchsize为8。crop_size的确影响精度。边缘不明显的原因一定和training data有关。需要保证你自己的trainning data在边缘ground truth要准确。如果 training data的label精度较差或者错误较多。deep neural netwok基本都会表现很差。
可以试着用simulation data去train model。可以参考这篇文章:https://arxiv.org/pdf/1911.13287.pdf

谢谢作者的回答,另有一处疑问,当我用384x624训练完成后,测试时候将测试图片裁剪为多个384x624预测然后拼接的效果会比直接测试384x1248的图片效果好吗,作者可否试过。

直接用原始尺寸evaluation 会好一些。

@Alkaid-AI
Copy link

@seeyouagain111 用 384X48n 和 48nX1248 两种crop_size finetune吧。根据你的memory 调一下n到最大能用的值。
结果应该也会有提升。
@tianshenghui pretrained model 用4块卡batchsize为8。crop_size的确影响精度。边缘不明显的原因一定和training data有关。需要保证你自己的trainning data在边缘ground truth要准确。如果 training data的label精度较差或者错误较多。deep neural netwok基本都会表现很差。
可以试着用simulation data去train model。可以参考这篇文章:https://arxiv.org/pdf/1911.13287.pdf

谢谢作者的回答,另有一处疑问,当我用384x624训练完成后,测试时候将测试图片裁剪为多个384x624预测然后拼接的效果会比直接测试384x1248的图片效果好吗,作者可否试过。

请问一下你用11G的显存要训练多久呀,还有最后效果怎么样,我实验室最大只有22G的显存。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants