oom

[babyta]

4090上显存不够，请问有低显存的加载方式吗？

[wuziheng]

#TODO：

1. 对于Eagle模型HF的版本，24G确实很极限，后续我们会给一个加速的版本，可能能缓解。
2. 后续我们也会放出非Eagle 的模型，只有SIGLIP，总分会低一点，但也OK，那个版本24G很安全

[babyta]

这是来自QQ邮箱的假期自动回复邮件。您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。