Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

现在的版本支持并行求交吗 #23

Closed
982945902 opened this issue Jan 4, 2024 · 5 comments
Closed

现在的版本支持并行求交吗 #23

982945902 opened this issue Jan 4, 2024 · 5 comments

Comments

@982945902
Copy link

No description provided.

@6fj
Copy link
Member

6fj commented Jan 6, 2024

能描述一下什么是并行求交吗,感谢

@982945902
Copy link
Author

能描述一下什么是并行求交吗,感谢

#25
这是个简单的改动示例

@6fj
Copy link
Member

6fj commented Jan 6, 2024

hi @982945902

感谢你的示例。

由于PSI数据量很大,有时候难以全部放入内存,因此我们会分成bucket进行计算,因此在带宽/cpu/内存有限的情况下,我们会调整bucket size尽可能将资源用满。

将编号相同的bucket分别进行求交理论上是完全可行的,但是并行会产生相应的开销和额外的复杂度,因此需要权衡收益和开销。我们希望了解在带宽/cpu资源一致的情况下,内存消耗基本一致,不同并行度下的时间。请问你有没有进行过类似的实验结果呢?

另外,我们认为每一方支持多节点进行并行可能是更实际的技术方案,尤其是我们处理需要10亿+级别数据的时候。这方面,可以参考这篇论文:https://eprint.iacr.org/2022/294。

感谢!

@982945902
Copy link
Author

@6fj

是我在做benchmark的时候,在数据1亿交1亿,32c64G的硬件环境下,发现rr22的CPU利用率不太理想,所以就改了一版逻辑。 但就整体框架来说,分布式小资源节点是比大资源单机更好的方法。 后续benchmark过程中可能会做一组对比实验。
感谢指导!

@6fj
Copy link
Member

6fj commented Jan 6, 2024

hi @982945902

感谢你的输入,我们保持沟通哈。
祝好!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants