整个模型全量在手机上以有意义的速度运行,这个肯定是不现实的。但是使用类似于LoRA的方法让每个用户都可以用上自己的个性化模型,并兼顾个人隐私防护,这个是有可能实现的——例如可以在用户自己的手机上计算LoRA的部分,然后base模型在服务器上计算。
发布于 2023-07-21 14:38・IP 属地北京
整个模型全量在手机上以有意义的速度运行,这个肯定是不现实的。但是使用类似于LoRA的方法让每个用户都可以用上自己的个性化模型,并兼顾个人隐私防护,这个是有可能实现的——例如可以在用户自己的手机上计算LoRA的部分,然后base模型在服务器上计算。