任奎, 浙江大学求是讲席教授, AAAS、ACM、CCF 和 IEEE 会士, 国家特聘专家, 担任浙江大学计算机学院院长、浙江大学上海高等研究院院长、区块链与数据安全全国重点实验室常务副主任, 是数据要素安全、人工智能安全、计算机应用等领域的国际知名学者. 主持多项科技部、国家自然科学基金项目, 获两项省部级自然科学一等奖、IEEE 安全技术委员会技术成就奖、美国国家自然科学基金会职业奖、纽约州立大学校长资深学者研究奖等. 担任国家数据局专委会委员、全国数据标准化技术委员会委员、教育部科学技术委员会和教学指导委员会委员、中国电子学会和中国密码学会理事.
刘健, 国家级青年人才, 浙江大学长聘副教授, 博士生导师, 2018年于芬兰阿尔托大学获得博士学位, 同年加入加州大学伯克利分校担任博士后研究员. 目前就职于浙江大学网络空间安全学院. 主持国家重点研发计划、自然科学基金、浙江省重点研发计划以及与行业领军企业的多个产学研合作项目, 获CCF-A类期刊最佳论文奖、华为奥林帕斯先锋奖.
大模型隐私推理技术现状与发展趋势
参数规模在十亿甚至万亿以上的大模型通过海量数据预训练获得强大语言理解与生成能力, 已成为智能化应用的核心驱动力, 但其可持续发展和广泛应用面临巨大的隐私合规挑战. 用户在日常与大模型的交互过程中, 往往会涉及个人敏感数据, 如位置、偏好、财务、医疗、组织内部信息等, 这些数据通常存储于模型提供商的服务器上, 一旦发生内部人员滥用或外部黑客入侵, 将造成严重的隐私泄露后果. 这类风险不仅直接危及用户的数据安全和隐私权益, 也使运营商在部署和运营大模型服务时承受更高的合规压力与潜在的法律风险. 随着各国监管对数据跨境、数据最小化、安全存储、可审计性等要求不断提高, 如何在不泄露用户敏感信息的前提下提供大模型能力, 已成为行业面临的核心难题之一.
隐私推理技术逐渐成为解决该隐私合规问题的重要技术路线, 该技术是一种面向神经网络推理的定制化隐私计算技术, 其目标是在不暴露原始数据的前提下完成模型推理任务, 确保用户的敏感输入对模型运营商不可见. 该技术最早由微软在 2016 年提出, 其基本思路是由用户对模型输入进行全同态加密后发送给服务器, 服务器在密文上执行模型推理并返回加密的结果. 然而, 这一方案计算代价极高: 运行一个简单的四层神经网络便需约 5 分钟. 为提升效率, 后续优化主要以交互式为主: 将模型各层的输入输出进行秘密共享, 并对各层计算分别进行优化. 经过近十年的发展, 隐私推理技术已经能够在可接受的时间范围内完成复杂神经网络 (如 ResNet-50) 的推理任务.
然而, 大模型时代给隐私推理带来新的挑战. 相较于传统的神经网络, 大模型不仅拥有超大规模参数, 还包含密集的矩阵运算、注意力机制、多头结构以及复杂的激活函数组合. 以现有交互式隐私推理方案为例, 使用 32 线程生成一个 token 需要约 3 分钟, 并消耗约 60 GB 的带宽, 这在真实应用中几乎不可接受. 为缓解这一瓶颈, NEXUS 提出了一种全同态密文打包技术, 实现了非交互式的大模型隐私推理, 将每轮推理的通信量降至 164 MB, 使大模型隐私推理的可行性显著提高. 尽管距离实际部署仍有差距, 但这一技术路线标志着隐私推理从 “小模型可用” 向 “大模型可探索” 的阶段性突破.
展望未来, 大模型隐私推理研究应重点关注和发展以下方向:
1. 密码学算法性能突破. 全同态加密应重点发展高效密态线性计算、高精度非线性函数逼近和噪声管理技术, 以突破当前计算密度的瓶颈; 安全多方计算则需降低通信轮次和开销, 并加强与全同态加密的深度异构融合. 通过密码学算法的性能突破, 推理时延有望从分钟级降至秒级甚至百毫秒级.
2. “隐私推理友好” 的模型设计. 大模型架构可以不再完全沿用现有 Transformer 结构, 而是向 “隐私推理友好” 演化, 通过减少高成本的非线性操作、优化注意力机制结构等方式, 使模型天然更适合在隐私框架下运行.
3. 软硬件协同优化. 可信执行环境 (TEE)、FHE 专用加速器、MPC 芯片等硬件的发展也将推动软硬件协同的隐私推理系统成为可能, 从而在保证安全性的前提下获得数量级的性能提升.
4. 隐私推理专用编译器与运行时优化. 通过图分析识别计算图中各操作的隐私敏感度, 自动生成混合协议执行计划, 并结合算子融合、内存布局优化和自适应负载均衡技术, 将隐私推理从 “手动配置” 转变为 “自动优化”, 显著降低部署门槛和运维复杂度.
5. 大模型私有化部署. 大模型的本地私有化部署能够从根本上解决推理阶段的隐私泄漏问题, 但当前大模型高度依赖检索增强生成技术 (RAG) 提升推理精度, 而 RAG 技术仍需向第三方数据库或知识库检索信息, 存在隐私泄露风险. 应结合隐私查询技术保护 RAG 阶段的隐私, 实现端到端隐私保护的私有化部署.
总体而言, 随着相关技术不断成熟, 大模型隐私推理有望在医疗、金融、政务、企业知识库等高度敏感的场景中发挥关键作用, 为智能化时代的隐私保护提供可落地的技术基础.
