加入收藏 | 设为首页 | 会员中心 | 我要投稿 站长网 (https://www.zhandada.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

2022中国互联网大会丨聚焦数据可信流通 隐私计算开源协同计划发布四项新成果

发布时间:2022-12-03 10:32:12 所属栏目:大数据 来源:互联网
导读: 11月17日,2022(第二十一届)中国互联网大会数据要素流通论坛在深圳召开。论坛以“加快数据流通,激活数据价值”为主题,通过主旨演讲、成果发布以及圆桌对话等互动环节,20余位来自学术界、

11月17日,2022(第二十一届)中国互联网大会数据要素流通论坛在深圳召开。论坛以“加快数据流通,激活数据价值”为主题,通过主旨演讲、成果发布以及圆桌对话等互动环节,20余位来自学术界、国家单位、行研机构、产业界的专家学者、行业精英,聚焦数据可信流通技术、大数据产业发展趋势、企业数据治理策略、深圳数据要素建设成果等主题进行展开深入探讨。

会上,FATE开源社区、开放群岛开源社区、百度、京东科技、腾讯云等五方机构共同发起的“隐私计算开源协同计划”,创新发布了四大项目成果,并现场与20余位专家学者、行业菁英、企业嘉宾共同探讨隐私计算开源以及互联互通的数据要素流生态建设之道。

开源协同,共建数据要素流通生态

近年来,在数字化、数智化趋势浪潮推动下,人类社会搭建起一个与实体经济融通发展的数字世界,而数据要素作为数字世界的重要组成因子,也被广泛认为是驱动数字经济发展引擎的核心能量。正因如此,我国在2019年首次将数据与劳动、资本、土地、知识、技术、管理并列为六大生产要素,并在近2年不断推动数据要素市场化建设与相关顶层机制体制研究工作。

隐私计算作为一项可以保障数据流通过程中“原始数据不出域、数据可用不可见”的技术,成为数据要素可信流通的关键技术模式。但在落地过程中,普遍存在不同机构合作往往部署不同的隐私计算平台,导致系统建设重复与平台间难以完成信息交互。因此,隐私计算领域互联互通壁垒正在成为数据要素流通正在面临的新挑战。

开源隐私计算技术框架不仅能打破“计算孤岛”,让更多从业者参与验证和研发、接受更多维度的检验,降低企业隐私计算技术研发成本。为了进一步推动数据要素流通生态建设,打破数据孤岛,平台孤岛,乃至开源平台孤岛,在今年世界人工智能大会上,FATE开源社区、开放群岛开源社区、百度、京东科技、腾讯云等五家隐私计算开源探索者,共同携手发起“隐私计算开源协同计划”,旨在推动隐私计算互联互通迈出关键性的一步,为整个生态建设作出良好的示范。

四大创新成果,奠基隐私计算开源互通

经过一个多月的项目发展与探索,“隐私计算开源协同计划”在本次中国互联网大会上,集中发布了顶层联邦学习互通框架HIGHFLIP,京东万象隐私增强深度学习,FATE信创版和联邦生命周期管理器FedLCM等4项创新成果,从顶层框架、深度学习系统、信创支持、应用管理四个方面,推进隐私计算互联互通标准化、规模化的应用和落地。

其中,HIGHFLIP是由百度发起的顶层联邦学习互通框架,通过将顶层接口标准化,使用标准化作业和标准化模型让异构的平台可以无差别使用。基于HIGHFLIP互通,隐私计算使用者无需对现有系统进行结构性调整,一个适配器加一个插件即可接入。并可在一个DAG作业中,调用多个异构联邦学习平台的算子实现协同效应,具有弱侵入式、易于适配、闭源友好、灵活自由等优势。“一次适配,多次使用”的HIGHFLIP,让不同隐私计算平台协力完成同一项计算任务,打破“计算孤岛”,实现数据要素的多对多“网状”流通,安全可控地释放数据要素价值。

在开源协同计划中,百度提出的HIGHFLIP已经与FATE、京东搭建互联互通,充分发挥了该计划的协同效应。未来,开源协同计划期待携手更多平台,共同推进互联互通标准化、规模化的应用和落地。

京东万象是京东科技面向隐私计算场景打造的一款弹性可扩展的联邦深度学习系统。系统支持任意场景联邦模型定制及加密协议适配,为客户提供高可用、可配置、高性能的一站式隐私计算解决方案。并且,系统支持多加密协议、高效的通信协议、多分布式协议和灵活的开发模式。其中,多加密协议可在半同态加密、全同态加密、多方安全计算中灵活切换。通信协议通过深度定制gRPC,目前支持张量传输、压缩与打包、智能路由调度等功能。多分布式协议包括海量训练数据的流式读取,AI框架内置及第三方分布式训练策略的适配。灵活的开发模式,一方面指用户可以进行全流程端到端的联邦建模,另一方面指可采用预置模型或自定义模型来描述业务问题。正是通过五层架构与四大特色的加持,保证前述目标的达成。

FATE信创版是由FATE开源社区基于国产化的芯片、操作系统、编译器等软硬件基础设施与开源成熟的基础引擎,构建的以分布式任务调度框架、高性能模型在线推理引擎、多方通信框架为主体的高可用、高性能、易运维系统架构。

FATE信创版坚持自主可控、开源开放原则,具备自主可控、信创化、安全可证、互联互通、支持大规模生产、开放生态等特性,并重点支持国产化软硬件的适配,在安全可证、系统架构、场景应用等方面达到大规模生产级,同时可与其他隐私计算框架互联互通。

据介绍大数据 隐私,目前,FATE信创版已完成v0.1版本的开发,基于鲲鹏处理器和openEuler操作系统稳定可用,使用搭配的Sailing平台构建生产级部署架构。

FedLCM(联邦平台生命周期管理器)是由VMware发起并贡献到FATE开源社区的开源项目。项目支持以图形化的方式,为多个参与方组成的联邦学习系统,提供针对各个联邦全生命周期的完整管理功能。

通过FedLCM,各参与方可在图形化引导下,完成纳管不同环境的 Kubernetes集群,安装各类服务端点,创建FATE和OpenFL等不同框架的联邦,完成各方自动化的互联配置,在联邦中增加修改、移除参与方、接受参与方的注册等操作。同时,FedLCM提供一定的监控机制,以更好的帮助使用者了解部署形成的联邦学习系统和联邦状态。

此外,为促进各个合作方的协调,提供联邦任务全周期的支持,FedLCM可在多个参与方中,部署图形化或低代码的联邦任务项目管理站点系统。参与方可通过本地站点系统进行项目的创建与合作,完成数据关联和管理,并进一步通过图形化、拖拽式的任务创建界面发起联邦学习任务。同时,各个站点系统在互联互通机制下,各方皆可接受项目和任务邀请,监控任务状态并管理模型发起预测任务等。

构建健康的数据要素流通生态,是隐私计算技术发展和规模化应用的关键。“隐私计算开源协同计划”通过系列创新成果,丰富了隐私计算领域的开源互通工具的同时,也进一步强化了隐私计算互联互通的业内共识,将有效促进多元的隐私计算产业与数据要素流通生态的发展。

发布环节最后,“隐私计算开源协同计划”宣布了开放群岛开源社区法律合规组、深圳市北鹏前沿科技法律研究院正式加入隐私计算开源协同计划项目,为该计划提供专业的开源合规法律支持与前沿规则协同研究。

(编辑:站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!