原标题:上海数据交易中心数据流通-融合计算中间件助力大数据治理体系落地
近期,上海数据交易中心以数据流通-融合计算为基础,推动领域数据治理体系落地为重要方向,基于大数据流通与交易技术国家工程实验室研究成果,研发出“数据流通-融合计算中间件”关键技术。
大数据流通与交易技术国家工程实验室专家委员会首席专家梅宏院士在十三届全国人大常委会专题讲座《大数据发展现状与未来趋势》中明确提到,大数据应用的威力,在很多情况下源于通过对多源数据的综合融合和深度分析,从而获得从不同角度观察、认知事物的全方位视图。而融合计算需要将“数据”“算法”在流通过程中有机整合到“算力”平台。此外,当前大数据治理体系远未形成,成为制约大数据发展主要短板之一。特别是数据流通领域中隐私、安全与共享利用之间的矛盾尤为凸显,制约了数据资源的价值挖掘与转化。
“数据流通-融合计算中间件”技术将大数据流通与交易技术国家工程实验室的研究成果与上海数据交易中心的数联网技术相结合。在数据流通-融合计算领域,独一无二地实现了两大能力的提升:第一是实现了根据数据交易双方不同算力,可动态调整加密方式的去中心化数据加密技术,助力安全多方计算,以安全合规的方式流通数据与算法;第二是以开放性设计实现了流通标准,具有将“数据”与“算法”加载到“算力”平台的动态扩展能力。
该中间件技术包括两大组成:“去中心化高性能软XID加密中间件”:该中间件可以植入在数联网配送系统中,也可以直接将加密算法包发送到供方实施加密。采用汇编加密方式,提高了多层国密算法的加密性能,在同等安全级别要求条件下,性能甚至超过了现有主流的硬件加密机30%以上,而且可以通过集群部署方式来提高加密速度,无需额外硬件加密机成本。特别实现了仅需供需双方即可完成加密与流通,无需第三可信方。“流通标准数据与算法加载中间件”:该中间件从流通数据实体加载-数据流、流通数据描述信息-控制流两个角度来进行开放性设计与实现。即任何流通标准下的“数据”与“算法”(一般为文件形式)都包含了其本身的加载与描述信息(如原始存储位置,加载目标位置,数据属性信息等)回调两个主要目标;而描述信息可以作为数据标准以通用的传输协议与第三方“算力”平台进行交互、存储,从而实现加载的全流程控制。不同的第三方平台、不同的融合计算场景下,有不同的API与流程,但该中间件兼容数联网流通标准;保证“源检测-传递-收集-回调”四大加载流程步骤,以及控制数据标准的开放性设计与接口的扩展性,即可在绝大部分场景下,针对不同的平台与应用进行简单灵活的接口实现,从而具有数据流通标准下,融合计算所需的“数据”“算法”加载的动态扩展能力。
这项研究成果助力实现了大数据流通与交易技术国家工程实验室成果转化。上海数据交易中心通过承担国家重大工程技术项目,与高校合作开发创新技术,积极开展技术转化、技术咨询、技术培训和技术服务等活动,推动技术成果的转化、转移,形成技术成果向产业内辐射的良好机制。上海数据交易中心与其承担建设的大数据流通与交易技术国家工程实验室未来将更积极推动研究成果转化,以突破制约产业发展的关键技术、不断为行业提供可产业化的核心技术为主要任务,服务于全国相关行业,提升整体行业水平和国际竞争能力。