由于终端用户设备的计算和传感能力的提高，以及对用户隐私的日益关注，联邦学习 (FL) 已成为一种有前景的分布式机器学习 (ML) 技术。根据数据划分方式可以将联邦学习范式分为三种场景，包括横向联邦学习（Horizontal FL，HFL）、纵向联邦学习（vertical FL ，VFL ）和联邦迁移学习。

Federated optimization survey(1)，对联邦学习的研究背景和问题定义进行介绍。本篇中将讨论实用的联邦学习算法的设计。主要包含以下两方面的内容：

最近的”A field guide to federated optimization”这篇工作为联邦优化的研究提供了一个很好的总结和梳理， 文章内容就如何定义联邦优化中的问题、哪些约束可能与给定问题相关以及如何对联邦优化进行验证分析提供了实用的建议 。可以作为研究人员设计和评估新的联邦学习算法的指南，以及联邦优化从业者的简明手册。

根据Jax&Jax环境配置（一）：基于Docker配置环境的操作过程，配置好jax和jax_privacy的环境之后就可以运行相应的示例代码验证环境是否搭建成功，下面将分别jax的示例代码和jax_privacy的示例代码。

本文将介绍如何基于Ubuntu中的Docker搭建支持CPU和NVidia GPU的jax和jax_privacy运行环境，其中官方开源代码已给出了基本的安装操作步骤，可以参考下面链接查看文档

随着深度学习技术的不断深入发展，神经网络在越来越多的领域中发挥着重要的作用，如计算机视觉、自然语言处理等，尤其是在很多与安全相关的环境中有着实际应用，如手机支付、自动驾驶汽车、无人机侦察等，同时深度神经网络的安全逐渐成为人工智能安全问题中研究的重点。

数据交易流通是数据市场建立的关键技术，同时带来了一定安全问题，如数据滥用和信息泄露。为了在推动数据流动的同时保护数据安全、个人信息和隐私，隐私计算技术应运而生。联合学习（FL）作为一种保护隐私的分布式学习范式，已经获得很多研究者的关注，它通过共享和聚合本地模型而不是本地数据来提高全局模型的性能，以保护用户的隐私。尽管对原始数据的访问受到限制，但最近的工作表明，FL也面临着各种隐私攻击，已经有一系列关于在FL场景下基于共享梯度和权重重建训练数据的研究。这种重构攻击值得深入研究，因为它可以发生在训练的任何阶段，无论是在模型训练的开始还是结束时；不需要相关的数据集，也不需要训练额外的模型。本文主要回顾了三种基于联合学习的深度泄漏攻击算法，包括Deep Leakage from Gradients(DLG)、 improved Deep Leakage from Gradients(iDLG)和Inverting Gradients(IG)，进一步分析和总结FL深度泄露的更多改进工作，以及强调不要仅仅依靠联邦学习机制来提供隐私保证的重要性。

PATE-GAN为一种确保生成对抗网络（GAN）框架生成器的（差分）隐私的方法，所得模型可用于生成合成数据，可在该合成数据上训练和验证算法，并在不影响原始数据集隐私的情况下进行算法性能对比。该方法修改了PATE框架，并将其应用于GAN。修改后的框架（称为PATE-GAN）能够紧密限制任何单个样本对模型的影响，形成严格的差分隐私保证，因此与具有相同保证的模型相比，性能得到了改善。

机器学习的快速应用增加了人们对在敏感数据（如医疗记录或其他个人信息）上训练的机器学习模型的隐私影响的担忧。为了解决这些这些问题，一个可能的方法为Private Aggregation of Teacher Ensembles，或称PATE，教师集合隐私聚合，它将“教师”模型集合的知识转移到“学生模型”，通过在无交集的数据上分别训练教师来提供直观的隐私保障，并通过对教师的回答进行加噪聚合来提供强大的隐私保证。

联邦学习（Federated Learning）是一种满足隐私保护的分布式机器学习训练方案，它允许多个客户端（例如多个移动设备，多个数据供应商）能够在某个中央服务器的调度下协作训练模型，并从模型的联合训练中受益，同时保持训练数据的去中心化存储，尊重各方数据隐私。IBM Research 在联邦学习方面做出了广泛的努力，包括新颖的方法、模型和范式，并提供了一个可用于非商业的企业级联邦学习平台：IBM联邦学习社区版。此外，在2021年的ICML大会上，IBM Research发起了一个名为 Enterprise-Strength Federated Learning: New Algorithms, New Paradigms, and a Participant-Interactive Demonstration Session 的tutorial，该tutorial通过7场简短演讲概述联邦学习的前沿成果，涵盖以下五个话题：