数据孤岛问题已经成为制约人工智能发展的主要阻碍。在此背景下, 联邦学习(Federated Learning) 作为一种新兴的机器学习技术范式, 凭借其突出的隐私保护能力,展示出在诸多业务场景中的应用价值。 本书从联邦学习的基础知识出发, 深入浅出地介绍了**服务器优化和联邦机器学习的算法体系, 详细阐述了联邦学习中涉及的加密通信模块的相关知识, 以定性和定量的双视角建立了联邦学习服务质量的评估维度、理论体系, 还延伸介绍了提升联邦学习服务质量的方法, 并对联邦学习的研究趋势进行了深入探讨与分析, 可以对设计和选择算法提供工具式的参考和帮助。 本书是高校、科研院所和业界相关学者研究联邦学习技术的理想读本, 也适合大数据、人工智能行业的从业者和感兴趣的读者参考。

第 1 章绪论 1 1.1人工智能的发展 1 1.1. 1人工智能的定义 1 1. 1. 2人工智能的发展历史及现状 2 1. 1. 3机器学习与数据 3 1.2隐私保护浮出水面 4 1.2. 1隐私保护问题 5 1. 2. 2隐私保护的攻击 5 1. 2. 3常见的隐私保护技术 7 1.3联邦学习的诞生 8 1.3. 1联邦学习的提出 8 1. 3. 2联邦学习的范式 9 1.3. 3联邦学习的应用 12 1. 4本章小结 13 第 2 章联邦学习基础 15 2.1联邦学习的基本概念 15 2. 2联邦学习的发展历程 17 2. 3联邦学习的基本类别与流程 18 2. 3. 1横向联邦学习 18 2. 3. 2纵向联邦学习 19 2. 3. 3联邦迁移学习 19 2. 3. 4联邦强化学习 20 2.4联邦学习的应用场景 21 2. 5本章小结 21 第 3 章**服务器优化算法 23 3.1联邦随机梯度下降算法 23 3. 1. 1算法框架及参数 23 3. 1. 2目标函数 24 3. 1. 3算法流程 25 3. 2联邦平均算法 25 3. 2. 1算法框架及参数 26 3. 2. 2目标函数 27 3. 2. 3算法流程 27 3. 3差分隐私联邦随机梯度下降算法 28 3. 3. 1算法框架及参数 28 3. 3. 2相关函数说明 29 3. 3. 3算法流程 30 3. 4差分隐私联邦平均算法 31 3. 4. 1算法框架及参数 31 3. 4. 2算法流程 32 3. 5基于损失的自适应提升联邦学习算法 33 3. 5. 1算法框架及参数 34 3. 5. 2算法流程 35 3. 6自平衡联邦学习算法 36 3. 6. 1算法框架及参数 36 3. 6. 2算法流程 37 3. 7联邦近端算法 39 3. 7. 1算法框架及参数 40 3. 7. 2模块介绍 41 3. 7. 3算法流程 42 3. 8不可知联邦学习算法 43 3. 9 基于概率的联邦网络匹配算法Ⅰ: 单隐层神经网络匹配算法 50 3. 9. 1算法框架及参数 50 3. 9. 2模块介绍 53 3. 9. 3算法流程 56 3. 10基于概率的联邦网络匹配算法Ⅱ: 多隐层神经网络匹配算法 57 3. 10. 1算法框架及参数 57 3. 10. 2模块介绍 59 3. 10. 3算法流程 63 3.11联邦匹配平均算法 64 3. 11. 1算法框架及参数 64 3. 11. 2目标函数 65 3. 11. 3算法流程 66 3. 12本章小结 67 第 4 章联邦回归算法 69 4.1联邦机器学习算法的定义 69 4. 1. 1水平型分布数据 70 4.1. 2垂直型分布数据 70 4. 2线性回归 70 4. 2. 1横向线性回归 71 4. 2. 2纵向线性回归 74 4. 3逻辑回归 80 4. 3. 1横向逻辑回归 81 4. 3. 2纵向逻辑回归 88 4. 4本章小结 96 第 5 章联邦分类算法 97 5.1朴素贝叶斯分类法 97 5. 1. 1贝叶斯定理 97 5. 1. 2朴素贝叶斯分类的思想和工作过程 97 5. 1. 3横向朴素贝叶斯分类 98 5.1. 4纵向朴素贝叶斯分类 102 5. 2支持向量机 107 5. 2. 1横向支持向量机 109 5. 2. 2纵向支持向量机 116 5. 3本章小结 124 第 6 章联邦树模型 125 6. 1决策树 125 6. 1. 1横向决策树 126 6. 1. 2纵向决策树 131 6.2XGBoost 138 6. 2. 1参数及含义 139 6. 2. 2加法同态 140 6.2. 3SecureBoost 算法的流程 140 6. 3本章小结 143 第 7 章联邦**算法 145 7. 1K 均值算法 145 7.1. 1横向K 均值聚类算法 146 7. 1. 2纵向K 均值聚类算法 149 7. 1. 3任意数据 K 均值聚类算法 158 7. 1. 4**两方 K 均值聚类算法 162 7. 2因子分解机 166 7.3基于近邻的协同过滤算法 171 7. 3. 1基于近邻的传统协同过滤算法 171 7. 3. 2基于用户的联邦协同过滤算法 173 7. 4基于矩阵的协同过滤算法 178 7. 4. 1基于矩阵的传统协同过滤算法 178 7. 4. 2基于矩阵的联邦协同过滤算法 178 7. 5矩阵分解算法 186 7. 5. 1基于 SGD 的联邦矩阵分解算法 186 7. 5. 2基于多视图的联邦矩阵分解算法 190 7. 5. 3兴趣点**算法 195 7. 5. 4基于差分隐私的联邦矩阵分解算法 197 7. 5. 5基于混淆电路的联邦矩阵分解算法 200 7. 5. 6基于相似度的联邦矩阵分解算法 205 7. 5. 7基于因子分析的联邦矩阵分解算法 209 7.5. 8基于深度学习的联邦矩阵分解算法 211 7. 6本章小结 213 第 8 章联邦学习系统的隐私与** 215 8.1问题描述与**模型 215 8. 2联邦学习隐私保护技术 216 8. 2. 1秘密共享 216 8. 2. 2不经意传输 218 8. 2. 3混淆电路 220 8. 2. 4同态加密 222 8. 2. 5差分隐私 224 8.3联邦学习**防护技术 226 8. 3. 1密码算法 226 8. 3. 2身份认证 229 8. 3. 3通信** 231 8. 3. 4存储** 233 8. 3. 5可信计算 235 8. 4本章小结 237 第 9 章联邦学习的服务质量 239 9.1联邦学习服务质量的定义 239 9. 1. 1联邦学习服务质量的由来 239 9. 1. 2什么是联邦学习服务质量评估 241 9. 2联邦学习服务质量的评估维度 242 9. 2. 1模型性能 242 9. 2. 2数据传输效率 243 9. 2. 3网络性能 243 9. 2. 4计算资源 9. 2. 5联邦建模的鲁棒性 9. 3联邦学习服务质量的理论体系 9. 3. 1模型性能的评价指标 9. 3. 2联邦学习的通信指标 9. 3. 3资源调度代价 9. 3. 4联邦建模的鲁棒性 9. 3. 5隐私保护技术的选取 9. 3. 6权值更新方法 9. 4提升联邦学习服务质量的方法 9. 4. 1联邦学习的算法优化 9. 4. 2联邦学习的通信优化 9. 4. 3联邦学习的末位淘汰 9. 4. 4增强联邦学习系统的鲁棒性 9.5本章小结 第 10 章联邦学习的研究趋势 10.1联邦学习的优化研究 10. 2联邦学习的**和隐私研究 10. 3联邦学习的应用领域研究 10. 4本章小结 附录 附录 ACholesky 分解 附录 BLDLT 分解 附录 C共轭梯度法 参考文献