书籍摘要

《Bayesian Optimization in Action》是一本由Quan Nguyen撰写的关于贝叶斯优化（Bayesian Optimization，简称BayesOpt）的实用指南。本书由Manning Publications于2023年出版，旨在为数据科学家、机器学习（ML）从业者以及相关领域的研究人员提供一个系统性的贝叶斯优化入门和实践指导。

书籍背景

贝叶斯优化是一种用于优化昂贵黑盒函数的机器学习技术。它通过结合高斯过程（Gaussian Process，简称GP）建模和贝叶斯决策理论，高效地寻找目标函数的最优值。尽管贝叶斯优化在学术界受到广泛关注，但在实际应用中由于其复杂性而较少被使用。本书的出版旨在打破这一局面，通过直观的介绍、丰富的代码示例和实际案例，帮助读者快速掌握贝叶斯优化的核心概念和应用方法。

内容概述

本书共分为四部分，内容层次分明，逐步深入：

第一部分：高斯过程建模（Modeling with Gaussian Processes）

• 第2章：介绍高斯过程作为函数分布的概念，以及如何通过贝叶斯更新来更新对函数值的信念。
• 第3章：探讨如何通过均值函数和协方差函数定制高斯过程，以更好地反映先验知识和函数特性。

第二部分：贝叶斯优化决策策略（Making Decisions with Bayesian Optimization）

• 第4章：介绍基于改进的策略，如概率改进（Probability of Improvement，PoI）和期望改进（Expected Improvement，EI）。
• 第5章：将贝叶斯优化与多臂老虎机（Multi-Armed Bandit，MAB）问题联系起来，探讨乐观策略（Upper Confidence Bound，UCB）和汤普森采样（Thompson Sampling）。
• 第6章：利用信息论中的熵概念，设计基于信息增益的贝叶斯优化策略。

第三部分：贝叶斯优化的扩展应用（Extending Bayesian Optimization to Specialized Settings）

• 第7章：介绍批量贝叶斯优化（Batch Optimization），探讨如何在并行计算环境中高效地进行函数评估。
• 第8章：讨论约束优化（Constrained Optimization）问题，如何在优化过程中考虑额外的约束条件。
• 第9章：探索多保真优化（Multifidelity Optimization），利用不同精度的函数评估来平衡信息获取和计算成本。
• 第10章：研究偏好优化（Preference Optimization），通过成对比较数据来优化决策。
• 第11章：多目标优化（Multiobjective Optimization），同时优化多个目标函数。

第四部分：特殊高斯过程模型（Special Gaussian Process Models）

• 第12章：讨论如何将高斯过程扩展到大数据集，包括近似方法和高效计算策略。
• 第13章：介绍如何将高斯过程与神经网络结合，构建更强大的模型。

适用人群

本书适合以下读者：

• 数据科学家和机器学习从业者，特别是那些对超参数调优、A/B测试或实验设计感兴趣的读者。
• 在化学、材料科学、物理学等科学领域工作的研究人员，他们经常面临复杂的优化问题。
• 希望深入了解贝叶斯优化理论和实践的读者。

特色与优势

• 易读性：通过直观的解释、丰富的图表和代码示例，使复杂的贝叶斯优化概念易于理解。
• 实用性：提供了完整的代码实现和实际案例，帮助读者快速上手。
• 全面性：涵盖了从基础到高级的贝叶斯优化策略，以及在多种实际场景中的应用。
• 工具支持：重点介绍了GPyTorch和BoTorch等现代贝叶斯优化工具库的使用。

总之，《Bayesian Optimization in Action》是一本全面、实用且易于理解的贝叶斯优化入门书籍，适合任何希望在实际工作中应用贝叶斯优化技术的读者。