书籍摘要

《Experimentation for Engineers: From A/B Testing to Bayesian Optimization》是由David Sweet撰写的一本专注于工程实验方法的书籍，旨在帮助工程师通过实验手段优化系统性能。本书由Manning Publications Co.于2023年出版，涵盖了从A/B测试到贝叶斯优化的多种实验技术，适合机器学习工程师、量化交易员和软件工程师等专业人员阅读。

书籍内容概述

第1章：优化系统的方法

本书开篇介绍了工程工作流程中的优化需求，强调了实验在系统优化中的重要性。作者通过机器学习工程师、量化交易员和软件工程师的具体工作案例，展示了实验方法在不同领域的应用。同时，讨论了实验方法的必要性，指出实验是验证系统变更效果的最准确方式。

第2章：A/B测试

A/B测试是本书介绍的第一种实验方法。作者详细讲解了A/B测试的三个阶段：设计、测量和分析。通过模拟交易系统，展示了如何通过随机化和复制技术减少测量偏差和变异，从而准确评估系统变更的效果。本章还讨论了如何确定测量次数，以及如何根据实验结果决定是否接受或拒绝变更。

第3章：多臂老虎机（MAB）

多臂老虎机算法是A/B测试的扩展，用于在实验过程中最大化业务指标。本章介绍了epsilon-greedy算法，它通过在探索（随机选择版本）和利用（选择表现最佳的版本）之间平衡，减少实验成本。此外，还讨论了Thompson sampling算法，这是一种更高效的MAB算法，能够更快地找到最优版本。

第4章：响应面方法（RSM）

响应面方法专门用于优化连续参数。本章通过一个交易策略案例，展示了如何设计实验、测量业务指标，并通过建模和优化找到最优参数设置。RSM通过插值技术减少实验次数，同时保持对最优参数的准确估计。

第5章：上下文老虎机

上下文老虎机结合了预测模型和决策机制，用于个性化推荐系统。本章介绍了如何通过实验优化模型参数，以及如何通过探索和利用平衡减少模型偏差。Thompson sampling在上下文老虎机中的应用也被详细讨论，展示了其在减少探索成本和提高决策质量方面的优势。

第6章：贝叶斯优化

贝叶斯优化是一种自动化的实验优化方法，整合了响应面建模和多臂老虎机的思想。本章通过一个编译器参数优化案例，展示了如何使用高斯过程回归建模响应面，并通过优化采集函数设计实验。贝叶斯优化能够自动调整实验设计，平衡探索和利用，从而高效地找到最优参数。

第7章：管理业务指标

本章深入讨论了业务指标的定义和管理，强调了在优化过程中考虑多个业务指标的重要性。作者还讨论了如何权衡不同业务指标之间的关系，以及如何根据业务需求调整优化目标。

第8章：实际考虑

最后一章总结了实验过程中可能遇到的常见问题和挑战，如统计假设的违反、早期停止实验的问题以及如何控制假阳性率等。作者还强调了实验结果的验证和重复实验的重要性。

书籍特点

• 实践导向：通过具体的代码示例和实际案例，帮助读者理解和应用各种实验方法。
• 系统全面：涵盖了从简单A/B测试到复杂贝叶斯优化的多种技术，适合不同层次的读者。
• 行业应用：结合了机器学习、量化交易和软件工程等领域的实际应用，展示了实验方法的广泛适用性。

《Experimentation for Engineers: From A/B Testing to Bayesian Optimization》是一本实用性强、内容丰富的工程实验方法指南，适合希望提升系统优化能力的工程师阅读。