优化目标

对于深度学习问题，我们通常会先定义损失函数。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。

优化就是最大限度地减少深度学习损失函数的值。

在优化中，损失函数通常被称为优化问题的目标函数。

优化和深度学习

优化和深度学习的目标:

• 优化： 减少训练误差 - 最小化目标函数
• 深度学习： 减少泛化误差 - 在给定有限数据量的情况下寻找合适的模型(模型选择)

解析解和数值解

优化问题中的解析解和数值解

• 解析解
  • 数学推导得到的精确解，通常以公式形式表达
  • 适用于结构简单、目标函数和约束条件具有明确数学表达式的问题
• 数值解
  • 通过迭代优化算法得到的近似解
  • 适用于结构复杂、目标函数和约束条件不具有明确数学表达式的问题

本章将关注优化算法在最小化目标函数方面的性能，而不是模型的泛化误差。

在深度学习中，大多数目标函数都很复杂，没有解析解。必须使用数值优化算法。本章中的优化算法都属于此类别。