RL-赵-(六):随机逼近与随机梯度下降05:SGD算法的示例、应用、收敛性分析(Convergence)【使用SGD时,采样必须满足iid/独立同分布】

📅 发布时间:2026/9/24 5:16:46
RL-赵-(六):随机逼近与随机梯度下降05:SGD算法的示例、应用、收敛性分析(Convergence)【使用SGD时,采样必须满足iid/独立同分布】
1、SGD算法的示例、应用考虑下面的一个优化问题:min⁡wJ(w)=E[f(w,X)]=E[12∥w−X∥2],\min_w\quad J(w)=\mathbb{E}[f(w,X)]=\mathbb{E}\left[\frac12\|w-X\|^2\right],wmin​J(w)=E[f(w,X)]=E[21​∥w−X∥2],其中:f(w,X)=∥w−X∥2/2∇wf(w,X)=w−Xf(w,X)=\|w-X\|^2/2\quad\nabla_wf(w,X)=w-Xf(w,X)=∥w−X∥2/2∇w​f(w,X)=w−X