《深度学习》李宏毅 -- task5网络技巧设计

简介: 局部最小值saddle point和鞍点local minima

一、梯度下降法的局限


局部最小值saddle point和鞍点local minima

优化(Optimization)损失函数失败的原因主要有2种:

1.局部最小值 (local minima),无路可走。

2.鞍点 (saddle point),还可以继续梯度下降。

image.png


最好先知道损失函数的形状,才能更好的解决上面的问题。


二、分批(Batch) 和动力(Momentum)


2.1 Batch

分批处理(Batch),也称为批处理脚本,是对某对象进行批量的处理,可以减少运算时间。

image.png


分批处理可以减少运行时间,快速达到目标。

image.png


每次分批训练有时优于一整批次训练,因为它可以快速找到目标。


三、分类


分类问题是得到一个一个的值,跟回归问题不一样。

image.png

通常会把数据进行归一化处理后再分类。


四、分批标准化


image.png


分批次训练模型时,若某批次数据很小,乘以一个大底系数,变化量也是很小的,若某批次数据很大,即使乘以一个非常小的参数,数据变化也是很大的,那么在一起训练时不好处理,所以先将数据标准化,那么数据就没有什么差异。


目录
相关文章
|
7天前
|
机器学习/深度学习 监控 算法
m基于深度学习网络的活体人脸和视频人脸识别系统matlab仿真,带GUI界面
m基于深度学习网络的活体人脸和视频人脸识别系统matlab仿真,带GUI界面
12 0
|
26天前
|
机器学习/深度学习 传感器 算法
基于yolov2深度学习网络的打电话行为检测系统matlab仿真
基于yolov2深度学习网络的打电话行为检测系统matlab仿真
基于yolov2深度学习网络的打电话行为检测系统matlab仿真
|
4天前
|
机器学习/深度学习 算法 计算机视觉
m基于Yolov2深度学习网络的喝水行为检测系统matlab仿真,带GUI界面
m基于Yolov2深度学习网络的喝水行为检测系统matlab仿真,带GUI界面
10 0
|
4天前
|
机器学习/深度学习 数据采集 监控
基于yolov2深度学习网络的车辆检测算法matlab仿真,包括白天场景和夜晚场景
基于yolov2深度学习网络的车辆检测算法matlab仿真,包括白天场景和夜晚场景
|
6天前
|
机器学习/深度学习 自然语言处理 大数据
深度学习中的卷积神经网络优化技术探析
【2月更文挑战第4天】在深度学习领域,卷积神经网络(CNN)一直扮演着重要角色,但其训练和推理过程中存在许多挑战。本文将从优化角度出发,探讨卷积神经网络中的权重初始化、损失函数设计、学习率调整等优化技术,旨在为深度学习爱好者提供一些实用的技术感悟和分享。
9 3
|
7天前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的车辆行人检测算法matlab仿真
基于yolov2深度学习网络的车辆行人检测算法matlab仿真
|
9天前
|
机器学习/深度学习 数据采集 算法
基于yolov2深度学习网络的血细胞检测算法matlab仿真
基于yolov2深度学习网络的血细胞检测算法matlab仿真
|
14天前
|
机器学习/深度学习 数据采集 算法
基于googlenet深度学习网络的中药材种类识别算法matlab仿真
基于googlenet深度学习网络的中药材种类识别算法matlab仿真
|
16天前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的人员跌倒检测识别matlab仿真
基于yolov2深度学习网络的人员跌倒检测识别matlab仿真
|
22天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
深度学习入门:Python 与神经网络
深度学习是机器学习的一个分支,它涉及使用多层神经网络来处理和学习数据。在 Python 中,有许多流行的深度学习库和框架可以帮助我们轻松地构建和训练神经网络模型。在本文中,我们将介绍深度学习的基本概念,并使用 Python 中的 TensorFlow 和 Keras 库来构建一个简单的神经网络模型。

相关产品


http://www.vxiaotou.com