开发者社区> GoAlaaa> 正文

《深度学习》李宏毅 -- task5网络技巧设计

2022-10-19 27

简介： 局部最小值saddle point和鞍点local minima
+关注继续查看
福利推荐：阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭，4核8G云服务器899元/3年，新老用户共享优惠，点击这里立即抢购>>>

一、梯度下降法的局限

局部最小值saddle point和鞍点local minima

优化（Optimization）损失函数失败的原因主要有2种：

1.局部最小值 (local minima)，无路可走。

2.鞍点 (saddle point)，还可以继续梯度下降。

image.png


最好先知道损失函数的形状，才能更好的解决上面的问题。


二、分批（Batch） 和动力（Momentum）

2.1 Batch

分批处理(Batch)，也称为批处理脚本，是对某对象进行批量的处理，可以减少运算时间。

image.png


分批处理可以减少运行时间，快速达到目标。

image.png


每次分批训练有时优于一整批次训练，因为它可以快速找到目标。


三、分类

分类问题是得到一个一个的值，跟回归问题不一样。

image.png

通常会把数据进行归一化处理后再分类。


四、分批标准化

image.png


分批次训练模型时，若某批次数据很小，乘以一个大底系数，变化量也是很小的，若某批次数据很大，即使乘以一个非常小的参数，数据变化也是很大的，那么在一起训练时不好处理，所以先将数据标准化，那么数据就没有什么差异。


版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

机器学习/深度学习
深度学习网络 网络设计
开发者社区 > 人工智能 > 文章
机器翻译 工业大脑
作者高分内容
更多
深度学习系列资料总结(二) 364 深度学习系列资料总结(一) 202 深度学习知识点全面总结（二） 209 深度学习知识点全面总结（一） 131 机器学习知识点全面总结 166
相关文章
183王德发
使用numpy手写深度学习DNN网络
使用numpy手写深度学习DNN网络
22 0
我爱matlab
基于DNN深度学习网络的OFDM信号检测算法的matlab仿真,对比LS和MMSE两个算法
基于DNN深度学习网络的OFDM信号检测算法的matlab仿真,对比LS和MMSE两个算法
63 0
Matlab科研工作室
一种使用无线传感器网络预测圆形区域入侵检测的 k 屏障数量的深度学习方法附matlab代码
一种使用无线传感器网络预测圆形区域入侵检测的 k 屏障数量的深度学习方法附matlab代码
24 0
auqbllxiu
《深度学习论文实现：空间变换网络-第一部分》电子版地址
深度学习论文实现：空间变换网络-第一部分
16 0
二进制人工智能
【神经网络分类器】（三）深度学习发展史——从深度信念网络到AlexNet
144 0
我爱matlab
受限波尔茨曼机RBM_DBN深度学习网络训练和测试matlab仿真,数据库为随机数矩阵
受限波尔茨曼机RBM_DBN深度学习网络训练和测试matlab仿真,数据库为随机数矩阵
69 0
我的一块红布头
简答：如何设计一个深度学习网络来实现帧内预测？
简答：如何设计一个深度学习网络来实现帧内预测？
54 0
南蓬幽
机器学习之深度学习卷积神经网络，实现基于CNN网络的手写字体识别
机器学习之深度学习卷积神经网络，实现基于CNN网络的手写字体识别
78 0
阿炜小菜鸡
深度学习目标检测网络轻量化研究现状
随着深度学习和计算机视觉的快速发展,各类基于卷积神经网络的目标检测算法不断地刷新标准检测数据集的最好性能成绩。目前主流的基于卷积神经网络的目标检测算法,包括各种两阶段检测器（RCNN,Fast RCNN,Faster RCNN,Mask RCNN,Trident Net）以及单阶段检测器（YOLO,SSD,Corner Net,Extreme Net）。尽管新算法不断刷新性能,但大多数目标检测算法其模型的参数动辄数十兆字节,在计算资源有限的移动终端等边缘设备中部署这样的大模型非常困难。因此,在保证一定准确率的前提下尽可能追求检测算法网络的轻量化具有重要的理论研究意义和应用价值。
595 0
ShowMeAI
深度学习教程 | 序列模型与RNN网络
本节介绍介绍循环神经网络(RNN)的重要知识，包括：循环神经网络RNN，语言模型，采样生成序列，RNN梯度消失与梯度爆炸，GRU(门控循环单元)，LSTM(长短期记忆)，双向与深度RNN等
3721 0
+关注
GoAlaaa
专注大数据与人工智能技术分享，个人博客：https://blog.csdn.net/qq_36816848
文章
问答
作者高分内容
更多
深度学习系列资料总结(二) 364 深度学习系列资料总结(一) 202 深度学习知识点全面总结（二） 209 深度学习知识点全面总结（一） 131 机器学习知识点全面总结 166
文章排行榜
最热
最新
1 fastjson2为什么这么快 74541
2 Meetup 报名丨 共话云原生架构升级，微服务x容器开源 Meetup 北京站来啦！ 64504
3 CVPR2021 | 视觉推理解释框架VRX：用结构化视觉概念作为解释网络推理逻辑的「语言」 63486
4 结构化总结与结构化思考之《金字塔原理》总结 56289
5 实现人机协同高稳定性，阿里云5G专网IoT方案入选工信部优秀解决方案 54099
6 C语言题解 | 移除元素(多种解法) 49963
7 jasypt-spring-boot敏感信息加密解密利器使用指南 47644
8 快速开发光伏电站数字孪生运维系统（一） 44656
9 DataWorks管控台无法配置PAI引擎临时解决方案 42514
10 Hive数据倾斜的原因以及常用解决方案 33179
11 高并发编程之阻塞队列 32723
12 Spring 事务【隔离级别与传播机制】 30484
13 性能优化之使用vue-worker插件（基于Web Worker）开启多线程运算提高效率 29490
14 计网之初识网络(理解网络传输的基本流程) 28008
15 Android体系课之--LeakCanary内存泄露检测原理解析 25929
16 零基础快速开发Vue图书管理系统—登录注册篇（一） 22676
17 IoT设备数据的存储、解析和价值挖掘实践 22645
18 IoT Studio 物联网可视化应用搭建开发实践 21295
19 开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化 16351
20 快速开发光伏电站数字孪生运维系统（二） 14900
1 Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架 148
2 ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案 59
3 性能最大提升60%，阿里云第八代企业级实例ECS g8i正式上线 148
4 [版本更新]PolarDB-X v2.2.1 生产级关键能力开源升级 54
5 身份证实名认证接口验证不一致的原因 113
6 JVM学习.03 类加载机制 102
7 org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize instance of `object` out of START_ARRAY token 178
8 Content type 'application/x-www-form-urlencoded;charset=UTF-8' not supported 215
9 云原生学习（二） 59
10 官宣｜Apache Flink 1.17 发布公告 376
11 Java智慧校园电子班牌系统源码 基于Java+springboot+vue+element-ui+mysql开发 63
12 基于阿里云eRDMA的GPU实例大幅提升多机训练性能 272
13 基于阿里云弹性GPU服务的神龙AI加速引擎无缝提升AI训练性能 215
14 重构计算，驱动视界：阿里云视觉计算思考与实践 199
15 如何构建可持续的ChatGPT高性能服务器端架构? 61
16 当一座钢铁森林 变成IoT智能化数据 58
17 阿里巴巴发布《城市数字孪生能力平台总体技术要求》企业标准， 促进数字孪生互联互通生态建设 361
18 docker的安装与镜像 63
19 初识Kafka 72
20 基础篇丨链路追踪（Tracing）其实很简单 170
相关课程
更多
深度学习与自动驾驶
2996
12
去学习
云网络白皮书-阿里云网络系列课
469
1
去学习
深度学习框架TensorFlow入门
17122
24
去学习
TCP/IP 网络基础
998
4
去学习
高校精品课-复旦大学-机器学习与深度学习
59
1
去学习
专有云网络基础架构介绍
224
1
去学习
推荐文章
参与OCR文档自学习产品评测，赢Airpods 2 参与云效代码管理Codeup评测，赢Redmi Watch 3 参与IoT小程序框架评测，赢CHERRY机械键盘 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
深度学习框架实战-Tensorflow
立即下载
TensorRT Introduction
立即下载
端上智能-深度学习模型压缩与加速
立即下载


http://www.vxiaotou.com