开发者社区> 我的一块红布头> 正文

简答：如何设计一个深度学习网络来实现帧内预测？

2022-12-02 54

简介： 简答：如何设计一个深度学习网络来实现帧内预测？

+关注继续查看

福利推荐：阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭，4核8G云服务器899元/3年，新老用户共享优惠，点击这里立即抢购>>>

前言

??帧内预测是在做视频处理的基本功，大家在日常的工作以及面试中也是经常会被问到的，今天为大家带来两种模式进行帧内预测。

传统模式

??帧内预测编码是指利用视频空域的相关性，使用待编码图像块的周边像素值来预测当前待编码图像块的像素值，以达到去除视频空域冗余信息的目的。

??传统算法的基本思想是遍历各种预测模式，然后用率失真优化（RDO）进行模式决策，从而得到当前待编码图像块的预测像素值。这里我们以 HEVC为例来对帧内预测进行说明。

?非深度学习方式预测其逻辑为：通过图像（如下所示）中 A、B、C、D、E 中区域的的像素值来预测 TU 中的像素值

深度学习

??在使用深度学习进行预测有两种方式，一种是基于HEVC 的编码标准，在决策的时候使用深度学习；另一种是摒弃HEVC的编码标准推测流程，全程使用深度学习完成预测。

??第二种思路是通过当前待编码图像块的周边像素值，直接预测当前待编码图像块的所有像素值。这里可以使用多层全连接网络进行处理，把当前待编码图像块的周边像素值作为网络的输入，经过多层全连接网络（激活函数同样选择复杂度较低的 ReLU），输出当前待编码图像块的预测值。下图是帧内预测全连接网络（IPFCN）的结构示意图。

训练该网络时，可以用视频编码算法中常用的均方误差（MSE）作为损失函数

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

机器学习/深度学习编解码算法

深度学习网络网络实现深度学习实现网络预测深度学习预测

开发者社区 > 人工智能 > 文章

机器翻译工业大脑

作者高分内容

更多

yolo系列的ONNX部署(C++)【适用于v4\v5\v5-6.1\v7】 374 数据扩增：模拟监控相机红外图像完成深度学习数据集的扩增 105 使用跳帧解码解决视频流或高帧视频处理缓慢过程 203 测试 opencv-python 中的 mat 和 Umat 处理图像的差异（GPU加速） 175 试分析：编码器- 解码器网络结构的设计理念 243

相关文章

陈丹宇jmu

网路系统规划与设计(CCNA)复习纲要第一部分：网络通识基础

网路系统规划与设计(CCNA)复习纲要第一部分：网络通识基础

54 0

GoAlaaa

《深度学习》李宏毅 -- task5网络技巧设计

局部最小值saddle point和鞍点local minima

27 0

技术小达人

RVB2601应用开发实战系列六：网络播放器设计(二)

技术解码栏目：是面向开发者详细解读芯片开放社区（OCC）上关于处理器、芯片、基础软件平台、集成开发环境及应用开发平台的相关技术，方便开发者学习及快速上手，提升开发效率。

93 0

技术小达人

RVB2601应用开发实战系列五：网络播放器设计(一）

技术解码栏目：是面向开发者详细解读芯片开放社区（OCC）上关于处理器、芯片、基础软件平台、集成开发环境及应用开发平台的相关技术，方便开发者学习及快速上手，提升开发效率。

88 0

FutureDeveloper

RVB2601应用开发实战系列六：网络播放器设计(二)

本文是基于RVB2601开发板实现网络播放器设计的下篇，主要介绍基于YoC软件平台av组件采用http协议播放一首网络mp3歌曲。

310 0

FutureDeveloper

RVB2601应用开发实战系列五：网络播放器设计(一）

本文是基于RVB2601开发板实现网络播放器设计的上篇，将涉及环境搭建、例程开发、增加（修改）本地音频三部分内容。

233 0

被纵养的懒猫

网络切片技术 |带你读《5G无线网络规划与设计》之五

术语“切片”在工业和学术界用于对几乎任何类型的（网络）资源进行切片。在 5G 系统中，切片特指针对构建 PLMN 的资源。但是，PLMN 网络切片部署时可以使用其他领域内的切片技术，例如传输网中的切片技术等。

7764 0

被纵养的懒猫

云无线接入网络的前向回传感知设计 | 带你读《5G系统关键技术详解》之十一

云无线接入网络（C-RAN，Cloud Radio Access Network）是第五代（5G，Fifth Generation）无线蜂窝网络的新兴范例，传统的物理层基站（BS，Base Station）传输和接收基础设施使用云计算技术进行虚拟化。

984 0

店家小二

Kubernetes网络接口(CNI) midonet网络插件设计与实现

先来讲讲什么是CNI? CNI（容器网络接口）是一种操作容器网络规范，包含方法规范，参数规范等。 CNI只关心容器的网络连接，在容器创建时分配网络资源，并在删除容器时删除分配的资源。因为这个焦点，CNI有广泛的支持，规格易于实现。

1630 0

店家小二

kubernetes容器网络接口(CNI) midonet网络插件的设计与实现

相关原理概述先来讲讲什么是CNI? CNI（容器网络接口）是一种操作容器网络规范，包含方法规范，参数规范等。 CNI只关心容器的网络连接，在容器创建时分配网络资源，并在删除容器时删除分配的资源。因为这个焦点，CNI有广泛的支持，规格易于实现。

1330 0

+关注

我的一块红布头

文章

问答

作者高分内容

更多

yolo系列的ONNX部署(C++)【适用于v4\v5\v5-6.1\v7】 374 数据扩增：模拟监控相机红外图像完成深度学习数据集的扩增 105 使用跳帧解码解决视频流或高帧视频处理缓慢过程 203 测试 opencv-python 中的 mat 和 Umat 处理图像的差异（GPU加速） 175 试分析：编码器- 解码器网络结构的设计理念 243

文章排行榜

最热

最新

1 fastjson2为什么这么快 74541

2 Meetup 报名丨共话云原生架构升级，微服务x容器开源 Meetup 北京站来啦！ 64504

3 CVPR2021 | 视觉推理解释框架VRX：用结构化视觉概念作为解释网络推理逻辑的「语言」 63486

4 结构化总结与结构化思考之《金字塔原理》总结 56289

5 实现人机协同高稳定性，阿里云5G专网IoT方案入选工信部优秀解决方案 54099

6 C语言题解 | 移除元素(多种解法) 49963

7 jasypt-spring-boot敏感信息加密解密利器使用指南 47644

8 快速开发光伏电站数字孪生运维系统（一） 44656

9 DataWorks管控台无法配置PAI引擎临时解决方案 42514

10 Hive数据倾斜的原因以及常用解决方案 33179

11 高并发编程之阻塞队列 32723

12 Spring 事务【隔离级别与传播机制】 30484

13 性能优化之使用vue-worker插件（基于Web Worker）开启多线程运算提高效率 29490

14 计网之初识网络(理解网络传输的基本流程) 28008

15 Android体系课之--LeakCanary内存泄露检测原理解析 25929

16 零基础快速开发Vue图书管理系统—登录注册篇（一） 22676

17 IoT设备数据的存储、解析和价值挖掘实践 22645

18 IoT Studio 物联网可视化应用搭建开发实践 21295

19 开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化 16351

20 快速开发光伏电站数字孪生运维系统（二） 14900

1 Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架 148

2 ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案 59

3 性能最大提升60%，阿里云第八代企业级实例ECS g8i正式上线 148

4 [版本更新]PolarDB-X v2.2.1 生产级关键能力开源升级 54

5 身份证实名认证接口验证不一致的原因 113

6 JVM学习.03 类加载机制 102

7 org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize instance of `object` out of START_ARRAY token 178

8 Content type 'application/x-www-form-urlencoded;charset=UTF-8' not supported 215

9 云原生学习（二） 59

10 官宣｜Apache Flink 1.17 发布公告 376

11 Java智慧校园电子班牌系统源码基于Java+springboot+vue+element-ui+mysql开发 63

12 基于阿里云eRDMA的GPU实例大幅提升多机训练性能 272

13 基于阿里云弹性GPU服务的神龙AI加速引擎无缝提升AI训练性能 215

14 重构计算，驱动视界：阿里云视觉计算思考与实践 199

15 如何构建可持续的ChatGPT高性能服务器端架构? 61

16 当一座钢铁森林变成IoT智能化数据 58

17 阿里巴巴发布《城市数字孪生能力平台总体技术要求》企业标准，促进数字孪生互联互通生态建设 361

18 docker的安装与镜像 63

19 初识Kafka 72

20 基础篇丨链路追踪（Tracing）其实很简单 170

相关课程

更多

Linux网络进阶 - TCP/IP协议及OSI七层模型

14133

5

去学习

企业上云攻略-阿里云网络产品应用系列教程

4299

58

去学习

云计算工程师解析与实战-网络专家篇（体验版）

371

3

去学习

云网络白皮书-阿里云网络系列课

469

1

去学习

TCP/IP 网络基础

998

4

去学习

专有云网络基础架构介绍

224

1

去学习

相关电子书

更多

可预期数据中心网络

立即下载

可编程网络视角的网络创新研究

立即下载

思科软件定义访问：实现基于业务意图的园区网络

立即下载