开发者社区> cnm开心超人> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【AI征文】初识DeepRec

简介: 初识DeepRec
+关注继续查看
福利推荐:阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭,4核8G云服务器899元/3年,新老用户共享优惠,点击这里立即抢购>>>

DeepRec(PAI-TF)是阿里巴巴集团统一的大规模稀疏模型训练/预测引擎,广泛应用于淘宝、天猫、阿里妈妈、高德、淘特、AliExpress、Lazada等,支持了淘宝搜索、推荐、广告等核心业务,支撑着千亿特征、万亿样本的超大规模稀疏训练。DeepRec在分布式、图优化、算子、Runtime等方面对稀疏模型进行了深度性能优化,同时提供了稀疏场景下特有的Embedding相关功能。
image.png
DeepRec在阿里内部使用的核心的业务场景主要就是猜你喜欢、主搜索,还有广告的直通车和定向。
image.png

DeepRec主要包含以下几类:

image.png

  • 动态弹性特征
  • 基于特征频率的动态弹性维度
  • 异步训练框架StarServer
  • 同步训练框架HybridBackend
  • Embedding多级混合存储
  • 图优化-结构化特征
  • Runtime优化-PRMalloc

DeepRec架构设计原则

DeepRec采取了另一种架构设计方式,遵循“视整个训练引擎为一个系统整体”的架构设计原则。TensorFlow是一个基于Graph的静态图训练引擎,在其架构上有相应的分层,比如最上层的API层、中间的图优化层和最下层的算子层。TensorFlow通过这三层的设计去支撑上层不同Workload的业务需求和性能优化需求。
DeepRec也坚持了这一设计原则,基于存储/计算解耦的设计原则在Graph层面引入EmbeddingVariable功能;基于Graph的特点实现了通信的算子融合。通过这样的设计原则,DeepRec可以支持用户在单机、分布式场景下使用同一个优化器的实现和同一套EmbeddingVariable的实现;同时在Graph层面引入多种优化能力,从而做到独立模块设计所做不到的联合优化设计。

大规模稀疏模型的应用是搜、推、广等多业务领域所面临的重要课题,阿里巴巴DeepRec模型在业界已有训练引擎、框架的基础上探索出了一套行之有效的实践方案,在特征使用、模型训练、线上推理、存储等方面都进行了一定的探索和优化。DeepRec希望在自身开源的过程中与业界伙伴一起更好地解决大规模稀疏模型应用的问题。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《中国人工智能学会通讯》——7.32 量化计算 建立情感数据库
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第7章,第7.32节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1583 0
《中国人工智能学会通讯》——4.36 信号量化
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.36节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
949 0
《中国人工智能学会通讯》——4.15 关联滤波器
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.15节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1317 0
《中国人工智能学会通讯》——4.13 采用关联滤波器的卷积神经网络
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.13节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1307 0
《中国人工智能学会通讯》——4.33 单包传输与多包传输
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.33节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1284 0
《中国人工智能学会通讯》——4.35 时变传输周期
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.35节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
979 0
《中国人工智能学会通讯》——11.36 非线性系统 H∞ 最优控制
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.36节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1200 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里巴巴机器学习平台AI
立即下载
【云栖精选6月刊】当AI来敲门,一刊尽览人工智能
立即下载
英特尔+阿里云机器学习PAI-全栈赋能AI生态,加速应用落地
立即下载


http://www.vxiaotou.com