【推荐系统】model 落地（样本/特征/预测服务）

文章列表

兜率宫小道童的个人空间-兜率宫小道童个人主页-哔哩哔哩视频（如下是该视频课系列的笔记）

1-深度学习在搜索、广告、推荐系统中的应用-业务问题建模_哔哩哔哩_bilibili

其他章节

二、深度学习落地

模型训练服务流程

1-样本生成-标签拼接

1-样本生成-转化延迟

2-特征处理-整体流程

2-特征处理-特征中台

2-特征处理-原始特征拼接

2-特征处理-特征分类与抽取算子

2-特征处理-特征重要性

2-特征处理-特征体系示例

3-模型训练平台-模型构建

3-模型训练平台-模型构建-模型结构

3-模型训练平台-模型构建-损失函数

3-模型训练平台-模型构建-优化器

3-模型训练-训练流程

4-模型预测服务

三、深度学习算法进阶

检索算法分类

1-匹配算法分类

1-匹配算法-有表示匹配

1- 匹配算法-双塔模型-训练

1-匹配算法-双塔模型-预测

1-匹配算法-双塔模型-ANN 检索

2-匹配流程

2-匹配流程-召回发展

2-匹配流程-粗排发展

2-匹配流程-精排发展-1

2-匹配流程-精排发展-2

四、深度学习进阶

分布式机器学习 GitHub - dmlc/ps-lite: A lightweight parameter server interface

一天访问量会有百亿级别，单机是无法满足服务，做分布式模型服务
分布式模型服务-> 无状态，机器间不会被依赖

一些结论

增量训练

用历史上一个训练好的模型做初始化，
用过去一个月，或者是三个月的样本做全量训练。但此时，训练量是很大的，
比如，今天用前30天的样本进行训练，
明天用新增数据做增量训练，极大加快了模型的训练速度。有利于把最新的样本反应到 model 里面去，
对用户、商品冷启都有好的效果。

线上实时特征落盘

为什么在线特征定期同步给离线平台？——节约性能
当我们在线上发起一次预估请求，会将 model所需的成百上千特征都收集好，送给 model去预测。
我们希望将这成百上千特征都存下来，直接离线做明文特征抽取。
因为特征很多，会导致用来存储特征的线上包很大，会影响线上的性能+从在线到离线的存储过程中，会产生大量的时间开销。
由此产生：
只将线上的实时特征落盘过来，将时间不敏感的特征用离线特征平台拼接给样本。一方面节省线上开销，离线可以并行提高处理速度。