排序特征
用户画像(User Profile)
- 用户ID（在召回、排序中做embedding）。常embedding为32维、64维向量
- 人口统计学属性：性别、年龄。
- 账号信息：新老、活跃度…… 新老用户的使用习惯差别会很大。
- 感兴趣的类目、关键词、品牌。
物品画像(Item Profile)
- 物品ID（在召回、排序中做embedding）。
- 发布时间（或者年龄）。像明星出轨、电商打折这种强时效的信息，往往只会流行几天时间。
- GeoHash（经纬度编码）、所在城市。
- 标题、类目、关键词、品牌……
- 字数、图片数、视频清晰度、标签数…… 这些属性反映出笔记的质量，笔记的点击和交互指标和这些属性相关。
- 内容信息量、图片美学…… 笔记发布时用模型给笔记打分，这些分数可以作为排序的特征。
用户统计特征
- 用户最近30天（7天、1天、1小时）的曝光数、点击数、点赞数、收藏数…… 通过不同的时间粒度可以反映出用户的实时兴趣、短期兴趣、中长期兴趣。
- 按照笔记图文/视频分桶。（比如最近7天，该用户对图文笔记的点击率，对视频笔记的点击率。） 分别做统计可以反映出用户对两类笔记的偏好。
- 按照笔记类目分桶。（比如最近30天，用户对美妆笔记的点击率、对美食笔记的点击率、对科技数码笔记的点击率。） 这些统计量可以反映用户对哪些类目感兴趣。
物品统计特征
- 笔记最近30天（7天、1天、1小时）的曝光数、点击数、点赞数、收藏数…… 通过不同的时间粒度可以反映出笔记在不同时期的受欢迎程度。如果一篇笔记的短期点击率下降严重，那么不应该给这篇笔记更多的流量。
- 按照用户性别分桶、按照用户年龄分桶…… 统计不同性别、不同年龄段的用户对该笔记的点击率等指标。
- 作者特征：发布笔记数、粉丝数、消费指标（曝光数、点击数、点赞数、收藏数），这些特征反映了作者的作品质量。显然，如果一位作者之前发布的笔记质量很高，那么他发布的新笔记质量很高的概率更大。
场景特征
- 用户定位GeoHash（经纬度编码）、城市。 需要用户给平台位置权限。这些信息对召回和排序都有用，因为用户可能对自己附近发生的事感兴趣。
- 当前时刻（分段，做embedding）。 在不同的时间段想看的东西不同。
- 是否是周末，是否是节假日。 有些信息用户在周末或节假日更感兴趣。例如旅游景点、美食。
- 手机品牌、手机型号、操作系统。
特征处理
离散特征：做embedding。
- 用户ID、笔记ID、作者ID。
- 类目、关键词、城市、手机品牌。
连续特征：做分桶，变成连续特征。
- 年龄、笔记字数、视频长度。 比如把年龄变成年龄段、独热编码或者embedding。
连续特征：其他变换。
- 曝光数、点击数、点赞数等数值做 l o g ( 1 + x ) log(1+x) log(1+x)。 这些有长尾效应（少数笔记数值很大，绝大多数的笔记书记很小）的数值会很大，直接用原始数值梯度会很大，效果很差。
- 转化为点击率、点赞率等值，并做平滑处理。
特征覆盖率
- 很多特征无法覆盖 100% 样本。
- 例如年龄，很多用户不填写年龄，那么年龄的覆盖率就远小于 100%。
- 例如很多用户设置隐私权限，app 无法获得用户的地理定位，因此场景特征有缺失。
- 做特征工程时，要想办法提高特征覆盖率，可以让精排模型更准确。
数据服务
在特征缺失时，要想想用什么默认值取填充特征。
推荐系统用到了三个数据源，分别是用户画像、物品画像、统计数据。这些数据源都存储在内存数据库中，排序服务器会取出相应的数据喂给模型，在训练出点击率、点赞率、收藏率这些指标。
排序流程
用户画像对服务器压力较小，因为只针对一位用户。物品画像的服务器压力非常大，因为有成百上千篇笔记。统计数据动态是因为用户、物品的点赞率等指标都是变化很迅猛的。取完特征后对特征打包，交给 TensorFlow 服务器打分。