作者多年来在互联网大厂深耕和打磨搜广推算法技术,并进行总结和分享。基于个人工作和学习内容,整体出学习笔记。供个人学习使用,非本人同意不得应用于商业领域。图片加载需要开启VPN,否则图片不可见。


书籍学习


1.1 书籍大模型应用


工作算法


2.1 强化学习应用


2.2 Transformer模型优化

2.2.1 Tokenization

电商排序不同类型/不同维度/不同长度的特征经过Tokenization后,统一转化为同一维度(例如 64/128/256)的可交互的Feature Token向量,方便后续排序模型(Transformer, RankerMixer, OneTrans)使用和运算。

2.2.2 Hyformer

Hyformer模型打破传统「先序列压缩、后特征交叉」的两阶段串行范式,用统一 Transformer 骨干实现双向、深层、早阶段的序列-特征交互。

2.2.3 Infer_Optimization