点击率的深度交叉注意力预估模型
DOI:
CSTR:
作者:
作者单位:

(1.安徽理工大学 电气与信息工程学院,安徽 淮南 232001; 2.安徽理工大学 省部共建深部煤矿采动响应与灾害防控国家重点实验室,安徽 淮南 232001)

作者简介:

贾晓芬 (1978-), 女,博士,教授,主要从事 深度学习,图像处理方面的研究.

通讯作者:

中图分类号:

基金项目:

国家自然科学基金面上项目(52174141)、安徽省自然科学基金面上项目(2108085ME158)、安徽高校协同创新项目 (GXXT-2020-54)和安徽省重点研究与开发计划(202004a07020043)资助项目


Prediction model of deep cross attention based on click through rate
Author:
Affiliation:

(1.Institute of Electrical and Information Engineering, Anhui University of Science and Technology,Huainan, Anhui 232001, China;2.State Key Laboratory of Mining Response and Disaster Prevention and Control in Deep Coal Mines, Anhui University of Science and Technology, Hainan, Anhui 232001, China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为了区分不同高阶交叉特征的重要程度并剔除冗余交叉特征,提高点击率的预估精度,提出了一种深度交叉注意力预估网络(deep cross attention prediction network,DAPN)模型。它将具有稀疏高维特征的输入信息表示为低维稠密向量后,分别送入因子分解机(factorization machine,FM)和深度交叉注意力层(deep cross attention,DCA)。FM通过一阶特征和二阶特征交叉挖掘训练数据中从未出现或者很少出现的低阶交叉特征。DCA层利用缩放点积注意力机制 (dot-product attention,DP_Att) 设计交叉注意力层,用于区分高阶交叉特征的重要度,并设计深度神经网络(deep neural network,DNN) 实现对高阶交叉特征建模。仿真表明,DAPN在MovieLens-1m和Avazu等公开数据集上均具有良好的预估性能,它使用并行结构能同时有效地学习低阶和高阶交叉特征,提高预估精度。

    Abstract:

    In order to distinguish the importance of different high-order crossover features and eliminate redundant cross features,and improve the accuracy of click through rate,a deep cross attention prediction network (DAPN) algorithm is proposed.DAPN represents the input information with sparse high-dimensional features as low-dimensional dense vectors and sends them to the factorization machine (FM) and deep cross attention (DCA) layer respectively.FM uses first-order features and second-order features to cross mine low-order cross features that never appear or rarely appear in training data.DCA layer uses scaled dot-product attention mechanism (DP_Att) to design cross attention layer,distinguish the importance of high-order cross features,and design the deep neural network (DNN) to model the high-order cross features.Simulation results show that DAPN has good prediction performance on public data sets,such as Movielens-1m and Avazu.DAPN uses parallel structure to effectively learn both low-order and high-order crossover features and improve estimation accuracy.

    参考文献
    相似文献
    引证文献
引用本文

赵佰亭,梁润,贾晓芬.点击率的深度交叉注意力预估模型[J].光电子激光,2023,34(6):586~591

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-05-20
  • 最后修改日期:2022-06-06
  • 录用日期:
  • 在线发布日期: 2023-06-14
  • 出版日期:
文章二维码