基于DeepFM算法的短视频直播平台的设计与实现

作     者：乔丽萍 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：车啸平

授予年度：2022年

学科分类：0810[工学-信息与通信工程] 08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

主      题：短视频 智能推荐 DeepFM 流量变现 

摘      要：随着5G时代到来,掀起了一场在线化、网络化、智能化的信息革命。在这个全新的信息时代,移动互联网用户不断增长,新型信息传输方式和营销模式不断涌现,短视频直播平台在这场变革中应运而生。为了紧跟时代步伐,多渠道推广企业文化、企业服务、企业产品及抓住自有流量,实现流量变现,企业自有短视频直播平台应运而生。该系统根据企业需求,结合智能推荐算法精准高效地为用户推送短视频,引导用户了解企业及其相关产品。本论文依据软件工程中软件开发流程,对项目背景及国内外现状进行分析,了解并确定该项目可行性及研发方向。依据此方向依次展开了技术选型、系统需求分析、系统概要设计、系统详细设计与实现、系统测试及项目总结与展望。项目在整体上分为两大板块:短视频直播平台服务端、短视频直播平台客户端。系统服务端主要分为短视频管理、直播管理、企业员工管理和系统管理,实现了企业对平台整体数据管理。系统客户端采用分频道模式向用户推送短视频,为了达到千人千面的推送效果,采用Deep FM推荐算法实现智能推荐。模型训练数据来源于抖音数据集,推荐数据处理采用Lambda架构整合离线计算和实时计算两部分,通过前端埋点,使用Flume收集日志数据,将用户行为数据存储到HDFS。离线部分采用收集到的用户行为进行用户画像构建、视频画像构建、离线视频召回及排序模型训练。实时在线部分使用Kafka对接Flume收集用户行为消息队列,通过Spark Streaming实时处理Kafka发送来的点击日志,实现实时更新特征及召回集。论文中所涉及到的短视频直播平台已上线使用,运行稳定,可用性达到了预期效果,同时具有良好的安全性和可维护性。该项目为企业拓宽了商业渠道,实现了自有流量商业变现,同时为企业提供了一个良好的企业文化宣传平台,为企业的发展添砖加瓦。