我要评论01
在搜广推系统中，特征质量是决定模型能力的关键因素。爱奇艺广告场景下，特征评估面临以下挑战：
人力资源瓶颈：整个流程基本需要算法工程师完成，评估门槛高，效率低且评估标准不统一。
流程复杂性：广告算法场景增多，每个场景下的特征评估流程有明显差别，流程变得越来越复杂。
为了更高效地构建并筛选出优质特征，爱奇艺广告算法团队与大数据团队合作，基于 opal 机器学习平台对广告特征评估流程进行改进，并借助平台沉淀模型评估的方法论，使广告算法特征评估迭代效率提升 3 倍，评估周期从 5 天缩短到 1.5 天。
02
特征评估流程通常有以下四个主要部分：
-
数据处理：包括数据清洗和转换、特征构造和选择。 -
样本生成：包括样本划分、合并和平衡。 -
模型评估：包括模型选择、模型训练和特征重要性评估。 结果汇总：对模型评估结果进行汇总和分析，最终决定是否上线。 历史评估流程如下：
旧流程缺点明显：
-
评估门槛高，需要熟悉特征生产、特征加工、模型代码等多个模块。 -
评估标准不统一，没有完整的 pipeline，评估准确性依赖个人经验。
针对旧流程问题，我们在 2022 年底开始将特征评估流程迁移至 opal 机器学习平台，完成了整个流程的优化，大大提高了特征迭代的 roi。优化后的流程如下图所示：
相比原流程，新流程中确定了完整的评估 pipeline，并且统一在 opal 机器学习平台上操作。完整步骤如下图所示：
下文针对该流程，介绍一下流程关键步骤。
特征生产&特征质量前置评估
特征生产
1. jupyter-lab：notebook 编写脚本进行大数据处理和分析，脚本自动保存。
2. 特征和样本处理：应用图形化界面编写 sql 和调用特征算子，实现特征预处理，样本清洗、处理和新特征拼接。
模型离线评估
opal 集成了标准化模型离线评估和指标采集展示功能，覆盖了不同场景的需求。
-
新增训练模版：参数化模板配置并启动爱奇艺自建分布式平台训练任务。 -
流程模板调试：选定流程中指定节点启动任务并验证，流程节点失败时可对指定节点进行重试。 -
指标收集展示：模型评估完成并发送结果至平台，平台依据模版进行展示。
特征管理与跟踪
-
在线模型特征采集：通过模型 meta 信息收集模型使用特征 -
上线特征管理跟踪：特征查询、模型查询和特征样本例行化监控
03
-
特征评价体系：除了评估单个模型中的特征表现，未来会致力于共同建设一个全面且高效的特征评估和评价平台，帮助业务筛选出表现最优的 top 特征。 -
特征上线流程支持：opal 平台应进一步对特征上线流程进行优化，提升特征验证、模型训练和更新的效率，为广告算法团队提供更加高效和经济的解决方案。
发表评论