一一中文网

手机浏览器扫描二维码访问

第98章 系统设计面（第3页）

？

“第四层，在线服务层”

。

林晨早有准备，“推荐系统的线上服务要求高吞吐、低延迟。

我会将模型导出为Savedmodel或oNNx格式，用tFServing或自研的c++高性能推理框架加载。

服务部署采用多副本、负载均衡，保证可用性。

整个推荐请求的端到端延迟要控制在100毫秒以内，其中模型推理部分不超过50毫秒”

。

他详细描述了线上服务的流程：“用户打开App，请求到达推荐服务网关。

服务首先从特征存储中拉取该用户的特征和候选商品特征，然后经过召回阶段——先用倒排索引或向量检索从百万级商品池中快速筛选出千级别的候选集，再经过精排模型对这批候选商品进行精准打分排序，最后经过重排阶段，考虑业务规则、多样性、新鲜度等因素，生成最终展示给用户的topN推荐列表”

。

王毅听到这里，脸上露出了明显的赞许神色：“召回、精排、重排，链路很清晰。

那么，最后一个层呢”

？

“第五层，监控与反馈层”

。

林晨切到最后一幅图，“系统上线不是终点。

需要建立完善的监控大盘：追踪推荐结果的曝光、点击、转化率等核心业务指标；监控服务qpS、延迟、错误率等性能指标；监控特征覆盖率、模型预测分数分布等算法指标。

同时，用户对推荐结果的反馈（点击、跳过、长时间浏览等）需要实时回流到数据层，形成闭环，驱动模型持续迭代优化”

。

他总结道：“这五层架构，从数据采集到模型迭代，形成一个完整的飞轮。

系统设计时还需要考虑非功能需求：弹性扩缩容应对大促流量高峰；多机房部署保证容灾；数据隐私合规处理；以及最重要的——成本控制。

比如，通过模型量化、蒸馏等技术优化推理成本；通过特征采样、负样本优化降低训练成本”

。

说完，会议室里安静了几秒。

林晨手心有些出汗。

他是不是讲得太细了？或者哪里出了纰漏？

王毅放下笔，双手交叉放在桌上，认真地看着林晨：“你之前做过完整的推荐系统项目”

？

“没有直接在公司做过”

。

林晨坦诚道，“但我自己独立设计并实现了一个量化投资AI系统，从数据采集（金融市场数据）、特征工程（技术指标、基本面因子）、模型训练（时序预测、强化学习）、到在线交易和监控回测，走完了全链路。

很多设计思路是相通的。

另外，我研究了业界很多开源架构和论文，比如阿里、Youtube、Netflix的推荐系统技术博客”

。

“自己动手做过，和只看文档，完全是两回事”

。

王毅感慨道，“你刚才提到的成本控制、特征版本管理、闭环反馈，这些都是实际项目中才会遇到的痛点。

你的设计考虑得很周全，不仅知道要做什么，还知道为什么这么做，以及可能会踩什么坑”

。