效率提升之道：揭秘货拉拉大模型应用平台的应用部署

背景介绍

随着大语言模型（Large Language Model, LLM）涌现，如何高效落地应用LLM成为关键，以LLM为核心搭建各种Agent落地应用（AI Agent ）成为新风向。

货拉拉在司机邀约、AI客服、创意生成等业务已经应用自研大模型提效，推进AI应用。各业务在摸索大模型落地的过程中，存在以下困难：

AI应用集成难

构建和使用AI应用的用户可能是场内平台能力，也可能是业务领域服务，也可能是飞书、浏览器插件这样的SaaS系统，另外还有其他应用场景或所需用户。如何将AI应用和这些场景或用户无缝集成将决定用户体验和效果。

数据分散

 Prompt组装或大模型的推理过程中可能涉及外部语料，这些语料来源存在多样性（离线文件、场内数据库、第三方应用），且可能涉及数据的ETL过程和Embedding存储和查找。

落地成本高

各业务探索大模型落地需要定制化开发，例如会话记录、模型抉择、token分割等。

综合如上现状和问题，货拉拉搭建了LLM应用平台（可视化界面，用户可通过拖拽2min快速搭建部署应用），贴合业务侧需求，降低业务和算法应用大模型的成本，缩短接入周期，支持快速便捷构建AI应用提效能。

LLM应用平台

1 平台架

货拉拉每月消息发送量高达26亿，重复或近似的消息推送会导致用户疲劳，消息点击率下降，甚至用户可能关闭消息推送通知，在消息层面流失之后不能再次被触达。

针对以上问题，我们在营销消息触达时，采用AIGC辅助运营生成消息文案和改写消息文案，助力运营提效、同时提高消息的点击率。采用大模型生产AIGC文案，在货拉拉LLM应用平台，仅2min可快速搭建AI应用，支持业务落地。

文案代写：用户仅需输入【关键词】，通过flow 几秒钟可返回多个文案，在提升运营文案创作效率的同时，丰富了文案库。例如，

关键词：开城, 冷藏车上线, 赢x元京东卡文案改写：用户仅需输入【待改写文案】，通过flow 可快速返回多风格候选文案，不仅提高文案改写效率，同时也保证了文案的质量和用户体感。例如，

标题：您有6张发货神券已到账！！

内容：月末省钱日，6张发货神券已到您的账户，单张最高立减30元，快去下单吧>>

2 AI邀约

货拉拉邀约中心已经积累了大量的线索，并且线索量还在不断增加。不同邀约员针对邀约线索标注习惯不同，导致线索管理相对低效。

针对上述问题，采用LLM应用平台构建AI应用，针对对脱敏线索数据处理，识别线索中司机的情绪和意图，助力线索管理提效，进而提升线线索跟进率。

例如，针对以下两个对话示例，通过LLM应用平台flow，可以快速标记出司机的情感和意向。

3 智能广告

货拉拉广告日均曝光量约2700w，广告的曝光以图片为主，但目前大模型针对图片素材生成效果并不理想。针对广告素材生成我们分步优化，优先支持素材文案生成和改写在业务快速落地应用。

针对广告文案代写和改写，通过LLM应用平台搭建flow生成AI应用后，用户仅需要输入【业务线名称】或者【待改写文案】便可快速生成多候选文案，提升运营广告素材生成效率以及广告点击率。

文案代写示例

业务线名称：大车

文案改写示例

待改写文案：下单发货抢红包

4 辅助建模

LLM生成文案时需要运营输入关键词或者说明风格，辅助LLM更好的理解以生成更好的结果。初始阶段我们可以运营辅助，长远预期可自动化生产文案，自动化文案生成离不开优秀的文案库，因此类似风格标签、关键词总结均可以辅助我们丰富文案库，为未来自动化生产文案奠定基础。

以下是在货拉拉LLM应用平台，针对风格标签和关键词总结的应用示例，flow应用搭建快速，且可快速响应，结果质量有保证。

风格标签：针对文案可批量快速打上对应的风格标签，辅助丰富文案库

文案1：标题:速点！送您80元搬家券包；摘要:A.稳稳地接住 B.悄悄去下单

文案2：标题:您有新的优惠券入账！；摘要:10元优惠券已发放到您的账户上，快去使用吧~

文案3：标题:货拉拉诚邀您参与问卷调研；摘要:货拉拉诚邀您参与问卷调研，并有机会获得16元优惠券喔~

文案4：标题:要搬家？优惠券即将过期🚚；摘要:A.放弃优惠 B.点击预约无忧搬家，包搬包运>>

文案5：标题:（领）8.8折优惠券！；摘要:立享优惠，去发货🚚🚚🚚

文案6：标题:您有新的优惠券到账啦；摘要:16元调研优惠已到账，快下单享受优惠吧

关键词总结：可针对文案内容总结出核心关键词，基于这些关键词可再生成文案，丰富文案库

总结

针对货拉拉司内LLM应用落地低效的问题，我们搭建了货拉拉LLM应用平台，大模型能力体系逐渐闭环，从完善的大模型工具链到AI开发平台，助力加速AI应用落地。

LLM应用平台支持对组件、模型、以及AI应用进行管理，同时可视化界面，用户可以通过简单的拖拽链接组件几分钟快速搭建应用。使得应用大模型效率提升98.75%，平均接入耗时从24小时降低到18分钟。

LLM应用平台提供了大模型应用业务的通解，已在营销文案生成、货运邀约情绪识别、智能广告素材生成等7个业务场景落地。

LLM应用平台也在逐步完善，会持续不断迭代，为LLM在货拉拉司内落地提供更优质、更高效的服务。