AI 客服落地前的基础设施准备

发布时间:2026-09-17 17:57

很多团队对 AI 客服的想象还停留在"接一个大模型接口"，真正动手才发现，接口之外的准备工作占了大头。上线之前，有三块基础要备齐。 一、语料整理 模型答得准不准，取决于喂给它的知识。历史工单、产品手册、常见问题要先做结构化：归类、去重、清理过时内容，再切成适合检索的片段。这一步枯燥，却是决定性环节，通常占整个项目工作量的一半以上。切片后要抽查质量：随机抽几十个片段人工读一遍，上下文断裂、信息缺失的问题在这一步就能发现。整理的同时做脱敏：工单里的手机号、收货地址这类个人信息要清洗掉，不进知识库，也不进日志。 二、推理资源 按日均咨询量和峰值并发估算资源。客服咨询有明显的时间峰：工作日上午和午休后是高峰，按平均值配资源，高峰必挂，这是最常见的翻车点。每天几千次咨询的规模，调用云端 API 起步足够；咨询量大、要求响应稳定、或者数据不允许出内网的，自部署一台带推理卡的服务器。响应延迟要按业务标准来定，客户等待超过几秒体验就明显下降，资源按峰值的 1.5 倍留余量，宁可平时略有富余，不留高峰期排队。 三、隐私与边界 三个要点：用户输入里的个人信息不进入训练数据；答案要有兜底策略，识别不了的问题明确转人工，而不是一本正经地硬答；对话日志的保存期限和访问权限要有制度。答案输出前再加一层过滤，涉及隐私的内容和请求拦截掉，这层规则独立于模型，便于审计和调整。客服场景直接面对客户，隐私出问题的代价，远高于功能不完美的代价，这条边界要在设计阶段就划死。 四、灰度上线 先让内部同事当用户，再放小比例真实流量，对照人工客服的解决率逐步放开。灰度期间建立问题标注机制：答错的对话归类打标，每周复盘一次，持续改进知识库。AI 客服的目标不是替代人工，是把重复问题接走，让人工去处理真正需要判断的那部分。