我现在公司有个做海外游戏智能客服项目,有两个平台,客服语言分别是菲律宾+英文混合,还有泰文。目前数据是有大量多轮对话数据(包含充值,玩法,活动,等一些问题),还有docx简单一些规则文档。其中客服对话要涉及时实数据查询。我开始准备用agent+rag做。有几个问题
1,针对于这种混合语言,是每个语言对应一个模型,准备自己语言的向量库,还是统一开始全翻译成英文,只用英文向量库,后续再英文翻译回对应语言返回给用户?还是翻译成中文,再存入向量库检索再翻译回去返回给用户?还是用各自语言大模型?
2,大模型怎么选择?目前我准备用在线调用api AWS bedrock
,claude 3.5 和 multilingual能否解决这个问题?还是有其他更好选择
3,针对数据处理这块有文档和大量多轮对话数据怎么处理?先让业务人员把多轮对话清洗,然后再和文档一起存入向量数据库检索吗?还是有其他更好的方案。不太清楚多轮对话需要清洗成什么标准,有很多意思重复的问题。
4,项目是否必要用微调?针对两个个平台(规则有差异)我能否统一调用claude3.5去回复?我只做metadata标识?如果针对后续更多平台,还能否用一个模型?
5,针对最后效果评估,是让项目方提供自己重要的问答测试准确率吗?
6,整体思路是agent的llm先做意图识别再去看是否调用api或者rag吗?走两条线就可以了吗?