然而,大语言模型(LLMs)并未经过这些信息的训练,因此无法直接用于推理和生成响应。为了解决这个问题,一个标准的做法是设置检索增强生成(RAG)流程,通过该流程调用内部API,并将它们的响应注入到后续的大语言模型提示词中,以提供额外的上下文来支持生成响应。 这些独特的数据中有很多是通过各种微服务中的远程过程调用(RPC)API在内部公开的。
但对于大语言模型来说并不友好。 我们通过把这些API“包装”成技能来解决这个问题。每个技能(Skill)都包含以下组件: 人类(和大语言模型)友好的描述:说明API的 芬兰电话号码数据 功能以及何时使用它。 RPC API调用配置:包括端点、输入、输出schema等。 大语言模型友好的输入和输出schema: 基本类型(如字符串/布尔值/数字) JSON风格的输入和输出schema 业务逻辑:用于在大语言模型友好的schema与实际RPC schema之间进行映射。
(注:schema是个编程术语,也许可以翻译成模式,拿excel表作类比,表头是schema) 这样的技能使大语言模型能够执行与我们的产品相关的各种任务,如查看个人资料、搜索文章/人员/职位/公司,甚至查询内部分析系统。 同样的技术也用于调用非LinkedIn API,如Bing搜索和新闻。 AI智能体产品案例深度思考和分享(全球顶级公司实践细节,做AI智能体必读) 图3:使用技能调用内部API 我们编写了提示词,要求大语言模型(LLM)决定使用哪种技能来解决特定任务(通过规划来完成技能选择),然后输出调用该技能所需的参数(函数调用)。