springboot集成langchain4j实现票务助手实战

前言

看此篇的前置知识为langchain4j整合springboot，以及springboot集成langchain4j记忆对话。

Function-Calls介绍

• langchain4j 中的 Function Calls（函数调用）是一种让大语言模型（LLM）与外部工具（如 API、代码执行器等）交互的机制。通过这种机制，LLM 可以根据上下文动态调用开发者预定义的函数，从而扩展其能力边界，解决纯文本生成无法处理的复杂任务（如数学计算、实时数据查询、业务逻辑处理等）。
• 对于基础大模型来说，他只具备通用信息，他的参数都是拿公网进行训练，并且有一定的时间延迟，无法得知一些具体业务数据和实时数据，这些数据往往被各软件系统存储在自己数据库中:
• 比如我现在开发一个智能票务助手我现在跟AI说需要退票，AI怎么做到呢?就需要让AI调用我们自己系统的退票业务方法，进行数据库操作。
• 那这些都可以通过function-call进行完成，更多的用于实现类似智能客服场景，因为客服需要帮用户解决业务问题(就需要调用业务方法)。

Function-Calls流程

比如: 现在当用户问的是“kizzo页面访问量有多少”，大模型需要从程序内部获取
1.问大模型 “页面访问量有多少”
2.大模型在识别到你的问题是:“kizzo页面访问量有多少”
3.大模型提取“访问量”
4.调用 pageViewCount方法
5.通过返回的结果再结合上下文再次请求大模型
6.响应“Kizzo页面的访问量目前有1000次。”

Function-Calls代码实现

1. 加入回调

@Service
@Slf4j
public class ToolsService {
    @Tool("kizzo页面访问量有多少")
    public Integer pageViewCount(@P("访问量") String pv){
        //todo 此处可以查询数据库或rpc方法
        log.info("pv:{}", pv);
        // 结果
        return 1000;
    }
}

ToolsService配置为了一个bean
@Tool 用于告诉AI什么对话调用这个方法
@P(“访问量")用于告诉AI，调用方法的时候需要提取对话中的什么信息，这里提取的是访问量

2. 在AiConfig中的助手对象增加Function-Calls Tools

    @Bean
    public Assistant assistant(ChatLanguageModel chatLanguageModel, StreamingChatLanguageModel streamingChatLanguageModel, ToolsService toolsService){
        // 最多存储多少聊天记录
        ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10);
        // 为Assistant动态代理对象chat ---> 对话内容存储ChatMemoryi ---> 聊天记录ChatMemory取出来 ---->放入到当前对话中
        Assistant assistant = AiServices.builder(Assistant.class)
                .tools(toolsService)
                .chatLanguageModel(chatLanguageModel)
                .streamingChatLanguageModel(streamingChatLanguageModel)
                .chatMemory(chatMemory)
                .build();
        return assistant;
    }

再次调用后结果如下：

预设角色(系统消息SystemMessage)

基础大模型是没有目的性的，你聊什么给什么，但是如果我们开发的事一个智能票务助手，我需要他以一个票务助手的角色跟我对话， 并且在我跟他说”退票”的时候， 让大模型一定要告诉我“车次”和“姓名"这样我才能去调用业务方法(假设有一个业务方法，需要根据车子和姓名才能查询具体车票)，进行退票。
在langchain4j中实现也非常简单

• @SystemMessage 系统消息，一般做一些预设角色的提示词，设置大模型的基本职责
• 可以通过{{current date}} 传入参数，因为预设词中的文本可能需要实时变化
• @V(“current date”)，通过@V传入{{}中的参数
• 一旦参数不止一个，就需要通过@UserMessage设置用户信息

代码实现:

1. 在AiConfig中的助手对象重载一个stream流输出方法，用@SystemMessage预设提示词角色

        @SystemMessage("""
                您是“xx”航空公司的客户聊天支持代理。请以友好、乐于助人且愉快的方式来回复。
                您正在通过在线聊天系统与客户互动。
                在提供有关预订或取消预订的信息之前，您必须始终从用户处获取以下信息:预订号、客户姓名。
                请讲中文。
                今天的日期是 {{current_date}}.
                """)
        TokenStream stream(@UserMessage String message, @V("current_date") String currentDate);

2. 在ToolsService中新增一个tool

    @Tool("退票")
    public String cancelBooking(@P("地区") String bookingNumber,@P("姓名") String name){
        //todo 业务方法，退票数据库操作
        log.info("bookingNumber:{},name:{}", bookingNumber,name);
        // 结果
        return "退票成功";
    }

3. Controller中新增一个接口调用

    // 预设角色记忆流对话
    @RequestMapping(value = "/system_message_chat_stream",produces = "text/stream;charset=UTF8")
    public Flux<String> systemMessageStreamChat(@RequestParam(defaultValue="我是谁") String message) {
        TokenStream stream = assistant.stream(message, LocalDate.now().toString());
        return Flux.create(sink ->  {
            stream.onPartialResponse(s -> sink.next(s))
                    .onCompleteResponse(c -> sink.complete())
                    .onError(sink::error)
                    .start();
        });
    }

结果如下：