Spring AI系列——使用大模型对文本进行内容总结归纳分析

一、技术原理与架构设计

1. 技术原理

本项目基于 Spring AI Alibaba 框架，结合 DashScope 大模型服务 实现文本内容的自动摘要和结构化输出。核心原理如下：

• 文档解析：
  使用 TikaDocumentReader 解析上传的文件（如 PDF、Word 等），提取纯文本内容。

• 自然语言处理：
  基于 DashScope 提供的 LLM 接口，将提取出的文本传入预定义 Prompt 中，由大模型生成结构化的摘要结果。

• 结构化输出：
  利用 BeanOutputConverter 将大模型返回的 JSON 字符串转换为 Java Bean，便于后续业务逻辑处理。

2. 架构设计

系统采用分层架构设计，主要包括以下模块：

二、完整代码实现

1. Maven 依赖管理 (pom.xml)

<dependencies>
    <dependency>
        <groupId>com.alibaba.cloud.ai</groupId>
        <artifactId>spring-ai-alibaba-starter</artifactId>
        <version>${spring-ai-alibaba.version}</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-tika-document-reader</artifactId>
    </dependency>
</dependencies>

2. 应用配置 (application.yml)

server:
  port: 10091

spring:
  application:
    name: spring-ai-alibaba-text-summarizer-example

  ai:
    dashscope:
      api-key: ${AI_DASHSCOPE_API_KEY:sk-7074berwerwerwerwbf3151f2fa}

3. 文本摘要控制器 (SummaryController.java)

@RestController
@Slf4j
public class SummaryController {

    @Value("classpath:/text-summarize-cn.st")
    private Resource summarizeTemplate;

    private final ChatClient chatClient;

    public SummaryController(ChatClient.Builder chatClientBuilder) {
        this.chatClient = chatClientBuilder.build();
    }

    @PostMapping(path = "/summarize", produces = "text/plain")
    public String summarize(@RequestParam("file") MultipartFile file) {
        List<Document> documents = new TikaDocumentReader(file.getResource()).get();

        String documentText = documents.stream()
                .map(Document::getFormattedContent)
                .collect(Collectors.joining("\n\n"));
        log.info("Document text: {}", documentText);

        return chatClient.prompt()
                .user(DEFAULT_SUMMARY_PROMPT)
                .system(systemSpec ->
                        systemSpec.text(summarizeTemplate).param("document", documentText)
                )
                .call()
                .content();
    }
}

4. 结构化输出实体类 (StreamToBeanEntity.java)

public class StreamToBeanEntity {
    private String title;
    private String author;
    private String date;
    private String content;

    // Getters and Setters
}

5. 流式转 JSON 控制器 (StreamToJsonController.java)

@RestController
@RequestMapping("/example/stream/json")
public class StreamToJsonController {

    private static final String DEFAULT_PROMPT =
            """
            requirement: 你好，请以JSON格式介绍你自己;
            format: 以纯文本输出 json，请不要包含任何多余的文字——包括 markdown 格式;
            outputExample: {
                 "name": {name},
                 "version": {version},
                 "description": {description},
                 "abilities": {abilities},
                 "languages": {languages},
                 "company": {company},
                 "birthday": {birthday},
                 "location": {location}
            };
            """;

    private final ChatClient dashScopeChatClient;

    public StreamToJsonController(ChatModel chatModel) {
        DashScopeResponseFormat responseFormat = new DashScopeResponseFormat();
        responseFormat.setType(DashScopeResponseFormat.Type.JSON_OBJECT);

        this.dashScopeChatClient = ChatClient.builder(chatModel)
                .defaultOptions(
                        DashScopeChatOptions.builder()
                                .withTopP(0.7)
                                .withResponseFormat(responseFormat)
                                .build()
                )
                .build();
    }

    @GetMapping("/play")
    public String simpleChat(HttpServletResponse response) {
        response.setCharacterEncoding("UTF-8");
        String result = dashScopeChatClient.prompt(DEFAULT_PROMPT)
                .call()
                .content();
        log.info("LLMs 响应的 json 数据为：{}", result);
        return result;
    }
}

三、关键参数详解与配置规则

1. DashScopeChatOptions

• topP: 控制采样概率分布的累积阈值，默认值为 0.7，表示只保留前 70% 的高概率词。
• responseFormat: 指定返回格式，支持 TEXT_ONLY 和 JSON_OBJECT，用于控制输出是否为结构化 JSON。

2. ChatClient

• prompt: 输入提示模板，通过 .text() 方法指定，支持占位符替换。
• systemSpec: 系统角色指令，用于引导模型行为。
• param(): 用于动态替换模板中的变量。

3. TikaDocumentReader

• 支持多种文档格式（PDF、DOCX、XLSX 等）的内容提取。
• 自动去除格式标签，仅保留纯文本内容。

四、测试验证与结果比对

1. 文件上传测试

• 输入文件： 包含一段长篇技术文章的 PDF 文档。
• 预期输出： 自动生成摘要，包含各段落摘要及全文摘要。
• 实际输出：

  【段落一】介绍了深度学习的基本概念及其在图像识别中的应用...
  【段落二】讨论了Transformer模型的优势及其在NLP任务中的表现...
  【全文摘要】本文综述了当前主流的深度学习模型及其在多个领域的应用现状...
  

2. 结构化输出测试

• 请求路径： /example/stream/json/play
• 返回示例：

  {
    "name": "通义千问",
    "version": "2.5",
    "description": "阿里巴巴集团旗下的超大规模语言模型",
    "abilities": ["问答", "写作", "编程", "翻译"],
    "languages": ["中文", "英文", "法语", "西班牙语"],
    "company": "阿里云",
    "birthday": "2023-04-07",
    "location": "杭州"
  }
  

3. 性能对比

五、总结与展望

本文介绍了如何利用 Spring AI Alibaba 集成 DashScope 大模型，实现文本内容的自动摘要与结构化输出。通过完整的代码实现与参数分析，展示了系统的可扩展性与灵活性。未来可进一步探索以下方向：

• 支持多语言文本摘要；
• 引入缓存机制提升性能；
• 增加异步处理能力，支持批量文档处理；
• 结合前端 UI 实现可视化操作界面。

该项目具备良好的工程实践价值，适用于知识库构建、智能客服、内容推荐等多个应用场景。