Ollama 是一个强大的工具,用于运行和部署各种大型语言模型(LLM)。Spring Boot 是一个流行的 Java 框架,用于快速开发基于 Spring 的应用。本指南将向你展示如何在 Windows 系统上安装 Ollama,并使用 Spring Boot 集成 Ollama 以实现简单的聊天功能。
安装 Ollama
前往 Ollama 官方下载页面 下载适合 Windows 系统的版本。安装过程中只需按照默认选项进行即可,Ollama 的默认端口为 11434。
安装完成后,点击 查看模型列表 并下载所需的模型,以 deepseek-r1:1.5b
模型为例:
# 安装 deepseek-r1:1.5b 模型
ollama run deepseek-r1:1.5b
你可以使用以下命令查看已安装的模型:
# 查看已安装的模型列表
ollama list
安装完成后,你可以通过控制台(我这里使用的windows)与模型进行简单对话。如下图所示:
springboot集成
在你的 Spring Boot 项目中添加以下依赖:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
<version>0.8.1</version>
</dependency>
在 application.yml
配置文件中添加以下内容:
spring:
ai:
ollama:
base-url: http://localhost:11434 # Ollama 服务器地址
chat:
model: deepseek-r1:1.5b # 使用的模型名称
enabled: true
接下来,你可以创建一个简单的测试控制器来调用 Ollama 模型:
@RequestMapping("/chat")
@RestController
public class TestController {
private final ChatClient chatClient;
public TestController(ChatClient.Builder chatClient) {
this.chatClient = chatClient.build();
@PostMapping
public Flux<String> chat(@RequestParam String message) {
try {
return chatClient.prompt(message).stream().content();
} catch (Exception e) {
throw new RuntimeException(e);
}
}
}