Skip to content

如何集成 Ollama

首先需要在本地使用 Ollama 部署 DeepSeek r1 版本,如果需要可以远程访问,开启 Ollama 的远程访问设置。

确保可以访问到 Ollama 部署的大模型后。就可以在项目中进行集成了。

首先需要下载 Ollama 依赖: pom.xml

xml
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

application.yml中配置 Ollama:

yml
spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: deepseek-r1:32b #指定模型

在代码中注入 OllamaChatModel。

java
private final OllamaChatModel ollamaChatModel;
private final ChatClient chatClient;

public ChatController(OllamaChatModel ollamaChatModel) {
    this.ollamaChatModel = ollamaChatModel;
    String systemPrompt = """
            你是一个非常有帮助的智能助手.
            """;
    this.chatClient = ChatClient.builder(ollamaChatModel)
            .defaultSystem(systemPrompt)
            .defaultAdvisors(new MessageChatMemoryAdvisor(new InMemoryChatMemory()))
            .build();
}

然后就可以调用 chatClient 去访问大模型了。