ollama gpu设置

默认的ollama调用的各种大模型,如deepseek 70b模型,每个模型实例只绑定一张 GPU,如果是多卡,其它卡会一直闲置,造成一定浪费。 本文档介绍如何通过 systemd 配置文件为 Ollama 服务添加 GPU 和调度相关的环...

ollama 开放外部访问

要开放 Ollama 的外部访问,使其可以被局域网或外网访问,需要进行以下配置: 1. 设置 OLLAMA_HOST 环境变量 默认情况下,Ollama 仅监听 127.0.0.1:11434,要允许外部访问,需修改 OLLAMA_HOST: bash ...

Supervisord 进程管理工具

Supervisord 是一个用 Python 编写的进程管理工具,可以方便地管理和监控后台进程。它非常适合用于管理需要常驻后台运行的 Python 脚本或其他应用程序。以下是使用 Supervisord 的详细步骤: 1. 安装 Supervis...

RabbitMQListener 的用法

RabbitMQListener 是用于监听 RabbitMQ 消息队列并处理消息的组件,通常在 Spring AMQP 或 Spring Boot 中使用。以下是 RabbitMQListener 的基本用法和配置步骤。 1. 添加依赖 首先,确保项目中引入了 Spri...

Golang 操作 ElasticSearch

在 Go 语言中操作 Elasticsearch 通常使用官方提供的 Elasticsearch 客户端库 elastic/go-elasticsearch。这个库提供了与 Elasticsearch 交互的 API,支持索引、搜索、更新、删除等操作。 以下是如何在 Go 中...

Spring WebFlux支持mybatis-plus吗

Spring WebFlux 本身并不直接支持 MyBatis-Plus,因为 MyBatis-Plus 是基于传统的阻塞式 JDBC 开发的 ORM 框架,而 Spring WebFlux 是一个非阻塞的响应式编程框架。两者的设计理念存在冲突,直接结合会导致阻塞问...

WebFlux同时支持Mysql+MongdoDb两种数据库

继续上一篇文章,目前我遇到一个需求,WebFlux需要同时支持Mysql和MongoDb两种数据库。而大部分博文都只说了一种。按照博文中集成后,服务启动就会报错。下面给大家讲解,如何解决这个问题。 这个问题处理很简单...

在IDEA中搭建Spring-WebFlux入门

Spring-Webflux是反应式编程,性能提升的同时,对程序员的要求也很多。 webmvc和webflux作为spring framework的两个重要模块,代表了两个IO模型,阻塞式和非阻塞式的。 webmvc是基于servlet的阻塞式模型(一...