Open WebUI 使用指南20250303
好用,功能强大,但稍微有点绕的开源软件。
需要区分自己是管理员,同时也是用户,这两个概念同时呈现。
社区是个好东西
有一些做好了参数和system prompt的模型,还有所谓函数(应该是对模型返回值有进一步的处理),或者是社区里内置prompt的模型。
一键部署下来了,可以显示think的过程
Direct和External的模型区别(用户组)
作为用户,可以由管理员允许直接连接,就会出现外部连接,然后可以填写OpenAI格式的API,然后就可以在模型里选择direct使用了。
作为管理员,可以填写API,并选择显示的模型,并给各个模型设置单独的系统提示、超参数等。此外,在工作区之中可以制作更进一步的模型(或者说Agent/Bot 类似poe的那种),然后指定给用户组使用。
用户开注册才能注册,并且用户问的内容是可以直接查看的。。。
内存模型优化
总而言之就是全改成API提供,或者是给前端的浏览器做文字转语音之类的。去掉RAG知识库的嵌入模型之类的(就当这玩意不存在),包括TTS和embeddings之类的,最终防止加载到内存里。注意到,单核服务器在登录或者修改设置之类的时候,负载也挺高的。俩人一起用就炸了。
可以用docker container stats查看。
License:
CC BY 4.0