avatar

zhu‘s log

你怎么发现这里的?

  • 首页
  • 关于
Home Open WebUI 使用指南20250303
文章

Open WebUI 使用指南20250303

Posted 2025-03-4 Updated 2025-03- 4
By zhuth
2~2 min read

好用,功能强大,但稍微有点绕的开源软件。

需要区分自己是管理员,同时也是用户,这两个概念同时呈现。

社区是个好东西

有一些做好了参数和system prompt的模型,还有所谓函数(应该是对模型返回值有进一步的处理),或者是社区里内置prompt的模型。

一键部署下来了,可以显示think的过程

Direct和External的模型区别(用户组)

作为用户,可以由管理员允许直接连接,就会出现外部连接,然后可以填写OpenAI格式的API,然后就可以在模型里选择direct使用了。

作为管理员,可以填写API,并选择显示的模型,并给各个模型设置单独的系统提示、超参数等。此外,在工作区之中可以制作更进一步的模型(或者说Agent/Bot 类似poe的那种),然后指定给用户组使用。

用户开注册才能注册,并且用户问的内容是可以直接查看的。。。

内存模型优化

总而言之就是全改成API提供,或者是给前端的浏览器做文字转语音之类的。去掉RAG知识库的嵌入模型之类的(就当这玩意不存在),包括TTS和embeddings之类的,最终防止加载到内存里。注意到,单核服务器在登录或者修改设置之类的时候,负载也挺高的。俩人一起用就炸了。

可以用docker container stats查看。

License:  CC BY 4.0
Share

Further Reading

OLDER

20250227爱情和友情+成分三角+废话文学

NEWER

20250310星期一废话文学和待办内容

Recently Updated

  • 20250529废话文学
  • 端午反刍250603
  • 20250515待办精选和废话文学
  • 20250522近期感受废话文学
  • 构图摄影课拾遗尼康20250506

Trending Tags

Halo

Contents

©2025 zhu‘s log. Some rights reserved.

Using the Halo theme Chirpy