omni-note 使用指南(二) quick-start

深圳市进化图灵智能科技有限公司

349人浏览 · 2026-07-14 19:12:25

深圳市进化图灵智能科技有限公司 · 2026-07-14 19:12:25 发布

一、运行说明

ubuntu 22.04 系统下运行

# 解压
tar -xf omni-note-linux-x64.tar.xz

1 准备 instance 运行时数据

启动前需准备好 instance/ 运行时数据（配置、模型、工具、字体、PPT 模板、研究输出目录等）。统一的数据准备步骤见数据准备。

2 启动笔记 server


chmod a+x ./OmniNote

./OmniNote

参考输出：

2025-09-14 00:10:44,249 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['12306-mcp']
2025-09-14 00:10:44,249 - mcp_manager.py - 338 - INFO - 12306-mcp sse_read_timeout: 300s
2025-09-14 00:10:51,174 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['weather']
2025-09-14 00:10:51,175 - mcp_manager.py - 370 - INFO - Initializing a MCP stdio_client, if this takes forever, please check the config of this mcp server: weather
🌤️ 天气MCP服务器已启动
📋 可用工具:
  - get-weather-by-address: 根据地址获取天气
  - get-forecast-by-address: 根据地址获取天气预报
  - get-current-location-weather: 获取当前位置天气
  - get-current-location-forecast: 获取当前位置天气预报
  - get-weather-by-coordinates: 根据坐标获取天气
  - geocode-address: 地址解析
📚 可用资源:
  - weather://status: 服务状态
🎯 可用提示:
  - weather-assistant: 天气查询助手
2025-09-14 00:10:51,687 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['excel']
2025-09-14 00:10:51,696 - mcp_manager.py - 370 - INFO - Initializing a MCP stdio_client, if this takes forever, please check the config of this mcp server: excel
INFO:     Started server process [7610]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:7000 (Press CTRL+C to quit)

3 启动模型服务

推荐使用管理界面（modelManager）来管理模型服务，提供图形化界面进行下载、配置和启停。

启动管理界面

./modelManager

启动后浏览器打开 http://127.0.0.1:8025，在界面中操作即可。

详细操作说明见管理界面使用说明。

模型服务一览

服务	说明	工具	标准化 API 兼容
VLM	视觉语言模型服务	llama.cpp	OpenAI API 格式
EBD	嵌入模型服务	llama.cpp	OpenAI Embedding API 格式
RNK	重排模型服务	llama.cpp	Jina AI Rerank API 格式
AD	语音识别模型服务	FunASR	FunASR API 格式
IMG	图像生成模型服务	stable-diffusion.cpp	stable-diffusion.cpp API 格式

如果不使用 model_server，可以通过配置 instance/config.py 文件指定其它模型 API 服务，按照上面的标准化 API 兼容格式。

4 打开笔记UI

浏览器访问 http://localhost:7000

5 初次使用

1 运行软件注册登录
2 登录之后到设置页面:
数据备份与恢复:
导入备份: 导入示例笔记 omni-note_demo.omnibak
输入密码: 123456

二、配置说明

说明	路径
实例文件夹	instance/
配置路径	instance/config.py
音频路径	instance/audios/
图片路径	instance/uploads/
模型路径	instance/models/
工具路径	instance/tools/
写作模板	instance/templates/
字体路径	instance/fonts/
PPT模板	instance/ppt_templates/
研究输出	instance/research_out/
知识库	instance/knowledge_base/

MODEL_CONFIGS = {
    'LLM': {
        'model': "你的LLM模型名称",
        'model_server': "模型服务地址",
        'api_key': "模型API_KEY"
    },
    'VLM': {
        'model': "你的VLM模型名称",
        'model_server': "VLM模型服务地址",
        'api_key': "VLM模型API_KEY"
    }
}

1 下载模型（推荐使用管理界面）

打开管理界面（http://127.0.0.1:8025），在「模型仓库」标签页中可直接下载以下模型：

VLM 视觉语言模型（基于 llama.cpp）
https://www.modelscope.cn/models/unsloth/Qwen3.5-4B-GGUF/
下载 Qwen3.5-4B-Q4_K_M.gguf mmproj-BF16.gguf
放在 instance/models/Qwen3.5-4B-GGUF/ 目录下
EBD 嵌入模型（基于 llama.cpp）
https://www.modelscope.cn/models/Qwen/Qwen3-Embedding-0.6B-GGUF
放在 instance/models/Qwen3-Embedding-0.6B-GGUF/ 目录下
RNK 重排模型（基于 llama.cpp）
https://www.modelscope.cn/models/ggml-org/Qwen3-Reranker-0.6B-Q8_0-GGUF
放在 instance/models/Qwen3-Reranker-0.6B-GGUF/ 目录下
IMG 图像生成模型（基于 stable-diffusion.cpp）
https://www.modelscope.cn/models/TuringEvo/tiny-sd-gguf
放在 instance/models/tiny-sd-gguf/ 目录下

AD 语音识别模型（基于 FunASR）
在管理界面「模型仓库」中一键下载，或手动下载以下模型文件放在 instance/models/funasr_model：

说明	模型名称
FSMN语音端点检测-中文-通用-16k-onnx	iic/speech_fsmn_vad_zh-cn-16k-common-onnx
Paraformer语音识别-中文-通用-16k-离线-large-长音频版-onnx	iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-onnx
Paraformer语音识别-中文-通用-16k-实时-large-onnx	iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-online-onnx
CT-Transformer标点-中文-通用-实时-onnx	iic/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx
Ngram语言模型-中文-ai-wesp-fst	iic/speech_ngram_lm_zh-cn-ai-wesp-fst
基于FST的中文ITN	thuduj12/fst_itn_zh

2 下载安装推理工具

在管理界面「设备与工具」标签页中可查看硬件信息、获取下载链接和安装路径提示。

链接	安装路径
llama.cpp	`instance/tools/llamacpp/`
stable-diffusion.cpp	`instance/tools/stable-diffusion-cpp/`
FunASR	`instance/tools/asr/`

自行编译 FunASR websocket 文档

（可选）如果不用model_server，配置外部API

配置 instance/config.py 文件
常用的模型服务商 API 地址如下：

模型服务商	API 地址	说明
ModelScope	`https://api-inference.modelscope.cn/v1`	国内推理服务
DashScope	`https://dashscope.aliyuncs.com/compatible-mode/v1`	通义千问系列
火山引擎	`https://ark.cn-beijing.volces.com/api/v3`	豆包等模型
OpenAI	`https://api.openai.com/v1`	GPT系列
Azure	`https://{resource}.openai.azure.com/openai/deployments/{deployment_name}?api-version={api_version}`	企业级部署
Anthropic	`https://api.anthropic.com/v1`	Claude 系列
Google	`https://generativelanguage.googleapis.com/v1beta`	Gemini 系列
Together AI	`https://api.together.xyz/v1`	开源模型聚合
Mistral	`https://api.mistral.ai/v1`	Mistral 系列

三、使用说明

AI对话框

编辑器任意位置点击，鼠标悬停在小方块上，弹出对话框，点击每一项的？获取使用说明

1 文本生成

2 视觉识别

3 看图作文

4 文生图

5 语音识别

确保配置 instance/config.py 文件指定正确的语音识别模型服务

6 笔记知识库

1 确保配置 instance/config.py 文件指定正确的嵌入和重排序模型服务

2 切换到知识库页面

3 安装之后，首次使用需要先 构建知识库 ，会弹窗显示成功,然后再问答

4 对话框中输出需要查找的内容

7 MCP智能体

网上查找，安装各种MCP，安装完成需要重启程序:
https://www.modelscope.cn/mcp
https://github.com/search?q=mcp&type=repositories

示例：

文件名	下载地址
12306-mcp	https://github.com/Joooook/12306-mcp
excel-mcp-server	https://github.com/haris-musa/excel-mcp-server
open-meteo-weather	https://github.com/alchaincyf/mcp

安装到路径 instance\mcps 下,保持文件名正确

需要编译然后安装到本地

12306-mcp

cd instance/mcps/12306-mcp

# 安装依赖
npm install

# 编译 TypeScript
npm run build

# 运行（stdio 模式）
# npx -y 12306-mcp

excel-mcp-server

cd instance/mcps/excel-mcp-server

# 创建虚拟环境
uv venv

# Windows：
#.venv\Scripts\activate
# Mac/Linux：
source .venv/bin/activate

# 安装依赖
uv pip install -e .

# 运行
#excel-mcp-server stdio

open-meteo-weather

cd instance/mcps/open-meteo-weather

# 安装依赖
npm install

# 编译 TypeScript
npm run build

# 运行
#node dist/index.js

# 或开发模式（自动重编译）
#npm run dev

可以配置多种智能体，修改 instance/config.py 文件：

    AGENTS_LLM = {#https://www.modelscope.cn/models/Qwen/Qwen3.5-35B-A3B
        "model": "Qwen/Qwen3.5-35B-A3B",
        "model_server": "https://api-inference.modelscope.cn/v1",
        "api_key": "<你的API_KEY>",
    }

    AGENTS = [

        { # https://github.com/Joooook/12306-mcp
            "mcpServers": {
                "12306-mcp": {
                    "command": "node",
                    "args": [f"{MCP_FOLDER}/12306-mcp/build/index.js"]
                }
            }
        },

        {
            "mcpServers": {#https://github.com/alchaincyf/mcp
                "weather": {
                    "command": "node",
                    "args": [f"{MCP_FOLDER}/open-meteo-weather/dist/index.js"]
                }
            }
        },

        {
            "mcpServers": {#https://github.com/haris-musa/excel-mcp-server
                "excel": {
                    "command": "uv",
                    "args": [
                        "run",
                        "--directory",
                        f"{MCP_FOLDER}/excel-mcp-server",
                        "excel-mcp-server",
                        "stdio"
                    ]
                }
            }
        },

    ]

切换到 AI研究助手 页面对话工具栏启用智能体，对话自动调度智能体完成工作

感谢您的使用

https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

初识智能体

在过去两年中，几乎所有人都体验过大语言模型（如 ChatGPT、Claude、DeepSeek）的强大能力：写周报、润色邮件、解答编程疑难。被动响应：你问一句，它答一句。如果你的 Prompt 没有写清楚约束条件，它无法主动追问或修正目标。知行脱节：大模型能用流畅的文字告诉你“如何部署一个高可用 K8s 集群”，但它无法替你登录服务器敲下命令、查看报错日志并自动回滚。信息孤岛：大模型的知识止步于预