帮助中心
玄镜(Lens)v5.5 能力感知路由系统 · 26 项工具能力 · 知识库 RAG 功能清单与使用手册 · 常见问题解答
📋 概述
玄镜(Lens)是思洋智脑的智能能力感知路由系统。它通过意图评分 → 上下文加成 → 能力门控 → 模型推荐的四级流程,自动识别用户需求并选择最合适的工具能力来执行。
🔀 意图路由系统
系统内置 8 种意图类型,通过正则规则评分 + 否定规则扣分来自动路由:
| 意图 | 默认模型 | 触发示例 | 否定规则示例 |
|---|---|---|---|
| 🎬 video 视频创作 | Doubao-Seedance-2.0-mini | "生成视频""做数字人" | "写视频文案" → writing |
| 🖼️ image 图片创作 | doubao-seedream5.0 | "画一张图""生成海报" | "分析图片" → reasoning |
| 🧠 reasoning 深度推理 | deepseek-reasoner | "算一下""深入分析" | "你好" → general |
| 🔊 tts 语音合成 | Kimi-K2.5 | "读出来""语音播报" | "写语音文案" → writing |
| 🎙️ voice_clone 语音克隆 | Kimi-K2.5 | "克隆声音""模仿语音" | "问克隆能力" → general |
| 💻 code 代码编程 | deepseek-v4-flash | "写代码""修复 bug" | — |
| ✍️ writing 写作创作 | GLM-5 | "写文章""翻译润色" | — |
| 💬 general 通用对话 | deepseek-v4-flash | 兜底意图 | — |
🖼️ 图片生成
通过自然语言描述生成图片。默认使用 doubao-seedream5.0 模型,多源降级。生成后自动保存到用户云盘。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| prompt | string | 必填 | 图片描述,含主体/场景/风格/色彩 |
| model | string | 可选 | doubao-seedream5.0(默认) | jimeng-seedream46 | qwen-image | gpt-image-2 |
| negative_prompt | string | 可选 | 负面 prompt |
| width | number | 可选 | 宽度 px,默认 1024 |
| height | number | 可选 | 高度 px,默认 1024 |
| batch_size | number | 可选 | 一次生成几张,默认 1,最大 4 |
用户:"画一只橘猫坐在窗台上,阳光温暖,写实风格"🎨 图片编辑 v5.2 新增
对已有图片进行编辑。需要上传图片附件。每种操作有差异化的 prompt 构造策略,编辑更精准。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| action | string | 必填 | 编辑操作 crop | resize | rotate | style_transfer | inpaint | bg_replace | enhance | filter |
| prompt | string | 必填 | 编辑描述 |
| width | number | 可选 | 目标宽度 px |
| height | number | 可选 | 目标高度 px |
| 操作 | 说明 | 示例 |
|---|---|---|
| crop | 裁剪 | "裁剪为正方形" |
| resize | 缩放 | "缩小到 512x512" |
| rotate | 旋转 | "旋转 90 度" |
| style_transfer | 风格转换 | "转成油画风格" |
| inpaint | 局部重绘 | "把图里的文字去掉" |
| bg_replace | 换背景 | "背景换成海边" |
| enhance | 增强 | "提高清晰度" |
| filter | 滤镜 | "加复古滤镜" |
用户上传图片后说:"把这张图的背景换成蓝色"🎬 视频生成
文生视频或图生视频。默认模型 Doubao-Seedance-2.0-mini。任务异步执行,完成后自动通知并保存到云盘。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| prompt | string | 必填 | 视频内容描述 |
| model | string | 可选 | Doubao-Seedance-2.0-mini(默认) | Doubao-Seedance-2.0 | e5e_video | Kling |
| refImageUrl | string | 可选 | 参考图 URL(图生视频必填) |
| ratio | string | 可选 | 16:9 | 9:16 | 1:1,默认 16:9 |
| duration | number | 可选 | 时长秒,默认 5 |
用户:"生成一段5秒的日落海滩视频,16:9横屏"GET /api/user/tasks/:taskId 随时查询。
👤 数字人视频
数字人播报视频生成。支持图片数字人和视频数字人两种模式,支持批量生成(多音频)。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| type | string | 可选 | image(图片数字人,默认) | video(视频数字人) |
| model | string | 可选 | e5e_imgdigital | OmniHuman1.5 | e5e_Human2.5 | e5e_digitalHuman |
| prompt | string | 可选 | 动作表情描述 |
| cloneText | string | 可选 | ★ 克隆语音链路:指定播报文字,自动剥离视频音频→语音克隆→数字人 |
| ratio | string | 可选 | 16:9 | 9:16 | 1:1,默认 9:16 |
| audioIndex | number | 可选 | 多音频时指定第几个(从1开始) |
🔊 语音合成 (TTS) v5.2 新增
将文本转换为语音。基于 Edge TTS 引擎(微软免费高质量语音),支持 6 种中文音色。生成的音频自动保存到云盘。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| text | string | 必填 | 要合成的文本 |
| voice | string | 可选 | 音色,默认 zh-CN-XiaoxiaoNeural |
| rate | string | 可选 | 语速: "+0%" | "+20%" | "-10%" |
| pitch | string | 可选 | 音调: "+0Hz" | "+5Hz" | "-5Hz" |
| 音色 ID | 名称 | 性别 | 特点 |
|---|---|---|---|
| zh-CN-XiaoxiaoNeural | 晓晓 | 女 | 默认,自然亲切 |
| zh-CN-YunyangNeural | 云扬 | 男 | 沉稳大气 |
| zh-CN-XiaochenNeural | 晓辰 | 女 | 清晰明亮 |
| zh-CN-YunlongNeural | 云龙 | 男 | 浑厚有力 |
| zh-CN-XiaoyiNeural | 晓伊 | 女 | 温柔甜美 |
| zh-CN-YunxiNeural | 云希 | 男 | 少年音,活泼 |
🎙️ 语音克隆 v5.2.1 新增
使用 e5e_soundclone 模型,根据参考音频克隆声音并合成新文本的语音。需要上传参考音频(3-10秒清晰人声最佳)。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| text | string | 必填 | 要合成的文本 |
| refAudioUrl | string | 可选 | 参考音频 URL,平台自动填入 |
| model | string | 可选 | e5e_soundclone(默认) |
用户上传音频后说:"用这个声音说:你好,欢迎使用思洋智脑"🔗 克隆语音数字人链路 v5.2.1 新增
用户只需上传一段人物视频 + 输入要播报的文字,系统全自动完成以下步骤:
🎬 视频剥离音频
用 ffmpeg 从用户上传的视频中提取音频(取前10秒,24kHz 单声道 WAV)
🎙️ 语音克隆
调用 e5e_soundclone 模型,以剥离的音频为参考,克隆声音合成新语音
👤 数字人生成
克隆音频 + 原视频 → 提交数字人模型(e5e_Human2.5 / e5e_digitalHuman)→ 生成数字人视频
💾 自动保存
生成的克隆语音数字人视频自动保存到用户云盘
用户上传人物视频 + 打字:"用这个形象说:你好世界"🎤 语音识别 v5.4 新增
将音频文件转换为文字。使用 qwen3-asr-flash 模型,支持 mp3/wav/m4a/ogg 格式。上传音频后自动识别并返回文字内容。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| audioUrl | string | 可选 | 音频文件 URL,平台自动填入 |
| model | string | 可选 | qwen3-asr-flash(默认) |
| language | string | 可选 | 音频语言,默认自动检测 |
用户上传音频文件后说:"把这段语音转成文字"✏️ 涂鸦转图片 v5.4 新增
将手绘草图或涂鸦转化为精美图片。使用 wanx-sketch-to-image-lite 模型,保留涂鸦主体轮廓并自动补全细节、色彩和背景。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| imageUrl | string | 可选 | 涂鸦图片 URL,平台自动填入 |
| prompt | string | 可选 | 补充描述,如"变成油画风格" |
| model | string | 可选 | wanx-sketch-to-image-lite(默认) |
用户上传涂鸦图片后说:"把这张涂鸦变成精美图片"👤 视频换人 v5.4 新增
替换视频中的人物脸部。使用 wan2.2-animate-mix 模型,上传原始视频和目标人脸图片,自动完成人脸替换。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| videoUrl | string | 可选 | 原始视频 URL,平台自动填入 |
| faceImageUrl | string | 可选 | 目标人脸图片 URL,平台自动填入 |
| model | string | 可选 | wan2.2-animate-mix(默认) |
用户上传视频和目标人脸后说:"视频换人"✂️ 视频编辑 v5.4 新增
对视频进行裁剪、拼接、调速、加滤镜等编辑操作。使用 wan2.7-videoedit 模型,支持多种视频编辑需求。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| videoUrl | string | 可选 | 视频文件 URL,平台自动填入 |
| action | string | 必填 | 编辑操作 crop | concat | speed | filter |
| prompt | string | 可选 | 编辑描述,如"裁剪掉前5秒" |
| model | string | 可选 | wan2.7-videoedit(默认) |
用户上传视频后说:"裁剪视频" 或 "视频拼接"📹 参考生视频 v5.4 新增
参考已有视频的风格和内容生成新视频。使用 wan2.7-r2v 模型,上传参考视频并描述想要的内容,即可生成风格一致的新视频。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| refVideoUrl | string | 可选 | 参考视频 URL,平台自动填入 |
| prompt | string | 必填 | 新视频内容描述 |
| model | string | 可选 | wan2.7-r2v(默认) |
用户上传参考视频后说:"参考这个视频的风格,生成一段夕阳海滩的视频"🎨 3D 模型生成 v5.4 新增
通过文本描述或图片生成3D 模型。使用 Tripo-P1.0 模型,支持文字转3D 和图片转3D 两种方式。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| prompt | string | 可选 | 3D 模型描述(文本生3D 时必填) |
| imageUrl | string | 可选 | 参考图片 URL(图片生3D 时使用) |
| model | string | 可选 | Tripo-P1.0(默认) |
用户:"生成一个3D 模型" 或 "文字转3D"💻 代码执行
在沙箱中执行 Python 或 Node.js 代码。预装 Matplotlib / Pandas / Numpy 等常用库。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| code | string | 必填 | 完整可执行代码 |
| language | string | 必填 | python | node |
🔍 搜索能力
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| query | string | 必填 | 搜索关键词 |
| count | number | 可选 | 返回条数,默认 5,最大 10 |
搜索内部知识库(文档/手册/历史对话)。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| query | string | 必填 | 搜索文本,支持自然语言 |
| top_k | number | 可选 | 返回片段数,默认 5 |
搜索用户云盘文件(按文件名/标签)。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| query | string | 必填 | 搜索关键词 |
| file_type | string | 可选 | image | video | audio | document | code | other |
| limit | number | 可选 | 返回上限,默认 10 |
📚 知识库 RAG v5.5 完整手册
知识库 RAG(检索增强生成)是平台的专属 AI 知识引擎。上传文档后,系统自动完成解析 → 分块 → 向量化 → 混合检索 → 对话增强全链路,让 AI 基于你的私有文档精准作答。支持个人知识库与企业共享知识库双空间。
📄 文档解析
上传后自动提取纯文本(PDF / Word / Excel / 代码 / 标记语言等 27 种格式)
🧩 智能分块
按段落/句子边界切分,每块最大 1000 字符、块间重叠 200 字符,保持语义完整
🧮 向量化入库
批量 Embedding(1536 维),写入 SQLite + FTS5 全文索引 + sqlite-vec 向量索引双引擎
🔀 混合检索
BM25 关键词检索 + 稠密向量语义检索双路并行,加权融合排序(BM25×0.4 + 语义相似度×0.6)
💬 对话增强
检索结果注入对话上下文,AI 引用知识库原文作答并附出来源文档
| 功能 | 说明 | 入口 |
|---|---|---|
| 📤 文档上传入库 | 27 种格式自动解析、分块、向量化;支持按钮上传与拖拽上传,可附带标签 | 知识库页「上传文档」 |
| 🔀 混合检索 | BM25 全文检索 + 向量语义检索双路召回,加权融合 Top-K | 知识库页搜索框 / API |
| 🚀 搜索 V2 | LLM 查询改写(最多 3 个变体)→ 多查询并行 → 去重 → 重排序精排 | /api/kb/search-v2 |
| 💬 RAG 智能问答 | 检索结果格式化为上下文,附来源文档与相关度评分 | 对话 / /api/kb/ask |
| 📂 多层级文件夹 | 无限层级目录、面包屑导航、文件夹/文档移动、重命名、删除(文档自动移出) | 知识库页 |
| 🔒 文件夹密码保护 | scrypt 加盐哈希存储;搜索/问答/原文三级门控,未解锁自动过滤 | 共享库文件夹「加密」 |
| 🏷️ 标签管理 | 自定义彩色标签,上传时打标,按标签筛检文档 | 知识库页 / API |
| 👥 个人/企业双库 | 个人空间私有;企业空间按租户(tenant)共享,成员共用、操作留痕 | 知识库页 Tab 切换 |
| 👁️ 文档在线阅读 | 双击在线查看解析原文,支持原始文件下载 | 文档卡片 / 右键菜单 |
| 📎 引用到对话 | 一键将文档/检索片段注入当前对话,AI 结合原文回答 | 文档「引用」按钮 |
| 📊 统计面板 | 文档总数、分块总数、占用空间实时统计 | 知识库页顶部 |
| 🔌 数据连接器 | 数据库 / REST API / 网页爬虫 / 文件同步 4 类连接器,cron 定时自动导入 | /api/kb/connectors |
kb_search 工具主动检索知识库(见上方「搜索能力」章节),无需手动操作。
一、上传文档,构建知识库
- 在工作台打开「知识库」页面,切换到「个人」或「共享」(企业)空间
- 点击「上传文档」按钮选择文件,或直接把文件拖拽到页面区域
- 等待状态变为「已就绪」— 系统已完成解析、分块与向量化
- 顶部统计面板实时显示文档数 / 分块数 / 占用空间
二、用文件夹组织知识
- 点击「新建文件夹」创建目录,支持多层级嵌套
- 点击文件夹进入,顶部面包屑可随时跳回上级
- 文档卡片「移动」按钮可将文档归入任意文件夹;文件夹本身也可移动
- 删除文件夹不会删除文档,文档自动移回上级目录
三、检索与问答
- 在知识库页顶部搜索框输入自然语言问题,回车即出结果
- 结果按相关度排序,显示来源文档与内容片段
- 点击结果可查看原文,或「引用到对话」让 AI 结合片段作答
- 日常对话中直接提问,AI 会自动调用 kb_search 检索知识库
用户:"根据我们的产品手册,X-200 的最大功率是多少?"
→ AI 自动检索知识库 → 引用手册原文作答并标注来源四、共享文件夹加密
- 在「共享」空间中,点击文件夹的「加密」按钮设置密码(可留密码提示)
- 加密后,其他成员访问该文件夹及其子级内容前需先「解锁」
- 未解锁的加密文档在搜索结果、RAG 问答、原文阅读中都会被自动过滤
- 再次进入「密码」管理可修改或移除密码
五、企业知识库协作
- 切换到「共享」Tab 即进入企业(租户)知识库,全体成员可见
- 成员上传的文档自动归属企业空间,支持按文件夹分部门管理
- 上传 / 删除等操作自动写入企业活动日志,管理员可审计
六、数据连接器(自动导入)
- 创建连接器:选择类型(数据库 / REST API / 网页爬虫 / 文件同步)
- 配置数据源:如 MySQL 查询语句、API 地址与 JSON 字段路径、爬虫 URL 列表、同步目录与文件匹配模式
- 可选 cron 表达式定时执行(如
0 */6 * * *每 6 小时) - 手动「运行」立即拉取,导入文档自动进入指定文件夹并记录运行状态
| 接口 | 方法 | 说明 |
|---|---|---|
| /api/kb/upload | POST | 上传文档(multipart),参数:file、tags、folder_id、kb_type、tenant_id |
| /api/kb/documents | GET | 文档列表,分页 page / pageSize |
| /api/kb/documents/:id | DELETE | 删除文档及其分块与向量 |
| /api/kb/documents/:id/content | GET | 查看解析原文(加密门控) |
| /api/kb/documents/:id/download | GET | 下载原始文件 |
| /api/kb/documents/:id/move | POST | 移动文档到指定文件夹 |
| /api/kb/search | POST | 混合检索,参数:query、topK(默认 5)、tenant_id |
| /api/kb/search-v2 | POST | 增强检索:查询改写 + 多查询去重 + 重排序 |
| /api/kb/ask | POST | RAG 问答,返回上下文与来源列表 |
| /api/kb/stats | GET | 统计:文档数 / 分块数 / 总大小 |
| /api/kb/list | GET | 知识库(文件夹维度)列表,供路由选择 |
| /api/kb/folders | GET/POST | 文件夹列表 / 创建(支持 parent_id 多层级) |
| /api/kb/folders/:id/contents | GET | 文件夹内容(子文件夹 + 文档) |
| /api/kb/folders/:id | PATCH/DELETE | 重命名 / 删除(文档自动移出) |
| /api/kb/folders/:id/password | POST | 设置/修改/移除文件夹密码 |
| /api/kb/folders/:id/unlock | POST | 验证密码,获取解锁令牌 |
| /api/kb/tags | GET/POST/DELETE | 标签管理 |
| /api/kb/connectors | GET/POST | 数据连接器列表 / 创建 |
| /api/kb/connectors/:id/run | POST | 手动运行连接器,返回导入文档数 |
📁 文件系统操作
6 个工具提供完整的工作区文件管理能力。所有路径限制在工作区内。
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| path | string | 必填 | 文件路径 |
| offset | number | 可选 | 起始行号(1-indexed) |
| limit | number | 可选 | 最大读取行数 |
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| path | string | 可选 | 目录路径,默认根目录 |
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| path | string | 必填 | 文件路径 |
| content | string | 必填 | 完整文件内容 |
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| path | string | 必填 | 文件路径 |
| oldText | string | 必填 | 原文(唯一匹配) |
| newText | string | 必填 | 替换后的文本 |
insert_in_file 在指定行后插入内容;delete_in_file 删除匹配文本。
lens-tools.ts 模块,独立于 server.ts。
⚡ 命令执行
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| command | string | 必填 | Shell 命令 |
| workdir | string | 可选 | 工作目录 |
| timeout | number | 可选 | 超时秒,默认 30 |
📦 tool_call 调用格式
所有能力通过 tool_call 格式调用:
```json
{"tool_call":{"id":"能力 ID","arguments":{...}}}
```调用规则
- id 大小写敏感,必须与能力清单中的 id 完全匹配
- arguments 必须包含所有 required 参数
- 类型必须匹配 Schema(string 有引号,number 无引号)
- 可选参数仅在需要时传递
- 一次只调用一个工具,等待结果后再决定下一步
调用示例
// 图片生成
```json
{"tool_call":{"id":"generate_image","arguments":{"prompt":"一只橘猫"}}}
```// 语音克隆
```json
{"tool_call":{"id":"voice_clone","arguments":{"text":"你好世界"}}}
```// 克隆数字人
```json
{"tool_call":{"id":"generate_digital_human","arguments":{"type":"video","cloneText":"你好世界"}}}
```组织智慧工具 v11.0 新增
思洋智脑 v11.0 围绕《组织智慧跃迁理论》全面升级,新增整套企业提智工具链,从诊断到验证形成闭环。
❓ 常见问题
kb_search 工具检索知识库并引用来源作答;2) 在知识库页面点击文档的「引用」按钮,将指定文档注入当前对话,AI 会结合原文精准回答。GET /api/user/tasks/:taskId 可重新查询。📝 版本日志
- 帮助中心新增「📚 知识库 RAG」完整章节 — 功能清单(12 项核心功能)、分步使用手册(上传/文件夹/检索问答/加密/企业协作/连接器)、API 速览表及 5 条知识库常见问题
- 知识库 V2 — 多层级文件夹 + 面包屑导航、个人/企业双空间、文件夹密码保护(scrypt 加盐哈希 + 解锁令牌三级门控)、拖拽上传、文档在线阅读/下载/引用到对话
- 检索升级 — BM25 全文 + 向量语义混合检索加权融合;搜索 V2 支持 LLM 查询改写(最多 3 变体)→ 多查询并行 → 去重 → 重排序精排
- 数据连接器框架 — 数据库(MySQL/PostgreSQL/SQLite)、REST API、网页爬虫、文件同步 4 类连接器,支持 cron 定时自动导入指定文件夹
- 新增 6 项 AI 能力 — 语音识别(🎤 qwen3-asr-flash)、涂鸦转图片(✏️ wanx-sketch-to-image-lite)、视频换人(👤 wan2.2-animate-mix)、视频编辑(✂️ wan2.7-videoedit)、参考生视频(📹 wan2.7-r2v)、3D 模型生成(🎨 Tripo-P1.0),能力总数从 18 项增长至 26 项
- 路由系统增强 — 新增 ASR 音频识别、涂鸦/草图、视频换人、视频编辑、参考视频、3D 模型等意图识别与路由规则,多模态感知覆盖面更广
- 多模态文件支持 — 扩展附件处理逻辑,全面支持音频(.mp3/.wav/.m4a/.ogg)、涂鸦图片、多视频上传等新能力输入场景
- 异步任务统一管理 — 新能力的异步任务统一纳入系统任务跟踪体系,持久化进度、刷新不丢失
- 新增语音克隆能力(voice_clone)
- 新增克隆数字人全自动链路:上传视频+文字 → 自动剥离音频 → 克隆语音 → 生成数字人
- 音频地址修复:优先本地文件读取,不再依赖 HTTP 认证下载
- 新增 TTS 语音合成能力(Edge TTS 引擎,6种中文音色)
- 新增图片编辑能力(edit_image,8种编辑操作)
- 路由结果直接注入 Agent Loop 初始消息
- 全面使用模型广场 API,不再依赖 ComfyUI