Deepseek Local RAG Agent 概述:本地运行的智能问答系统,它结合了最新的 AI 模型和 RAG 技术,让用户能够在自己的电脑上运行高级 AI 助手,可以处理文档、网页内容,并根据需要进行网络搜索 核心特点 双模式操作 1. 本地聊天模式:直接与本地部署的 Deepseek 模型交流 2. RAG 模式:通过文档和网络搜索增强 AI 回答能力 RAG 模式的文档处理 - 支持上传 PDF 文件 - 可抓取网页内容 - 自动进行文本分块和嵌入向量化 - 将向量存储在 Qdrant 云服务中 智能查询能力 - 基于相似度的文档检索 - 可设置相似度阈值过滤 - 在找不到相关文档时自动切换到网络搜索 - 回答时会注明信息来源 先进功能 - 集成 @ExaAILabs 网络搜索 - 可过滤特定域名的网络搜索结果 - 上下文感知的回答生成 - 聊天历史管理 - 思考过程可视化 模型特性 - 可选模型: - Deepseek r1 1.5b (轻量级,适合大多数笔记本电脑) - Deepseek r1 7b (功能更强大,需要更好的硬件) - 使用 Snowflake Arctic 嵌入模型进行向量化 - 使用 @AgnoAgi 框架进行代理协调 - 基于 @streamlit 的交互式界面 技术架构 1. Ollama:用于在本地运行AI模型 2. Deepseek-r1:作为主要的推理和回答模型 3. Snowflake Arctic:用于文档嵌入向量化 4. Qdrant:作为向量数据库存储文档向量 5. Agno:作为代理框架协调各组件 6. Exa AI:提供网络搜索功能 7. Streamlit:构建用户界面 工作流程 1. 用户可以上传 PDF 文档或提供网页 URL 2. 系统处理文档,分割成小块并创建向量嵌入 3. 将这些向量存储在 Qdrant 中 4. 当用户提问时,系统: - 在向量库中查找相关文档 - 如果找不到相关文档且启用了网络搜索,则进行网络搜索 - 将相关上下文与问题一起发送给 AI 模型 - 生成一个考虑了上下文的回答 - 显示回答和信息来源程序员 人工智能 软件开发 计算机
DeepseekLocalRAGAgent 概述:本地运行的智能问答系统
JavaEdge聊AIss
2025-02-18 02:08:36
0
阅读:2