RAG 系统的搭建与优化是一项远大且复杂的系统工程,经常需要兼顾测试制定、检索调优、模子调优等要津局势kaiyun官方网站登录入口,繁琐的责任历程经常让东谈主无从下手。
近日,针对以上痛点,清华大学 THUNLP 团队斡旋东北大学 NEUIR、面壁智能及 9#AISoft 团队共同推出了 UltraRAG 框架,该框架鼎新了传统 RAG 系统真的立与树立神情,极大裁减了学习资本和确立周期。
UltraRAG 不仅具备知足专科用户需求的"单反相机"级雅致化树立才气,同期也提供近似"卡片机"的一键式苟简操作,让 RAG 系统的构建变得极简且高效。

更紧迫的是,比拟复杂树立的 Llamaindex 等传统 RAG 框架,UltraRAG 愈加温存将模子适配到用户提供的学问库,灵验幸免在"模子选型"的反复纠结。
同期,其模块化假想又能为科研需求快速赋能,匡助参议者在多种场景下解放组合、快速迭代。通过 UltraRAG,用户不错搪塞完成从数据到模子的全历程解决。
GitHub 地址可到文末领取。
零代码编程 WebUI 扶助,一键式系统化数据构建
UltraRAG 以其极简的WebUI算作中枢上风之一,即就是无编程教诲的用户,也能搪塞完成模子的构建、磨真金不怕火与评测。
不管是快速开展执行,照旧进行个性化定制,UltraRAG 均能提供直不雅且高效的扶助。该框架集成了多种预设责任流,用户可证明具体需求机动采选最优旅途,无需编写繁琐代码,即可完成从数据处理到模子优化的全历程操作。
以下是操作演示:

UltraRAG 以自研的KBAlign、DDR等秩序为中枢,提供 "一键式"数据构建,衔尾检索与生成模子的各样化微调计谋,助力性能全面优化。
在数据构造方面,UltraRAG 秘密从检索模子到生成模子的全历程数据构建有绸缪,扶助基于用户导入的学问库自动生成磨真金不怕火数据,显赫提高场景问答的抑遏与适配服从。
在模子微调方面,UltraRAG 提供了完备的磨真金不怕火剧本,扶助Embedding 模子磨真金不怕火及LLM 的 DPO/SFT 微调,匡助用户基于数据构建更执意、更精确的模子。

UltraRAG 以自研的UltraRAG-Eval秩序为中枢,交融针对灵验与要津信息的多阶段评估量谋,显赫提高模子评估的持重性,秘密从检索模子到生成模子的多维评估有绸缪,扶助从全体到各局势的全面评估,确保模子各项性能有绸缪在骨子利用中获取充分考据。
通过要津信息点锚定,UltraRAG 灵验增强评估的沉着性与可靠性,同期提供精确反映,助力确立者握续优化模子与秩序,进一步提高系统的持重性与实用性。

UltraRAG 内置THUNLP-RAG 组自研秩序偏激他前沿 RAG 时期,扶助通盘这个词模块化的握续探索与研发。UltraRAG 不仅是一个时期框架,更是科研东谈主员与确立者的过劲助手,助力用户在多种任务场景中高效寻优。

UltraRAG 内置探索时期系列
UltraRAG 系列引入多项翻新时期,优化了检索增强生成中的学问适配、任务安妥和数据处理,提高了系统的智能性和高效性。
UltraRAG-KBAlign:提高大讲话模子自适须学问库的才气,优化学问检索与推理过程。2.4B 模子通过自标注达到 GPT-4o 的标注性能,并在多个执行中卓越 GPT-4o 本人。
UltraRAG-Embedding:出色的中英文检索才气,扶助长文本与零碎检索,通行评测榜单 MTEB-Retrieval 上性能评分进步 BGE-M3 10%。
UltraRAG-Vis:提议了纯视觉的 RAG Pipeline,通过引入 VLMs 对文档进行编码,幸免了文档默契形成的信息丢失,比拟传统 Text RAG Pipeline,部分任务在端到端性能上提高 25-39%。
UltraRAG-Adaptive-Note:通过动态追忆解决和信息网罗,提高复杂问答任务中的解答质地。在 GPT-3.5-turbo、Llama3-8B、Qwen2-7B 等多个前沿模子上执行标明,自安妥地动态追忆解决和信息网罗计谋相较基础检索增强生成模子已毕 3%~13.9% 的性能提高,而且尤其擅所长理具有复杂信息检索需求的问题。
UltraRAG-DDR:基于可微调数据奖励 ( DDR ) 优化检索增强生成,提高任务特定场景的系统性能。在 MiniCPM-2.4B、Llama3-8B 等多个前沿模子上执行标明,DDR 优化计谋相较原始检索增强生成模子可已毕 7% 以上性能提高。
UltraRAG-Eval:针对 RAG 场景假想的高效评测有绸缪。通过极少种子文档,快速自动生成专科鸿沟的 RAG 评测数据,并提供持重的模子启动评测有绸缪与秩序。

Github 地址:
https://github.com/OpenBMB/UltraRAG
参考文件
https://arxiv.org/abs/2410.13509
Li, Xinze, Mei, Sen, Liu, Zhenghao, Yan, Yukun, Wang, Shuo, Yu, Shi, Zeng, Zheni, Chen, Hao, Yu, Ge, Liu, Zhiyuan, et al. ( 2024 ) . RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards. arXiv preprint arXiv:2410.13509.【ICLR 2025】
https://arxiv.org/abs/2410.10594
Yu, Shi, Tang, Chaoyue, Xu, Bokai, Cui, Junbo, Ran, Junhao, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, et al. ( 2024 ) . Visrag: Vision-based Retrieval-Augmented Generation on Multi-Modality Documents. arXiv preprint arXiv:2410.10594. 【ICLR 2025】
https://arxiv.org/abs/2410.08821
Wang, Ruobing, Zha, Daren, Yu, Shi, Zhao, Qingfei, Chen, Yuxuan, Wang, Yixuan, Wang, Shuo, Yan, Yukun, Liu, Zhenghao, Han, Xu, et al. ( 2024 ) . Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation. arXiv preprint arXiv:2410.08821.
https://arxiv.org/abs/2411.14790
Zeng, Zheni, Chen, Yuxuan, Yu, Shi, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, Sun, Maosong. ( 2024 ) . KBAlign: Efficient Self Adaptation on Specific Knowledge Bases. arXiv preprint arXiv:2411.14790.
https://arxiv.org/abs/2408.01262
Zhu, K., Luo, Y., Xu, D., Wang, R., Yu, S., Wang, S., Yan, Y., Liu, Z., Han, X., Liu, Z., & others. ( 2024 ) . Rageval: Scenario specific rag evaluation dataset generation framework. arXiv preprint arXiv:2408.01262.
— 完 —
投稿请责任日发邮件到:
ai@qbitai.com
标题注明【投稿】,告诉咱们:
你是谁,从哪来,投稿内容
附上论文 / 名堂主页荟萃,以及相关神情哦
咱们会(尽量)实时复兴你

一键温存 � � 点亮星标
科技前沿施展逐日见
一键三连「点赞」「转发」「严防心」
接待在指摘区留住你的思法!kaiyun官方网站登录入口