LangChain框架学习
LangChain中文网 Concepts | 🦜️🔗 Langchain
大模型入门(8)——vLLM框架
vLLM是什么:一个开源的高性能大模型推理与服务框架,不是模型本身。 它做什么:把本地或云端的 Hugging Face 模型加载到显卡上,提供 OpenAI 兼容的 /v1 接口;支持流式输出、连续批处理、高并发、KV Cache 优化(PagedAttention),吞吐量高、延迟低。 适用场景
git指令
因为现在做项目需要连接远程仓库与同学配合,列一下常用的指令 初始化本地仓库 git init 连接远程仓库 git remote add origin git@github.com:PeachMooch/SBQY-Digital-Museum-.git origin是默认的远程仓库名称 git@gi
n8n和Agent
n8n 是 “node” 和 “automation” 的组合缩写(“nodemation”,首尾之间有 8 个字母),代表它是一个基于节点(node)的工作流自动化平台。 Agent介绍 Agent更像是一个动态的、灵活的、有自主推理能力的数字员工 Agent三大组件 1.大脑 为Agent提供智
Ray
Ray的介绍 Hello,Ray import ray import time # Start Ray. ray.init() @ray.remote def f(x): time.sleep(1) return x # Start 4 tasks in parallel. r
Qwen2.5-3B(GRPO)的复现实验记录
github链接:hkust-nlp/simpleRL-reason: Simple RL training for reasoning 训练脚本主要参数含义 1.MAX_PROMPT_LENGTH=1024 含义:模型能处理的输入文本(提示词/Prompt)的最大长度 2.MAX_RESPONSE
MiniMind项目复现记录
写在最前面 在跑OpenRLHF库下的Simple-Reason项目的时候,遭遇了很多挫折,并且很多工作仅停留在应用层面,局限于调参和修改路径,对语言模型的底层认知还是非常匮乏。 因此在跑Simple-Reason项目的过程中,我尝试开始复现MiniMind项目,旨在在国庆假期结束前,完成项目的复现
增强SLMs的Tool use能力
附录 主要记录自己在阅读论文、技术博客过程中见到的概念、现象。
大模型入门(7)——RAG
初步认识RAG 技术栈选择与架构设计 - Jimmy Song RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息,并将其作为提示(Prompt)输入给大型语言模型(LLMs
强化学习数学基础学习
学习的是b站上西湖大学WindyLab的课程,以下是链接: 【【强化学习的数学原理】课程:从零开始到透彻理解(完结)】https://www.bilibili.com/video/BV1sd4y167NS?vd_source=a704063646d181fb265230f6b49cca81 笔记整理