甘虎文'blogs

2025-02-05Welcome to our class!My name’s Nata and I will be your teacher today. I live in Indonesia. I like gardening and cooking.Email: natalisa.k.balicenter@gmail.comIf you would like to book another lesson with me, you can email me and I will be happy to help. Introduce yourself:·      What is your preferred name?·      Where are you from?·      What do you do?·      What are your hobbies? Students:JamesLilySophieMa (Cherry)JunAlanBob Listening today:Steven                       Lesson tit...

微调笔记 分类： fine tuning 传统全量微调，（高质量微调） prompt tuning（提示词微调） ​ 技术：指令微调 ​ 上下文学习 ​ chain of thought（思维链） PET模型（Pattern-Exploiting Training） POFT方法：分成三种类型：（面向提示的微调） 全量微调（Full Fine-Tuning）：模型所有参数都参与更新，包括预训练模型参数和下游任务层参数。如PET模型。 部分参数微调（Partial Fine-Tuning）：只更新预训练模型中的一部分参数，比如高层 transformer block、某些 attention 层或特定模块，其余参数冻结。如Adapter Tuning。 仅提示参数微调（Prompt-Only Tuning）：冻结原始预训练模型参数，只训练 prompt 参数。如P-tuning、Prompt Tuning等。 Soft Prompt及微调方法PEFT(参数高效微调) conda env export > /ptune_chatglm/...

2025-01-07Vocabulary and grammar Making suggestions: what say we; what if we were to; suppose we; let’s say we; etc. Giving alternatives: rather than/we could; alternatively, we could; we could … instead; etc. Notes JimmyProcurement engineer, enjoys learning English Because of censorship, you can learn something different from the foreign website. If I were you, i would…. We could right some English emails to our customers, coworkers and other people. Istead of goung dancing, alternativ...

RAG流程：mysql储存FQA高频问答对数据 问题检索：BM25 连接数据库 添加表（带着字段） 添加数据 json.dumps() mysql 存储自己的网址和密码。（自己设计一个RAG系统） 声明回退问题，把原来的复杂查询简化，第一个query检索 进行改写。主题含义不变。 milvus可以处理的数据集的大小限制是多少 技术实现： 增强索引：设计目标、核心功能、技术实现 多粒度切块，把块-分子块，对应的父块，提供给LLM 文档切成一块，存储milvus中的文档， query是为题，编程向量， 太长的拆成四个 128个向量 父块是一个 子块分成子块去做检索 切块的子块数都是超参数 混合检索：BM25，向量检索，字符检索 base：基础模块，配置、日志 core：核心逻辑模块，实现RAG的关键功能 main：系统运行入口，支持数据处理和交互查询 中午将一份唯二 通用知识由大语言模型回答， 直接 hyde 子查询 会输 文档检索：支持抽向量和系数向量的混合检索， 中午，下午 语义关键字，倒排（关键字检索 两句话的相似性， 混合检索，重排序优化， 作为回答送给大模型，方便理解。 用...

RAG-LangchainRAG解决什么问题： 信息过时：网络检索，获取最新数据 领域知识缺失：微调，将专有和私有的知识放到知识库里 幻觉：RAG（retrieval augmented generate），减轻幻觉，基于相关文档进行生成， 安全：RAG,无需将数据送到公开大模型中训练，放到本地知识库，使用本地的模型（api会泄露）进行调用，避免数据的公开和泄露。2）私有数据时存在本地知识库的，做一个权限的管控。 RAG定义：检索技术+生成（LLM提示） 处理流程：构建索引（文件加载、内容读取、chunk构建（拆成小文件，小块）、向量化（小块文档向量化）、落向量化 检索：query向量化，找到topk 生成：topk+query构建prompt；llm生成。 开发框架：LLaMAIndex、Langchain（快速搭建大模型） Langchainlangchain将模型分为三种（ langchian是用于构建大模型应用程序的框架，帮助开发者更高效的组合和使用多语言的工具。 原始大模型：LLM、chat models、embeddings chain：组装chain：chain&#...

今日目标 掌握Ollama模块实现 熟练使用Streamlit 掌握基于Ollama平台Python语言聊天机器人实现 【熟悉】阿甘智聊机器人项目介绍随着人工智能技术的飞速发展，聊天机器人在多个领域得到了广泛应用，如客户服务、教育辅导、娱乐互动等。然而，现有的许多聊天机器人依赖于云端服务，这不仅可能导致用户数据隐私泄露，还可能因网络延迟影响用户体验。因此，开发一款本地部署的聊天机器人显得尤为重要。本地聊天机器人能够在用户本地环境中运行，确保数据的安全性和对话的实时性，同时也能根据用户的个性化需求进行定制和优化。 项目演示 项目技术架构 后端模型：利用 Ollama 平台的 Qwen 模型，该模型具备出色的自然语言处理能力，能够理解和生成自然语言文本，为聊天机器人提供核心的对话处理功能。 前端界面：采用 Streamlit 框架搭建用户界面，Streamlit 是一个简单易用的 Python 库，能够快速创建美观、交互式的 Web 应用，使用户能够通过网页与聊天机器人进行实时对话。 对话交互：用户可以通过 Streamlit 界面输入文本，聊天机器人基于 Qwen 模型对输入...

LLM-Index昨日回顾1、output parsers 字符串解析器 列表解析器 json解析器 pydantic解析器 自定义解析器 2、memory ChatMessageHistory ​ history.add_user_message(xxx) ​ history.add_ai_message(xxx) ​ message_to_dict() ​ messages_from_dict() ConversationChain(自动管理上下文) ​ ConversationChain（llm=model） ​ conversation.predict(input=’xxx’) 3、Index(RAG核心组件) 文件加载器 ​ 创建UnstructuredLoader对象load ​ docs = loader.load ​ html可以用自己的html对象 文档分割器 ​ 创建文档分割器的对象（separator,chunk_size,chunk_overlap） ​ 单文档切割 ​ 多文档切割(打印信息不同，打印出多个document的k...

Conda_Command导出当前conda环境下所有的包的名字1conda env export > /你的指定路径/requir.txt

了解私有化大模型 掌握Ollama安装与部署 熟悉Ollama客户端命令 掌握基于Ollama平台的ChatBot聊天机器人 【了解】私有大模型学习目标了解私有化大模型解决方案，能够选择企业常用的方案实现私有大模型部署 为什么要有私有大模型随着AI技术的不断普及，人们也积极拥抱其带来的变化，在生活或者工作中亦使用AI技术来帮助我们更高效的完成某些事件，但是在这个过程中，也暴露出AI技术当前下存在在的系列问题，其中最严重的就是安全问题 比如：最典型的是三星员工使用ChatGPT泄露公司机密的案例。 其实上述案例表现的就是企业数据隐私与安全的问题，在许多行业，如金融、医疗、政府等，数据隐私和安全是至关重要的。使用公共大模型可能涉及敏感数据的泄露风险，因为公共模型在训练过程中可能接触到了来自不同来源的敏感数据。因此就有了私有大模型的市场需求，私有大模型允许企业或机构在自己的数据上训练模型，而且训练的结果只供内部或合作伙伴使用，从而确保了数据隐私和安全。 当然除了数据隐私问题原因之外，还存有便于内部员工工作提效、大模型开发的投入等诸多原因综合，直接推动私有大模型成为未来AI发展的新...

操作系统的安装组装新电脑一台电脑=主板+CPU+内存条+硬盘等主要部件。 假设电脑是一台车，主板就是一个车架子和电路板，负责协调所有硬件工作。而BIOS集成在主板上，是主板自带的程序。其作用是整台车的打火器，让主板工作，是电脑接上电源启动后，最先启动的组件。 主板烧录操作系统主板主板图片： 定义：主板是一块物理电路板，它是计算机所有核心硬件的连接中心和通信枢纽。它是硬件平台，让CPU、内存、硬盘、显卡等能连接在一起协同一起工作。 包含： 物理接口（CPU插槽、内存条插槽、USB插口、显卡插槽、电源插口、硬盘接口、电池包接口） 固件芯片（flash ROM）这块芯片存储着BIOS或者UEFI固件 …… BIOS程序1、定义：BIOS(老式主板) 的全称是：Basic Input/Output System 基本输入输出系统。BIOS是一种固化在计算机主板上的固件（firmware），是计算机启动时最先运行的软件之一。 2、主要作用： 开机自检：检查内存、CPU、硬盘等硬件是否正常 硬件初始化：启动并配置基本的硬件设备 引导操作系统：找到硬盘、U盘等设备上的操作...