甘虎文'blogs

图像分类_overview图像分类分类模型给图像分配多个标签，每个标签的概率值不同，如dog:1%，cat:4%，panda:95%，根据概率值的大小将该图片分类为panda，那就完成了图像分类的任务。 常用数据集CIFAR-10和CIFAR-100数据集解释CIFAR-100 = Canadian Institute For Advanced Research - 100 classes CIFAR：加拿大高等研究院 100： 代表这个数据集中包含的 100个细粒度的类别（classes）。这与它的前身CIFAR-10（包含10个类别）形成了直接对比。 细粒度解释“细粒度”是相对于“粗粒度”而言的，它描述的是一种更精细、更具体、更关注细微差别的分类或分析级别。 您可以把它想象成观察事物的“放大镜倍数”： 粗粒度：低倍数放大镜，看大致的轮廓和类别。 例如：识别一辆“车”、一只“鸟”、一条“狗”。 细粒度：高倍数放大镜，看具体的型号、品种或子类型。 例如：识别这辆车是“2012款奥迪A6”还是“2020款特斯拉Model 3”；这只鸟是“北美红雀”还是“美洲知更鸟...

微调笔记 分类： fine tuning 传统全量微调，（高质量微调） prompt tuning（提示词微调） ​ 技术：指令微调 ​ 上下文学习 ​ chain of thought（思维链） PET模型（Pattern-Exploiting Training） POFT方法：分成三种类型：（面向提示的微调） 全量微调（Full Fine-Tuning）：模型所有参数都参与更新，包括预训练模型参数和下游任务层参数。如PET模型。 部分参数微调（Partial Fine-Tuning）：只更新预训练模型中的一部分参数，比如高层 transformer block、某些 attention 层或特定模块，其余参数冻结。如Adapter Tuning。 仅提示参数微调（Prompt-Only Tuning）：冻结原始预训练模型参数，只训练 prompt 参数。如P-tuning、Prompt Tuning等。 Soft Prompt及微调方法PEFT(参数高效微调) conda env export > /ptune_chatglm/...

RAG流程：mysql储存FQA高频问答对数据 问题检索：BM25 连接数据库 添加表（带着字段） 添加数据 json.dumps() mysql 存储自己的网址和密码。（自己设计一个RAG系统） 声明回退问题，把原来的复杂查询简化，第一个query检索 进行改写。主题含义不变。 milvus可以处理的数据集的大小限制是多少 技术实现： 增强索引：设计目标、核心功能、技术实现 多粒度切块，把块-分子块，对应的父块，提供给LLM 文档切成一块，存储milvus中的文档， query是为题，编程向量， 太长的拆成四个 128个向量 父块是一个 子块分成子块去做检索 切块的子块数都是超参数 混合检索：BM25，向量检索，字符检索 base：基础模块，配置、日志 core：核心逻辑模块，实现RAG的关键功能 main：系统运行入口，支持数据处理和交互查询 中午将一份唯二 通用知识由大语言模型回答， 直接 hyde 子查询 会输 文档检索：支持抽向量和系数向量的混合检索， 中午，下午 语义关键字，倒排（关键字检索 两句话的相似性， 混合检索，重排序优化， 作为回答送给大模型，方便理解。 用...

RAG-LangchainRAG解决什么问题： 信息过时：网络检索，获取最新数据 领域知识缺失：微调，将专有和私有的知识放到知识库里 幻觉：RAG（retrieval augmented generate），减轻幻觉，基于相关文档进行生成， 安全：RAG,无需将数据送到公开大模型中训练，放到本地知识库，使用本地的模型（api会泄露）进行调用，避免数据的公开和泄露。2）私有数据时存在本地知识库的，做一个权限的管控。 RAG定义：检索技术+生成（LLM提示） 处理流程：构建索引（文件加载、内容读取、chunk构建（拆成小文件，小块）、向量化（小块文档向量化）、落向量化 检索：query向量化，找到topk 生成：topk+query构建prompt；llm生成。 开发框架：LLaMAIndex、Langchain（快速搭建大模型） Langchainlangchain将模型分为三种（ langchian是用于构建大模型应用程序的框架，帮助开发者更高效的组合和使用多语言的工具。 原始大模型：LLM、chat models、embeddings chain：组装chain：chain&#...

今日目标 掌握Ollama模块实现 熟练使用Streamlit 掌握基于Ollama平台Python语言聊天机器人实现 【熟悉】阿甘智聊机器人项目介绍随着人工智能技术的飞速发展，聊天机器人在多个领域得到了广泛应用，如客户服务、教育辅导、娱乐互动等。然而，现有的许多聊天机器人依赖于云端服务，这不仅可能导致用户数据隐私泄露，还可能因网络延迟影响用户体验。因此，开发一款本地部署的聊天机器人显得尤为重要。本地聊天机器人能够在用户本地环境中运行，确保数据的安全性和对话的实时性，同时也能根据用户的个性化需求进行定制和优化。 项目演示 项目技术架构 后端模型：利用 Ollama 平台的 Qwen 模型，该模型具备出色的自然语言处理能力，能够理解和生成自然语言文本，为聊天机器人提供核心的对话处理功能。 前端界面：采用 Streamlit 框架搭建用户界面，Streamlit 是一个简单易用的 Python 库，能够快速创建美观、交互式的 Web 应用，使用户能够通过网页与聊天机器人进行实时对话。 对话交互：用户可以通过 Streamlit 界面输入文本，聊天机器人基于 Qwen 模型对输入...

LLM-Index昨日回顾1、output parsers 字符串解析器 列表解析器 json解析器 pydantic解析器 自定义解析器 2、memory ChatMessageHistory ​ history.add_user_message(xxx) ​ history.add_ai_message(xxx) ​ message_to_dict() ​ messages_from_dict() ConversationChain(自动管理上下文) ​ ConversationChain（llm=model） ​ conversation.predict(input=’xxx’) 3、Index(RAG核心组件) 文件加载器 ​ 创建UnstructuredLoader对象load ​ docs = loader.load ​ html可以用自己的html对象 文档分割器 ​ 创建文档分割器的对象（separator,chunk_size,chunk_overlap） ​ 单文档切割 ​ 多文档切割(打印信息不同，打印出多个document的k...

Conda_Command导出当前conda环境下所有的包的名字1conda env export > /你的指定路径/requir.txt

了解私有化大模型 掌握Ollama安装与部署 熟悉Ollama客户端命令 掌握基于Ollama平台的ChatBot聊天机器人 【了解】私有大模型学习目标了解私有化大模型解决方案，能够选择企业常用的方案实现私有大模型部署 为什么要有私有大模型随着AI技术的不断普及，人们也积极拥抱其带来的变化，在生活或者工作中亦使用AI技术来帮助我们更高效的完成某些事件，但是在这个过程中，也暴露出AI技术当前下存在在的系列问题，其中最严重的就是安全问题 比如：最典型的是三星员工使用ChatGPT泄露公司机密的案例。 其实上述案例表现的就是企业数据隐私与安全的问题，在许多行业，如金融、医疗、政府等，数据隐私和安全是至关重要的。使用公共大模型可能涉及敏感数据的泄露风险，因为公共模型在训练过程中可能接触到了来自不同来源的敏感数据。因此就有了私有大模型的市场需求，私有大模型允许企业或机构在自己的数据上训练模型，而且训练的结果只供内部或合作伙伴使用，从而确保了数据隐私和安全。 当然除了数据隐私问题原因之外，还存有便于内部员工工作提效、大模型开发的投入等诸多原因综合，直接推动私有大模型成为未来AI发展的新...

今日大纲介绍今日目标：掌握使用VMware+CentOS搭建聊天机器人项目环境 核心知识点模块： ①聊天机器人项目介绍 ②大模型核心基础 ③VM安装与Linux使用 ④聊天机器人部署项目环境 【熟悉】聊天机器人项目简介学习目标掌握聊天机器人搭建核心步骤，完成聊天机器人架构设计 什么是聊天机器人 概念：聊天机器人是一种基于人工智能的自然语言处理技术开发的软件程序，能够通过文本或语音与用户进行交互，模拟人类对话。它可以根据用户输入的问题或指令，生成相应的回答或执行特定的操作。 特点： 自然语言理解（NLP）：能够理解用户输入自然语言，包括文字或语音，并从中提取意图和关键信息。 人工智能 人工智障 对话管理：通过对话引擎维持对话的连贯性，根据上下文生成合适的回答。 个性化交互：可以根据用户的历史记录和偏好提供定制化的回答。 ​ 笔记本 电脑 真笔记本 多功能性：除了聊天，还可以执行任务，如查询信息、预订服务、提供帮助等。 ​ 执行任务 ​ 查询信息 ​ 预订服务 应用场景： ...

大纲介绍 Python环境搭建 Python基础语法与变量 Python判断结构之if结构 【了解】Python概述与安装学习目标了解Python语言特点 掌握Python环境搭建与基础语法 为什么要学习Python① 技术趋势 Python自带明星属性，热度稳居编程语言界前三 https://www.tiobe.com/tiobe-index/ https://pypl.github.io/PYPL.html ② 简单易学 开发代码少，精确表达需求逻辑；==33个关键字，7种基本数据类型==；语法规则简单，接近自然语言。 ③ 应用广泛 Python语言涉及IT行业70%以上的技术领域 Python语言的诞生1989年，为了打发圣诞节假期，龟叔(吉多·范·罗苏姆)开始写Python语言的编译器 ；1991年，第一个Python编译器诞生Python这个名字，来自龟叔所挚爱的电视剧Monty Python’s Flying Circus (蒙蒂·蟒蛇的飞行马戏团） Python语言的优缺点优点 简单：Python是一种代表简单...