甘虎文'blogs

AlexNet网络结构2012年，AlexNet横空出世，该模型的名字源于论文第一作者的姓名Alex Krizhevsky 。AlexNet使用了8层卷积神经网络，以很大的优势赢得了ImageNet 2012图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的方向。 在pytorch中构建AlexNet模型，继承自类nn.Module，实现init和forward方法即可，具体如下所示： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364from torch import nn# 创建AlexNet网络结构class Alexnet(nn.Module): # 初始化过程，网络层的定义,指明输入数据的通道数和输出的类别个数 def __init__(self, in_dim, n_class): super().__init__(...

图像分类分类模型给图像分配多个标签，每个标签的概率值不同，如dog:1%，cat:4%，panda:95%，根据概率值的大小将该图片分类为panda，那就完成了图像分类的任务。 常用数据集CIFAR-10和CIFAR-100数据集解释CIFAR-100 = Canadian Institute For Advanced Research - 100 classes CIFAR：加拿大高等研究院 100： 代表这个数据集中包含的 100个细粒度的类别（classes）。这与它的前身CIFAR-10（包含10个类别）形成了直接对比。 细粒度解释“细粒度”是相对于“粗粒度”而言的，它描述的是一种更精细、更具体、更关注细微差别的分类或分析级别。 您可以把它想象成观察事物的“放大镜倍数”： 粗粒度：低倍数放大镜，看大致的轮廓和类别。 例如：识别一辆“车”、一只“鸟”、一条“狗”。 细粒度：高倍数放大镜，看具体的型号、品种或子类型。 例如：识别这辆车是“2012款奥迪A6”还是“2020款特斯拉Model 3”；这只鸟是“北美红雀”还是“美洲知更鸟”；这条狗是“哈士奇”还是...

微调笔记 分类： fine tuning 传统全量微调，（高质量微调） prompt tuning（提示词微调） ​ 技术：指令微调 ​ 上下文学习 ​ chain of thought（思维链） PET模型（Pattern-Exploiting Training） POFT方法：分成三种类型：（面向提示的微调） 全量微调（Full Fine-Tuning）：模型所有参数都参与更新，包括预训练模型参数和下游任务层参数。如PET模型。 部分参数微调（Partial Fine-Tuning）：只更新预训练模型中的一部分参数，比如高层 transformer block、某些 attention 层或特定模块，其余参数冻结。如Adapter Tuning。 仅提示参数微调（Prompt-Only Tuning）：冻结原始预训练模型参数，只训练 prompt 参数。如P-tuning、Prompt Tuning等。 Soft Prompt及微调方法PEFT(参数高效微调) conda env export > /ptune_chatglm/...

RAG流程：mysql储存FQA高频问答对数据 问题检索：BM25 连接数据库 添加表（带着字段） 添加数据 json.dumps() mysql 存储自己的网址和密码。（自己设计一个RAG系统） 声明回退问题，把原来的复杂查询简化，第一个query检索 进行改写。主题含义不变。 milvus可以处理的数据集的大小限制是多少 技术实现： 增强索引：设计目标、核心功能、技术实现 多粒度切块，把块-分子块，对应的父块，提供给LLM 文档切成一块，存储milvus中的文档， query是为题，编程向量， 太长的拆成四个 128个向量 父块是一个 子块分成子块去做检索 切块的子块数都是超参数 混合检索：BM25，向量检索，字符检索 base：基础模块，配置、日志 core：核心逻辑模块，实现RAG的关键功能 main：系统运行入口，支持数据处理和交互查询 中午将一份唯二 通用知识由大语言模型回答， 直接 hyde 子查询 会输 文档检索：支持抽向量和系数向量的混合检索， 中午，下午 语义关键字，倒排（关键字检索 两句话的相似性， 混合检索，重排序优化， 作为回答送给大模型，方便理解。 用...

RAG-LangchainRAG解决什么问题： 信息过时：网络检索，获取最新数据 领域知识缺失：微调，将专有和私有的知识放到知识库里 幻觉：RAG（retrieval augmented generate），减轻幻觉，基于相关文档进行生成， 安全：RAG,无需将数据送到公开大模型中训练，放到本地知识库，使用本地的模型（api会泄露）进行调用，避免数据的公开和泄露。2）私有数据时存在本地知识库的，做一个权限的管控。 RAG定义：检索技术+生成（LLM提示） 处理流程：构建索引（文件加载、内容读取、chunk构建（拆成小文件，小块）、向量化（小块文档向量化）、落向量化 检索：query向量化，找到topk 生成：topk+query构建prompt；llm生成。 开发框架：LLaMAIndex、Langchain（快速搭建大模型） Langchainlangchain将模型分为三种（ langchian是用于构建大模型应用程序的框架，帮助开发者更高效的组合和使用多语言的工具。 原始大模型：LLM、chat models、embeddings chain：组装chain：chain&#...

今日目标 掌握Ollama模块实现 熟练使用Streamlit 掌握基于Ollama平台Python语言聊天机器人实现 【熟悉】阿甘智聊机器人项目介绍随着人工智能技术的飞速发展，聊天机器人在多个领域得到了广泛应用，如客户服务、教育辅导、娱乐互动等。然而，现有的许多聊天机器人依赖于云端服务，这不仅可能导致用户数据隐私泄露，还可能因网络延迟影响用户体验。因此，开发一款本地部署的聊天机器人显得尤为重要。本地聊天机器人能够在用户本地环境中运行，确保数据的安全性和对话的实时性，同时也能根据用户的个性化需求进行定制和优化。 项目演示 项目技术架构 后端模型：利用 Ollama 平台的 Qwen 模型，该模型具备出色的自然语言处理能力，能够理解和生成自然语言文本，为聊天机器人提供核心的对话处理功能。 前端界面：采用 Streamlit 框架搭建用户界面，Streamlit 是一个简单易用的 Python 库，能够快速创建美观、交互式的 Web 应用，使用户能够通过网页与聊天机器人进行实时对话。 对话交互：用户可以通过 Streamlit 界面输入文本，聊天机器人基于 Qwen 模型对输入...

LLM-Index昨日回顾1、output parsers 字符串解析器 列表解析器 json解析器 pydantic解析器 自定义解析器 2、memory ChatMessageHistory ​ history.add_user_message(xxx) ​ history.add_ai_message(xxx) ​ message_to_dict() ​ messages_from_dict() ConversationChain(自动管理上下文) ​ ConversationChain（llm=model） ​ conversation.predict(input=’xxx’) 3、Index(RAG核心组件) 文件加载器 ​ 创建UnstructuredLoader对象load ​ docs = loader.load ​ html可以用自己的html对象 文档分割器 ​ 创建文档分割器的对象（separator,chunk_size,chunk_overlap） ​ 单文档切割 ​ 多文档切割(打印信息不同，打印出多个document的k...

Conda_Command导出当前conda环境下所有的包的名字1conda env export > /你的指定路径/requir.txt

了解私有化大模型 掌握Ollama安装与部署 熟悉Ollama客户端命令 掌握基于Ollama平台的ChatBot聊天机器人 【了解】私有大模型学习目标了解私有化大模型解决方案，能够选择企业常用的方案实现私有大模型部署 为什么要有私有大模型随着AI技术的不断普及，人们也积极拥抱其带来的变化，在生活或者工作中亦使用AI技术来帮助我们更高效的完成某些事件，但是在这个过程中，也暴露出AI技术当前下存在在的系列问题，其中最严重的就是安全问题 比如：最典型的是三星员工使用ChatGPT泄露公司机密的案例。 其实上述案例表现的就是企业数据隐私与安全的问题，在许多行业，如金融、医疗、政府等，数据隐私和安全是至关重要的。使用公共大模型可能涉及敏感数据的泄露风险，因为公共模型在训练过程中可能接触到了来自不同来源的敏感数据。因此就有了私有大模型的市场需求，私有大模型允许企业或机构在自己的数据上训练模型，而且训练的结果只供内部或合作伙伴使用，从而确保了数据隐私和安全。 当然除了数据隐私问题原因之外，还存有便于内部员工工作提效、大模型开发的投入等诸多原因综合，直接推动私有大模型成为未来AI发展的新...

1 RNN介绍1.1 RNN概念循环神经网络（Recurrent Neural Network, RNN）是一种==专门处理序列数据的神经网络==。与传统的前馈神经网络不同，RNN具有“循环”结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。 我们要明确什么是序列数据，时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 1.2 RNN应用场景 自然语言处理（NLP）：文本生成、语言建模、机器翻译、情感分析等。 时间序列预测：股市预测、气象预测、传感器数据分析等。 语音识别：将语音信号转换为文字。 音乐生成：通过学习音乐的时序模式来生成新乐曲。 1.3 自然语言处理概述自然语言处理（Nature language Processing, NLP）研究的主要是==通过计算机算法来理解自然语言。== 对于...