大模型微调做信息抽取和文本分类任务

Created2025-05-08|Updated2025-10-10|AI_Module微调大模型微调做信息抽取和文本分类任务

|Post Views:

硬件：GPU=A800+80G显存；CPU=100G内存

准备数据集

数据集制作来源包括：大模型生成+hugging face的公开数据集+人工标注

模型搭建与训练

Author: 甘虎文

Link: http://example.com/2025/05/08/FineTuningNotes/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E7%AC%94%E8%AE%B0/

AI_Module

2023-05-09

PyTorch框架使用

PyTorch框架使用PyTorch框架简介什么是PyTorch PyTorch是一个基于Python的科学计算包 PyTorch安装 1pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple PyTorch一个基于Python语言的深度学习框架，它将数据封装成张量（Tensor）来进行处理。 PyTorch提供了灵活且高效的工具，用于构建、训练和部署机器学习和深度学习模型。 PyTorch广泛应用于学术研究和工业界，特别是在计算机视觉、自然语言处理、强化学习等领域。 PyTorch特点 PyTorch与TensorFlow的比较 PyTorch与TensorFlow的区别：PyTorch是基于动态图（动态计算图）的，而TensorFlow 1.x是基于静态计算图的（TensorFlow 2.x支持动态图）。这使得PyTorch在灵活性和调试方面优于TensorFlow，尤其是在研究和原型设计中。此外，PyTorch的API设计更加贴近Python，易于学习和使用。 TensorFlow 2.x（引入了Ea...

2023-04-22

卷积神经网络CNN

卷积神经网络CNN1 图像基础知识1.1 图像基本概念图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。“图”是物体反射或透射光的分布，“像“是人的视觉系统所接受的图在人脑中所形成的印象或认识，照片、绘画、剪贴画、地图、书法作品、手写汉字、传真、卫星云图、影视画面、X光片、脑电图、心电图等都是图像。在计算机中，按照颜色和灰度的多少可以将图像分为四种基本类型。二值图像一幅二值图像的二维矩阵仅由0、1两个值构成，“0”代表黑色，“1”代白色。由于每一像素（矩阵中每一元素）取值仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值图像通常用于文字、线条图的扫描识别（OCR）和掩膜图像的存储。灰度图像灰度图像矩阵元素的取值范围通常为[0，255]。因此其数据类型一般为8位无符号整数的（int8），这就是人们经常提到的256灰度图像。**“0”表示纯黑色，“255”表示纯白色，中间的数字从小到大表示由黑到白的过渡色。**二值图像可以看成是灰度图像的一个特例。索引图像索引图像的文件结构比较复杂，除了存放图像的二维矩阵外，...

2023-06-12

循环神经网络RNN

循环神经网络RNN1 RNN介绍1.1 RNN概念循环神经网络（Recurrent Neural Network, RNN）是一种==专门处理序列数据的神经网络==。与传统的前馈神经网络不同，RNN具有“循环”结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。我们要明确什么是序列数据，时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 1.2 RNN应用场景自然语言处理（NLP）：文本生成、语言建模、机器翻译、情感分析等。时间序列预测：股市预测、气象预测、传感器数据分析等。语音识别：将语音信号转换为文字。音乐生成：通过学习音乐的时序模式来生成新乐曲。 1.3 自然语言处理概述自然语言处理（Nature language Processing, NLP）研究的主要是==通过计算机算法来理解自然语言。=...

2023-04-05

深度学习简介

深度学习简介什么是深度学习[知道]深度学习（Deep Learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。深度学习中的形容词“深度”是指在网络中使用多层。深度学习核心思想是==通过模仿人脑的神经网络来处理和分析复杂的数据，从大量数据中自动提取复杂特征==，擅长处理高维数据，如图像、语音和文本。深度学习特点[知道] 多层非线性变换：深度学习模型由多个层次组成，每一层都应用非线性激活函数对输入数据进行变换。较低的层级通常捕捉到简单的特征（如边缘、颜色等），而更高的层级则可以识别更复杂的模式（如物体或面部识别）。自动特征提取：与传统机器学习算法不同，深度学习能够自动从原始数据中学习到有用的特征，而不需要人工特征工程。这使得深度学习在许多领域中表现出色。大数据和计算能力：深度学习模型通常需要大量的标注数据和强大的计算资源（如GPU）来进行训练。大数据和高性能计算使得深度学习在图像识别、自然语言处理等领域取得了显著突破。可解释性差：深度学习模型内部的运作机制相对不透明，被称为“黑箱”，这意味着...

2023-05-26

神经网络基础

神经网络基础神经网络深度学习神经网络就是大脑仿生，数据从输入到输出经过一层一层的神经元产生预测值的过程就是==前向传播（也叫正向传播）==。前向传播涉及到人工神经元是如何工作的（也就是神经元的初始化、激活函数），神经网络如何搭建，权重参数计算、数据形如何状变化。千里之行始于足下，我们一起进入深度学习的知识海洋吧。神经网络概念什么是神经网络人工神经网络（Artificial Neural Network，简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。它由多个互相连接的人工神经元（也称为节点）构成，可以用于处理和学习复杂的数据模式，尤其适合解决非线性问题。人工神经网络是机器学习中的一个重要模型，尤其在深度学习领域中得到了广泛应用。人脑可以看做是一个生物神经网络，由众多的神经元连接而成。各个神经元传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号。下图是生物神经元示意图：当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。 ...

2024-01-19

新零售行业评价决策系统

新零售行业评价决策系统一、项目介绍【理解】1、项目背景随着科技的迅速发展和智能设备的普及，AI技术在新零售行业中得到了广泛应用。其中智能推荐系统是AI技在新零售中最为常见且有效的应用之一。通过分析用户的购买历史、浏览行为以及喜好偏好，推荐系统可以根据个人特征给用户进行个性化商品推荐。这种个性化推荐不仅可以提高用户购买意愿，减少信息过载，还可以带来更高的用户满意度和销量。在智能推荐系统中，文本分类的应用属于重要的应用环节。比如：某电商网站都允许用户为商品填写评论，这些文本评论能够体现出用户的偏好以及商品特征信息，是一种语义信息丰富的隐式特征。相比于单纯的利用显式评分特征，文本信息一方面可以弥补评分稀疏性的问题，另一方面在推荐系统的可解释方面也能够做的更好。因此，本次项目我们将以”电商平台用户评论”为背景，基于深度学习方法实现评论文本的准确分类，这样做的目的是通过用户对不同商品或服务的评价，平台能够快速回应用户需求，改进产品和服务。同时，自动分类也为个性化推荐奠定基础，帮助用户更轻松地找到符合其偏好的商品。 2、评论文本分类实现方法2.1 传统的深度学习方法目前实...