甘虎文'blogs

seq2seq1 RNN案例-seq2seq英译法1.1 seq2seq模型介绍 模型结构 编码器 encoder 解码器 decoder 编码器和解码器中可以使用RNN模型或者是transformer模型 工作流程 编码器生成上下文语义张量 -> 什么是nlp? 将问题转换成语义张量 解码器根据编码器的语义张量和上一时间步的预测值以及上一时间步的隐藏状态值进行当前时间步的预测 自回归模式 局限性 信息瓶颈问题 长序列问题 1.2 数据集介绍 每行样本由英文句子和法文句子对组成, 中间用\t分隔开 英文句子是编码器的输入序列, 法文句子是解码器的输出序列(预测序列)对应的真实序列 1.3 案例实现步骤1.3.1 文本清洗工具函数 utils.py 123456789101112131415161718192021222324252627282930313233343536373839404142434445# 用于正则表达式import re# 用于构建网络结构和函数的torch工具包import torchimport torch.nn as nn...

队长的小斑鸠\向晚晚_我要你默默走不回头 邵帅_暖一杯茶 ZaZaZsu咂咂苏_爱河 王铮亮_不凡

大模型微调技术V6.1 正在跳转到大模型微调技术内容...

RNN案例-seq2seq英译法1 RNN案例-seq2seq英译法1.1 seq2seq模型介绍 模型结构 编码器 encoder 解码器 decoder 编码器和解码器中可以使用RNN模型或者是transformer模型 工作流程 编码器生成上下文语义张量 -> 什么是nlp? 将问题转换成语义张量 解码器根据编码器的语义张量和上一时间步的预测值以及上一时间步的隐藏状态值进行当前时间步的预测 自回归模式 局限性 信息瓶颈问题 长序列问题 1.2 数据集介绍 每行样本由英文句子和法文句子对组成, 中间用\t分隔开 英文句子是编码器的输入序列, 法文句子是解码器的输出序列(预测序列)对应的真实序列 1.3 案例实现步骤1.3.1 文本清洗工具函数 utils.py 123456789101112131415161718192021222324252627282930313233343536373839404142434445# 用于正则表达式import re# 用于构建网络结构和函数的torch工具包import torchimport torch...

注意力机制应用1 注意力机制应用 思路: 解码器端的一般注意力机制(加性注意力) 实现步骤: q和k按特征维度轴进行拼接torch.concat(), 经过线性层计算nn.linear(), 再经过softmax激活层计算torch.softmax(, dim=-1), 得到权重概率矩阵 将上一步的权重概率矩阵和V进行矩阵乘法torch.bmm(), 得到动态张量c q和动态张量c进行融合, 按特征维度轴进行拼接torch.concat(), 经过线性层计算nn.linear(), 得到融合的结果->解码器当前时间步的输入X output, hn=nn.gru(X, h0) 代码实现 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677import torchimport torch.nn as nn# 创建神经...

注意力机制1 注意力机制由来 seq2seq架构介绍(encoder-decoder) encoder:编码器, 生成固定上下文张量c decoder:解码器, 生成预测序列 自回归预测: 只能使用上一时间步的预测结果作为下一时间步的输入 seq2seq架构存在问题 c不变->信息不变/信息瓶颈 使用GRU模型, 处理超长序列时也会产生梯度消失或梯度爆炸 基于以上两个问题引用了注意力机制 2 注意力机制介绍 概念 一种增强神经网络模型性能的技术/工具 预测时每个时间步都要计算一个中间语义张量C(动态C) C1,C2,C3… C1 = 0.5欢迎 + 0.3来 + 0.2北京 C2 = 0.3欢迎 + 0.6来 + 0.1北京 核心思想 通过计算==动态中间语义张量c==来增强模型表达能力 作用 增强神经网络模型性能 增强可解释性 -> 权值 缓解信息瓶颈问题 -> 动态C 解决长序列问题 -> 使用自注意力机制替换RNN/LSTM&#x...

网络编程介绍 概述 就是用来实现网络互联的 不同计算机上 运行的程序间 可以进行数据交互. 三要素 IP地址: 设备(电脑, 手机, Ipad…)在网络中的唯一标识 分类: ​ IPV4, 4字节, 十进制. 例如: 192.168.88.100 ​ IPV6, 8字节, 十六进制, 宣传语: 可以让地球上的每一粒沙子都有自己的IP 两个DOS命令: ​ 查看IP: ​ windows: ipconfig ​ Linux, Mac: ifconfig ​ 测试网络连接: ​ ping ip地址 或者 域名 端口号: 程序在设备(电脑, 手机, Ipad…)上的唯一标识. 范围: 0 ~ 65535, 其中0 ~ 1023已经被系统占用或者用作保留端口, 自定义端口时尽量规避这个范围. 协议: 传输规则, 规范. 常用的协议: ​ TCP(这个用的最多) 和 UDP TCP特点: ​ 1.面向有连接 ​ 2.采用字节流传输数据, 理论无大小限制. ​ 3.安全(可靠)...

数据结构和算法简介 数据结构 就是存储和组织数据的方式, 分为: 线性结构 和 非线性结构 算法 就是解决问题的思路和发放, 它具有独立性, 即: 它不依赖语言, 而是解决问题的思路. Java能做, Python也能做. 特性 有输入, 有输出, 有穷性, 确定性, 可行性. 如何衡量算法的优劣 ==大O标记法,== 即: 将次要条件都省略掉, 最终形成1个表达式. **主要条件:**随着问题规模变化而==变化==的. **次要条件:**随则问题规模变化而==不变==的. 最优和最坏时间复杂度 如非特殊说明, 我们考虑的都是 最坏时间复杂度, 因为它是算法的一种保证. 而最优时间复杂度是算法的 最理想, 最乐观的状况, 没有太大的参考价值. 常见的时间复杂度如下 从最优到最坏分别是: O(1) -> O(logn) -> O(n) -> O(n logn) -> O(n²) -> O(n³) ...

冒泡排序_思路及代码 123456789101112131415161718192021222324252627282930313233343536373839404142"""排序算法稳定性介绍： 概述：排序算法= 把一串数据按照升序或者降序的方式进行排列 方法、思维、方式 分类： 稳定排序算法 排序后，想同元素的相对位置不发生改变 不稳定排序算法 排序后，想同元素的相对位置发生改变 冒泡排序： 原理：相邻元素两两比较，大的往后走，这样第一轮比较厚，最大值在最大索引处 重复该动作，只要排序完毕。 核心： 1：比较的总轮数 列表的长度-1 2：每轮比较的总次数 列表的长度-1-当前轮数的索引 3：谁和谁比较 ？ 列表[j]和列表[j+1] 分析流程： 假设元素个数5个 ，具体如下： [5,3,4,7,2] 长度为5 比较的轮数,i...

线性回归 线性回归介绍学习目标： 1.理解线性回归是什么？ 2.知道一元线性回归和多元线性回归的区别 3.知道线性回归的应用场景 【理解】举个栗子假若有了身高和体重数据，来了播仔的身高，你能预测播仔体重吗? 这是一个回归问题，该如何求解呢? 思路:先从已知身高X和体重Y中找规律，再预测 •数学问题：用一条线来拟合身高和体重之间的关系，再对新数据进行预测 方程 Y = kX + b k160 + b = 56.3 – (1) k166 + b = 60.6 –- (2) 。。。。 k: 斜率 b:截距 若：y = 0.9 x + (-93) ​ 0.9*176 +（-93）= ? 【理解】线性回归线性回归(Linear regression)是利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。 注意事项： 1 为什么叫线性模型？因为求解的w，都是w的零次幂（常数项）所以叫成线性模型 2 在线性回归中，从数据中获取的规律其实就是学习权重系数w 3 某一...