ESP8266
No space
git
毕业设计
postgresql
桥接模式
深度遍历
WinLicense
微控制器
USB
美食分享系统
iphone
xml
按键
栈
光流
游戏美术
管理微信小程序登录态
预训练模型
邮件营销
pytorch
2024/4/11 13:19:54
卷积神经网络——LeNet（pytorch实现）
文章目录前言一、model二、train三、test相关问题总结1. with torch.no_grad():2. torch.max()函数前言
LeNet，它是最早发布的卷积神经网络之一。LeNet被广泛用于自动取款机（ATM）机中，帮助识别处理支票的数字。 时至今日…
Graph Classification using Structural Attention
来源：KDD2018 论文地址： Graph Classification using Structural Attention | Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining 代码： GitHub - sunfeng90/GAM: A PyTorch implement…
![[pytorch] list类型的batch转tensor，cat与stack的区别](/images/no-images.jpg)
[pytorch] list类型的batch转tensor，cat与stack的区别
有一个list，其中的元素为一个tensor，list的长度即为batch_size：
a torch.randn(2, 3)
b torch.randn(2, 3)
c torch.randn(2, 3)
l [a, b ,c]
需要将其转换为一个大的tensor作为模型的输入，二种方法
1) 使用stackÿ…
class-aware与class-agnostic的含义，区别，应用场景
class-aware与class-agnostic的含义，区别，应用场景
先给出官方的原文解释：
class-aware
For a class-aware detector, if you feed it an image, it will return a set of bounding boxes, each box associated with the class of the obj…
Pytorch创建Tensor常用方法总结
Pytorch创建Tensor常用方法总结
1.从numpy的ndarray或python的list创建
torch.from_numpy(ndarray)torch.tensor(list)torch.Tensor(size)
a np.array([1,2,3])
data torch.from_numpy(a)
print(data)
"""
输出：
tensor([1, 2, 3], dtypetorch.…
Pytorch中x.data()与x.detach()的区别
Pytorch中x.data()与x.detach()的区别
作用
阻断梯度回传
class TestDetach(nn.Module):def __init__(self, InDim, HiddenDim, OutDim):super().__init__()self.layer1 nn.Linear(InDim, HiddenDim, False)self.layer2 nn.Linear(HiddenDim, OutDim, False)def forward(s…
Pytorch中有多次backward时需要retain_graph参数
Pytorch中有多次backward时需要retain_graph参数
背景介绍
Pytorch中的机制是每次调用loss.backward()时都会free掉计算图中所有缓存的buffers，当模型中可能有多次backward()时，因为前一次调用backward()时已经释放掉了buffer，所以下一次调…
【Pytorch实现】——LeNet网络
【Pytorch实现】——LeNet网络
import torch
from torch import nn
from d2l import torch as d2l# 继承nn.Module类，实现__init__和forward
class Reshape(nn.Module):def forward(self,x):# 将图片形状变成BxCxHxWreturn x.reshape(-1,1,28,28)# nn.Sequential可…
Anaconda 查看、添加、删除 安装源
1、Anaconda 查看安装源： conda config --show-sources 2、Anaconda 添加安装源： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 3、Anaconda 删除安装源： conda config --remove channels https:/…
使用pytorch的错误整理
1、Using /home/liao/.cache/torch_extensions/py38_cu102 as PyTorch extensions root… 程序卡在Using /home/liao/.cache/torch_extensions/py38_cu102 as PyTorch extensions root… 无法运行下去： 解决方法：在/home/liao/.cache下删除torch_extensi…
演示用torchserve来部署模型
演示用torchserve进行pytorch模型部署
步骤分为四步：
使用docker环境导出模型定义handler保存模型
本文使用训练好的ResNet34 进行图像分类的服务
1 .使用docker安装torchserve
pull项目docker环境是复现demo最好的方法之一！！࿰…
全局池化–Pytorch
全局平均池化
卷积神经网络可以解决回归跟分类问题，但是常见的卷积神经网络到最后都要通过全连接层实现分类，这个其实会导致很多时候神经元数目跟计算量在全连接层暴增，特别对一些回归要求比较高的网络往往会带来一些后遗症。所以陆陆续续有…
pytorch中tensor常用is_contiguous含义
is_contiguous
根据名字就可以知道判断是否连续相邻， pytorch中不管任意维度的张量底层都是一维tensor，只是取决于你怎么读，因此每个tensor中标量都是连续的。如果我们将矩阵进行转置操作，则会导致tensor标量都不连续了ÿ…
《Pytorch深度学习和图神经网络(卷 1)》学习笔记——第七章
这一章内容有点丰富，多用了一些时间，实例就有四五个。 这章内容是真多啊！（学完之后又回到开头感叹）
大脑分级处理机制：
将图像从基础像素到局部信息再到整体信息 即将图片由低级特征到高级特征进行逐级计…
Pytorch中backward函数
backward函数是反向求导数，使用链式法则求导，如果对非标量y求导，函数需要额外指定grad_tensors，grad_tensors的shape必须和y的相同。 import torch
from torch.autograd import Variable
xVariable(torch.Tensor([16]),re…
Pytorch实现LeNet网络
LeNet的网络结构图是： import torch
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision import transforms
from torch import optim
import torch.nn as nn
#Load data
def loadMNIST(batch_si…
附代码 ConvNeXts：A ConvNet for the 2020s
A ConvNet for the 2020s 论文解读
代码链接： https://github.com/facebookresearch/ConvNeXt 参考链接：https://zhuanlan.zhihu.com/p/458016349
摘要：
卷积网络和Swin Transformer 的不同和相似：它们都具有相似的归纳偏差&am…
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
MLP-Mixer: An all-MLP Architecture for Vision论文解读
参考连接：https://blog.csdn.net/weixin_44855366/article/details/120796804
摘要：
在不使用卷积或自我注意情况下，我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs…
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
1.简介
目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提…
相对位置编码 原理 写了一个例子 写PyTorch 代码
相对位置编码是一种用于在自注意力机制中表示序列元素之间相对位置关系的方法。相对位置编码通过将相对位置信息嵌入到序列的表示中，使得模型能够更好地捕捉序列中不同元素之间的上下文关系。
以下是一个使用相对位置编码的示例：
假设我们有一个输入序…
关于PIL出现：OSError: IOError: broken data stream when reading image file
最近在训练的时候出现一个问题，而且老是同一个地方问题，OSError: IOError: broken data stream when reading image file。仔细的追踪代码，本以为路径有问题，结果发现都是没问题，后来分析才知道很大概率图像本身可能存…
RuntimeError: cuda runtime error (30)解决
程序出错如上，而且总是伴随着黑屏，一开始以为是cuda跑出问题，而且该问题必须重启才能解决，但是一直很好奇我的电脑Ubuntu18.04设置了黑白屏从不，还是出现该错误，最后为了复现该错误就强制锁屏，果…
强化学习DQN 入门小游戏 最简单的Pytorch代码
本文目的是用最简单的代码，展示DQN玩游戏的效果，不涉及深度学习原理讲解。
毕竟，入门如此艰难，唯一的动力不过是看个效果，装个biu……
安装OpenAI的游戏库gym
pip install gym看一下运行效果
import gymenv gym.m…
Anaconda的一些关键指令
官方下载链接
anaconda的主要优点就是随时轻松的建立一个你需要的python环境。
换源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
创建虚拟环境
conda create -n work1 python3.5
/…
nn.Parameter和torch.nn.init系列函数给模型参数初始化
参考自：(12条消息) torch.nn.init常用函数总结_不牌不改的博客-CSDN博客_torch.nn.init.normal_
linux无图形界面安装python2+pytorchtensorflow并python3+pytorchTensorFlow
linux无图形界面安装python2pytorch&tensorflow并python3pytorch&TensorFlow
这篇文章主要是写给自己的一点记录和使用linux服务器的备忘录，由于linux服务器已有的环境和网络的环境的限制，可能本文中所涉及的方法，大家并不适用&…
MMdetection 2+unbuntu 18.04+Cuda 10.2 的踩坑实录，从踩坑到配置成功-配置环境之殇
MMdetection 2unbuntu 18.04Cuda 10.2 的踩坑实录，从踩坑到配置成功-配置环境之殇 好久没有更新博客了，最近事情有些多，大概已有多半年没有搞过学术了。经和朋友聊天，说商汤科技出的用于目标检测的mmdetection工具箱非常好用&…
图像分割SegNet、PSPNet、UNet、DeepLab、GSCNN、HRNet、ReSeg
SegNet、PSPNet、UNet、DeepLab、GSCNN、HRNet、ReSegSegNetPSPNetUNetReSegDeepLabDeepLabV1DeepLabV2DeepLabV3GSCNNHRNet介绍步骤。A：不加评论，完整介绍算法流程与局部模块。B：说说个人想法这里面有些图片是之前在别的地方看到，…
图卷积神经网络笔记——第五章：（1）基于PyG库的图卷积的节点分类实战
前面讲解了图卷积的基本理论知识（ 链接.），接下来讲解基于PyG库的图卷积的节点分类。 需要说明的是，我是用的是win10系统。 目录一、环境搭建1、PyG库简介2、安装Anaconda并配置虚拟环境3、安装PyTorch和PyG（1ÿ…
LSTM多维数据预测股票
使用pytorch的LSTM进行股票的预测，多维数据预测，同时实时观看预测效果。 源代码下载：https://download.csdn.net/download/u013403714/15430545
deepinf bug:warnings.warn(“nn.functional.tanh is deprecated. Use torch.tanh instead.“)
warnings.warn("nn.functional.tanh is deprecated. Use torch.tanh instead.")这是什么鬼？
＜built-in function imshow＞ returned NULL without setting an error
cv2.imshow(p, im0)
报错，只需要把p改成str类型就行
【Pytorch异常笔记】Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
异常描述
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or c…
darknet训练时计算mAP和测试计算mAP
训练时计算相应的mAP值
./darknet detector train cfg/coco.data yolov3.cfg yolov3.conv.137 -map
测试时计算相应的mAP值
To check accuracy mAPIoU50: ./darknet detector map data/obj.data yolo-obj.cfg backup\yolo-obj_7000.weights
To check accuracy mAPIoU75: ./d…
神经网络中验证集、训练集和测试集
验证集
对于所有的训练集，训练一个epoch之后(当然也可以自己设定)，使用用验证集来测试一下模型训练效果，由于训练集和验证集的不可交性，所以在验证集上面的结果是有参考意义的。
验证集并没有参与训练过程中的梯度下降过程&…
C盘爆红，一个操作将微信缓存踢走
C盘是系统盘，很多文件默认C盘，不知不觉它就爆红了，今天教你一个小方法瞬间腾出5个G。
在电脑微信的设置中找到文件管理，将文件管理的目录进行更改，修改到D盘或者E盘即可，登上三四分钟，将拥有几…
YOLOv5 完整网络模型可视化 pytorch netron
本文分享使用pytorch可视化工具netron查看YOLOv5网络模型结构。
正常在控制台pip命令安装
pip install netron执行netron
C:\Users>netron
Serving at http://localhost:8080网页打开 在YOLOv5中，打开网络模型主文件yolo.py。 将模型保存为一个pt文件
# Cre…
小布助手对话短文本语义匹配阅读源代码1--build_vocab.py understand
小布助手对话短文本语义匹配 对于大佬这段代码的解读 首先进入build_vocab.py之中，查看形成词表的过程 关键代码
counts [3,5,3,3,5,5]接下来调用词频形成新的vocab.txt的词表过程 (由于数据是脱敏的，这里考虑词语出现的频率，即词频)
for …
不同的参数经过模型之后输出的参数相同时，则模型训练之后输出的参数必然相同
今天在训练模型的时候出现了状况，不同的参数经过模型之后输出的预测数值相同。
model.eval()
output model(torch.tensor([[ 101, 403, 2033, 2011, 2151, 1003, 2017, 1005, 1040, 102],[ 101, 102 , 103, 104 , 105 , 106 , 107 , 108 , 109 , 112]]),torch.te…
win10+cuda9.1+cudnn7.1.3+pytorch-0.4.1
win10cuda9.1cudnn-9.1-windows10-x64-v7.1.3pytorch-0.4.1-py37_cuda90_cudnn7he774522_1
新手第一次安装，竟然安装了一天，醉了醉了。
写在最前面，安装第三步安装pytorch和torchvision时，最后是用conda新建一个虚拟环境&#x…
CrossEntropy（交叉熵损失函数pytorch）
介绍
crossentropy损失函数主要用于多分类任务。它计算了模型输出与真实标签之间的交叉熵损失，可以作为模型优化的目标函数。
在多分类任务中，每个样本有多个可能的类别，而模型输出的是每个样本属于每个类别的概率分布。交叉熵损失函数可以…
检索出与指定图片相似度最高的n张图片
给定一张指定图片“22.png”，在指定图片库“database目录”中检索出与其相似度最高的3张图片。
1. 使用深度神经网络提取图片特征
1.1 vgg16提取图片特征
# -*- coding: UTF-8 -*-
import numpy as np
import h5py
import matplotlib.image as mpimg
import matp…
python-剔除含nan的行列
转发：13_Numpy数组(ndarray)中含有缺失值(nan)行和列的删除方法_饺子大人的博客-CSDN博客 nan在python中是浮点类型 float(nan)
pytorch笔记：归一化
layer normalization 是针对单个样本，训练和测试的时候行为一致LN 相对于 BN 更适合 RNN，可以降低训练时间LN 中不同样本有不同的归一化参数，以层计算 a 是输入，f 是每层具体的操作，g 和 b 是可学习参数
Pytorch自定义自己的dataset和dataloader
Pytorch自定义自己的dataset和dataloader Pytorch学习（三）定义自己的数据集及加载训练pytorch的自定义数据集/DataLoader和Dataset重写Dataset和DataLoader的书写如何使用Pytorch中的Dataset类定义自己的数据集通过txt文件来构建自己的Dataset和DataLoad…
pytorch单机多gpu训练cycleGAN模型
废话不多说，直接上代码
修改cycleGan中的代码如下
原代码
disc_H Discriminator(in_channels3).to(config.DEVICE)disc_Z Discriminator(in_channels3).to(config.DEVICE)gen_Z Generator(img_channels3, num_residuals9).to(config.DEVICE)gen_H Generator(…
RTX3070显卡笔记本运行 torch.cuda.device_count() 显示 0 解决办法、Tensorflow包安装全解
RTX3070显卡笔记本运行 torch.cuda.device_count() 显示 0 解决办法、Tensorflow包安装全解 注：第一次使用NAIDIA显卡的笔记本，要使用pytorch做一些东西，过程可谓是十分艰难，先是CUDA安装不对，再是显卡驱动版本太老&am…
AttributeError: ‘NoneType‘ object has no attribute ‘fill_‘
AttributeError: ‘NoneType’ object has no attribute ‘fill_’
前言：在使用pytorch搭建网络的过程中，出现AttributeError: ‘NoneType’ object has no attribute fill_的错误，记录下
一、搭建网络后，开始测试网络输出
mod…
pytorch-lightning的trainer的optimaze_step的详细分析
on_train_batch_startoptimaze_step training_stepon_before_zero_gradscaler.scale(loss) 将loss放大on_before_backwardmodel.backward 梯度反传on_after_backwardscaler.unscale_(optimizer) 将grad还原on_before_optimizer_step_clip_gradients梯度裁剪scaler.step(optimiz…
【Pytorch】相关问题
1. Pytorch安装 https://pytorch.org/get-started/previous-versions/
2. RuntimeError: Subtraction, the - operator, with a bool tensor is not supported. If you are trying to invert a mask, use the ~ or bitwise_not() operator instead. 解决: https://gith…
Pytorch模型转成ONNX和MNN
简介
本文介绍Pytorch模型转成ONNX和MNN模型，ONNX和MNN框架不做详细介绍。
PyTorch转ONNX
需要安装好pytorch环境和onnx包
pip install torch
pip install onnx以mobilenet为例，下载好mobilenet.py和预训练模型mobilenet_v2-b0353104.pth，…
LeNet 5 pytorch实现
import torch.nn as nn
import torch
from torchinfo import summary
#img is 32*32*1
datatorch.ones(size(10,1,32,32))
class LeNet_5(nn.Module):def __init__(self): #定义神经网络所需的全部元素super().__init__()self.conv1nn.Conv2d(1,6,5) #322pad-kernel /1 1s…
【Deep learning】——一文知torch分类任务的交叉熵Loss（多分类、多标签任务）
【Deep learning】——一文知torch分类任务的交叉熵Loss（多分类、多标签任务）多分类任务多标签任务之前对torch的分类Loss还有好些疑惑，这次一网打进不留漏洞。文章包含多分类任务loss和多标签任务loss【softmax/NLLloss/CrossEntropyLoss/si…
【Python/Pytorch - Bug】-- Unable to save settings: Failed to save settings.Please restart PyCharm.
文章目录问题截图问题分析解决办法：问题截图 问题分析
RuntimeError:Unable to save settings: Failed to save settings.Please restart PyCharm.
分析：出现这个问题的时候，除了会报这个错误，还会出现另外一个问题：…
【Python/Pytorch - Bug】-- 一直indexing、右键不能run、debug
文章目录问题截图问题分析解决办法：问题截图 问题分析
错误:一直出现截图中的indexing、以及右键时候不能run、debug。
分析：出现这个问题，主要是我在复现一个github上面的一个开源代码，为了跳过环境安装步骤，我直接…
【Python/Pytorch - Bug】-- You are using pip version 9.0.1，however version 22.2.2 is available.You
文章目录问题截图问题分析解决办法：问题截图 问题分析
对于这个问题有两种情况：
1、就是按照提示升级pip版本等等，按照它的要求来就行了，这个简单；
2、就是我碰到的这种情况，按照它的要求来会报另外的错…
RTX 3090运行pytorch报错CUDA error: no kernel image is available for execution on the device
安装适用于GeForce RTX 3090显卡的pytorch
pip uninstall torch
pip install torch1.7.0cu110 torchvision0.8.1cu110 torchaudio0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
torch的optim控制可以训练的参数
torch的optim控制可以训练的参数
参考
optimizer optim.SGD(model.fc2.parameters(), lr1e-2) # 只传入fc2的参只训练f2的参数
optimizer torch.optim.SGD([{params: model.parameters()},{params: lossnet.parameters(), lr: 1e-4}], lr, momentum0.9)训练两个模型的参数…
nn.CrossEntropyLoss()可接受两种输入
nn.CrossEntropyLoss()可接受两种输入
# Example of target with class indices
loss nn.CrossEntropyLoss()
input torch.randn(3, 5, requires_gradTrue)
target torch.empty(3, dtypetorch.long).random_(5)
output loss(input, target)
output.backward()
# Example o…
pytorch必备技能
1.模型的序列化 反序列化（没啥用但是基础的前置知识）
torch.save(什么都可以,文件的路径) 保存整个模型:torch.save(model，模型路径) 加载整个模型 torch.load(保存模型的路径) 保存模型参数: state_dict model.state_dict() torch.save(…
【Python/Pytorch - Bug】-- Pycharm安装虚拟环境的两种方法
文章目录Pycharm安装虚拟环境的两种方法方法一：conda操作方法二：命令行操作Pycharm安装虚拟环境的两种方法
方法一：conda操作 方法二：命令行操作
（1）在指定目录下创建新的虚拟环境 （2&#…
验证LSTM内部实现流程，加深对LSTM的印象
验证LSTM内部实现流程，加深对LSTM的印象
LSTM结构图单层
LSTM结构图多层
# 验证经过一个cell的计算
import torch
import torch.nn as nn# 1. 设置特征
feature_size 4
batch_size 1
hidden_size 10x torch.randn(batch_size, feature_size)# 2. 利用torch…
ubuntu20.04 使用pip安装配置Pytorch
关于pytorch的安装，我之前其实写过一篇博客：解决问题：import torch失败和torch.cuda.is_available()返回false 但是那是在windows下的，在ubuntu双系统下好像情况有点不一样，但是所幸踩的坑不算多，这里总结如…
卷积神经网络——中篇【深度学习】【PyTorch】
文章目录 5、卷积神经网络5.5、经典卷积神经网络（LeNet）5.5.1、理论部分5.5.2、代码实现 5.6、深度卷积神经网络（AlexNet）5.6.1、理论部分5.6.2、代码实现 5.7、使用块的网络（VGG）5.7.1、理论部分5.7.2、代…
后门防御阅读笔记，GangSweep: Sweep out Neural Backdoors by GAN
论文标题：GangSweep: Sweep out Neural Backdoors by GAN
论文单位：Old Dominion University,Norfolk, VA, USA
论文作者：Liuwan Zhu,Rui Ning,Cong Wang
收录会议：ACM MULTIMEDIA 2020
开源代码：https://github.c…
PyTorch深度学习入门 || 系列（二）
文章目录0 写在前面1 随机生成大规模数据2 使用cuda加速3 定义draw()函数4 定义train()函数5 主函数模块内容6 完整代码0 写在前面
考虑到之前用于训练的数据都是小样本的，比如说PyTorch深度学习入门 || 系列（一）中的输入就只有五组数据&…
Pytorch深度学习——实现手写数字识别 06
文章目录1 思路和流程分析2 准备训练集和测试集2.1 torchvision.transforms.ToTensor（）2.2 torchvision.transforms.Normalize(mean, std)2.3 torchvision.transforms.Compose(transforms)2.4 写Dataset 和 DataLoader2.5 数据处理部分的代码3 构建模型3…
为啥改了/usr/bin/python 为/usr/bin/python -＞ /usr/bin/python2.7 ，我运行的python还是python3的呢
昨天在ubutun下面安装了一个anaconda，带的是python3.7的，以前默认python为2.7的
结果安装后运行python为3。7了，按网上的说明只要改了/usr/bin/python 软链接为usr/bin/python -> /usr/bin/python2.7 应该就好用了，因为还要编…
吴恩达 deeplearning.ai - 神经网络和深度学习 - 第四周代码
开始之前
在正式开始之前，我们先来了解一下我们要做什么。在本次教程中，我们要构建两个神经网络，一个是构建两层的神经网络，一个是构建多层的神经网络，多层神经网络的层数可以自己定义。本次的教程的难度有所提升&…
CenterNet的骨干网络之DLASeg
DLA全称是Deep Layer Aggregation, 于2018年发表于CVPR。被CenterNet, FairMOT等框架所采用，其效果很不错，准确率和模型复杂度平衡的也比较好。
CenterNet中使用的DLASeg是在DLA-34的基础上添加了Deformable Convolution后的分割网络。
1. 简介
Aggre…
Faster R-CNN中RPN网络的理解
使用的网络是VGG16：注意：RPN输出的回归层是9个单独的回归器 的集合，就是说这9个包围盒回归器不共享权重，每个回归器负责一种尺度和长宽比（和相应的anchor比例基本相同）。假设有anchor（大小为 …
YOLOv3论文阅读记录
YOLOv3：An Incremental Improvement 论文的链接：https://arxiv.org/pdf/1804.02767.pdf 这个版本的更新有很多改动尤其是网络方面的，网络变得更大也更准确。320 * 320的图片作为YOLOv3的输入，每张图片的平均运行时间是22ms&#x…
Faster-RCNN中nn.Sequential(*list(vgg.classifier._modules.values())[:-1])的理解
Faster-RCNN中nn.Sequential(*list(vgg.classifier._modules.values())[:-1])的理解
原博：https://blog.csdn.net/a1103688841/article/details/89383215 先总结一下，self.RCNN_base nn.Sequential(*list(vgg.features._modules.values())[:-1])&#…
win10使用Inception v3进行图像分类TensorFlow学习记录
win10中构建TensorFlow环境：
下载并安装anaconda环境，具体步骤这里有：spark2.3在Windows10当中来搭建python3的使用环境pyspark，只需要看anaconda的安装方法就行。安装好以后使用快捷键CtrlR打开运行，输入cmd打开命令…
Pytorch错误Expected input batch_size (324) to match target batch_size (4) Log In
参考链接： https://blog.csdn.net/qq_41429220/article/details/104973805 Pytorch Error: ValueError: Expected input batch_size (324) to match target batch_size (4) Log In
1.ERROR原因
使用pytorch训练一个自定义的模型，参照网上的博客直接照搬…
【Python/Pytorch - Bug】-- TypeError: type numpy.ndarray doesn‘t define _round method
文章目录问题问题分析解决办法：问题
问题： TypeError: type numpy.ndarray doesn’t define _round method
问题分析
1、采用Debug方法，一步一步往回找原因（按住ctrl 鼠标右键） 2、因为是复现代码工作ÿ…
92.自注意力和位置编码以及代码实现
1. 自注意力 一个长为n的序列，每个xi是一个长为d的向量key、value都来自于自己
2. 跟CNN、RNN对比 3. 位置编码 4. 位置编码矩阵 5. 绝对信息位置 6. 相对位置信息 7. 总结 8. 代码实现
import math
import torch
from torch import nn
from d2l import torch as …
model.modules()和model.children()以及model._modules.items()
两者包含的其实是你所定义的网络中继承自nn.Module的模块，比如nn.Relu,nn.Conv2d等，并不是你整个网络的forward（）结构，而且你自定义的函数模块也是没有的，实验如下： 另外，model.modu…
PyTorch入门学习（一）
PyTorch 是一个基于 Python 的科学计算包，主要定位两类人群：
NumPy 的替代品，可以利用 GPU 的性能进行计算。深度学习研究平台拥有足够的灵活性和速度
#导入pytorch
import torch
import torchvision
import numpy as npTensors 类似于 Num…
win10下pytorch深度学习环境搭建cuda10.0-py3.7图文并茂含下载链接
一、安装cuda
1、检查电脑是否有合适的GPU
在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本。 点击 帮助->点击 系统信息 弹出下面的对话框，在驱动程序版本那一栏就能看到该…
pytorch课程6：基本数据类型
一、数据类型 pytorch没有自带的string的类型，需要用以下二种编码方法表示： 基本数据类型 红框的三个最常用，其中ByteTensor 用来比较输入的两个值，如果相等返回1，否则返回0.
查看和检验某个变量的数据类型 torch 默认…
injective, surjective, bijective function 各自含义
最近看论文经常出现这三个玩意儿，其实没有什么特别的，就是初高中知识，只不过当时没有背下来对应的英文而已。。。
fuction：函数，可以多对一，不能一对多injective function：单射函数，…
PyTorch----实现手写数字的识别
加载手写数字的数据
组成训练集和测试集，这里已经下载好了，所以download为False
import torchvision# 是否支持gpu运算
# device torch.device(cuda if torch.cuda.is_available() else cpu)
# print(device)
# print(torch.cuda.is_available())# 加…
关于pytorch构建神经网络细节的学习记录
pytorch搭建简单的神经网络案例：
Pytorch–1.使用Pytorch搭建一个简易的神经网络
对于前向传播与反向传播的理解：神经网络前向传播和反向传播公式推导（公式图解）
关于forward函数调用的理解：
pytorch的学习之路&am…
如何将Anaconda移到D盘
我的c盘只剩不到1个g了，不敢再在虚拟环境里安装包了，所以想把anaconda移到D盘
通过快捷方式，好巧妙呀！ 将虚拟环境 envs整个目录剪切到D盘，我是在D盘新建了个文件夹 D:\anaconda env。 进入cmd环境，以管理…
NLP-D21-UNICORNpytorch实践
–0613看了一会论文，但是还没完成今天读论文的任务。维护了一套模板。先去吃个早饭！
–0632继续看会论文
—0647 开始敲pytorch了！！！ 1\训练流程 初始化 重复： 计算loss 计算梯度，更新 2\训练…
CNN记录】pytorch中flatten函数
pytorch原型
torch.flatten(input, start_dim0, end_dim- 1)
作用：将连续的维度范围展平维张量，一般写再某个nn后用于对输出处理，
参数：
start_dim：开始的维度
end_dim：终止的维度，-1为最后…
Faster R-CNN论文阅读记录
Faster R-CNN：Faster Region-based Convolutional Network method 该论文的标题是：Towards Real-Time Object Detection with Region Proposal Networks，可以看出Region Proposal Networks(RPNs)是实现实时检测的关键。RPNs：区域建…
Pytorch安装和super类
安装到官网根据要求运行相应的命令Start Locally | PyTorch 例：Stable（稳定版）、Windows、Conda（anaconda版本）、Python3.6、None（没有GPU即CPU版本） 打开cmd依次运行命令即可
conda install p…
【Python/Pytorch - Bug】--UnknownError (see above for traceback): Failed to get convolution algorithm.
文章目录问题分析解决问题
问题： Tensorflow报错：UnknownError (see above for traceback): Failed to get convolution algorithm.
分析
分析： 原因就是显卡内存不够，选择合适显卡内存就可以解决问题。
解决
解决࿱…
PyTorch2.0向后兼容性和加速效果浅探
前言
在PyTorch2022开发者大会上，PyTorch团队发布了一个新特性——torch.compile，将PyTorch的性能推向了新的高度，称这个新版本为PyTorch2.0。torch.compile的引入不影响之前的功能，其是一个完全附加和可选的功能，因此…
NLP笔记：word2vec简单考察
NLP笔记：word2vec简单考察 1. 简介2. word2vec原理介绍3. gensim实现4. tensorflow实现 1. cbow方式2. skip gram方式3. 直接生成方式4. 结论 5. pytorch实现 1. cbow方式2. skip gram方式 6. 总结7. 参考链接 1. 简介
word2vec是nlp之中蛮老的一个技术了…
nn.Batchnorm2d
pytorch中的nn.Batchnorm2d中的running_mean和running_var在训练过程中是不起作用的，训练过程中，对输入数据进行归一化所用的均值方差是每一次输入数据所计算出来的，而running_mean和running_var则是对每一次输入数据的均值方差的记录&#x…
pycharm debug 出现 Frame are not available connected
**第一种可能：**pycharm的一些设置问题，一些解决办法如
http://t.csdn.cn/MRp45
**第二种可能：**代码中存在多线程，解决办法
把代码中存在的num_workers参数设置为0，例如torch.utils.data.DataLoader(num_workers0)…
pytorch梯度计算
目录张量梯度梯度计算停止梯度梯度清空张量
pytorch定义张量：
import torch# 利用 torch.empty() 初始化指定大小的张量，如果不指定值的话，内容为随机值
# 传入的参数为想创建的张量大小
x torch.empty(1) # scalar，大小为 1*…
记录一个神奇的事情，Linux用screen时运行cuda卡住了
不知道为什么就卡住了，Linux用screen时运行cuda卡住了。 我用快捷键 ctrl a [进入screen滚动，然后Esc退出，奇迹般的又运行了！！！ 我：？？？
MTCNN论文的阅读记录
论文首先介绍过去的方法的不足，然后提出论文中的方法以及改进 论文的贡献： 提出并实现新的基于组合脸部检测和对齐方法的级联CNN网络； 仔细设计轻量级少参数的CNN架构网络，可以达到实时性的要求； 提出有效的方法在线生…
Speex的安装使用
从链接中https://www.speex.org/downloads/下载Speex 1.2.0、SpeexDSP 1.2rc3。 编译和安装 下载以后解压，然后点击INSTALL，根据其中的命令进行安装，具体的安装方式也可以看解压后doc目录中manual.pdf的第3章。 % ./configure [--pr…
CenterNet测试推理过程
【GiantPandaCV导语】这是CenterNet系列的最后一篇。本文主要讲CenterNet在推理过程中的数据加载和后处理部分代码。最后提供了一个已经配置好的数据集供大家使用。
代码注释在：https://github.com/pprp/SimpleCVReproduction/tree/master/CenterNet
1. eval部分数…
torch.gather
torch.gather(input, dim, index, outNone) → Tensor:其实就是用来挑选输入张量中特定位置的值的
但有一点需要注意的是这里的dim和index之间的关系：这里的dim不再是说对输入进行操作，而是说index中的序列号应该按照输入中的哪个维度来排列
重新理解P…
pytorch-lr_scheduler.LambdaLR函数，更新学习率的管理工具
理论：
LambdaLR更新学习率方式是 lr lr*lr_lambda
其中，lr由optim系列优化器提供，lr_lambda由lr_scheduler>lambdaLR提供
假设，lr初始值为0.4，
更新学习率函数lambda表达式为：lr_lambda lambda e…
Python学习工具第三期 - Conda 和 Pip 管理环境和安装包的常见命令
Python学习工具第三期 - Conda 和 Pip 管理环境和安装包的常见命令
小狐狸 哆啦A梦爱学习
在Anaconda中conda可以理解为一个工具，也是一个可执行命令，其核心功能是环境管理与****包管理。所以对虚拟环境进行创建、删除等操作需要使用conda命令。
cond…
Yolov5（最新版） 环境配置及部署之环境配置（一) （详细教程）
Yolov5 环境配置及部署之环境配置（一) （详细教程）
最近在学习yolov5，记录下过程。
一、环境配置
进入Github官网https://github.com/ultralytics/yolov5/releases，选择版本为v5.0 2.下拉滚动条，找到Sou…
pytorch安装（windows）
1. torch 简介
torch总共分为两个版本，GPU版和CPU版，CPU版安装非常简单，直接pip install 安装即可，在此详细介绍 GPU 版的安装方式。
GPU 版安装需要注意以下几个地方，需要进行匹配才能安装上，否则即便安…
pytorch-detach阻断反向传播，本质是减少不必要变量的梯度计算，加速训练
需求：在生成对抗网络中，会有生成器和判别器分别训练的过程，为了避免一些不必要的计算，我们使用detach阻隔反向传播。 上图所示，完整训练一次的过程包括了判别器和生成器的训练
判别器的训练：
#判别器预测…
如何在pycharm中使用anaconda安装的tensorflow或者pytorch
参考博文win10下用Anaconda安装TensorFlow，并在pycharm中使用(超简单)
新建项目
Tensorflow 这种方式的好处：不用每次都开启、关闭环境。 （activate tensorflow1 、deactivate tensorflow1） 然后在项目中，引入tensor…
NLP-D22-cs224nUNICORN多层感知机房价预测kaggle
–0519今天0430起床的，早上开始看cs224n，感觉老师好可爱！ 现在开始读论文啦！
一、Unicorn
—0558感觉还是有创新的！但是一时间说不上来？可能是时间与关系在溯源图中的综合？？&#…
![[机器学习入门] tensor 是什么 以及 torch.reshape()的使用](https://img-blog.csdnimg.cn/96bbd282f7fc49318277b3e06ec9ef87.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiN5Lya5a2m5ZOH,size_17,color_FFFFFF,t_70,g_se,x_16)
[机器学习入门] tensor 是什么 以及 torch.reshape()的使用
在 torch.reshape() 函数是对数据类型张量tensor 进行 形状shape 的改变，因此我们首先得了解机器学习里最基本的数据结构 tensor（即张量）。
1. tensor是什么？
学习参考博客：
一文带你读懂深度学习中的张量ÿ…
NLP-D38-nlp比赛D7-pytorch踩坑继续刷题
—0440呜呜全新的一天开始啦！！！今天任务更多，也会过得更加充实，成长速度也会更快！ 刚刚在kaggle找了找相关比赛，发现没有，于是只好自己改啦！！！
.…
DeBERTa部分源码理解+注释
文件在我的github里：https://github.com/VICKY-ZZ/DeBERTa
# 参考博客：https://yam.gift/2020/06/27/Paper/2020-06-27-DeBERTa/
class DientangledSelfAttention(nn.Module):def __init__(self, config):super().__init__()self.num_attention_heads …
pytorch torchvision 图像分割 使用不同的颜色显示过分割与欠分割
文章目录0 介绍1.1 背景1.2 流程2 获取TP，FP，FN3 获取背景4. GRAY图片转化为RGB5 图片融合 保持图片 算法流程6 结果参考文章0 介绍 在图像分割中，常常有过分割与欠分割问题，为了显示它们，可以在预测的基础上ÿ…
5328笔记 Advanced ML Chapter2-Loss Function and Convex Optimisation
Loss Function 一些目标函数不是凸函数或者不平滑，很难优化。 h在5328就是hypothesis，假设，模型，分类器。 Surrogate loss function 代替损失函数或者称为替代损失函数，一般是指当目标函数非凸、不连续时ÿ…
pytorch损失函数与优化器
目录损失函数优化器模型建立线性回归总结损失函数
torch.nn 中存在很多封装好的损失函数。比如均方差损失，用 torch.nn.MSELoss() 表示。
import torch
import torch.nn as nn# 初始化数据集
X torch.tensor([1, 2, 3, 4], dtypetorch.float32)
Y torch.tensor(…
pack_padded_sequence and pad_packed_sequence
此文章为阐述pytorch中pack_padded_sequence 和pad_packed_sequence的原理
在变长序列文本中，一个batch中的各样本长度可能不一致，在使用RNN模型时，需要填充至统一长度，被填充的位置实际无意义。我们通常取最后一个时刻的输出作为…
pytorch张量数据类型
看代码： x torch.Tensor(5,3) print(x.type()) print(x.dtype) 输出： torch.FloatTensor torch.float32 可见张量的默认数据类型未float32 当然pytorch还支持：int, long,short,double,byte也就是uint8 ,至于其他类型：unsigned fl…
Pytorch 情感分类进阶
1. 背景说明 在Pytorch 实现情感分类版本基础上进行优化实现，使用到文本文件reviews.txt和标签文件labels.txt两个数据文件。
1.1 数据集预览
1. reviews.txt
此文件是一个包含25001条句子的长文本。 print(len(text))
# 33678267 个字符
2. labels.txt 3.
nes_py安装坑点及解决方法
nes_py是python用来模拟nes的包，按照的时候需要依赖Microsoft C Build Tools，如果安装的话会提示： 其实就是提示没有安装Microsoft C Build Tools，按照以下方法解决：
1.下载 VS build toolsThank you for downloading…
Pytorch网络模型权重初始化、保存与加载模型、加载预训练模型、按需设置学习率
前言
在我们对神经网络模型进行训练时，往往需要对模型进行初始化或者加载预训练模型。本文将对模型的权重初始化与加载预训练模型做一个学习记录，以便后续查询使用。
权重初始化
常见的初始化方法
PyTorch 在 torch.nn.init 中提供了常用的初始化方法…
Pytorch中gpu的并行运算
Pytorch中gpu的并行运算
常用的最多的就是，多块GPU训练同一个网络模型。Pytorch中的并行运算。
1. 多GPU输入数据并行运算
一般使用torch.nn.DataParallel，例如：
device_ids [0, 1]
net torch.nn.DataParallel(net, device_idsdevice_i…
pytorch-如何加载模型并应用
参考链接 https://blog.csdn.net/ifhuke/article/details/127625901
腾讯词向量 https://www.cnblogs.com/yanqiang/p/13536619.html
腾讯公开词向量数据集 https://ai.tencent.com/ailab/nlp/en/embedding.html
本例中用到的数据已经存到百度网盘了
其他参考 https://blog…
Pycharm加载conda创建pytorch虚拟环境报错，在conda命令行正常
报错：
Please note and check the following:* The Python version is: Python3.7 from "D:\anaconda\envs\qr_env\python.exe"* The NumPy version is: "1.19.1"and make sure that they are the versions you expect.
Please carefully stud…
2021.5.10开始实习了
五一之前，师兄说新大楼有招聘，拿着简历我就去了，投了两家公司的算法实习，其中一家公司约了我5.6面试，其实五一期间准备面试很少，都在学习，所在6号面试的时候就显得捉襟见肘，问了我几…
yolov4-tiny-pytorch版的火焰检测，可完全实时检测，效果超乎你想象！！！
yolov4-tiny-pytorch版的火焰检测，框架中包括已经训练好的火焰模型，该火焰模型是通过训练2000多张火焰数据集训练而成，下载后可直接运行检测 1.使用环境cuda 10.0，环境装好后使用nvcc -V检测，出现以下说明cuda安装完成…
2021年9月22号，实战烧写树莓派sd卡的系统
1.下载格式化u盘的软件，软件地址，阿里云盘地址：https://www.aliyundrive.com/s/ux2re9FFxd2 2.将有sd卡的读写盘插入电脑接口
3.打开软件，点击格式化即可格式化sd卡 4.下载ubantu系统镜像，以便等下烧写进入sd卡&…
mmdetection报错：AttributeError: ‘VOCDataset‘ object has no attribute ‘dataset‘
训练验证时，报错:File "/home/user/mmdetection/mmdet/datasets/voc.py", line 43, in evaluateds_name self.dataset.CLASSES
AttributeError: VOCDataset object has no attribute dataset
查了下是mmdetection的一个bug, 在voc.py里的 self.dataset.…
PyTorch保存、加载模型【简单暴力】
pytorch保存模型的方式有两种： 将整个网络都都保存下来仅保存和加载模型参数（推荐使用这样的方法） 代码部分 方法1 # 保存和加载整个模型
torch.save(model_object, model.pkl)
model torch.load(model.pkl)方法2 # 仅保存和加载模型参数(推…
【已解决】Git的镜像下载和安装
面向github编程时，经常遇到下载速度超慢问题，严重影响工作效率。因此，这里推荐使用Git进行加快github代码的下载。
极力推荐使用Git的镜像下载！
一、官网下载 githttps://git-scm.com/download 官网的Git安装包，下载…
pytorch中的 target label问题： multi-target not supported
我们在处理多分类问题使用交叉熵 nn.CrossEntropyLoss() 时，对数据的标签也就是y值 ，通常是按one-hot编码方式处理，这个时候在计算loss 函数时就会出现以下提示： multi-target not supported 查阅资料发现，在pytorch的…
Pytorch probability distributions
1.OneHotCategorical torch.distributions.one_hot_categorical.OneHotCategorical(probsNone, logitsNone, validate_argsNone)
根据给定的概率probs, 创建一个 one-hot 的类别分布.
m OneHotCategorical(torch.tensor([ 0.1, 0.0, 0.9, 0.0 ]))
m.sample() # equal proba…
pytorch：读取的图像变换通道
由于读取到的图像是W*H*C 的格式，但是在输入网络的时候要求是C * W * H，因此在输入网络之前需要变换通道，通常采用transpose函数实现：
img img.transpose(2, 0, 1)
GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
问题描述
今天遇到了如题所示的一个问题，原因可能是因为 torch 版本的问题。原先我是直接 pip install torch 默认下载最新版本的 torch。
解决方案
删除原来的 torch
pip uninstall torch重新安装 torch
pip install torch1.7.0cu110 torchvision0.8.1cu110 t…
PyTorch----数据加载器
什么是数据加载器？
深度学习是由数据支撑起来的，所以我们一般在做深度学习的时候往往伴随着大量、复杂的数据。如果把所有的数据全部加载到内存上，容易把电脑的内存“撑爆”，所以要分批次一点点加载数据每一种深度学习的框架都有…
AttributeError: module ‘distutils‘ has no attribute ‘version‘
AttributeError: module distutils has no attribute version 深度学习日常debug问题来源原因及解决方案参考链接深度学习日常debug
问题来源
tensorboard运行出错，其他原因也可参考解决
原因及解决方案
pip install setuptools59.5.0
我默认安装的最新版本是6…
实验2：FusionNet的实现
一、网络结构 各层的参数为： 二、一步一步实现FusionNet
（1） 输入图像为640*640,3通道。
经过一个卷积层，代码为： self.conv11 nn.Sequential(nn.Conv2d(3, 64, kernel_size3, stride1, padding1), #输入通道为3&am…
解决anaconda下载pytorch速度极慢的方法
解决anaconda下载pytorch速度极慢的方法
直接用浏览器搜索到包名并下载到本地
进入conda包下载地址 搜索pytorch 选择需要的环境下的pytorch。然后点击选择需要下载的版本号
用安装本地包的方式安装
conda install --use-local XXXXX(包名)
Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer阅读笔记
Abstract
研究如何在高密度人群场景中实现精准的实例定位，以及如何缓解传统模型由于目标遮挡、图像模糊等而降低特征提取能力的问题。为此，我们提出了一 Dilated Convolutional Swin Transformer（DCST）对于拥挤的人群场景
Speci…
pytorch学习笔记--nn.Module、nn.Sequential的搭建模型、损失函数、反向传播和训练器
nn.Module、nn.Sequential的搭建模型、损失函数和训练器一、nn.Module二、nn.Sequential三、损失函数、反向传播和优化器nn.Module和nn.equential都是pytorch中container的方法，用于保存深度学习层信息，即容器、模型一、nn.Module
#使用nn.Module模块构…
租用便宜的个人GPU服务器进行深度学习
真心推荐featurize，非工作人员，要是你问为什么推荐，因为确实好用，当然最主要的驱动力的是邀请有奖。。。（只是官方鼓励邀请，注册免费，后续使用充值也跟我没关系，也不会有客服骚扰你推…
深度学习 — yolov5迁移学习，自定义数据集训练
文章目录深度学习 — yolov5迁移学习，自定义数据集训练一、简介二、自定义数据集训练(一) VOC格式数据集1. 准备数据集2. 划分数据集3. 处理标注结果4. 构建数据集配置文件5. 自定义模型配置文件6. 修改训练参数7. 开始训练8. 性能评估(二) coco数据集三、训练结果解…
现在人工智能自动修复老照片的效果有好？
网上有很多老照片修复的服务，都是人工手动修复，动辄价格几十上百。好处是人工修复，可以处理一些破损特别严重的照片。
现在你还有另外的选择：可以通过人工智能来帮你自动修复老照片，修复的效果非常好，某些…
pycharm创建py文件时自动添加基础信息--模板
在图片中加入下面基本信息，这些基本信息可以自己定义：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Time : ${DATE} ${TIME}
# Author : supermps
# File : ${NAME}.py
# Software : ${PRODUCT_NAME}
import logging
import math
import w…
Stanford点云公开数据集:S3DIS
S3DIS (Stanford Large-Scale 3D Indoor Spaces Dataset) 是斯坦福大学提供的大场景室内3D点云数据集，包含6个教学和办公Area，总共有695,878,620个带有色彩信息以及语义标签的3D点。 该数据集目前已经被包含在一个更大的Full 2D-3D-S Dataset当中&#x…
ChatGLM2-INT4 + Lora 结构适配和改造
Lora 是目前公认的最好的微调方法，一方面，它并不像AdapterTuning 一样，改变原有模型的架构，不便于在不同框架之间迁移；另一方面，它不像 PTuning 一样改变所有任务下的单词生成概率，严重破坏已习…
《动手学深度学习 Pytorch版》 6.1 从全连接层到卷积
6.1.1 不变性 平移不变性（translation invariance）： 不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。 局部性（locality）&…
用PyTorch对以MNIST数据集进行卷积神经网络
PyTorch构建深度学习网络一般步骤 加载数据集\color{red}加载数据集加载数据集；定义网络结构模型\color{red}定义网络结构模型定义网络结构模型；定义损失函数\color{red}定义损失函数定义损失函数；定义优化算法\color{red}定义优化算法定义优…
NLP笔记：fastText模型考察
NLP笔记：fastText模型考察 1. fastText模型原理2. facebook的fastText模块使用3. 使用tensorflow构建fastText模型4. 使用torch构建fastText模型5. 总结6. 参考链接 1. fastText模型原理
fastText大约是NLP文本分类任务中最简单最直观的模型架构之一了，…
解码知识图谱：从核心概念到技术实战
目录 1. 概述什么是知识图谱知识图谱与自然语言处理的关系 2. 发展历程语义网络本体论大数据时代的知识图谱知识图谱与深度学习的融合 3. 研究内容知识图谱的建模与表示知识抽取知识图谱的融合与对齐知识图谱的推理知识图谱的评估与验证 4. 知识图谱表示与存储RDF：一…
ubind按照不同维度切的理解
一直想不明白,在1维2维的是怎么且tensor的,画个图还好一点. 举个栗子:
a torch.tensor([1,2,3,4,5,6,7,8])
ba.view([2,2,2])
print(b)ctorch.unbind(b,0)
print(c)ctorch.unbind(b,1)
print(c)ctorch.unbind(b,2)
print(c)李姐
看下面图也可,其实就是,去掉一维度之后,就自动…
x.data()与x.detach()
1. 相同点： 1. 都和x共享同一块数据； 2. 都和x的计算历史无关； 3. requires_grad False。 2. 不同点： x.detach()更安全
【2021年新书推荐】Mastering PyTorch
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是2021年2月由Packt出版社最新出版的一本关于深度学习与PyTorch的书，涉及的语言为Python。
Mastering PyTorch 作者：Ashish Ra…
win10使用anaconda安装TensorFlow-GPU的简便方法
安装anaconda的时候记得勾选加入环境变量的选项 现在conda可以安装tensorflow-gpu 1.9、1.10版本的，没有实际用过不知道包完不完整效果如何 输入命令就可以安装的
conda install tensorflow-gpu1.9.0
prompt learning 术语中文翻译
MLM: 掩码型语言模型
prompt template: 提示模板
label words: 标签词
category/class label： 类别标签
verbalizer: 类映射器， 用于将标签词映射到对应类别标签的一种机制或程序
pytorch - directml 中查看设备支持情况
在windows 10/11中，如果显卡支持directx12, 可以用directml方式使用amd显卡进行加速（当然也支持n卡，不过n卡就老实用cuda吧）
print(torch.dml.is_available()) #显示是否有dml设备
print(torch.dml.device_name(0)) ࿰…
【机器学习-＞预处理】torch.tensor基础操作：初始化、索引、转换为ndarray
torch.tensor基础操作 概念解释 张量：是一个数学概念，在使用上相当于计算机的多维数组标量：一个数值，比如1
初始化与查看属性
import torch# 生成数组
x torch.arange(12)
# tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, …
pytorch标签转onehot形式
代码： import torch
class_num 10 batch_size 4 label torch.LongTensor(batch_size, 1).random_() % class_num print(label.size())
one_hot torch.zeros(batch_size, class_num).scatter_(1, label, 1) print(one_hot) 输出： torch.Size([4, 1]…
RuntimeError: Expected object of scalar type Double but got scalar type Float for argument #2 ‘mat2‘
问题： RuntimeError: Expected object of scalar type Double but got scalar type Float for argument #2 ‘mat2’
异常代码行： prediction net.forward(b_x)
解决方法： 在代码前添加一行，将输入的数据转成是dtypetorch.floa…
14类静态手势数据集 (开源项目 handpose_x)
数据集来源3部分，且网上数据占绝大多数，具体： * 1）来源于网上数据并自制。 * 2）来源于自己相机采集并自制。 * 3）来源于 kinect_leap_dataset 数据集并自制，其官网地址为：https://lt…
NLP自然语言处理-英文文本电影影评分类1-pytorch版本
imdb电影影评数据集下载地址：传送门 点击下载后解压。 像这样放置数据集，所有代码放置在imdb_sentiment文件夹下面。在imdb_sentiment/data/下放置训练集合测试集。
imdb_sentiment/models文件夹下放置处理后的数据集
运行代码只有3部分，dataset制作数据集，build_vocab建…
DpCas(深度学习组件化应用系统)介绍：基于人脸动作的活体检测 -案例尝试（1）
2021年2月24日，我开启了一个新的开源项目 DpCas(Deep Learning Componentized Application System)，中文的名称：深度学习组件化应用系统。 DpCas 开源项目地址：https://codechina.csdn.net/EricLee/dpcas 这个项目其实是由于我的焦…
高性能、高适配，SSD 孪生兄弟出场即 C 位
内容导读 PyTorch 1.9 同步更新了一些库，包括 TorchVision 中新增的 SSD 和 SSDlite 模型，与 SSD 相比，SSDlite 更适用于移动端 APP 开发。 SSD 全称 Single Shot MultiBox Detector，是一种用于目标检测的单次检测算法，…
Pytorch学习笔记——Pytorch基础
安装过程中因为网速不好，需要把channel换到了清华的源，可以参考知乎大神的文章。
安装中出现 无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然…
pytorch性能分析工具Profiler
1. Torch Profiler工具介绍
https://zhuanlan.zhihu.com/p/360479566
PyTorch Profiler 是一个开源工具，可以对大规模深度学习模型进行准确高效的性能分析。包括如下等功能: 分析model的GPU、CPU的使用率各种算子op的时间消耗trace网络在pipeline的CPU和GPU的使用情况Profil…
pytorch之张量基础
感谢大家的阅读张量的简介以及基础操作张量的多种创建方法已有数据创建张量创建指定形状的张量创建线性和随机张量torch.arange 和 torch.linspace 创建线性张量张量元素类型转换张量与numpy互转将张量转换为 numpy 数组numpy 转换为张量使用 from_numpy 可以将 ndarray 数组转…
torch.load 出现 AttributeError: Can‘t get attribute ‘Net‘ on module ‘__main__‘
torch.load 出现 AttributeError: Cant get attribute Net on module __main__问题解决方案问题
最近，将已经训练好的模型保存下来后，通过torch.load(model_path)方法读取时，发现没办法正常运行，抛出如下错误： Attrib…
ONNXRuntime与PyTorch哪个更快？
在网上看到一些对比ONNXRuntime与PyTorch运行效率的文章，很多人运行的结果展示出ONNX可以提升几倍的运行效率，那么究竟有没有这么神奇呢，我来试一试。 系统：Ubuntu22.04 CPU: Intel8750H 显卡：3060 模型选择最常用的…
Anaconda安装pytorch-cuda
1 查看电脑对应cuda版本
【win-R】> 【cmd】> 确定 执行nvidia-smi，可以从图中看出，该电脑的CUDA Version为：11.6
2 官网查找对应的版本的安装语句
PyTorch官网：https://pytorch.org/
2.1 可以直观的选择对应的版本
如…
yolov5模型ncnn转换学习
教程1
NCNN Yolov5 Android apk开发记录 https://zhuanlan.zhihu.com/p/266130778
pytorch代码： 运行测试： python detect.py
生成onnx： python export.py
安装 pip install onnx-simplifier 精简onnx： python -m onnxsim yol…
使用 PyTorch 的计算机视觉简介 （1/6）
一、说明 Computer Vision（CV）是一个研究计算机如何从数字图像和/或视频中获得一定程度的理解的领域。理解这个定义具有相当广泛的含义 - 它可以从能够区分图片上的猫和狗，到更复杂的任务，例如用自然语言描述图像。 二、CV常见的问…
PyTorch深度学习（五）【卷积神经网络】
卷积神经网络(基础篇)： 下采样（Subsampling）：通道数不变，减少数据量，降低运算需求。 做这个卷积： 网络： 最大池化层（MaxPooling）：通道数不变&…
RNN循环神经网络（回归）
RNN循环神经网络（回归）
import torch
from torch import nn
import numpy as np
import matplotlib.pyplot as plt# torch.manual_seed(1) # reproducible# Hyper Parameters
TIME_STEP 10 # rnn time step
INPUT_SIZE 1 # rnn input size
LR 0…
pytorch 的一些介绍以及常用工具包展示
文章目录一、pytorch 简介二、pytorch 优势三、pytorch 常用工具包四、pytorch 注意点五、pytorch 理解六、pytorch-Tensor1. tensor 数据类型2. 创建 tensor 相关的 API3. tensor 对象的 API七、python 自动求导八、pytorch 神经网络一、pytorch 简介
Pytorch是torch的python…
win10下yolov5 tensorrt模型部署
TensorRT系列之 Win10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov5 tensorrt模型加速部署…
PyTorch笔记 - Generative Adversarial Networks
Paper Paper: Generative Adversarial Networks，https://arxiv.org/abs/1406.2661Author: Ian J. Goodfellow，(Universite de Montreal) 蒙特利尔大学，2014年提出GAN是生成对抗网络，DALLE 2是扩散模型。
DALLE 2
DALLE 2: is a new AI system that can create realistic …
SG-Former实战：使用SG-Former实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…
Pytorch学习之LSTM识别MNIST数据集（改进）
按照这篇文章的代码
https://www.jianshu.com/p/8e447be76478
十分感谢的作者的分享，但文章中的代码是有问题的。需要修改两点
1、代码对齐问题
# 开始训练
for epoch in range(num_epoches):running_loss 0.0running_acc 0.0for i, data in enumerate(train_…
用 Pytorch 自己构建一个Transformer
一、说明 用pytorch自己构建一个transformer并不是难事，本篇使用pytorch随机生成五千个32位数的词向量做为源语言词表，再生成五千个32位数的词向量做为目标语言词表，让它们模拟翻译过程，transformer全部用pytorch实现，具备一定实战意义。 二、论文和概要 …
PyTorch 1.9：适配移动开发，优化模型推理部署
PyTorch 团队在官方博客宣布 PyTorch 1.9 发布。该版本包括了 1.8 版本发布以来，398 位贡献者提交的 3400 多条 PR，详情访问 Here
在官方博客中，团队总结了 PyTorch 1.9 版本的亮点，包括： 为支持科学计算进行了重大改…
YOLOv5：按每个类别的不同置信度阈值输出预测框
YOLOv5：按每个类别的不同置信度阈值输出预测框 前言前提条件相关介绍YOLOv5：按每个类别的不同置信度阈值输出预测框预测修改detect.py输出结果 验证修改val.py输出结果 参考 前言 由于本人水平有限，难免出现错漏，敬请批评改正。更…
深度学习pytorch之tensorboard和transform的使用
这样操作是引入tensorboard，申明一个类，logs是生成日志的文件夹，事件就在这里产生。
writer为申明的实例，这里做的画线操作 第一个是tags是图片的标签，第二个参数是y值，第三个是步长，x值
关闭…
论文学习——基于循环神经网络的电信行业容量数据预测方法
文章目录0 封面1 标题 title2 摘要 abstract3 关键字 keywords4 总结 conclusion5 引言 introduction6 介绍 LSTM6.1 LSTM模型相关变量说明6.2 LSTM的公式说明7 本文用到的模型——双向循环神经网络模型7.1 DWT 动态时间规整8 实验设计0 封面 这篇文章采用【泛读】：…
例子：根据索引特换掉torch的值
一个 (n, 3) 形状的tensorA，一个 (n,) 形状的tensorB，一个 (n,) 形状的tensorC。想将tensorB作为tensorA的dim1维度的索引，用tensorC替换掉tensorA对应的值。
下面是原地修改实现
import torch# 创建示例数据
n 4
tensorA torch.tensor([…
PyTorch深度学习实战——图像着色
PyTorch深度学习实战——图像着色 0. 前言1. 模型与数据集分析1.1 数据集介绍1.2 模型策略 2. 实现图像着色相关链接 0. 前言
图像着色指的是将黑白或灰度图像转换为彩色图像的过程，传统的图像处理技术通常基于直方图匹配和颜色传递的方法或基于用户交互的方法等完…
FFDNet-pytorch版本代码测试教程
一、FFDNet-pytorch版本代码下载
（1）FFDNet-pytorch下载 https://download.csdn.net/download/qq_41104871/88233742
二、FFDNet-pytorch版本代码运行环境配置
（1）FFDNet-pytorch版本代码运行环境配置 https://blog.csdn.net/q…
Pytorch代码入门学习之分类任务（三）：定义损失函数与优化器
一、定义损失函数
1.1 代码
criterion nn.CrossEntropyLoss()
1.2 损失函数简介 神经网络的学习通过某个指标表示目前的状态，然后以这个指标为基准，寻找最优的权重参数。神经网络以某个指标为线索寻找最优权重参数，该指标称为损失函数&am…
python 安装PyTorch
pip包管理器下载失败torch，解决办法和官网下载教学 1.下载失败，解决办法 检查你的网络连接是否正常。如果你的网络出现问题，可能会导致安装失败。 确保你使用的是最新版的 pip 包管理器。你可以使用 pip --version 命令查看你的 pip 版本。如…
如何在linux服务器上安装Anaconda与pytorch
如何在linux服务器上安装Anaconda与pytorch 1，安装anaconda1.1 下载anaconda安装包1.2 安装anaconda1.3 设计环境变量1.4 安装完成验证 2 Anaconda安装pytorch2.1 创建虚拟环境2.2 查看现存环境2.3 激活环境2.4 选择合适的pytorch版本下载2.5 检测是否安装成功&…
如何在linux服务器上安装Anaconda与pytorch，以及pytorch卸载
如何在linux服务器上安装Anaconda与pytorch，以及pytorch卸载 1，安装anaconda1.1 下载anaconda安装包1.2 安装anaconda1.3 设计环境变量1.4 安装完成验证 2 Anaconda安装pytorch2.1 创建虚拟环境2.2 查看现存环境2.3 激活环境2.4 选择合适的pytorch版本下…
推荐系统从入门到实战-笔记
推荐系统从入门到实战-笔记
课程学习网站，来自b站up主（https://www.bilibili.com/video/BV1Dz411B7wd?p1） 怎样实现基于协同过滤的推荐系统 推荐系统怎样实现多路召回的融合排序 推荐系统怎样实现AB测试 推荐系统怎样实现内容相似推荐 http…
Pytorch基本概念和使用方法
目录
1 Adam及优化器optimizer（Adam、SGD等）是如何选用的？
1）Momentum
2）RMSProp
3）Adam
2 Pytorch的使用以及Pytorch在以后学习工作中的应用场景。
1）Pytorch的使用
2）应用场…
Pytorch 猫狗识别案例
猫狗识别数据集https://download.csdn.net/download/Victor_Li_/88483483?spm=1001.2014.3001.5501
训练集图片路径 测试集图片路径 训练代码如下
import torch
import torchvision
import matplotlib.pyplot as plt
import torchvision.models as models
import torch.nn a…
将Hugging Face模型转换成LibTorch模型
Hugging Face的模型
以waifu-diffusion模型为例，给出的实现一般是基于diffuser库，示例代码如下：
import torch
from torch import autocast
from diffusers import StableDiffusionPipelinepipe StableDiffusionPipeline.from_pretrained(…
torch.Size([])与torch.Size([0])的区别
在PyTorch中，torch.Size([])和torch.Size([0])都表示一个空的维度（dimension）。然而，它们之间有微妙的区别。 torch.Size([])： 表示一个标量（scalar），即一个没有维度的张量。这个张量…
【GCU体验】基于PyTorch + GCU跑通ResNet50模型并测试GCU性能
一、环境
地址：启智社区:https://openi.pcl.ac.cn/
二、计算卡介绍 云燧T20是基于邃思2.0芯片打造的面向数据中心的第二代人工智能训练加速卡，具有模型覆盖面广、性能强、软件生态开放等特点，可支持多种人工智能训练场景。同时具备灵活的可…
参考mfa官方文档实践笔记（亲测）
按顺序执行以下指令： conda create -n aligner -c conda-forge montreal-forced-alignerconda config --add channels conda-forgeconda activate alignerconda install pytorch torchvision torchaudio pytorch-cuda11.7 -c pytorch -c nvidia 如果报错࿱…
《动手学深度学习 Pytorch版》 10.7 Transformer
自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer 模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管 Transformer 最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语…
dtype = torch.float32到底有什么用
dtype torch.float32到底有什么用
解决：RuntimeError: expected scalar type Long but found Float
先看一个例子 要计算 z x0 w1x1 w2x2 其中w [-0.2,0.15,0.15]
于是你开始尝试 其中torch.mv用于矩阵*向量 此时你发现他需要你提供float格式的数据 你查看发…
【Torch API】pytorch 中repeat_interleave函数详解
torch.repeat_interleave(input, repeats, dimNone) → Tensor
Repeat elements of a tensor.
Parameters input (Tensor) – the input tensor. repeats (Tensor or int) – The number of repetitions for each element. repeats is broadcasted to fit the shape of the …
DeepSpeed加速大模型训练
DeepSpeed是微软推出的一个框架，可以对Pytorch的模型进行包装，提供了加快模型的训练速度，降低对GPU显存的占用，以及方便进行分布式训练等等高级特性。在这里我也对DeepSpeed进行了测试，看看是否能提高我的transformer模…
深度学习环境搭建【显卡算力、CUDA、pytorch、tensorflow选择】
总结：深度学习环境搭建【显卡算力、CUDA、pytorch、tensorflow选择】 一、了解自己的显卡，确定其对应的算力二、根据算力、显卡驱动，选择cuda版本三、pytorch版本选择四、tensorflow版本选择 一、了解自己的显卡，确定其对应的算力…
Flask 打包 PostgreSQL/PyTorch 的图像推荐系统在 Heroku 云平台上运行
前文
推荐图像理论简述
PyTorch 推荐相似图像实现
图像推荐 Flask App
步骤
我已经为这个项目设定并满足了以下要求。
该网络应用程序可在互联网上访问。该应用程序有一个带分页的图像库，仅加载页面的相关数据。图库和推荐的数据是从数据库中获取的。推荐是来…
PyG中transform-概览
PyG中transform-概览
在这里，我们对torch_geometric.transforms — pytorch_geometric documentation (pytorch-geometric.readthedocs.io)中的每条transform的操作进行简要的介绍，方便大家在使用的时候找到适合自身数据的变换。
Compose: 组合多个tra…
安装 flash_attn 时 ModuleNotFoundError: No module named ‘torch‘ 错误解决
安装 flash_attn 时 ModuleNotFoundError: No module named torch 错误解决 安装 flash_attn 时，
pip install flash_attn 报错如下，
Collecting flash-attn (from -r requirements.txt (line 18))Using cached flash_attn-1.0.7.tar.gz (2.0 MB)Insta…
DeiTransformer
import paddle
import paddle.nn as nn
import numpy as np
import copy
#格式化代码 ctrlaltlclass Identity(nn.Layer):def __init__(self):super().__init__()def forward(self, x):return xclass MLP(nn.Layer):def __init__(self, embed_dim, mlp_ratio, dropout0.):super…
PyTorch学习笔记（十三）——现有网络模型的使用及修改
以分类模型的VGG为例 vgg16_false torchvision.models.vgg16(weightsFalse)
vgg16_true torchvision.models.vgg16(weightsTrue)
print(vgg16_true) vgg16_true.classifier.add_module("add_linear",nn.Linear(1000,10))
print(vgg16_true) vgg16_false.classifie…
小白学Pytorch系列--Torch.nn API Shuffle Layers(16)
小白学Pytorch系列–Torch.nn API Shuffle Layers(16) 方法注释nn.ChannelShuffle将形状为(∗,C,H,W)(*,C,H,W)(∗,C,H,W)的张量中的通道划分为g组，并将它们重新排列为(∗,Cg,g,H,W)(*,C^g,g,H,W)(∗,Cg,g,H,W)，同时保持原始张量形状。
nn.ChannelShuffl…
Pytorch从零开始实战08
Pytorch从零开始实战——YOLOv5-C3模块实现
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——YOLOv5-C3模块实现环境准备数据集模型选择开始训练可视化模型预测总结 环境准备
本文基于Jupyter notebook，使用Python3.8，…
pytorch 安装 2023年
pytorch网址：https://pytorch.org/get-started/locally/ conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia我在自己电脑上用这个pip命令完全安装不了，只能用conda安装。复制上面提供的命令，在cmd中直接运…
PyTorch 官方博客：PyTorch Profiler v1.9 详解
Profiler v1.9 的改进主要针对在运行时和/或内存上能耗最严重的执行步骤，同事将 GPU 和 CPU 之间的工作负载分配进行可视化。
Profiler v1.9 新增五个主要功能包括：
1、分布式训练视图： 这有助于你掌握分布式训练任务中，消耗的时…
【P图神器】 人工智能魔术橡皮擦 jpgRM
现在假期出去玩，是不是你的游客照里面全是人从众 要想拍出空无一人的照片那只能调整相机使用刁钻的角度 或者 起很早趁大家都还没来的时候，这对普通小白可要求太高了
现在国外有这么一款神器 jpgRM.com，使用今年最新的人工智能技术ÿ…
nvidia-smi 失效解决
服务器重启后，跑模型发现：
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_locationtorch.device(cpu) to ma…
编译pytorch debug blog
编译 pytorch debug blog用ubuntu编译的，home底下空间不大，把data底下的磁盘挂载到了home/user 底下的新文件夹，给访问权限
anaconda 装在新文件夹底下 git clone 的地方也在新文件夹底下
conda create -n torch python3.7
conda activate …
DPText-DETR原理及源码解读(二)
理解中。。。
接下来深入最难的DeformableTransformer_Det，这个py文件包含了多个class
DeformableTransformer_Det
DeformableTransformerEncoderLayer
DeformableTransformerEncoder
CirConv 环形卷积
DeformableTransformerDecoderLayer_Det
DeformableTra…
你真的理解PyTorch中的dimension嘛？
文章目录 Understanding dimensions in PyTorch参考 Understanding dimensions in PyTorch
通过可视化3D张量上的求和过程，为PyTorch维度提供更好的直觉
当我们开始用PyTorch张量做一些基本的运算，比如求和时，对于一维张量来说，…
基于深度学习的高精度老鼠检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度老鼠检测识别系统可用于日常生活中检测与定位老鼠目标，利用深度学习算法可实现图片、视频、摄像头等方式的老鼠目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型训练数据…
Conda 安装Pytorch
1、conda 切换虚拟环境
activate 虚拟环境名称
C:\Windows\System32>activate python310
温馨提示：查询虚拟环境列表
conda env list
C:\Windows\System32>conda env list
# conda environments:
#
base D:\anaconda3
python310 …
如何将PyTorch模型迁移到昇腾平台
PyTorch是业界流行的深度学习框架，用于开发深度学习训练脚本，默认运行在CPU/GPU上。为了使这些脚本能够利用昇腾AI处理器的强大算力执行训练，需要对PyTorch的训练脚本进行迁移。
首先，我们了解下模型迁移的全流程： 通…
ubuntu18.04安装pytorch、cuda、cudnn和miniconda
目录
0. 前言
1. nvidia驱动安装及卸载
1.1 安装
1.2 卸载
2. cuda-10.2安装验证及卸载
2.1 安装
2.2 验证
2.3 卸载
3. cudnn安装及验证
3.1 安装
3.2 验证
4. miniconda安装验证及卸载
4.1 安装
4.2 验证
4.3 卸载
5. pytorch安装验证及卸载相关
5.1 安装
…
深度学习 -- pytorch 计算图与动态图机制 autograd与逻辑回归模型
前言
pytorch中的动态图机制是pytorch这门框架的优势所在，阅读本篇博客可以使我们对动态图机制以及静态图机制有更直观的理解，同时在博客的后半部分有关于逻辑回归的知识点，并且使用pytorch中张量以及张量的自动求导进行构建逻辑回归模型。 …
torch 矩阵操作
1、按索引赋值：index_put
#index_put不改变变量本身
#index_put_改变变量本身，相当于inplace操作
#index_input((维度1坐标列表, 维度2坐标列表), 赋值列表)
x torch.ones((3, 3))
print(x)
index [torch.LongTensor([0, 1, 0, 2]),torch.LongTensor(…
pytorch--定义网络
pytorch定义网络 定义网络反向传播函数损失函数优化器数据加载与数据预处理 定义网络
import torch.nn as nn
import torch.nn.functional as Fclass Net(nn.Module):def __init__(self):# nn.Moudle子类的函数必须在构建函数中执行父类的构造函数# 下式等价于nn.Moudle.__ini…
GCN火车票识别项目 P1 火车票识别项目介绍 Pytorch LSTM/GCN
从本节开始，我将带大家完成一个深度学习项目：用图卷积神经网络(GCN)，实现一个「火车票文字信息提取」的项目，由于火车票上每个节点文字不是等长的，所以还需要添加一个前置的 LSTM 来提取句子特征。
课前说明
1、这是…
【视频分割】【深度学习】MiVOS官方Pytorch代码--Propagation模块解析
【视频分割】【深度学习】MiVOS官方Pytorch代码–Propagation模块解析 MiVOS模型将交互到掩码和掩码传播分离，从而实现更高的泛化性和更好的性能。单独训练的交互模块将用户交互转换为对象掩码，传播模块使用一种新的top-k过滤策略在读取时空存储器时进行…
pytorch模型优化简介，未完结版
如有帮助，点赞收藏关注！ 如需转载，请注明出处！ 今天来介绍torch模型中的优化器
优化是指在每个训练步骤中调整模型参数以减少模型误差的过程。
优化算法定义如何执行这个过程 所有优化逻辑都封装在优化器对象中。在这里…
python第三方库torchnlp安装大坑
torchnlp安装
再跑m2e2代码时，遇到了导入torchnlp的错误，第一直觉就是pip install torchnlp，结果出现如下错误：
$>pip install torchnlp
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple/
Collecting torchnl…
mac M2 pytorch_geometric安装
我目前的环境是mac M2，我在base环境中安装了pytorch_geometric,仅仅做测试用的，不做真正跑代码的测试 首先我的base环境的设置如下： pip install pyg_lib torch_scatter torch_sparse torch_cluster torch_spline_conv -f https://data.pyg.…
tensoflow2.x小问题
问题一：AttributeError: ‘Tensor’ object has no attribute ‘numpy’ 这个问题困扰了我一个晚上，解决方法在如下网址： https://stackoverflow.com/questions/60347349/attributeerror-tensor-object-has-no-attribute-numpy-in-tensorflow…
云端部署ChatGLM-6B
大模型这里更新是挺快的，我参考的视频教程就和我这个稍微有些不一样，这距离教程发布只过去4天而已… 不过基本操作也差不多 AutoDL算力云：https://www.autodl.com/home ChatGLM3：https://github.com/THUDM/ChatGLM3/tree/main Hug…
10 从0开始学PyTorch | 多层神经网络、激活函数、学习能力
前面的训练过程我们已经了解的差不多了，但是我们所用到的模型还是一个线性模型，这一小节就让我们正经开始神经网络的搭建，研究怎么把之前的线性模型替换成神经网络来解决我们的问题。
为了更好的理解神经网络，这里我们把假设的关…
pytorch复现_IOU
定义了一个compute_iou函数，用于计算两个矩形框（boxA和boxB）之间的交并比（IOU，Intersection over Union）。IOU是一种常用的度量，用于评估两个矩形框的重叠程度。 在代码中，函数的输入…
图像分类系列(二) VGGNet学习详细记录
经典神经网络论文超详细解读（二）——VGGNet学习笔记（翻译＋精读）
前言
上一篇我们介绍了经典神经网络的开山力作——AlexNet：经典神经网络论文超详细解读（一）——AlexNet学习笔记&a…
PSP - AlphaFold2 适配不同来源搜索的 MSA 接口
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/130594303 MSA (Multiple Sequence Alignment) 在 AlphaFold2 中的工作方式如下： 使用搜索工具 (hhblits/hhsearch/jackhmmer)，从大型数据库中，搜索与目标…
在Pytorch中使用Tensorboard
Tensorboard是一款深度学习可视化软件，目前主要使用了它的可视化模型, 可视化模型权重和可视化损失函数功能。
x.1 tensorboard初始化
tensorboard初始化需要导入SummaryWriter包并指定存储位置和开放端口号。
from torch.utils.tensorboard import SummaryWrite…
pytorch中backward()函数与gradient 参数详解
矩阵乘法的例子1
以下例来说明backward中参数gradient的作用 注意在本文中表示矩阵乘法，*表示对应元素相乘
求A求偏导 试运行代码1
import torch# [1,2][2*3][1,3]
A torch.tensor([[1., 2.]], requires_gradTrue)
B torch.tensor([[10., 20., 30.], [100., 20…
【NLP】LSTM 唐诗生成器 pytorch 版
参考这篇文章LSTM唐诗生成器Keras版
将相关的 keras 模型代码进行修改，改成对应的 pytorch 模型，现将有区别的部分放在这里。
训练模型
搭建网络
# 把keras 模型改成 pytorch 模型
# 建立LSTM模型
import torch
import torch.nn as nn
import torch.…
目标检测算法改进系列之Backbone替换为Swin Transformer
Swin Transformer简介
《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》作为2021 ICCV最佳论文，屠榜了各大CV任务，性能优于DeiT、ViT和EfficientNet等主干网络，已经替代经典的CNN架构，成为了计算机…
Transformer预测 | Pytorch实现基于Transformer的锂电池寿命预测（NASA数据集）
文章目录 效果一览文章概述模型描述程序设计参考资料效果一览 文章概述 Pytorch实现基于Transformer 的锂电池寿命预测，环境为pytorch 1.8.0，pandas 0.24.2 随着充放电次数的增加，锂电池的性能逐渐下降。电池的性能可以用容量来表示，故寿命预测 (RUL) 可以定义如下： SOH(t…
PyTorch 的input[range(target.shape[0]), target] 表达式
在 PyTorch 中，类似 input[range(target.shape[0]), target] 这样的表达式通常用于获取输入张量(input)中特定位置的值，其中 位置由 target 张量指定的。 首先，range(target.shape[0]) 它创建了一个从 0 到 target 张量中第一个维度的大小计算…
基于MLP进行文本分类
最近学习了基于Pytorch框架下的MLP、CNN、RNN网络模型，利用在GitHub上获取的商品评论数据进行文本分类实验。本文介绍了如何在Pytorch框架下建立MLP对数据进行二分类，数据集大致如下：
1、导入模块
import pandas as pd
import numpy as np…
pytorch自定义Dataset心得
自己写自定义Dataset类的时候参考了 PyTorch中文文档
Dataset规定所有的子类都必须包含有两个方法__len__和__getitem__
__len__ 提供了数据集的大小__getitem__ 支持整数索引，范围从0到len(self)-1
以下是自己的一点小心得：
__len__返回的可以是整个…
ICRA2020开源项目DF-VO的BUG笔记
前言
害，我本来是Ubuntu18win10的双系统的，结果昨天在装软件的时候直接把ubuntu搞崩了，直接很多软件被删掉了。加上我本身很讨厌ubuntu18的个别设定，索性直接重装了Ubuntu20。
因为要运行DF-VO，所以要安装相应的环境…
综述----知识蒸馏
4.1 模型改进
未来的研究可以集中在改进无图学习模型的性能和泛化能力。例如，可以研究更有效的知识表示和传递方法，以提高学生模型对教师模型知识的理解和利用能力。此外，可以探索新的模型结构和训练算法，以提高模型的效率和稳定…
安装pytorch3d最简单方法
安装pytorch3d的最简单方法前言一、pytorch3d是什么？二、安装步骤1.添加anaconda源（最最最最最关键！！）2.创建环境3.安装pytorch和pytorch3d总结前言
安装pytorch3d踩了很多坑，现将最简单的方法公布如下&am…
基于Pytorch的可视化工具
深度学习网络通常具有很深的层次结构，而且层与层之间通常会有并联、串联等连接方式。当使用PyTorch建立一个深度学习网络并输出文本向读者展示网络的连接方式是非常低效的，所以需要有效的工具将建立的深度学习网络结构有层次化的展示，这就需要…
pytorch中.to(device) 和.cuda()的区别
在PyTorch中，使用GPU加速可以显著提高模型的训练速度。在将数据传递给GPU之前，需要将其转换为GPU可用的格式。 函数原型如下：
def cuda(self: T, device: Optional[Union[int, device]] None) -> T:return self._apply(lambda t: t.cuda…
PyTorch----神经网络的建立
神经网络就是很多的线性函数和非线性函数组成的复合函数。
自定义类继承torch.nn.Module自定义类中实现__init__和forward()函数__init__定义神经网络结构forward()模型的正向传播
class NeuralNet(torch.nn.Module):"""自定义神经网络"""def …
机器学习----PyTorch入门
PyTorch PyTorch是一个开源的python机器学习库 PyTorch的前身是Torch，其底层和Torch框架一样，使用Python重新写了很多内容 更加灵活，支持动态图，是一个以Python优先的深度学习框架，不仅能实现强大的GPU加速ÿ…
Pytorch线性回归教程
import torch
import numpy as np
import torch.nn as nn
import matplotlib.pyplot as plt生成测试数据
# 长期趋势
def trend(time, slope0):return slope * time# 季节趋势
def seasonal_pattern(season_time):return np.where(season_time < 0.4,np.cos(season_time * …
Pytorch学习系列之三 ：动手实现一个图像分类卷积神经网络
概述
对于本教程，我们将使用CIFAR10数据集，它包含十个类别：‘airplane’, ‘automobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’。CIFAR-10 中的图像尺寸为32x32，也就是RGB的3层颜色通道，每层通道内的尺寸为32x32。
训练一…
Pytorch 查看网络模型参数
可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数（包括通过继承得到的父类中的参数） 代码如下:
import torch
# 引入torch.nn并指定别名
import torch.nn as nn
import torch.nn.functional as Fclass Net(nn.Modu…
全网最详细的安装pytorch GPU方法，一次安装成功！！包括安装失败后的处理方法！
文章目录 前提---查看是否有NVIDIV英伟达显卡【笑哭】一、查看电脑的显卡驱动版本方法一：在cmd命令窗口中输入nvidia-smi，可以发现版本为12.2方法2：点击NVIDIA控制面板→系统信息 二、安装CUDA方法1： 在pytorch官网https://pytorc…
关于pytorch中nn.linear输入维度的问题
因为最近看了一下attention博客，寻思挺简单，想动手写一个，才动手就发现有个问题，对于Q,K,V矩阵，看似只是个简单的前馈网络结构就能实现，但是在多数问题中，输入的都是词向量，也就是说…
深入浅出PyTorch——PyTorch生态简介+模型部署
1. 生态简介 介绍PyTorch生态在图像、视频、文本等领域中的发展，针对某个领域选择其中有代表性的一个工具包进行详细介绍
1.1 torchvision torchvision包含了在计算机视觉中常常用到的数据集，模型和图像处理的方式
函数作用 torchvision.datasets * 计…
【DL with Pytorch】第 2 章 ： 神经网络的构建块
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
pyTorch入门（五）——训练自己的数据集
学更好的别人， 做更好的自己。 ——《微卡智享》 本文长度为1749字，预计阅读5分钟 前言 前面四篇将Minist数据集的训练及OpenCV的推理都介绍完了，在实际应用项目中，往往需要用自己的数据集进行训练，所以本篇就专门介绍…
C++编译liteflownet3问题error C++14 or later compatible compiler is required to use PyTorch.
前言
最近在鼓捣光流网络，之前用过别人的liteflownet，现在更新到了liteflownet3了，想着git下来玩玩，项目传送门在这里
问题1和解决方法
完之后就遇到了编译问题 问题如下，这只是其中前面的部分而以
(torch18cuda10…
365天深度学习训练营-第P4周：猴痘病识别
🍨 本文为🔗365天深度学习训练营 内部限免文章（版权归 K同学啊 所有）🍦 参考文章地址： 🔗第P4周：猴痘病识别 | 365天深度学习训练营🍖 作者：K同学啊 | 接辅导…
Lecture6 逻辑斯蒂回归(Logistic Regression)
目录
1 常用数据集
1.1 MNIST数据集
1.2 CIFAR-10数据集
2 课堂内容
2.1 回归任务和分类任务的区别
2.2 为什么使用逻辑斯蒂回归
2.3 什么是逻辑斯蒂回归
2.4 Sigmoid函数和饱和函数的概念
2.5 逻辑斯蒂回归模型
2.6 逻辑斯蒂回归损失函数
2.6.1 二分类损失函数
2.…
pytorch与torchvision的更新，卸载和秒安装（看这一篇就够了）
pytorch和torchvision都是一起出现的，所以需要保证两者版本对应即可。
更新
更新其实就是将老版本进行卸载，再安装所需版本即可，其实卸载和安装都非常方便
卸载
直接使用下面命令对两者进行删除即可，也可以使用conda操作
pip…
AlexNet Keras预训练模型
简介
因为Keras没有Alexnet预训练模型，我将Pytroch上的AlexNet预训练模型转成了Keras，供大家使用。因为AlexNet很简单，Keras和Pytroch代码都很容易理解，因此不做详细解释。
下载链接
链接: https://pan.baidu.com/s/1oAsVNANDd…
Pytorch torch.exp()的使用举例
代码实验展示: Microsoft Windows [版本 10.0.18363.1256]
(c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxuqi>python
Python 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.191…
沐神深度学习报错 can only concatenate str (not “int“) to str
学习背景：
动手学深度学习第二章数据预处理中报错： can only concatenate str (not “int”) to str
报错原因：
panda新版本对fillna函数做了调整，原先是忽略str。
解决方法：
原代码：
inputs inputs…
PyTorch 成功安装验证
一、确认PyTorch版本
安装PyTorch之后，可以运行以下代码来确认PyTorch的版本：
import torchprint(torch.__version__)如果没有报错，同时输出了正确版本号，就说明PyTorch已经成功安装了。
二、测试PyTorch基础功能
为了确保PyT…
34- PyTorch数据增强和迁移学习 (PyTorch系列) (深度学习)
知识要点 对vgg 模型进行迁移学习定义数据路径: train_dir os.path.join(base_dir, train) # base_dir ./dataset 定义转换格式:
transform transforms.Compose([transforms.Resize((96, 96)), # 统一缩放transforms.ToTensor(), # 转换为tensortransforms.No…
【PyTorch】教程：torch.nn.LeakyReLU
torch.nn.LeakyReLU
原型 CLASS torch.nn.LeakyReLU(negative_slope0.01, inplaceFalse) 参数
negative_slope (float) – 控制负值斜率，默认为 1e-2inplace (bool) – in-place 操作，默认为 False
定义 LeakyReLU(x)max(0,x)negative_slope∗min…
pytorch中 nn.Conv2d的简单用法
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue,padding_modezeros)参数介绍： in_channels：卷积层输入通道数 out_channels：卷积层输出通道数 kernel_size：卷积层的…
ptorch.cat理解
torch.cat
将两个张量进行拼接 主要是对dim取值的一个理解
a torch.rand(2,3)
b torch.rand(1,3)
c torch.cat((a,b),dim0)当张量为二维的时候，dim0表示行，dim1表示列 因此上述代码中行可以不一样，但是列数必须相同，否则的话…
Pytorch学习系列之十二：OpenCV（C++）加载onnx分类模型进行推理
1 前言
博客Pytorch学习系列之九：OpenCV加载onnx模型进行推理_thequitesunshine007的博客-CSDN博客_opencv 加载onnx记载了python版本opencv加载onnx模型进行推理的方法。这里记录的是C++版本OpenCV加载onnx模型进行推理。
pytorch版本1.7.1 OpenCV 4.5.4 2 代码
#in…
pip安装Package时出现拒绝访问
如果出现拒绝访问，如以下错误：这里点题了 喔！
解决方法：添加 --user选项赋予权限就可以搞定。
python -m pip install --upgrade pip -i https://pypi.douban.com/simple --user 1 Successfully
Conda和PiP使用清华源安装Python的channel设置方法
设置源： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.c…
使用CROSSENTROPYLOSS时产生RuntimeError: CUDA error: device-side assert triggered导致电脑死机
今天我在使用 PyTorch 搭建一個簡單的分類器時，遇到了一個這樣的報錯： "RuntimeError: CUDA error: device-side assert triggered"。依稀記得從前也遇過這樣的問題，但也忘記怎麼解決的了，畢竟從前其實沒有記筆記的習慣…
深度学习之torchvision、多层感知器与激活函数
文章目录 1 torchvision库与加载内置图片数据集2 多层感知器3 激活函数3.1 ReLU激活函数3.2 Sigmoid激活函数3.3 Tanh激活函数3.4 LeakyReLU激活函数 学习笔记 1 torchvision库与加载内置图片数据集
torchvision库是PyTorch中用来处理图像和视频的一个辅助库，提供了…
Pytorch torch.cat与torch.chunk
https://blog.csdn.net/benbenls/article/details/102974070?depth_1-utm_sourcedistribute.pc_relevant.none-task&utm_sourcedistribute.pc_relevant.none-task
pytorch tensor与numpy转换
tensor to numpy a torch.ones(5)
print(a)
输出
tensor([1., 1., 1., 1., 1.])
进行转换
b a.numpy()
print(b)
输出
[1. 1. 1. 1. 1.]
注意，转换后的tensor与numpy指向同一地址，所以，对一方的值改变另一方也随之改变
a.add_(1)
p…
记录下pytorch代码从0.3版本迁移到0.4版本要做的一些更改。
1.
UserWarning: Implicit dimension choice for log_softmax has been deprecated. Change the call to include dimX as an argument.
return F.log_softmax(x)
解决方法：把 F.log_softmax(x)改为F.log_softmax(x,dim0) , 而且我发现改为F.log_softmax(x,dim1)…
【社区图书馆】【图书活动第四期】
目录
一、前言
二、作者简介
三、《PyTorch高级机器学习实战》内容简介
四、书目录 一、前言 今天，偶尔逛到csdn社区图书馆，看到有活动 “【图书活动第四期】来一起写书评领实体奖牌红包电子勋章吧！”（活动到今天结束…
简单有趣的轻量级网络 Shufflenet v1 、Shufflenet v2（网络结构详解+详细注释代码+核心思想讲解）——pytorch实现
这期博客咱们来学习一下Shufflenet系列轻量级卷积神经网络，Shufflenet v1 、Shufflenet v2。
首先学习一下，Shufflenet v1网络：
论文下载链接：
Shufflene系列轻量级卷积神经网络由旷世提出，也是非常有趣的轻量级卷积神经网络，它提出了通道混合的概念，改善了分组卷积存…
pytorch——broadcasting（张量自动扩张）
为了支持给高维度张量加一个低维度偏置 从低维度开始匹配，增加高维度的维度 然后扩张 最后完成相加
可以有效节约内存的使用量
pytorch——张量 numpy
import torch
import numpy as np# 张量的初始化
data[[1,2],[3,4]]
tensor_datatorch.tensor(data) # 直接生成张量np_arraynp.array(data)
tensor_nptorch.from_numpy(np_array) # numpy数组生成tensor_typetorch.ones_like(tensor_data,dtypetorch.float) # 继承tensor_data…
pytorch笔记：训练加速技巧与爱因斯坦标示法
来自B站视频，API查阅，TORCH.NN
自定义 Dataset 的 init 将数据库读入，getitem 尽量只从内存读，避免读磁盘。数据量太多，可以维持一个固定大小的内存池，偶尔从磁盘读如果 getitem 包含运算，Data…
Ubuntu安装配置Cuda和Pytorch gpu
前言
在Ubuntu中操作系统中，通过Anconda安装对应的虚拟环境以及软件包，一般都需要适配Cuda、Pytorch版本等
以下安装配置都是在Ubuntu操作系统下
1. 安装Cuda
通过Ubuntu操作系统查看cuda适配的版本：nvidia-smi 截图如下：
查看Ubuntu版本可如下方式 (1)cat /proc/ver…
动作识别0-05：mmaction2(SlowFast)-源码无死角解析（1）-cfg文件注释-持续修改更新
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
Pytorch 代码复现终极指南【收藏】
修改自：https://zhuanlan.zhihu.com/p/532511514我在刚接触pytorch的时候搜到了这个大佬的文章，当时最后天坑部分没有看的太明白，直到今天我也遇到的相同的问题，特来做一点点补充，方便大家理解。上述大佬文章的简版内容…
ccc-pytorch-小实验合集（4）
文章目录一、 Himmelblau 优化二、多分类实战-Mnist三、Sequential与CPU加速-Mnist四、visidom可视化一、 Himmelblau 优化
Himmelblau 是一个具有4个最优值的2维目标函数。其函数和最优值点如下： 图象绘制：
import numpy as np
from matplotlib impo…
睿智的目标检测65——Pytorch搭建DETR目标检测平台
睿智的目标检测65——Pytorch搭建DETR目标检测平台学习前言源码下载DETR实现思路一、整体结构解析二、网络结构解析1、主干网络Backbone介绍a、什么是残差网络b、什么是ResNet50模型c、位置编码2、编码网络Encoder网络介绍a、Transformer Encoder的构建b、Self-attention结构解…
深度学习 | 入个Pytorch的小门
本文主要参考 1’ 2’ 3
更新：2023 / 3 / 1 深度学习 | 入个Pytorch的小门 - 1. 常见数据操作创建操作算术操作加法索引形状查询形状改变形状广播机制广播条件运算数据类型转换Tensor转NumPyNumPy转Tensor线性回归线性回归的基本要素1. 模型2. 数据集3. 损失函数4.…
pytorch张量之运算符重载
看代码： x torch.rand(5,3) y torch.rand(5,3) print(xy) print((xy).dtype) 输出： tensor([[1.1405, 1.7360, 1.2109], [1.6040, 0.5144, 1.5145], [0.5090, 1.0250, 0.7453], [1.0609, 1.0263, 0.2167], [1.0172, 1.1842, 1.0435]]) torch.float32 可…
姿态估计2-06：PVNet(6D姿态估计)-源码无死角解析（2）-数据读取，预处理
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带\c…
【Pytorch】AutoGrad个人理解
前提知识：[Pytorch] 前向传播和反向传播示例_友人小A的博客-CSDN博客
目录
简介
叶子节点
Tensor AutoGrad Functions 简介
torch.autograd是PyTorch的自动微分引擎（自动求导），为神经网络训练提供动力。torch.autograd需要对…
【Pytorch】使用tensorwatch神经网络结构可视化
tensorwatch神经网络结构可视化提前说明环境安装测试结果提前说明
版本问题一定要注意 python 3.6.5 pytorch 1.2.0 torchvision 0.4.0 tensorwatch 0.8.7 pydot 1.4.2 scikit-learn 0.24.2 pandas 1.1.5
环境安装
首先使用conda 创建一个python3.6的新环境
conda c…
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)
目录
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)
1.面部表情识别方法
2.面部表情识别数据集 （1）表情识别数据集说明 （2&…
【模型复现】Network in Network，将1*1卷积引入网络设计，运用全局平均池化替代全连接层。模块化设计网络
《Network In Network》是一篇比较老的文章了（2014年ICLR的一篇paper），是当时比较厉害的一篇论文，同时在现在看来也是一篇非常经典并且影响深远的论文，后续很多创新都有这篇文章的影子。[1312.4400] Network In Networ…
刘二大人《Pytorch深度学习实践》第八讲加载数据集
文章目录Epoch、Batch-Size、IterationsDataset、DataLoader课上代码torchvision中数据集的加载Epoch、Batch-Size、Iterations 1、所有的训练集进行了一次前向和反向传播，叫做一个Epoch 2、在深度学习训练中，要给整个数据集分成多份，即mini-…
pytorch安装教程（二）
一直用的pytorch1.2，有点老了，想换个新版本，换成了pytorch2.0.
torch安装
安装过程最重要的就是cuda、cudnn的版本和pytorch对应。 因为要在GPU上跑代码。
删除老旧torch
我用的软件是anaconda，因为可以创建虚拟环境。
步骤&…
Pytorch张量的主要方法之间的区别（Tensor、tensor、from_numpy、as_tensor）
最近被pytorch1.10版本训练的时候爆runtimeerror：numpy is not available()，用的的numpy转换为tensor接口是torch.from_numpy()，最后调整了接口，改为torch.as_tensor()
具体四个tensor之间差异见如下：
Pytorch张量的…
PyTorch 深度学习实用指南：6~8
原文：PyTorch Deep Learning Hands-On 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实现目…
torch相关环境配置问题处理流程
对于出现关键字：
libxxxxxxxx.so
libcuxxxxxx.so
比如OSError: libcusparse.so.10: cannot open shared object file: No such file or directory
等情况，可以考虑是cuda配置出了问题，可能没有安装cuda或者安装版本不对，处理流…
pytorch的模型保存加载和继续训练
随着现在模型越来越大，一次性训练完模型在低算力平台也越来越难以实现，因此很有必要在训练过程中保存模型，以便下次之前训练的基础上进行继续训练，节约时间。代码如下：
导包
import torch
from torch import nn
impo…
【Pytorch进阶】pytorch中loss.backward() retain_graph=True参数意义
1 定义loss backward
optimizer.zero_grad()
loss.backward()
optimizer.step()在定义loss时上面的代码是标准的三部曲，但是有时会碰到loss.backward(retain_graphTrue)这样的用法。 这个用法的目的主要是保存上一次计算的梯度不被释放。具体的计算图细节问题可以见…
深度学习：神经元、神经网络、激活函数、损失函数、前向传播、后向传播
神经元就是处理单元，处理逻辑称激活函数。多个神经元构成神经网络。输入层经过神经网络，得到输出层。神经元构成的层，称隐藏层，可以有多层，共享输入集和输出集。 神经网络训练时，选择一个样本，确…
七、PyTorch 深度学习 加载数据集
第8讲 加载数据集
来源：B站 刘二大人
import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader# prepare dataset
# Dataset是一个抽象函数，不能直接实例化，所以我们要创建一个自己…
TP5——workerman在线客服
项目环境搭建 C:\WINDOWS\system32\drivers\etc
整合入项目及长连接实现群发功能初次体验 群发及客户端和socket服务器保持长连接双向消息推送 长连接绑定用户id实现实现一对一客服聊天 getwayworker长连接下的普通文本消息之聊天记录持久化 长连接下聊天页面展示项目中…
实体关系抽取：BiLSTM + Attention (含代码+详细注释)
把代码放github上面了：链接地址 （记得给个star哦）
数据集介绍
本文采用的是一份中文数据集（数据质量不高，我们主要目的是展现实体关系抽取过程，掌握方法后可以用于高质量数据集上）
每个样例格…
三、PyTorch 深度学习 反向传播
第4讲 反向传播back propagation
来源：B站 刘二大人
import torchx_data [1.0, 2.0, 3.0]
y_data [2.0, 4.0, 6.0]w torch.Tensor([1.0]) # w的初值为1.0
w.requires_grad True # 需要计算梯度def forward(x):return x * w # w是一个Tensordef loss(x, y):…
图神经网络：在Cora上动手实现图神经网络
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook。超链。提取码8888。 文章目录 代码实操1：GCN的复杂实现代码实操2：GCN的简单实现…
《PyTorch深度学习实践》第八讲 加载数据集
b站刘二大人《PyTorch深度学习实践》课程第八讲加载数据集笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p8&vd_sourceb17f113d28933824d753a0915d5e3a90 Dataset用于构造数据集，该数据集能够支持索引
DataLoader用于从数据集中拿出一个…
模型参数无法更新的原因:训练、预测中加入了print函数
模型参数无法更新的问题排查以及解决注释掉结构的方法排查出错误最终排查进一步排查错误loss的数值一致???进一步排查问题来源：预处理之中的标签处理出现错误!!!灵感：model.train()和model.eval()的不同输出再度回归bert模型进行修改关于pytorch之中训…
发布自己的python库到PyPi
这里以我的一个小的项目bertforyou为例，来介绍一下github上面如何发布属于自己的python库 首先安装一下对应的twine库
pip install twine接下来写一个对应的setup.py文件
#!/usr/bin/env python
from io import open
from setuptools import setup, find_packages…
Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same
1. 原因
输入的矩阵的数据类型与神经网络权重的数据类型不一致
解决办法
将输入的数据与神经网络放到同一个设备上 device torch.device("cuda:0")# -------x, y x.to(device), y.to(device)# --------model.to(device)
ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=443)
问题： 今天在遇到了安装pytorch中的torchvision包的时候一直超时失败报错如下
ReadTimeoutError: HTTPSConnectionPool(hostfiles.pythonhosted.org, port443): Read timed out. 之前的安装的方式是：
pip install --no-deps torchvision
解决办法&…
ShuffleNet V1代码和总结
针对1x1卷积数目增多后，导致有较大计算量的问题，采用1x1分组卷积，然而1x1卷积本身就只考虑了通道信息，若直接使用分组卷积会导致部分通道信息被忽视的问题，因此，需要在1x1分组卷积的基础上加入通道混洗再输…
Pytorch深度强化学习1-2：详解K摇臂赌博机模型和ϵ-贪心算法
目录 0 专栏介绍1 K-摇臂赌博机2 ϵ \epsilon ϵ-贪心算法3 softmax算法4 Python实现与分析 0 专栏介绍
本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时，…
MaxPooling和AvgPooling的求导过程
一、MaxPooling前向传播与反向传播
MaxPooling就是对卷积区域进行最大值计算。 1、MaxPooling池化区域与步长相同时，即只对最大区域进行梯度计算，最后将梯度平均到四个区域中。 1314524696123456conv(2,2)stride2>5696梯度坐标>0000100110000001梯…
Fast R-CNN论文阅读记录
Fast R-CNN：Fast Region-based Convolutional Network method 论文的链接：https://arxiv.org/abs/1504.08083
Fast R-CNN使用VGG16网络，在不考虑使用selective search提取区域建议框region proposals花费的很多时间，仅考虑深度网…
tensorflow ssdlite压缩模型transform
下载最新的TensorFlow库 git clone https://github.com/tensorflow/tensorflow.git ./configure bazel build tensorflow/tools/graph_transforms:transform_graph bazel build tensorflow/lite/toco:toco bazel build tensorflow/python/tools:freeze_graph 使用s…
pytorch分布式训练
基础知识像rank，local_rank之类的就不讲了，自行百度吧。
总论：pytorch分布式训练中，数据并行主要依赖于multiprocessing和distributed。可以简单理解为multiprocessing用于开启多进程，distributed用于进程间通信。
另…
日志logger的使用
需要模块：
1：直接使用logging.basicconfig：即配置完logging.basicconfig以后，直接使用logging.info、degug等输出 2：单独设置，看可以设置输出的文件之类的
步骤：
①：创建logger&a…
升级到PyTorch 2.0的技巧总结
PyTorch 2.0 发布也有一段时间了，大家是不是已经开始用了呢？ PyTorch 2.0 通过引入 torch.compile，可以显着提高训练和推理速度。 与 eagerly 模式相反，编译 API 将模型转换为中间计算图（FX graph）…
Ubuntu20.04下CUDA、cuDNN的详细安装与配置过程（图文）
Ubuntu20.04下CUDA、cuDNN的详细安装与配置过程，亲测试可用（图文）一、NVIDIA（英伟达）显卡驱动安装1.1. 关闭系统自带驱动nouveau2.2. NVIDIA驱动安装二、安装CUDA2.1. 下载与安装CUDA2.2. 配置CUDA的环境变量2.3. CUDA…
win10安装pytorch GPU
我记得以前安装过深度学习库GPU版本， 需要安装cuda什么的，翻了下还真写过一篇win10安装tensorflow的文章，但是流程不止不详细，还不清晰。这次就再记录一遍
这次安装的是pytorch，这么多年似乎pytorch要逐渐统一深度学习…
pytorch如何调用m1芯片的显卡进行深度模型训练
加速原理
苹果有自己的一套GPU实现API — Metal，而Pytorch此次的加速就是基于Metal，具体来说，使用苹果的Metal Performance Shaders（MPS）作为PyTorch的后端，可以实现加速GPU训练。MPS后端扩展了PyTorch框架…
Pytorch1.12.1+cu113安装记录
因为torch1.7.0对于SiLU算子导出不支持,需要1.7.1才支持.于是索性准备更新一下自己的算法版本库,查询到CUDA11.3支持的最高Pytorch版本为1.12.1,于是统一做一下更新.这里采用离线下载的方式,因为在线下载实在是太蛋疼了 1. Pytorch离线包下载
这是官方提供的版本,我这里不直接…
【从零开始学习YOLOv3】7. 教你在目标检测中添加Attention机制
前言：【从零开始学习YOLOv3】系列越写越多，本来安排的内容比较少，但是在阅读代码的过程中慢慢发掘了一些新的亮点，所以不断加入到这个系列中。之前都在读YOLOv3中的代码，已经学习了cfg文件、模型构建等内容。本文在之前…
人工智能(pytorch)搭建模型10-pytorch搭建脉冲神经网络（SNN）实现及应用
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型10-pytorch搭建脉冲神经网络（SNN）实现及应用，脉冲神经网络（SNN）是一种基于生物神经系统的神经网络模型，它通过模拟神…
detectron2（目标检测框架）无死角玩转-10：源码详解（6）-anchor的使用，loss计算
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
pytorch入门3--线性回归以及许多python，pytorch函数的用法
先补充一些知识点，这里不一定用得到，后面的学习过程中可能用得到。 1.batch表示批量，就是一批数据集的意思； 2.batch_size表示数据集（样本集、训练集）的大小（数据的个数）；…
多标签损失之Hamming Loss（PyTorch和sklearn）、Focal Loss、交叉熵和ASL损失
多标签损失多标签评价指标之Hamming Loss多标签评价指标之Focal Loss多标签分类的交叉熵Asymmetric Loss (ASL) 损失各个损失函数的计算公式，网上有很多文章了，此处就不一一介绍了。
多标签评价指标之Hamming Loss
PyTorch实现的Hamming Loss和sklearn…
深度学习一点通：PyTorch Transformer 预测股票价格，虚拟数据，chatGPT同源模型
预测股票价格是一项具有挑战性的任务，已引起研究人员和从业者的广泛关注。随着深度学习技术的出现，已经提出了许多模型来解决这个问题。其中一个模型是 Transformer，它在许多自然语言处理任务中取得了最先进的结果。在这篇博文中，…
loss.sum.backward()为什么要sum()?
在动手学深度学习中，这样解释的： 当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。 对于高阶和高维的y和x，求导的结果可以是一个高阶张量。
然而，虽然这些更奇特的对象确实出现在高级机器学习中ÿ…
【深入了解PyTorch】PyTorch模型解释性和可解释性：探索决策过程与预测结果的奥秘
【深入了解PyTorch】PyTorch模型解释性和可解释性：探索决策过程与预测结果的奥秘 PyTorch模型解释性和可解释性：探索决策过程与预测结果的奥秘1. 引言2. 梯度可视化3. 特征重要性分析4. 结论PyTorch模型解释性和可解释性：探索决策过程与预测结果的奥秘
在机器学习和深度学习…
PyTorch深度学习实践（九）——卷积神经网络入门
文章目录0 写在前面1 卷积层2 下采样3 卷积和下采样4 输出是十分类的问题5 特征提取器6 卷积层6.1 单通道卷积6.2 多通道卷积6.3 卷积输出7 卷积核的维度确定8 局部感知域（过滤器）9 卷积层代码实现10 填充padding11 定义模型12 完整代码0 写在前面
在传…
Easy Deep Learning——PyTorch中的自动微分
目录
什么是深度学习？它的实现原理是怎么样的呢？
什么是梯度下降？梯度下降是怎么计算出最优解的？
什么是导数？求导对于深度学习来说有何意义？
PyTorch 自动微分（自动求导） 为什么…
pytorch/tensorflow 直接给张量中的某个位置的值赋值，操作不可导。
问题：给一个tensor A中[i,j]，赋值p。直接操作A[i,j]p可能会导致值覆盖，操作不可导。
解决方案：通过引入一个额外的mask实现。
mask[i,j] 0
mask tf.convert_to_tensor(mask, dtypetf.float32)
A (A * mask) (p * (1-mask))p…
pyTorch常用损失函数
pyTorch常用Loss Function1. nn.MSELoss()2. nn.BCELoss()3. nn.CrossEntropyLoss()本文代码都只针对默认参数情形。
1. nn.MSELoss() nn.MSELoss()\qquad\text{nn.MSELoss()}nn.MSELoss() 计算输入 xxx 和输出 yyy 之间的最小均方误差 (Mean Squared Error)\text{(Mean Squar…
PyTorch深度学习（七）【循环神经网络-提高】
数据集文末分享。
模型： 做完padding之后，就可以转换为张量了。 bidirectional是是否使用双向RNN: 输出隐层两个： 代码：
import csvimport timeimport matplotlib.pyplot as pltimport numpy as npimport mathimport gzip # 用…
Pytorch D2L Subplots方法对画图、图片处理
问题代码
def show_images(imgs, num_rows, num_cols, titlesNone, scale1.5): #save
"""绘制图像列表"""
figsize (num_cols * scale, num_rows * scale)
_, axes d2l.plt.subplots(num_rows, num_cols, figsizefigsize)
axes axes.flatten…
pytorch使用多显卡训练
多显卡参考链接
链接1 链接2 链接3
第一步：设置多卡训练正确
如果服务器的0号卡被别人占用，就得在刚开始加上这几行代码，手动更改0号显卡是2,1号卡是3。实际上，在通过各种提交方式提交程序作业至服务器，被分配好显卡…
行为分析(商用级别)02 -快速搭建项目成品环境，直接落地，demo演示
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公…
pytorch中的register_buffer
今天在一个模型的init中遇到了self.register_buffer(‘running_mean’, torch.zeros(num_features)) register_buffer(self, name, tensor)是一个PyTorch中的方法，它的作用是向模块（module）中添加一个持久的缓冲区（buffer…
pytorch复现_conv2d
import numpy as npdef conv2d(inputs, kernels, bias, stride, padding):"""正向卷积操作inputs: 输入数据，形状为 (C, H, W)kernels: 卷积核，形状为 (F, C, HH, WW)，C是图片输入层数，F是图片输出层数bias: 偏置&…
小白学Pytorch系列- -torch.distributions API Transforms (2)
小白学Pytorch系列- -torch.distributions API Transforms (2) AbsTransform
AffineTransform
通过逐点仿射映射进行转换ylocscale xy\operatorname{loc}\text { scale } \times xyloc scale x
loc (Tensor or float) : 位置参数scale (Tensor or float) : 尺度参数event…
《rPPG》——（1）PyTorch——Windows环境配置
《rPPG》——（1）PyTorch——Windows环境配置 如何查看电脑是否已安装Python环境以及Python版本 anaconda对应python3.8的版本号是多少? 截止到我的知识截止日期（2022年1月），Anaconda支持Python 3.8的版本号是Anacond…
pytorch2.0 起步
参考：https://pytorch.org/get-started/pytorch-2.0/#ask-the-engineers-20-live-qa-series
总览
特性
fastermore pythonicas dynamic as ever
torch.compile，部分零件由C迁移到Python,加强torch.compile的新技术有TorchDynamo, AOTAutograd, PrimT…
Pytorch torch.dot、torch.mv、torch.mm、torch.norm的用法详解
torch.dot的用法： 使用numpy求点积，对于二维的且一个二维的维数为1 torch.mv的用法： torch.mm的用法 torch.norm 名词解释：L2范数也就是向量的模，L1范数就是各个元素的绝对值之和例如：
基于PyTorch的中文情绪分析器设计与开发
收藏和点赞，您的关注是我创作的动力 文章目录 概要 一、相关基础理论2.1 主流深度学习框架2.2 神经网络2.2.1 神经网络基础 二、中文情感分类模型构建3.1 开发环境3.2 数据部分3.3 文本特征提取3.3.1、过滤标点符号3.3.2 中文分词、单词过滤 三 运行结果与分析五 结…
Pytorch torch.normal()的用法
该函数原型如下：
normal(mean, std, *, generatorNone, outNone)
该函数返回从单独的正态分布中提取的随机数的张量，该正态分布的均值是mean，标准差是std。
用法如下：我们从一个标准正态分布N～(0,1)，提取…
第七章 解析PyTorch中Hook函数(工具)
为了更深入地理解神经网络模型，有时候我们需要观察它训练得到的卷积核、特征图或者梯度等信息，这在CNN可视化研究中经常用到。其中，卷积核最易获取，将模型参数保存即可得到；特征图是中间变量，所对应的图像处…
detectron2（目标检测框架）无死角玩转-08：源码详解（4）-数据预处理，数据增强
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
detectron2（目标检测框架）无死角玩转-06：源码详解（2）-Trainer继承关系，Hook
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
UNet Pytorch实现
用于图像分割的不同种类的Unet模型的实现
UNet - U-Net： 用于生物医学图像分割的卷积网络 https://arxiv.org/abs/1505.04597RCNN-UNet - 基于U-Net的递归残差卷积神经网络（R2U-Net）用于医学图像分割 https://arxiv.org/abs/1802.06955Atten…
基于cifar10数据集的FedAvg联邦学习任务
本文目录1. cifar10数据集介绍2. 联邦学习介绍3. 客户端CNN模型3. FedAvg实现运行结果出自论文《Communication-Efficient Learning of Deep Networks from Decentralized Data》1. cifar10数据集介绍
CIFAR-10是一个更接近普适物体的彩色图像数据集。CIFAR-10 是由Hinton 的学…
@parse_args
parse_args用于指定函数中变量的类型，
parse_args(v) #说明不改变x的类型，如果x是tensor就还是tensor
def custom_sigmoid_onnx(g, x):parse_args(i) #说明x是int类型的数据
def custom_sigmoid_onnx(g, x):parse_args(i，‘f’) #说明x是int…
pytorch搭建AlexNet网络实现花分类
pytorch搭建AlexNet网络实现花分类 一、AlexNet网络概述分析 二、数据集准备下载划分训练集和测试集 三、代码model.pytrain.pypredict.py 一、AlexNet网络
概述 使用Dropout的方式在网络正向传播过程中随机失活一部分神经元，以减少过拟合
分析
对其中的卷积层、…
细粒度分类：Cross-X源码笔记——Cross-X Learning for Fine-Grained Visual Categorization
细粒度分类：Cross-X源码笔记——Cross-X Learning for Fine-Grained Visual Categorization 综述网络结构网络初始化阶段前向传播损失函数模型参数的训练训练初始化阶段训练流程综述 论文题目：《Cross-X Learning for Fine-Grained Visual Categorization》 会议时间：IEEE I…
PyTorch翻译官网教程1-QUICKSTART
官网链接
Quickstart — PyTorch Tutorials 2.0.1cu117 documentation
快速开始
本节将介绍机器学习中常见任务的API。请参阅每个部分中的链接以深入了解。 数据处理
PyTorch有两个处理数据源，torch.utils.data.DataLoader 和 torch.utils.data.Dataset 。Datas…
‘＞‘ not supported between instances of ‘list‘ and ‘float‘错误排坑
今天在编程序的时候，运行下面的代码
pred_result[pred_result > 0.5] 1发生了相应的报错
TypeError: > not supported between instances of list and float仔细查看一下pred_result的类型，发现pred_result是np.array类型呀
pred_result
array…
【计算机视觉】——全局平均池化代替全连接层，全连接层的作用？
【计算机视觉】——全局平均池化代替全连接层，全连接层的作用？
一、参考链接如下：
全连接层的作用是什么？为什么使用全局平均池化层？
二、需要解决的问题如下：
1.全连接层的作用是什么？
全…
【Pytorch实现】——summary
【Pytorch实现】——summary
Keras中有一个非常简介的API用来可视化model，这对debug我们的网络模型非常有用，下面介绍的就是Pytorch中的类似实现——summary
Github链接pytorch-summary安装pip install torchsumary使用下面代码示例
import torch
impo…
【Pytorch实现】——最大池化和平均池化
【Pytorch实现】——最大池化和平均池化
import torch
from torch import nndef pool2d(X, pool_size, modemax):# 获取池化层核的大小p_h, p_w pool_size# 计算经过最大池化后的特征图的大小Y torch.zeros((X.shape[0] - p_h 1,X.shape[1] - p_w 1))# 行列遍历进行最大池…
PyTorch 的 backward 为什么有一个 grad_variables 参数？
PyTorch 的 backward 为什么有一个 grad_variables 参数？
知乎大佬讲得很清楚，参考如下链接
PyTorch 的 backward 为什么有一个 grad_variables 参数？
Tensor对Tensor求导是十分昂贵的，因此深度学习中将Tensor对Tensor的求导转…
Evaluating Student Writing
最近参加了一个ner序列标注比赛Evaluating Student Writing,感觉自己已经很难上分了，也学到了一些知识，在这里做个总结 比赛的大意是对于一波学生的文章进行序列标注，标注的标签有Claim,Evidence,Lead几种标签，对于一篇文章中的预…
全连接神经网络的表达能力与泛化能力
在深度学习中，我们经常看到两个概念：表达能力和泛化能力 表达能力指的是模型拟合训练集的能力，可以用训练损失来衡量 而泛化集指的是模型迁移到测试集中的能力，可以用测试误差来衡量
一般来说，全连接的神经网络表达能…
根据边集求节点和其对应的度
# edges为边集，(2,E)，E为边个数。[[1,2][3,4]]表示有（1，3）（2，4）两条边
# 若计算无向图，首先将edges的上下两行颠倒，拼在一起
Edges torch.cat([edges[::-1, …
kaggle Jigsaw Rate有毒评论打分比赛内容总结
游戏本ubuntu21.04装机配置pytorch环境大全maxlen调参不同的模型以及不同的损失函数数据集的选取不同模型对应的数据清洗问题预训练线上线下分数不一致问题加权过拟合问题使用fasttext训练模型多个模型加权融合方法补充大佬的思路总结最近参加了kaggle上面一个有攻击性言语评论…
torch调用masked_fill函数
masked_fill_(mask, value) 掩码操作 用value填充tensor中与mask中值为1位置相对应的元素。mask的形状必须与要填充的tensor形状一致。
a torch.randn(5,6)x [5,4,3,2,1]
mask torch.zeros(5,6,dtypetorch.float)
for e_id, src_len in enumerate(x):mask[e_id, src_len:] …
总结篇：t5 transformers整体的结构流程图
为了更好地理解t5模型结构的内容，这里给出t5模型的整体结构流程 t5整体模型结构流程t5整体的结构流程6个encoder部分的layerselfattention第一次调用6个decoder部分的layerselfattention第一次调用6个decoder部分的layercrossattention第二次调用6个decoder部分的la…
transformers5--t5模型中encoder与decoder内容不同解读
t5模型中encoder与decoder内容不同查看transformers库之中的encoder和decoder部分内容的不同综合分析t5LayerSelfAttention和t5LayerCrossAttention的运行的不同bert4keras t5decoder解读BaseModelOutputWithPastAndCrossAttention解读关于transformers整体结构的解答可以查看相…
吴恩达 deeplearning.ai - 改善深层神经网络 - 第2周代码
参考链接： https://blog.csdn.net/u013733326/article/details/79907419
开始之前
在正式开始之前，我们说一下我们要做什么。我们需要做的是分割数据集和优化梯度下降算法，所以我们需要做以下几件事： 分割数据集 优化梯度下降算…
吴恩达 deeplearning.ai - 改善深层神经网络 - 第2周测验
参考链接： https://blog.csdn.net/u013733326/article/details/79877639 https://zhuanlan.zhihu.com/p/30034654 第2周测验-优化算法
注：部分题目只标注了正确答案
1.当输入从第八个mini-batch的第七个的例子的时候，你会用哪种符号表示第三…
吴恩达 deeplearning.ai - 神经网络和深度学习 - 第四周测验
原文链接：https://blog.csdn.net/u013733326/article/details/79868527
第4周测验 -深度神经网络的关键概念
1.在实现前向传播和反向传播中使用的“cache”是什么？
用于在训练期间缓存成本函数的中间值。我们用它传递前向传播中计算的变量到相应的反向…
pytorch初学笔记（二）：TensorBoard之add_scale()的使用
目录 一、SummaryWriter类的介绍
1. 定义
2. SummaryWriter初始化
2.1 初始化
2.2 帮助文档给出的使用范例
2.3 常用方法
二、add_scale()方法介绍
1. 常用参数介绍
2. 绘制图形
2.1 安装tensorboard
2.2 对应代码
2.3 打开tensorboard窗口
2.3 注意事项
三、a…
anaconda在新的conda环境创建与打开jupyter notebook，在新的文件目录下打开jupyter notebook（有视频教学）
目录
视频链接如下：
anaconda
1.创建新的conda环境；
2.在新的conda环境打开jupyter notebook；
3.在新的文件目录下打开jupyter notebook；
详细步骤： 视频链接如下：
本文也是根据该视频的教学学习做的…
2023-03-12 干活小计
今天上海下雨了，不能骑车，九点半才到实验室。
执行.sh文件
linux下如何运行.sh脚本_linux sh文件怎么运行_nocol.的博客-CSDN博客 我终于懂了为什么 这里为什么要括号 复现RNN： 索引不会降维 切片有可能会！
import torch
impor…
深入浅出Pytorch函数——torch.full_like
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.Tensor 深入浅出Pytorch函数——torch.ones 深入浅出Pytorch函数——torch.zeros 深入浅出Pytorch函数——torch.full 深入浅出Pytorch函数——torch.ones_like 深…
Resnet-18和Resnet34 pytorch实现
残差块： 18层：（2222）*211
import torch.nn as nn
from torchinfo import summary
import torchclass BasicBlock(nn.Module):expansion 1def __init__(self, inplanes, planes, stride1, downsampleNone):""":…
幸福的烦恼：显卡算力太高而pytorch版本太低不支持
NVIDIA GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70.写在最前面项目场景：问题描述原因分析：解决方案&am…
Pytorch中的torch.utils.data模块
文章目录数据集的创建和导入1.Dataset()的使用方法2.TensorDataset()的使用方法3.Dataloader()的使用方法torch.utils.data 是 Pytorch 中用于加载和预处理数据的模块。它提供了用于创建数据集和数据加载器的类，以便更轻松地处理大型数据集并在训练过程中使用它们。…
pytorch transforms图像增强
一、前言 在学习自己的项目发现自己有很多基础知识不牢，对于图像处理有点不太清楚，因此写下来作为自己的笔记，主要是我想自己动手写一下每一句代码到底做了什么，而不是单纯的我看了知道了它做了什么，说白了，…
Pytorch快速入门学习-数据操作和数据预处理
Pytorch快速入门学习-数据操作和数据预处理加载数据DataSet类代码实战Tensorboard的使用加载数据
DataSet:提供一种方式获取数据以及它的标签DataLoader:为后面的网络提供不同的数据形式
复习一下anaconda操作：
查看现有的虚拟环境 conda info -e激活指定的虚拟环…
解读nerf_pytorch中的get_rays和get_rays_np函数
source code from yenchenlin: https://github.com/yenchenlin/nerf-pytorch
作者对于numpy的各种操作出神入化，其精炼程度令人叹为观止。本文总结其中两个函数的物理模型意义与（尤其是）矩阵计算意义，作为学习记录。
物理模型意…
detectron2（目标检测框架）无死角玩转-04：训练自己的数据
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 −…
detectron2（目标检测框架）无死角玩转-02：训练，测试coco数据
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
Pytorch 实现情感分类
1. 背景说明 本实验使用Twitter上发布的数据集Sentiment140，包含160W条记录，三个分类，其中{0: 负面；2: 中性；4: 正面}，但真实数据集中并未发现“中性”数据，即正负样本各80W。
1.1 数据集预览
1. 数据信息预览
print(dataset.info()) 2. 显示前5条数据： 3. 数据分布…
K-means聚类算法原理及python具体实现
文章目录1 快速理解1.1 算法步骤1.2 一个例子2 K-means步骤详解2.1 K值的选择2.2 距离度量2.3 新质心的计算2.4 停止条件3 K-means算法实现3.1 创建数据集3.2 kmeans函数实现3.2.1 random.sample(sequence, k)3.2.2 np.all()3.2.3 np.any()3.3 Updata_cen 函数实现3.3.1 np.arg…
Matplotlib绘图：简单、直接上手
文章目录0 写在前面1 plt.plot() 函数1.1 分开写参数1.2 marker的参数设置1.3 设置标题、x和y轴的字体等1.4 设置刻度1.5 设置刻度朝向1.6 刻度的长度、宽度1.7 画多个plt的时候，添加图例1.8 设置多图层的图层顺序1.9 指数坐标轴2 plt.subplots()画多个子图3 保存到…
TypeError: fit_transform() missing 1 required positional argument: ‘X‘——报错
文章目录1 解决过程【成功】2 学习Sklearn之数据预处理——StandardScaler2.1 数据处理——标准化、归一化2.2 为什么要归一化？2.3 归一化的适用范围2.4 归一化公式2.5 标准化公式3 标准化和归一化区别？4 数据处理时的选择1 解决过程【成功】
源代码如下…
论文学习——基于时域卷积神经网络的水文模型
文章目录0 封面1 标题 title2 作者 author3 摘要 abstract4 关键字 keywords5 结论 conclusion6 引言 introduction7 时序卷积神经网络写在前面：计算机应用；主办方：中国科学院成都分院、四川省计算机学会；中文核心期刊；…
PyTorch深度学习入门 || 系列（一）
文章目录0 写在前面1 准备pytorch2 Tensor基础知识2.1 如何创建和操作Tensor2.1.1 基本创建方法：torch.Tensor()2.1.2 快速创建方法：torch.zeros()2.1.3 快速创建方法：torch.eyes()2.1.4 快速创建方法：torch.ones()2.1.5 快速创建…
transformers 模型指导文件(t5forconditionalgeneration与t5model的差异)
读transformer代码前，请先看对应的模型文件 transformer t5模型指导文件 备注：t5forconditionalgeneration与t5model有差异，两者不大一样 t5forconditionalgeneration中间有一个将encoder部分降维的过程
hidden_states encoder_outputs[0]
…
【已解决】OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
具体报错问题是： OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade…
transformer t5代码解读4(主要内容bert4keras实现t5模型)
继续解读t5代码之中源码的内容回到t5的整体结构之中T5CrossAttention网络层结构的调用t5的Encoder和Decoder内容比对bert4keras调用t5模型之中的encoder部分和decoder部分回到t5的整体结构之中
回到t5模型的整体的结构之中
(0): T5LayerSelfAttention((SelfAttention): T5Att…
附代码 SegNet
参考链接：https://blog.csdn.net/zhuzemin45/article/details/79709874 代码链接：https://github.com/delta-onera/segnet_pytorch/blob/master/segnet.py
SegNet和FCN，DeConv思路十分相似，只是Encoder,Decoder(Upsampling)使用的…
附代码 ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks 论文解读
代码链接：https://github.com/hydxqing/ReNet-pytorch-keras-chapter3
摘要：
本文提出了一种基于递归神经网络的用于图像识别的深度神经网络结构。所提出的…
RTFNet：用于城市场景语义分割的RGB和红外融合网络
目录📝论文下载地址🔨代码下载地址👨🎓论文作者📦模型讲解[背景介绍][论文解读][总体结构][Backbone][编码器][解码器][结果分析][数据集][训练细节][评估指标][模型有效性研究][总体结果][白天夜间对比结果][推理速…
可学习的图像调整器（一些理解）
前言
图像size对于训练任务的准确性有很大影响，size越大小目标越清晰，而目前大部分模型的input都是resize或者reshape成W，H相同（双线性插值），但是这些resize会不会限制了训练网络的任务性能呢？…
PyTorch实现Gan手写数字识别（Mnist）——（一看就懂系列！！！）
PyTorch实现Gan，数据集采用Mnist
需要数据集私
import argparse
import os
import numpy as np
import mathimport torchvision.transforms as transforms
from torchvision.utils import save_imagefrom torch.utils.data import DataLoader
from torchvision im…
Pytorch实现mnist手写体数字识别（非常非常详细！！！！最新！！！！！！！！！）
Pytorch实现mnist
读取Mnist数据集
from pathlib import Path # python3中 取代os.path
import requestsDATA_PATH Path("data")
PATH DATA_PATH / "mnist"PATH.mkdir(parentsTrue, exist_okTrue)URL "http://deeplearning.net/data/mnist/&qu…
生成专题3 | StyleGAN2对AdaIN的修正
文章转自微信公众号：机器学习炼丹术作者：陈亦新（欢迎交流共同进步）联系方式：微信cyx645016617学习论文：Analyzing and Improving the Image Quality of StyleGAN 文章目录3.1 AdaIN3.2 AdaIN的问题3.3 weig…
下载深度学习框架以及python模块较慢的结局方法，pip install 安装太慢，已经镜像源也不不管用。最最简单也非常快速的解决方法（傻瓜式操作）
下载深度学习框架以及python模块较慢的结局方法，pip install 安装太慢，已经镜像源也不不管用。最最简单也非常快速的解决方法（傻瓜式操作）
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使…
PyTorch中模型的可复现性
在深度学习模型的训练过程中，难免引入随机因素，这就会对模型的可复现性产生不好的影响。但是对于研究人员来讲，模型的可复现性是很重要的。这篇文章收集并总结了可能导致模型难以复现的原因，虽然不可能完全避免随机因素࿰…
SE-ResNet的实现
见：D:\pythonCodes\深度学习实验\4.1_经典分类网络\inference代码汇总\models\se_resnet.py
一、SE-ResNet的实现方法
读了senet这篇论文之后，可以知道senet并没有提出一个新的网络，而是提出了一个即插即用的模块。这个模块叫做SE Block&am…
NLP | 简单学习一下NLP中的transformer的pytorch代码
经典transformer的学习文章转自微信公众号【机器学习炼丹术】作者：陈亦新（已授权）联系方式: 微信cyx645016617欢迎交流，共同进步 文章目录代码细讲transformerEmbeddingEncoder_MultipleLayersEncoder完整代码代码细讲
transform…
【CV中的Attention机制】CBAM的姊妹篇-BAM模块
1. BAM
BAM全程是bottlenect attention module，与CBAM很相似的起名，还是CBAM的团队完成的作品。
CBAM被ECCV18接受，BAM被BMVC18接收。
CBAM可以看做是通道注意力机制和空间注意力机制的串联（先通道后空间）ÿ…
pytorch-tensorboard保存训练的损失，梯度均值demo
#tensorboard的使用tensorboard的使用逻辑：
•将代码运行过程中的，某些你关心的数据保存在一个文件夹中，这一步由writer完成
•读取这个文件夹中的数据，用浏览器显示出来，这一步通过在命令行运行tensorboard完成#【1】…
Win10安装pytorch
Win10安装pytorch
进入官网https://pytorch.org/ 选择相关的配置 复制命令pip install torch1.6.0cpu torchvision0.7.0cpu -f https://download.pytorch.org/whl/torch_stable.html 在cmd运行即可 **
要注意版本
** https://blog.csdn.net/weixin_43012220/article/detail…
注意力论文解读(1) | Non-local Neural Network | CVPR2018 | 已复现
文章转自微信公众号：【机器学习炼丹术】 参考目录： 文章目录0 概述1 主要内容1.1 Non local的优势1.2 pytorch复现1.3 代码解读1.4 论文解读2 总结论文名称：“Non-local Neural Networks”论文地址：https://arxiv.org/abs/1711.07…
Bert预训练模型的使用
1.下载预训练模型
pytorch_bin文件:
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz”, ‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz”, ‘bert-b…
基于Jetson Nano和PyTorch的图像识别
入门篇
设置您的Jetson Nano
刷新操作系统并启动
Jetson Nano运行ARM兼容版本的Ubuntu 18.04，您必须使用笔记本电脑或台式机将其刷到SD卡中。按照Nvidia的说明，在强大的Jetson Nano上启动并运行Ubuntu。
不用担心SD卡在闪烁后是否会显得较小…
Facebook 发布开源框架 PyTorch， Torch 终于被移植到 Python 生态圈
Facebook 的 AI 研究团队发布了一个 Python 工具包，专门针对 GPU 加速的深度神经网络（DNN）编程。它有望辅助、或在一定程度上替代，现有的 Python 数学、统计库（比如 NumPy）。它实现了机器学习框架 Torch 在…
ubuntu16.04下2080Ti显卡配置 cuda10.0 + cudnn7.4.2 + tensorflow 1.13.1
ubuntu16.04下2080Ti显卡配置cuda10.0cudnn7.4.2 tensorflow 1.13.1 pytorch 1.0.0 pytorch 1.0.0 友情提醒，没有一个环境配置只看一个文档就能解决的，所以还是需要多百度，多谷歌。。。 下载相关文件 下载cuda，cuda_10.0.130_4…
混合精度asser error
在调用混合精度训练
optimizer.zero_grad()
with torch.cuda.amp.autocast():result,loss model(input_idsbatch_token,\labelsbatch_label,generateFalse)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()这里调用
scaler.scale(loss).backward()时…
RuntimeError: Found dtype Long but expected Float
今天在跑模型的时候，发现了以下的报错
RuntimeError: Found dtype Long but expected Float这里的报错发生在BCELoss的部分
loss_fn torch.nn.BCELoss()
logit logit.view(logit.size()[0]*logit.size()[1],-1)
batch_label batch_label.view(batch_label.size…
Pytorch学习笔记——数据类型转换总结
1.Tensor与Numpy之间的相互转化
tensor转numpy
a torch.ones([2,5])
b a.numpy()numpy转tensor
a np.ones([2,5])
b torch.from_numpy(a)2.Tensor与list之间的相互转化
tensor转list
a torch.ones([1,5])
b a.tolist()list转tensor
a list(range(1,6))
b torch.tenso…
【Pytorch】Transformer原理及其Pytorch实现
Seq-to-Seq (encoderattentiondecoder) CNN RNN transformer
Transformer class Transformer α1{\alpha}_1α1就是q1q_1q1和k1k_1k1做点积然后softmax得到。
self-attention 以q2q_2q2为例 q2q_2q2和别的kkk做点积，得到α1....αm{\alpha}_1...…
【Pytorch】张量1
在torch中张量的创建
列表中创建张量
>>> a [1,2,3.]
>>> type(a)
<class list>
>>> b torch.tensor(a)
>>> b
tensor([1., 2., 3.])
>>> type(b)
<class torch.Tensor>
>>> b.dtype
torch.float32nump…
后门防御经典背景文献（综述）
总结：
攻击者可以通过修改训练数据和模型参数来将后门嵌入到模型中。因此，大多数针对后门攻击的检测算法都是针对input samples和model parameters，通过恶意输入和良性输入在后门模型中的统计差异来进行区分。防御者对于攻击者生成的带触发器…
CenterNet在Ubuntu20.04，PyTorch1.5，CUDA10.2的安装
写在前面 最近需要搞一个目标检测加上特征提取的小项目，找方法的时候看到了CenterNet这个网络模型，论文里的图表表现出CenterNet性能完虐YOLOv3，如下图
看着还是非常诱惑的，所以试试用这个。论文里也给了官方代码，但…
【2021年新书推荐】Transformers for Natural Language Processing
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是2021年1月由Packt出版社最新出版的一本关于机器学习和NLP的书。
Transformers for Natural Language Processing 作者：Denis Rothman 出…
pytorch 服务器加速训练
问题：已经在服务器上训练了，但是训练的速度仍然很慢。
我在服务器上可以将batch变得很大，比如96/128，但是在训练的时候很慢，每秒只处理20张左右的图片（20 it/s），而这个在我自己的电…
detectron2（目标检测框架）无死角玩转-01：框架安装，以及demo测试（winds + linux）
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
十四、Pytorch实现RNN Classifier
一、项目需求
数据集：姓名和对应的国籍 要求：输入一个姓名，通过模型可以得到TA所属的国籍 数据集下载：name_country_datasets
二、思路步骤分析
①准备数据集
将下载好的数据集解压，放到一个指定的位置，…
bert 环境搭建之PytorchTransformer 安装
这两天跑以前的bert项目发现突然跑不了，报错信息如下：
Step1 transformer 安装
RuntimeError: Failed to import transformers.models.bert.modeling_bert because of the following error (look up to see its traceback): module signal has no att…
Softmax Classifier 多分类问题
文章目录8、Softmax Classifier 多分类问题8.1 Revision8.2 Softmax8.2.1 Design8.2.2 Softmax Layer8.2.3 NLLLoss vs CrossEntropyLoss8.2.4 Mini-Batch8.3 MNIST dataset8.3.1 Import Package8.3.2 Prepare Dataset8.3.3 Design Model8.3.4 Construct Loss and Optimizer8.3…
《PyTorch 深度学习实践》第11讲 卷积神经网络（高级篇）
文章目录 1 Inception Module1.1 11卷积1.2 Inception模块结构1.3 完整代码 2 残差网络(Residual Network) 该专栏内容为对该视频的学习记录：【《PyTorch深度学习实践》完结合集】 专栏的全部代码、数据集和课件全放在个人GitHub了，欢迎自取。 1 Incept…
CNN 卷积神经网络
文章目录9、CNN 卷积神经网络9.1 Revision9.2 Introduction9.3 Convolution9.3.1 Channel9.3.2 Layer9.3.3 Padding9.3.4 Stride9.4 Max Pooling9.5 A Simple CNN9.5.1 GPU9.5.2 Code 19.5.3 Exercise9.5.4 Code 29.6 GoogLeNet9.6.1 Inception Module9.6.2 1 x 1 convolution9…
运行torch心得体会
遇到的问题：
①ModuleNotFoundError: No module named torch
②‘conda‘不是内部或外部命令，也不是可运行的程序或批处理文件。
③import torch 提示找不到指定的模块visual C redistributable is not installed
过程：
用前一段时间就下…
![[已解决]No module named ‘torchsummary‘](https://img-blog.csdnimg.cn/20210425155625399.png)
[已解决]No module named ‘torchsummary‘
报错如下 原因分析 torchsummary 可以做Pytorch可视化，输出网络相关信息。当前环境缺失torchsummary安装包。 解决方案 pip install torchsummary 注：conda install torchsummary可能无法安装，那就直接用pip吧。
搞定！
解決 torch 無法使用GPU
1.使用 import torch torch.cuda.is_available() ------> False print(torch.version) --> 查詢 torch 版本
2.命令行，輸入 nvidia-smi 3.直接去網站找出相對應版本 https://download.pytorch.org/whl/torch_stable.html cuda : 11.7 -> cu117 python3.…
365天深度学习打卡第N1周：Pytorch文本分类入门
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊|接辅导、项目定制 一、背景介绍
本节是一个使用PyTorch实现的简单文本分类实战案例。在这个例子中，我们将使用AG News数据集进行文本分类。 AG Ne…
【pytorch】保存模型、加载模型
目录1、torch 的 save 和 load2、state_dict1）net.state_dict()2）optimizer.state_dict()3、保存模型 和 加载模型1）仅保存和加载模型参数(state_dict)2）保存 和 加载 整个模型1、torch 的 save 和 load
我们可以直接使用 save 函…
pytorch 使用 xformers 库 加速多头注意力计算 和 大幅节省显存
效果概览： 好处：使用 google PALM 架构的小模型做 生成任务，改为 xformers 实现后，加速比为 2倍，显存消耗为原来的 1/3 ，非常给力。 缺点：相比pytorch的原生实现，误差略大。。。
xf…
原始GAN-pytorch-生成MNIST数据集（代码）
文章目录原始GAN生成MNIST数据集1. Data loading and preparing2. Dataset and Model parameter3. Result save path4. Model define6. Training7. predict原始GAN生成MNIST数据集
原理很简单，可以参考原理部分原始GAN-pytorch-生成MNIST数据集（原理&am…
【PyTorch】教程：torch.nn.ConvTranspose2d
torch.nn.ConvTranspose2d CLASS torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride1, padding0, output_padding0, groups1, biasTrue, dilation1, padding_modezeros, deviceNone, dtypeNone) 2D 反卷积；
该模块可以被视为 Conv2d 相对于…
图卷积神经网络笔记——第六章：（２）基于PyTorch的交通流量预测
上一小节介绍了交通流量数据的处理，主要是把拿到的数据的结构信息（邻接矩阵）和节点信息（流量数据）处理成了模型所需要的train_data和test_data，上一小节： 链接. 这一小节基于上节的交通流量数据…
![回归(平方损失)与分类[ ( BCE、CE) 和 (Focal loss) ]](https://img-blog.csdnimg.cn/20210223175737385.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NjM1ODg1,size_16,color_FFFFFF,t_70#pic_center)
回归(平方损失)与分类[ ( BCE、CE) 和 (Focal loss) ]
回归损失与分类损失
回归用于逼近某个数值，预测的结果是连续的，例如预测小明的身高，160,161,162,163cm。平方损失即MSE： 分类用于预测物体属于某一个标签，预测的结果是离散的，例如预测明天是否下雪&#…
PyTorch实战3：天气识别
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍦 参考文章：365天深度学习训练营-第P3周：天气识别🍖 原作者：K同学啊|接辅导、项目定制 目录 一、前期准备1、导入数据2、transforms.Compose详…
pytorch之Variable对象之梯度推导
由简入繁 看代码： import torch from torch.autograd import Variable
a Variable(torch.ones(4),requires_gradTrue) ba2 cb.mean() print© c.backward() print(a.grad) 输出： tensor(3., grad_fn) tensor([0.2500, 0.2500, 0.2500, 0.2500]) 解…
图神经网络：PYG库基本操作
文章说明： 1)参考资料：PYG的官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook。超链。提取码8888。 文章目录 一.图的数据处理二.常见的基准数据集三.小批量的计算方式四.数据变换五…
pytorch神经网络算法
目录正向传播算法反向传播算法梯度下降算法人工实现pytorch实现正向传播算法
设函数的输入数据为 xxx，参数为 www ，输出为 losslossloss。 正向传播过程如下： y^x∗w\hat{y} x*w y^x∗w sy−y^s y-\hat{y}sy−y^ losss2loss s^2losss…
Pytorch学习笔记#2: 搭建神经网络训练MNIST手写数字数据集
学习自https://pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html
导入并预处理数据集
pytorch中数据导入和预处理主要用torch.utils.data.DataLoader 和 torch.utils.data.Dataset Dataset 存储样本及其相应的标签，DataLoader在数据上生成一个可迭…
目标检测 pytorch复现R-CNN目标检测项目
目标检测 pytorch复现R-CNN目标检测项目1、R-CNN目标检测项目基本流程思路2、项目实现1 、数据集下载：2、车辆数据集抽取3、创建分类器数据集3、微调二分类网络模型4、分类器训练5、边界框回归器训练6、效果测试目标检测 R-CNN论文详细讲解1、R-CNN目标检测项目基本…
矩池云教程｜体验 OpenAI 最近推出的 3D 生成模型 Shap-E！
Shap-E 是由 OpenAI 最近推出的3D生成模型，使用者可以通过简单的文字或图像进行三维模型的生成，OpenAI 认为相比于点云的生成模型Point-E，Shap-E的收敛更快。本文将展示如何在矩池云上体验3D模型生成。
Shap-E：https://github.co…
Anaconda 安装并使用 PyTorch（PyCharm）
文章目录 Anaconda 安装并使用 PyTorch（PyCharm）1. Anaconda 安装1.1 下载安装包1.2 安装1.3 测试1.4 更改镜像源 2. PyTorch 安装2.1 创建虚拟环境2.3 激活/关闭环境2.4 CUDA2.5 conda 安装 PyTorch 3. PyCharm 使用3.1 安装 PyCharm3.2 登录3.3 使用虚…
yolov5在jetson nano上的部署 deepstream
文章目录前言deepstream的安装1、SDKManager2. 命令行安装yolov5项目克隆和安装（电脑上完成！）1）安装Anaconda和PyTorch2） 克隆yolov5项目3） 安装所需库4） 下载预训练权重文件5） 安装…
nezha计算position_embeddings的函数整个流程解读
nezha position_embeddings get position整个流程1.准备vocab_size、range_vec的对应参数2.构成range_mat的常规长度和distance_mat的对角矩阵的内容3.变换对应的位置矩阵distance_mat4.将distance_mat_clipped的值压缩到-max_relative_position到max_relative_position的对应范…
通过.Net平台使用Yolov8
Yolov8简介YOLOv8是Ultralytics公司推出的基于对象检测模型的YOLO最新系列，它能够提供截至目前最先进的对象检测性能。借助于以前的YOLO模型版本支持技术，YOLOv8模型运行得更快、更准确，同时为执行任务的训练模型提供了统一的框架，…
深度学习论文: Task-Specific Context Decoupling for Object Detection及其PyTorch实现
深度学习论文: Task-Specific Context Decoupling for Object Detection及其PyTorch实现 Task-Specific Context Decoupling for Object Detection PDF: https://arxiv.org/pdf/2303.01047.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https:…
附代码 DenseNet---Densely Connected Convolutional Networks
Densely Connected Convolutional Networks 论文解读
代码链接：https://github.com/bamos/densenet.pytorch 论文链接：https://arxiv.org/abs/1608.06993
摘要： 最近的研究表明，如果卷积网络包含靠近输入的层和接近输出的层之间…
MMdetection部署及教程 及很多小细节
mmdetection/README.md at master open-mmlab/mmdetection (github.com)
这个链接指向MMDetection
就是对英语不是很棒的小伙子 小姐妹很友好 先装个环境
哈哈哈 大家不用装了 都别装好吧 我之前以为就我一个人菜 装什么环境都出问题
都得记录，很难有没有问题…
data parallel, model parallel，GPU显存不足怎么办？动态图显存优化
pytorch(分布式)数据并行个人实践总结——DataParallel/DistributedDataParallel
DataParallel & DistributedDataParallel分布式训练
【深度学习】— 分布式训练常用技术简介
GPU显存不足怎么办
MegEngine 中动态图显存优化（DTR）的实现与优化
yolo格式数据转换为coco格式
只需要有图片和yolo格式的标签就可以转换为coco格式的标签 第一步：将yolo格式的标签：classId, xCenter, yCenter, w, h转换为coco格式：classId, xMin, yMim, xMax, yMax格式。coco的id编号从1开始计算，所以这里classId应该从1开始…
Python中的item()和items()的不同
Python中的item()和items()尽管看起来有些相似，但是使用起来却十分不同。
1、item()，这个经常在模型训练中的loss见到，其目的主要是为了获取更高的精度，示例如下。
import torch
a torch.randn(5, 5)tensor([[-0.6648, 0.7282…
Pytorch中张量矩阵乘法函数(mm, bmm, matmul)使用说明，含高维张量实例及运行结果
Pytorch中张量矩阵乘法函数使用说明 1 torch.mm() 函数1.1 torch.mm() 函数定义及参数1.2 torch.bmm() 官方示例 2 torch.bmm() 函数2.1 torch.bmm() 函数定义及参数2.2 torch.bmm() 官方示例 3 torch.matmul() 函数3.1 torch.matmul() 函数定义及参数3.2 torch.matmul() 规则约…
从原理到实践 | Pytorch tensor 张量花式操作
文章目录 1.张量形状与维度1.1标量（0维张量）：1.2 向量（1维张量）：1.3矩阵（2维张量）：1.4高维张量： 2. 张量其他创建方式2.1 创建全零或全一张量：2.2…
PyTorch深度学习（一）【线性模型、梯度下降、随机梯度下降】
这个系列是实战（刘二大人讲的pytorch）
建议把代码copy下来放在编译器查看（因为很多备注在注释里面）
线性模型(Linear Model)：
import numpy as npimport matplotlib.pyplot as plt #绘图的包x_data [1.0, 2.0, …
实验1：inception - v4模型的实现
本来做的实验是：inception-v4模型实现，并且用它来进行推理，但是推理的部分实在是没必要做笔记。就是《inference汇总》稍微改了一点点而已。这里就只把inception-v4模型的实现列出来了。完整的inference的代码见：D:\pythonCodes\深…
深度学习——基础知识：数据预处理
文章目录一、创建数据集二、处理缺失值1. 缺失值填充（fillna）2.独热编码（get_dummies）三. 张量形式转换（torch.tensor）一、创建数据集
首先创建一个人工数据集，并存储在csv（逗号分隔…
张量 Tensor 的数据类型
在 torch 中 CUP 和 GPU 张量分别有 8 种数据类型，中默认的数据类型为 32 位浮点型
数据类型dtypeCPU TensorGPU Tensor16 位浮点型torch.float16 或 torch.halftorch.HalfTensortorch.cuda.HalfTensor32 位浮点型torch.float32 或 torch.floattorch.FloatTensorto…
训练yolov5模型时遇到：TypeError: ‘NoneType‘ object is not callable
刚刚在用矩池云的GPU训练yolov5模型（Google Colab的免费GPU确实不错但还是有些慢），同样的操作在Google Colab上就能跑，在矩池云这里用命令：
python train.py --img 640 --batch 64 --epochs 180 --data /mnt/yolov5-m…
wandb快速上手、使用心得（超好用的Tensorboard高替品）
这里写目录标题 1 wandb介绍2 快速上手3 使用心得3.1 一张图展示两条线3.2 想要科学上网和wandb一起使用（离线使用）3.3 未完待续 1 wandb介绍
wandb地址：wandb Wandb（Weights & Biases）是一个用于机器学习实验跟踪…
《联邦学习实战》杨强 读书笔记二——联邦学习概述
目录 联邦学习的定义
联邦学习的分类
按照数据样本空间以及特征空间的关系
根据协调方式 联邦学习的定义
联邦学习是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式训练方式。
在Federated Learning中…
THOP: 统计 PyTorch 模型的 FLOPs 和参数量
THOP 是 PyTorch 非常实用的一个第三方库，可以统计模型的 FLOPs 和参数量。使用方法为：
from thop import clever_format
from thop import profileclass YourModule(nn.Module):# your definition
def count_your_model(model, x, y):# your rule here…
Single Shot MultiBox Detector
Single Shot MultiBox Detector1. 算法原理2. 网络结构2.1 主干网络2.2 loc卷积和conf卷积3. 栅格4. 默认框4.1 默认框的大小和位置4.2 默认框的匹配情况5. 损失函数5.1 位置识别5.2 编码器5.3 分类6. 预测6.1 解码器7. 资源8. 参考1. 算法原理 网络结构 SSD的输入图像尺寸…
[enforce fail at ..\caffe2\serialize\inline_container.cc:145
1 问题2 原因3 解决1 问题
测试模型的时候遇到：
RuntimeError: [enforce fail at ..\caffe2\serialize\inline_container.cc:145] . PytorchStreamReader failed reading zip archive: failed finding central directory2 原因
PytorchStreamReader无法读取zip存…
Pytorch使用MNIST数据集实现基础GAN和DCGAN
原始生成对抗网络Generative Adversarial Networks GAN包含生成器Generator和判别器Discriminator，数据有真实数据groundtruth，还有需要网络生成的“fake”数据，目的是网络生成的fake数据可以“骗过”判别器，让判别器认不出来&…
pytorch图片分割原理
自从transformer应用到cv领域以后，对图片的分割需求便越加重了，但是图像分割说起来容易，实际操作起来还是有很多地方不懂（主要还是code能力太弱）。
我们知道，对张量的处理一般又两种，一种是vie…
__getattr__, __setattr__
1:def __getattr__(self, item):当调用实例对象所没有的属性的时候会调用这个方法，在这个方法里可以对这个不存在的属性值做处理，这个方法会为这个类定义所指定的属性，返回值就是该属性的值。 2:__setattr__:每次给属性赋值的时候，…
*args和**kwargs
*arg表示任意多个无名参数，类型为tuple;**kwargs表示关键字参数，为dict
参考自：https://www.cnblogs.com/xujiu/p/8352635.html
torch.max()和np.max()的一点区别,补充np.maximum()
除了网上所说torch.max()除返回最大值还返回索引，而np.max只返回最大值以外，还有一个很大的区别在于，torch.max可以直接比较两个张量，也就是torch.max(a,b)是可以的，但是np.max只能有一个输入，当要比较两个…
【从零学习PyTorch】 如何残差网络resnet作为pre-model +代码讲解+残差网络resnet是个啥
看的多个Kaggle上 图片分类比赛 的代码，发现基本都会选择resnet网络作为前置网络进行训练，那么如何实现这个呢？ 本文主要分为两个部分
第一个部分讲解如何使用PyTorch来实现前置网络的设置，以及参数的下载和导入第二个部分简单讲…
全网最详细最好懂 PyTorch CNN案例分析 识别手写数字
先来看一下这是什么任务。就是给你手写数组的图片，然后识别这是什么数字： 喜欢的话请关注我们的微信公众号~《你好世界炼丹师》。
公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛…
【学习笔记】pytorch中squeeze()和unsqueeze()函数介绍
unsqueeze()
import torch
a torch.arange(0,6)
print(a)
print(a.view(1,6))
print(a.view(6,1))
print(a.unsqueeze(0))
print(a.unsqueeze(1))
print(a.unsqueeze(0).shape)
print(a.unsqueeze(1).shape)可以看到，原来就是一个一维的数组，我们可以s…
从零学习PyTorch 第6课 权值初始化
课程目录（在更新，喜欢加个关注点个赞呗）： 从零学习pytorch 第1课 搭建一个超简单的网络 从零学习pytorch 第1.5课 训练集、验证集和测试集的作用 从零学习pytorch 第2课 Dataset类 从零学习pytorch 第3课 DataLoader类运行过程 从…
简单实现Transformer(Pytorch)
相关文章： 加性注意(原理)加性注意(复现)乘性注意(原理)乘性注意(复现) 1 理论
该模型的特点：完全基于注意力机制，完全摒弃了递归和卷积。
它是一种模型架构，避免了递归，而是完全依赖于注意力机制来绘制输入和输出之…
【pytorch】——torch.hub
【pytorch】——torch.hub
Facebook官方博客表示，PyTorch Hub是一个简易API和工作流程，为复现研究提供了基本构建模块，包含预训练模型库。并且，PyTorch Hub还支持Colab，能与论文代码结合网站Papers With Code集成&…
动手学深度学习之语义分割和数据集
语义分割
语义分割将图片中的每个像素分类到对应的类别。一般来说通过聚类将比较像的东西放到一起，就是将比较相似的东西放到一起。和一般的分割不同的时候会告诉我们每个像素的label。
应用
背景虚化 路面分割
实例分割
语义分割只关心每个像素是属于哪一个…
pytorch API学习--数据预处理
解决问题
解决问题：pytorch实现自由的数据读取－torch.utils.data的学习[1]
解决问题：使用torch.utils.data.random_split()划分数据集[3]
参考文章：
[1]pytorch实现自由的数据读取－torch.utils.data的学习 [2]Pyto…
【小坑记录】——RTX3060-RuntimeError: CUDA error: no kernel image is available for execution on the device
【小坑记录】——RTX3060-RuntimeError: CUDA error: no kernel image is available for execution on the device
问题描述:NVIDIA GeForce RTX 3060 with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install sup…
【pytorch】——torch.unique
【pytorch】——torch.unique
官方文档
torch.unique(input, sortedTrue, return_inverseFalse, return_countsFalse, dimNone)默认参数说明
input: 待处理Tensorsorted: 是否对处理后的不包含重复元素的Tensor进行升序排列（sortedTrue表示进行升序排列ÿ…
【mmdetection3d】——自定义运行时配置
教程 5: 自定义运行时配置
自定义优化器设置
自定义 PyTorch 支持的优化器
我们已经支持使用所有 PyTorch 实现的优化器，且唯一需要修改的地方就是改变配置文件中的 optimizer 字段。 举个例子，如果您想使用 ADAM （注意到这样可能会使性能…
![[PyTorch][chapter 51][Auto-Encoder -1]](https://img-blog.csdnimg.cn/ad287288c7c942129815f6fced4716db.png)
[PyTorch][chapter 51][Auto-Encoder -1]
目录： 简介 损失函数 自动编码器的类型 一 AutoEncoder 简介： 自动编码器是一种神经网络，用于无监督学习任务.(没有标签或标记数据), 例如降维,特征提取和数据压缩. 主要任务： 1： 输入数据 …
相对位置编码(relative position representation)
最近在看wenet项目时，发现其用的是相对位置编码。同时在做tts时，发现其效果还可以，但是就是对于长文本的生成效果不好，一直在思考是什么原因导致的，有想到最有可能是fastspeech是的绝对位置编码问题，所以还…
安装 pytorch 以及 pytorch 基本命令（用法）总结
目录 一、 安装 pytorch
二、 pytorch 基本命令
1. tensor 的生成与设置
2. tensor 的基本运算
3. tensor 与 Numpy 之间的相互转换 一、 安装 pytorch
首先， 在 Anaconda prompt 中安装 pytorch， 这里我们使用了清华源镜像
pip install --user -i…
GPU版本pytorch（Cuda12.1）安装教程
我们通过Pytorch官网安装torch的时候，会发现常常由于网速问题安装不成功，下面提供一种简单的方法可以成功安装Cuda12.1，亲测有效。
目录
一、常规方法
二、有效方法
2.1 创建并激活虚拟环境
2.2 添加清华源
2.3 安装torch 一、常规方法…
【Pytorch】CUDA error: no kernel image is available for execution on the device
记录一下pytorch安装的cuda版本和GPU cuda不一致的解决。
RuntimeError: CUDA error: no kernel image is available for execution on the device
一般就是pytorch和cuda安装的不匹配。
如果我安装的torch配的cuda信息如下， torch.__version__: 1.8.1cu102 tor…
pytorch lightning和pytorch版本对应
参见官方文档： https://lightning.ai/docs/pytorch/latest/versioning.html#compatibility-matrix 下图左一列（lightning.pytorch）安装命令：pip install lightning --use-feature2020-resolver 下图左一列（pytorch_lig…
【亲测】Swin-Transformer 自定义数据集图像分类
Swin-Transformer是当前热门的深度学习框架，适用于多种视觉任务，相关的原理，网上有很多资源，大家可自行查看，这里主要介绍其在图像分类方面的代码调试经验，方便各位快速上手实验。Swin-Transformer代码链接…
tensorrt inference of onnx models with custom layers in python
本例使用tensorrt实现packNet网络的推理。packNet网络是一种用于自动驾驶的自监督的单目深度估计网络。 本例中将一个pytorch graph转换为onnx，使用tensorrt的onnx-parser解析onnx graph。
在onnx graph中使用custom layers（plugin）。通过使…
pytorch实现多项式回归
pytorch实现多项式回归
一元线性回归模型虽然能拟合出一条直线，但精度依然欠佳，拟合的直线并不能穿过每个点，对于复杂的拟合任务需要多项式回归拟合，提高精度。多项式回归拟合就是将特征的次数提高，线性回归的次数使一…
玉米叶病害识别（图像连续识别和视频识别,python代码，pytorch框架）
代码运行要求：Torch>1.13.1即可
效果视频玉米叶病害识别（图像连续识别和视频识别,python代码，pytorch框架）_哔哩哔哩_bilibili 1.数据集介绍： Blight(枯萎病),1145张照片 Common_Rust（褐锈病࿰…
由torch.max（）出错所引出的张量广播机制理解
错误如图： a[:,:2]的shape为（2，2）；b[:,:2]的shape为（3，2）。比较的时候出错如下
解决方法： 也就是在a的中间加一个维度，且该维度长度为1：
原因在…
EMA和自动混合精度（AMP）
EMA:指数移动平均，用于优化权重更新
参考自：https://blog.csdn.net/Newt_Scamander/article/details/122268929
AMP：自动混合精度，用于加快模型训练，其思想在于使得模型处理数据的时候，自动控制数据在tor…
关于pytorch扩展的几个问题
参考自：【环境】pytorch选择cuda的顺序【关于cudatoolkit和/usr/local/cuda】 cuda和cudatoolkit
一：cuda扩展 涉及到cuda扩展，有关cuda源码（.cu文件）编译的部分需要使用NVIDIA官网提供的CUDAtoolkit工具，…
为何pytorch预训练的resnet模型对输入图片的大小无要求？
原本的ResNet18模型对于输入的训练图像是有严格的大小限制的，规定的大小为224*224。但是最近发现Pytorch中预训练的resnet模型时，输入图片的大小为200*200或者是其他尺寸时也可以。 于是就好奇到底是什么原因。 1，RESNET-18网络图示理解
17个卷积层（conv）+1个全连接层（f…
记录在mmsegmentation框架里写代码跑实验时出现的bug
1. ValueError: size shape must match input shape. Input is 2D, size is 1
这种是尺寸没对上，用input.shape和targe.shape把尺寸弄清楚，我缺的是通道那一维，用torch.unsqueeze(input, 1)就行了
2. KeyError: ‘layers.0.blocks.0.attn.r…
python可变长度onnx
我这篇的输入是二维的特征，如果输入是三维图片的话别照抄啊。
一、 pytorch转onnx
首先先把模型转成onnx，我的示例模型是轨迹识别模型，输入为6维的向量，即6N的矩阵；输出为51M的矩阵（标签类别数为51），再通过按列取最大得出书写的文字。下方为pth模型转onnx示例，后半部…
(如何安装pytorch详细教程！！！)全面讲解安装Anaconda+CUDA+PyTorch
之前安装了CUDA，与Pytorch，但是当把自己的数据放到GPU上训练的时候（代码部分已经写清楚放到CUDA上），发现GPU的占用率很低，CPU的占用率高达90%，后来发现是显卡的驱动与自己安装的CUDA并不匹配&am…
行为分析(商用级别)04 -训练、评估、demo测试自定义的数据集-落地核心关键(重点篇)
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公 众 号 − \color{blue}{公众号 -} 公众号−
风格迁移2-05：MUNIT(多模态无监督)-源码无死角解析（1）-训练代码总览
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
_, preds = torch.max(outputs.data, 1)
今天在看《PyTorch深度学习》这本书的时候，看到了一段代码，怎么都看不懂，然后CSDN上搜索了一下，发现了大佬的以篇博客《PyTorch系列 | _, predicted torch.max(outputs.data, 1)的理解》，这里记录一下。 _, preds to…
PyTorch里的损失函数(loss) 和 优化器(optimizer)
创建于：2021.10.19 文章目录1、损失函数1.1 二分类交叉熵损失函数1.2 交叉熵损失函数1.3 L1损失函数1.4 平滑L1 (Smooth L1)损失函数1.5 MSE损失函数1.6 目标泊松分布的负对数似然损失1.7 KL散度1.8 MarginRankingLoss1.9 多标签边界损失函数1.10 二分类损失函数1.1…
PyTorch的张量知识与梯度计算，仅代码
创建于：2021.10.15
原文介绍参见 thorough-pytorch/第二章 PyTorch基础知识/
# -*- coding:UTF-8 -*-
# datetime: 2021/10/12 16:48
# software: PyCharm"""文件说明：学习张量知识https://github.com/datawhalechina/thorough-pytorc…
PyTorch简介与资源
创建于：20211012 文章目录1. PyTorch简介1.1 PyTorch的介绍1.2 PyTorch的发展1.3 PyTorch的优势2、PyTorch相关资源3、参考链接1. PyTorch简介
1.1 PyTorch的介绍
PyTorch是由Facebook人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库&am…
风格迁移1-06：Liquid Warping GAN(Impersonator)-源码无死角解析（1）-训练代码总览
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
【CNN记录】pytorch gather函数
torch.gather(input, dim, index, *, sparse_gradFalse, outNone)
参数：
input：输入张量
dim：index按照哪个轴取值
index：取值用的索引张量
gather其实就是根据index中索引查找input中元素重排，数据都是原来的&#x…
Pytorch学习笔记（2020.7.30）
1.开发环境安装
2.回归问题
3.Pytorch基础教程
3.1.数据类型
3.2.创建Tensor
3.3.索引与切片
3.4.维度变换
view.reshape： torch（4，1，28，28） #4张1维（channel）的灰度图&#…
Google免费GPU使用平台--Google colab使用手册
Google免费GPU使用平台--Google colab使用手册）1. 如何创建账号1.1 创建账号和简单设置1.2 查看系统配置2. 基本操作2.1 import自己的py文件2.2 SSH 连接 Google colab3 用Colab编写在线爬虫4. 外部数据处理5.如何在Colab中加载kaggle数据集1. 如何创建账号
1.1 创…
风格迁移1-03：Liquid Warping GAN(Impersonator)-数据处理，模型训练-报错解决
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
下载pytorch，pip命令下载网速太慢下不下来
到pytorch官网找下载命令
pip install torch1.4.0cpu torchvision0.5.0cpu -f https://download.pytorch.org/whl/torch_stable.html在cmd，用pip命令下载 有时候网速快下载快，但这个太大，下载前快后慢，下不下来，就把里…
在git上面看到的代码，浅学了一下
文章目录0 写在前面1 这段代码可以直接运行0 写在前面
安装包的时候，一定要注意版本兼容问题（我连续搞了三天才整明白了） 大家可以移步下面的链接，要个关注不过分吧~ https://blog.csdn.net/weixin_42521185/article/details/124…
PyTorch深度学习入门 || 系列（三）——人工神经元
文章目录0 写在前面1 数据处理2 模型定义2.1 完整的模型定义3 设置Loss函数4 优化——梯度下降和随机梯度下降5 完整代码0 写在前面
这一篇文章介绍人工神经元、人工神经网络。
1 数据处理
用linspace()函数产生[-3,3)区间内的100 000个点，并使用unsqueeze()函数…
PyTorch深度学习实践（八）
文章目录0 写在前面1 解决输出问题1.1 输出属于每一个类别的可能性？2 解决loss函数的问题2.1 之前学习的二分类交叉熵3 引入多分类的交叉熵函数3.1 实现计算过程题外话4 import包5 读入数据集6 定义模型6.1 代码片段7 Loss和优化7.1 代码片段8 训练和测试8.1 enumer…
在GPU服务器(Linux)上安装Anaconda和PyTorch环境
安装Anaconda3
Anaconda官网：https://repo.anaconda.com/archive/
根据自己需要，复制安装包名字，以Anaconda3-2023.07-2-Linux-x86_64.sh为例 命名规则：Anaconda3-<版本号>-Linux-x86_64.sh 在终端输入命令，下…
不平衡数据集采样器Imbalanced Dataset Sampler使用自定义数据集时报错
Imbalanced Dataset Sampler是一个针对不均衡数据集的重采样器。但直接使用自定义数据集时会报错。
查GitHub发现Imbalanced Dataset Sampler需要调用数据集的get_labels() 用于返回你数据集所有的标签值，而自定义的数据集一般是没有这个方法的。 所以在自己的数据…
葡萄叶病害识别（图像连续识别和视频识别，Python代码，pyTorch框架）
葡萄叶病害识别（图像连续识别和视频识别，Python代码，pyTorch框架）_哔哩哔哩_bilibili 葡萄数据集 第一个文件夹为
Grape Black Measles（葡萄黑麻疹）病害（3783张） Grape Black rot葡…
【pytorch】图像基本操作
为了方便进行数据的操作，pytorch团队提供了一个torchvision.transforms包，我们可以用transforms进行以下操作： PIL.Image/numpy.ndarray与Tensor的相互转化； 归一化； 对PIL.Image进行裁剪、缩放等操作。
通常…
dl----pytorch基础知识
1.torch的基础单位tensor torch.function torch.save/torch.sum(a,b) tensor.function tensor.view/a.sum(b) a.add(b) # 加法的结果返回新的tensor a.add_(b) # 加法的结果存在a中
2.创建tensor的操作
import torch
a torch.tensor(2) # 创建维度为2乘3的张量
a.tolist() …
动手深度学习之从线性回归到循环神经网络
参考伯禹学习平台《动手学深度》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受…
【SOT】SiamFC代码笔记
代码来源：https://github.com/huanglianghua/siamfc-pytorch 结合siamfc-pytorch代码讲解的三篇博客 下面是阅读上述SiamFC代码时的笔记
preprocess data(数据预处理)
dataset.py
概括：通过index索引返回item (z, x, box_z, box_x)，然后经…
Pytorch之DataLoader的num_works参数设置
数据集较小时（小于2W）建议num_works不用管默认就行，因为用了反而比没用慢。
当数据集较大时建议采用，num_works一般设置为（CPU线程数-1）为最佳，可以用以下代码找出最佳num_works（注…
pytorch 分布式训练
分布式训练分为这几类：
按照并行方式来分：模型并行 vs 数据并行 按照更新方式来分：同步更新 vs 异步更新 按照算法来分：Parameter Server算法 vs AllReduce算法
torch.nn.DataParallel
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0):
这…
Pytorch C++扩展实现简单的线性操作
Pytorch中的C扩展
在正式开始前，我们需要了解 PyTorch 如何自定义module。这其中，最常见的就是在 python 中继承torch.nn.Module，用 PyTorch 中已有的 operator 来组装成自己的模块。这种方式实现简单，但是，计算效率却…
onnx和mnn调用pytorch模型
1. 训练代码
pytorch自身部署较麻烦，一般使用onnx和mnn较为实用
训练模型的代码：
import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
import torch.optim as optim
from torch.optim import lr_…
PyTorch深度学习实践（七）
文章目录0 写在前面1 Dataset、DataLoader学习1.1 Dataset作用？1.2 DataLoader作用？2 完整代码0 写在前面
这次学习的是数据集获取，Dataset和DataLoader
>>>首先介绍一些术语：
Data size：就是所有的训练数…
PyTorch深度学习实践（六）
文章目录0 写在前面1 多维输入的logistic回归2 Diabetes 糖尿病数据集3 构造模型4 计算损失和优化5 激活函数6 代码0 写在前面
之前学习的x，y都是很简单的矩阵，现在我们需要考虑多维输入情况！矩阵是一个空间变换的函数！用多个线性…
PyTorch深度学习实践（五）
文章目录1 分类问题1.1 MNIST数据集1.2 The CIFAR-10 数据集2 Sigmoid函数3 在线性模型中加入logis函数4 BCE损失函数5 logist回归和线性模型比较6 BCE的loss函数计算7 代码7.1 np.linspace()函数7.2 网格线设置写在前面：线性模型已经学的差不多啦，现在开…
基于深度学习的高精度动物园动物检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度动物园动物（水牛、斑马、大象、水豚、海龟、猫、奶牛、鹿、狗、火烈鸟、长颈鹿、捷豹、袋鼠、狮子、鹦鹉、企鹅、犀牛、羊、老虎）检测识别系统可用于日常生活中或野外来检测与定位动物园动物，利用深度学…
采用u版的pytorchyolo3源码训练自己的数据集
采用u版的pytorchyolo3源码训练自己的数据集
1.说明 最近一直在研究目标检测这一块的内容。在导师的建议下学习了yolov3目标检测算法，想着既然学完了就要跑一边看看是啥样子的说干就干。本文采用的源码为https://github.com/ultralytics/yolov3的版本由于使用电脑的…
一文说清楚pytorch和tensorFlow的区别究竟在哪里
最近用了一点pytorch，想着稍稍理一下，这样一个和TensorFlow抗衡的一个框架，究竟是何方神圣？
首先我们要搞清楚pytorch和TensorFlow的一点区别，那就是pytorch是一个动态的框架，而TensorFlow是一个静态的框架…
深度学习框架（Pytorch）学习第1步：包管理系统Anaconda的安装
PyTorch是一种开源的深度学习框架，以出色的灵活性和易用性著称。
并且与机器学习开发者和数据科学家喜欢的Python高级编程语言兼容。
什么是PyTorch
PyTorch是一种构建深度模型功能完备的框架。通常用于图像识别和语言处理等。
使用Python编写，学习和…
6 从0开始学PyTorch | 构建模型、损失函数、广播机制
前面都在学一些PyTorch的基本操作，从这一节开始，真正进入到模型训练的环节了。原作者很贴心的一步步教我们实现训练步骤，并且还从一个最简单的例子出发，讲了优化方案。
宏观上的训练过程 image.png
当然这里所说的训练还没有到深…
Code for hypernetworks
Code for hypernetworks 这篇文章将介绍怎么使用hypernetworks来完成一些实验，本实验基于https://github.com/g1910/HyperNetworks.git 主要的Class
PrimaryNetwork是主要观察的类，主要观察.forward中如何生成参数部分。
class PrimaryNetwork(nn.Modu…
关于nn.Embedding的解释，以及它是如何将一句话变成vector的
首先我们来看Embedding的参数。
nn.Embedding((num_embeddings,embedding_dim)其中，num_embeddings代表词典大小尺寸，比如训练时所可能出现的词语一共5000个词，那么就有num_embedding5000，而embedding_dim表示嵌入向量的维度&…
IAF R-CNN：针对多光谱行人目标检测的光照感知Faster R-CNN
目录📝论文下载地址👨🎓论文作者📦模型讲解[背景介绍][论文解读][FasterR-CNN用于多光谱行人目标检测][融合结构][其他设置][多光谱行人目标检测基准][结果][光照感知的FasterR-CNN][光照估算模块][门控融合模块][优化过程][结果…
Pytorch常用的函数(三)深度学习中常见的卷积操作详细总结
Pytorch常用的函数(三)深度学习中常见的卷积操作
1、标准卷积(Standard Convolution)
1.1 标准卷积的理解
我们直接来看二维卷积，这在实际应用中是最常见的。 上图中Conv 2D其实就是卷积核，也叫做滤波器。滤波器的值决定了输出的情况，模型…
CNN经典之VGG网络+PyTorch复现
一、前情说明：
写在前面的话 本系列博客在于汇总CSDN的精华帖，类似自用笔记，方便以后的复习回顾，博文中的引用都注明出处，并点赞收藏原博主。 博客大致分为两部分，第一部是转载于《雪饼》大侠的博客https:…
Making Pre-trained Language Models Better Few-shot Learners
文章目录输入端自动生成PromptPrompt的拼接方式输出端自动生成label训练对于分类对于回归模型简称LM-BFF，better few-shot fine-tuning of language models。符号：预训练模型为L\mathcal{L}L，总数据集为D\mathcal{D}D，标签空间为Y…
模型损失的loss不下降或下降很慢
这里主要记录我碰到的原因
model.eval()
当一个大的模型model中内含bert等大模型时，大模型使用model.eval()时，Bert也同时使用bert.eval()
学习率太小
val loss一直再下降，但下降很慢，有可能时学习率太小了的原因。
看完秒懂torch.stack()
torch.stack （）一、准备数据二、dim0三、dim1四、dim2一、准备数据
首先把基本的数据准备好：
import torch
import numpy as np
# 创建3*3的矩阵，a、b
anp.array([[1,2,3],[4,5,6],[7,8,9]])
bnp.array([[10,20,30],[40,50,60],…
tensorflow与keras版本对应关系 | PyTorch版本与python版本对应关系
创建于：20210326 修改于：20210326, 20210830 文章目录1、tensorflow和keras版本对应关系2、PyTorch版本与python版本对应关系1、tensorflow和keras版本对应关系 2、PyTorch版本与python版本对应关系 Ref：List of Available Environments tens…
轻量级网络之mobilenet_v1 pytorch实现
轻量级网络之mobilenet_v1 pytorch实现
前言：前面讲解了mobilenet 实现在移动端或者嵌入式中的轻量级网络，本文使用pytorch 搭建mobilenet_v1网络。
一、Mobilenet_v1 网络结构
1.Mobilenet_v1 网络结构如图所示 由此我们可以得出mobilenet_v1的网络…
生成对抗网络GAN Pytorch实现
# codingutf-8
import torch.autograd
import torch.nn as nn
from torch.autograd import Variable
from torchvision import transforms
from torchvision import datasets
from torchvision.utils import save_image
import os# 创建文件夹
if not os.path.exists(./img2):o…
Pytorch学习资源记录
笔者之前在学习深度学习的时候，曾经学过TensorFlow，Pytorch，Keras等框架。
最后在去年写毕业论文的时候最终毅然决定无脑Pytorch 虽说当时已经在实习单位头秃头秃地写了3个月TensorFlow了，按道理来说用TensorFlow应该是水到渠成的…
pytorch模型训练学习率调整方法总结
这里主要记录两种比较常用的学习率调整的策略：学习率预热（warmup）和学习率衰减。
学习率预热
学习率预热是在训练开始阶段逐渐增加学习率，以帮助模型更好地收敛。预热阶段通常在训练的前几个epoch中进行，随后再根据预…
pixel2style2pixe环境配置([‘ninja‘, ‘-v‘] + no module named ‘fused’)
项目场景：
复现pixel2style2pixe GitHub:https://github.com/eladrich/pixel2style2pixel 问题描述：
1.subprocess.CalledProcessError: Command’[‘ninja‘, ‘-v‘]’returned non-zero exit status 1 以下方案可完美解决 https://wanghao.blog.cs…
【python】__getiterm__理解
1. 什么是魔术方法
在Python中，所有以“__”双下划线包起来的方法，都统称为“Magic Method”，中文称『魔术方法』,例如类的初始化方法" __ init __"。
魔法方法是python内置方法，不需要主动调用，存在的目的…
The necessary bits to build these optional modules were not found: _uuid _bz2 _curse _curses_panel
在安装Python3.7可能遇到如题的错误，只需安装uuid库就可以 ubuntu下安装uuid链接库
sudo apt-get install uuid-dev CentOS yum install libuuid-devel
对于以下的问题 The necessary bits to build these optional modules were not found: _bz2 _curses…
torch.split()
torch.split(tensor, split_size_or_sections, dim0) torch.split()作用将tensor分成块结构。
参数：
tesnor：input，待分输入split_size_or_sections：需要切分的大小(int or list )dim：切分维度output：切分…
Windows 平台下AMD 显卡加速pytorch训练
Windows 11已经支持使用directml加速 pytorch了。 2021,11,16更新： directml-pytorch已经推出：
pip install pytorch-directml 详细教程：(4条消息) Windows下用amd显卡训练 ： Pytorch-directml 重大升级，改为pytorch插…
【DeepDream】，代码简单记录
参考源代码GitHub： Deep-Dream/resnet.py at master L1aoXingyu/Deep-Dream GitHub 但是如果运行里面的代码的话，会报错：
TypeError: __init__() takes from 3 to 5 positional arguments but 9 were given
所以改了一下，让它…
简单记录GoogLeNet网络，pytorch+GoogLeNet+CIFAR10
目录 数据集
Net
uilt
train 总结 数据集
数据集使用的是CIFAR10，cifar 10 这个数据集一共有 50000 张训练集，10000 张测试集，两个数据集里面的图片都是 png 彩色图片，图片大小是 32 x 32 x 3，一共是 10 分类问题&…
【解决】RuntimeError: Boolean value of Tensor with more than one value is ambiguous
在用pytorch进行损失函数计算时，报错误：
RuntimeError: Boolean value of Tensor with more than one value is ambiguous
翻译过来就是说：
具有多个值的张量的布尔值不明确
我是这报错：
x Variable(x_data).cuda()
y Var…
【Pytorch】用自动微分求sin(x)的导数
目录1. 问题分析1.1 问题描述1.2 解决思路2. 代码实现1. 问题分析
1.1 问题描述
其实这个问题很简单，本篇博客全当备忘录了。我们的需求是： 图片来源：李沐：《动手学深度学习 PyTorch版》
1.2 解决思路
我们使用pytorch的自动微…
【学习分享】目标检测模型设计
目录特征提取网络设置anchor分类分支与回归分支边界框的解码分类分支与回归分支预测特征提取网络
特征提取网络采用vgg16的结构作为特征提取模块，并去掉fc6和fc7两个全连接层。 代码实现：
class VGGBase(nn.Module): …
PyTorch 官方教程：撸一个神经网络
本文为 PyTorch 官方教程中：如何构建神经网络。基于 PyTorch 专门构建神经网络的子模块 torch.nn 构建一个简单的神经网络。
完整教程运行 codelab
torch.nn 文档
神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。
PyTorch…
Pytorch运行程序报错
RuntimeError: copy_if failed to synchronize: cudaErrorIllegalAddress报错信息报错原因修改报错信息
最近在训练人脸识别的模型，在将单卡训练改为多卡训练时，程序报错：
RuntimeError: copy_if failed to synchronize: cudaErrorIllegalA…
如何处理推荐系统流行度长尾问题
流行度长尾问题是推荐系统的一个原生问题，就是原来很热门的物品更容易被推荐，原本就很冷门的物品越不容易推荐，即“头大长尾”问题。为了解决这个问题，我们可以先计算出每个物品的流行度ppliln(1|Ni|） 用户相似度&…
【mmdetection】mmdetection安装详细步骤
mmdetection是由商汤科技和香港中文大学开源了一个基于Pytorch实现的深度学习计算机视觉工具箱，涵盖了目标检测、实例分割、全景分割、模型蒸馏等计算机视觉任务，复现了最新的一些论文和成果，特别是包括了大量CVPR论文的复现。
1 项目地址 项…
Pytorch torch.save() 保存特征向量
文章目录1 需求2 实现1 需求 存取上述特征向量
2 实现
数据结构： 使用list存储这些向量，[(r_emb, query), ...]工具： torch.save()将tensor保存为.pth，存取对象是字典
"""
保存特征向量,推荐使用torch保存&…
optim优化器的使用
**
一、pytorch中优化器可以使用的最简版本为：
** 参考：https://blog.csdn.net/qq_42109740/article/details/105401197
for input, target in dataset:optimizer.zero_grad()output model(input)loss loss_fn(output, target)loss.backward()optim…
提高训练效果的方法--Bag of Tricks for Image Classification with Convolutional Neural Networks 论文笔记
Bag of Tricks for Image Classification with Convolutional Neural Networks论文解读
Abstract
Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and opti…
3DCNN学习记录-函数篇
在学习3DCNN过程中，遇到许多新函数一知半解，现在记录学习一下。（后续补充）
train_test_split：
需要从sklearn.model_selection 导入，导入方式如下：from sklearn.model_selection import trai…
windows10下激活conda环境报错CommandNotFoundError: Your shell has not been properly configured to use conda
因为安装Anaconda是比较久以前的事情，安装了之后又没有用过，最近想用来机器学习，安装pytorch啥的，于是捡了回来。 首先查看了我电脑上的conda环境以及版本
conda info --env然后查看了一下版本，创建了一个自己的conda…
只要你愿意，永远都有钱赚！
晚上与在外打工的大姐，视频聊天，本来只打算问候一下大姐，不知不觉聊了近一个小时。
通过大姐在外打工的几个月，发现大姐变化很大。
整个人自信起来。之前的很多年，大姐一直是家庭妇女，在家里带着三个孩子…
程序人生专题：被远程办公逼疯的年轻人：我想上班，去公司那种！
tofacebook.com（ID:rancaijing）原创
作者 | 赵磊 金玙璠 闫丽娇 孔明明 唐亚华 黎明 孟亚娜 苏琦
编辑 | 魏佳
疫情肆虐，在法定节假日延长三天后，多地仍然要求企业在特定日期前不得复工，为此，很多公司都…
超详细的Pytorch GPU版本安装
最近深度学习需要用GPU版本的pytorch来加速运算，在csdn找了很多经验帖并试错后，终于明白了不出错的教程，用博客总结记录一下，以后帮别人安装可能还用的上，给需要的同学参考。
目标：
在Anaconda安装pytorc…
torch指定显卡and指定显卡仍无效
torch的一些初始化仍然要用第0块显卡，在代码中使用.cuda(cuda:1) 或者to.device(cuda:1) 时，torch仍然会用第0块显卡来初始化。 解决方法： （1）该方法要在import torch 之前，更新版本也可能发生变化
import…
pytorch-用优化器来管理参数
1、经典函数，求导
从最简单的tensor开始，我们新建了一个tensor变量a,建立b 3*a 3，那可以通过b.backward()对函数求导
import torch
from torch import nna torch.tensor(3.0,requires_gradTrue)
b 3*a 3
b.backward(retain_graphTrue)pr…
测试 Pix2Pix HD 模型
测试 Pix2Pix HD 模型
报错1如下：
RuntimeError: Expected object of scalar type Byte but got scalar type Bool for argument #2 other in call to _th_or原因：pytorch版本的问题 原先版本为1.4.0，升级为1.8.0程序可以执行。建议在Anaco…
MNN入门教程-编译与安装
本文主要介绍Ubuntu系统中，MNN的编译与安装流程。 1. 依赖环境
cmake（建议使用3.10或以上版本）protobuf（使用3.0或以上版本）gcc（使用4.9或以上版本）
执行代码：
apt-get install c…
Pytorch深度学习——循环神经网络基础 (07)
文章目录1 RNN第一部分1.1 概念和工具介绍1.2 N-garm表示方法2 文本转换为向量2.1 one-hot2.2 word embedding2.3 word embedding API2.4 数据的形状变化3 举例：文本情感分类3.1 数据集3.2 思路分析3.3 准备数据集3.4 综上代码3.5 分词操作3.6 DataLoader中collate_…
消融实验(ablation experiment)
1. 基本定义
你论文提了三个贡献点：A、B、C。 你去掉A，其它保持不变，发现效果降低了，那说明A确实有用。 你去掉B，其它保持不变，发现效果降的比A还多，说明B更重要。 你去掉C，其它保…
PyTorch中并行训练的几种方式
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
pytorch学习-7：RNN 循环神经网络 (分类)
pytorch学习-7：RNN 循环神经网络（分类）1. 加载MNIST手写数据1.1 数据预处理2. RNN模型建立3. 训练4. 预测参考循环神经网络让神经网络有了记忆, 对于序列话的数据,循环神经网络能达到更好的效果.
1. 加载MNIST手写数据
import torch
from t…
【教程】连续的中文汉字识别CRNN
这个专栏更新各种AI，以及各种有趣的教程，有兴趣的小伙伴可以订阅一下。
首先是中文汉字数据集，开源的数据集中，比较常用是这个有999999张中文图像的数据集。 images文件夹存放的是汉字图片 label.txt里面存放的是标签 我们用的代码是pytorch版本的crnn，来训练模型看看…
Lnton羚通关于PyTorch的保存和加载模型基础知识
SAVE AND LOAD THE MODEL (保存和加载模型)
PyTorch 模型存储学习到的参数在内部状态字典中，称为 state_dict, 他们的持久化通过 torch.save 方法。
model models.shufflenet_v2_x0_5(pretrainedTrue)
torch.save(model, "../../data/ShuffleNetV2_X0.5.pth…
TensorRT推理手写数字分类（三）
系列文章目录
（一）使用pytorch搭建模型并训练 （二）将pth格式转为onnx格式 （三）onxx格式转为engine序列化文件并进行推理 文章目录 系列文章目录前言一、TensorRT是什么？二、如何通过onnx生成en…
Pytorch-day07-模型保存与读取
PyTorch 模型保存&读取
模型存储模型单卡存储&多卡存储模型单卡读取&多卡读取
1、模型存储
PyTorch存储模型主要采用pkl，pt，pth三种格式,就使用层面来说没有区别PyTorch模型主要包含两个部分：模型结构和权重。其中模型是继承n…
一些经典的神经网络（第20天）
1. 经典神经网络（LeNet）
LeNet是早期成功的神经网络； 先使用卷积层来学习图片空间信息 然后使用全连接层来转到到类别空间
【通过在卷积层后加入激活函数，可以引入非线性、增加模型的表达能力、增强稀疏性和解决梯度消失等问题…
Linux完全卸载PyTorch重装（cuda11.1）
目录 1.命令行输入2.命令行接着输入3.可以看到卸载完后4.下载PyTorch（cuda对应11.1，可以通过test_gpu.py的测试） 原因：网上看的很多卸载的，并没有把所有跟随PyTorch的包卸载干净，虽然可能后期不会出现较大问…
YOLOV8最强操作教程.
YoloV8详细训练教程.
相信各位都知道yolov8发布了，也是U神大作，而且V8还会出论文喔！ 2023.1.17 更新 yolov8-grad-cam热力图可视化链接 2023.1.20 更新 YOLOV8改进-添加EIoU,SIoU,AlphaIoU,FocalEIoU 链接 2023.1.30 更新 如果你需要修改或者…
pip安装pytorch报错
WARNING: Retrying (Retry(total4, connectNone
时隔将近一年再去安装pytorch报错，在服务器linux环境下，
看了很多分享，最后试成功举例说：
pip install torch1.8.0cu111 torchvision0.9.0cu111 torchaudio0.8.0 -f https://dow…
Pytorch深度学习模型的指标测试【1】（如：模型大小、模型操作量）
引言： 几种轻量级深度学习模型的保存文件大小和模型的操作量统计。 Pytorch深度学习模型的指标测试【1】（如：模型大小、模型操作量） 1. 测试模型说明2 模型结构2.1 普通单层卷积模型2.2 普通单层 Separable Conv 模型2.3 Siamese 模型1. 测试模型说明 单层卷积模型单层可分…
pytorch（小土堆）深度学习
第五节课讲项目的创建和对比 第六节：Dataset,Dataloader Dataset提供一种方式区获取数据及其label(如何获取每一个数据及其label，告诉我们总共有多少的数据) Dataloader为后面的网络提供不同的数据形式 第七节：Dataset类代码实战 显示图片
f…
OpenCV读取图像时按照BGR的顺序HWC排列,PyTorch按照RGB的顺序CHW排列
OpenCV读取RGB图像
在OpenCV中，读取的图片默认是HWC格式，即按照高度、宽度和通道数的顺序排列图像尺寸的格式。我们看最后一个维度是C，因此最小颗粒度是C。
例如，一张形状为2562563的RGB图像，在OpenCV中读取后的格式…
chatgpt技术总结（包括transformer，注意力机制，迁移学习，Ray，TensorFlow，Pytorch）
最近研读了一些技术大咖对chatgpt的技术研讨，结合自己的一些浅见，进行些许探讨。 我们惊讶的发现，chatgpt所使用的技术并没有惊天地泣鬼神的创新，它只是将过去的技术潜能结合现在的硬件最大化的发挥出来，也正因如此&am…
用人话讲解深度学习中CUDA，cudatookit，cudnn和pytorch的关系
参考链接
本人学习使用，侵权删谢谢。用人话讲解深度学习中CUDA，cudatookit，cudnn和pytorch的关系
CUDA
CUDA是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，是一种并行计算平台和编程模型&…
pytorch最后一步安装失败显示false怎么办？
这两天在安装pytorch，可谓是吃了不少苦，安了整整一天才安装好。
本来按照安装步骤，一步一步都进行的很好，可是最后一步却显示false。
我的解决方案是，先更新显卡驱动（注意我的是英伟达显卡，安…
windows环境下使用mmdetection+mmdeploy训练自定义数据集并转成onnx格式部署
目录 实验环境安装conda创建虚拟环境安装pytorch使用 MIM 安装 MMEngine 和 MMCV安装 MMDetection准备自定义数据集修改配置信息开始训练模型转换与推理 实验环境
windows10python：3.8pytorch :1.8.1cuda：11.1mmdet：3.1.0mmcv：2.…
使用Pytorch构建神经网络
构建神经网络的典型流程
定义一个拥有可学习参数的神经网络遍历训练数据集处理输入数据使其流经神经网络计算损失值将网络参数的梯度进行反向传播以一定的规则更新网络的权重
我们首先定义一个Pytorch实现的神经网络:
# 导入若干工具包
import torch
import torch.nn as nn
…
PyTorch入门之【AlexNet】
参考文献：https://www.bilibili.com/video/BV1DP411C7Bw/?spm_id_from333.999.0.0&vd_source98d31d5c9db8c0021988f2c2c25a9620 AlexNet 是一个经典的卷积神经网络模型，用于图像分类任务。 目录 大纲dataloadermodeltraintest 大纲 各个文件的作用&…
PyTorch入门之【MLP】
参考：https://www.bilibili.com/video/BV1uh411A7jJ/?spm_id_from333.999.0.0&vd_source98d31d5c9db8c0021988f2c2c25a9620 这里用实例来介绍，用MLP来对数据集MNIST进行训练和测试。 目录 训练测试 训练
总代码：
import torch
from to…
计算机视觉的应用9-视觉领域中的61个经典数据集【大集合】的应用与实战
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用9-视觉领域中的61个经典数据集【大集合】的应用与实战，我们都知道计算机视觉是一门研究如何使计算机能够理解和解释数字图像或视频的技术和方法。在计算机视觉领域中，数据集是非常重要的资源，它们可以用于训练和评估…
如何理解pytorch中的“with torch.no_grad()”？
torch.no_grad()方法就像一个循环，其中循环中的每个张量都将requires_grad设置为False。这意味着，当前与当前计算图相连的具有梯度的张量现在与当前图分离了我们将不再能够计算关于该张量的梯度。直到张量在循环内，它才与当前图分离。一旦用梯…
Pytorch之EfficientNetV2图像分类
文章目录 前言一、EfficientNet V21. 网络简介2. EfficientNetV1弊端🥇训练图像的尺寸很大时，训练速度非常慢🥈在网络浅层中使用Depthwise convolutions速度会很慢🥉同等的放大每个stage是次优的 3.NAS Search4. Progressive Lear…
安装torch1.2.0 和 torchvision0.4.1（0.4.0没有成功..）
文章目录新建了一个虚拟环境，里面啥也没有 安装torch
pip install --user torch1.2.0 -f https://download.pytorch.org/whl/torch_stable.html -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com安装torchvision
pip install torchvision0.4…
nn.Module类的讲解
文章目录1 介绍torch.nn.Module2 add_module（name, module）方法2.1 代码实现2.2 总结3 apply(fn) 方法4 bfloat16()方法5 parameters()1 介绍torch.nn.Module
是所有神经网络的base类我们所写的网络都要继承这个类
一个简单的Model
2 add_module&…
![[教学]cyclegan风格迁移+qt界面](https://img-blog.csdnimg.cn/bafff25bc9ec45a1b15cf286984f6cf0.png)
[教学]cyclegan风格迁移+qt界面
代码属于简单易上手代码，环境安装好即可直接使用。 整个代码如下： 01demo是直接训练使用的，
02demo是用于qt界面的，然后调用01训练得到的模型进行可视化。
运行也是有说明文档的。 01train_cyclegan.py的前几行是配置参数，我们可以自行修改
import torch
import sys
f…
![[教学]路面裂缝检测_瑕疵检测等图像分割](https://img-blog.csdnimg.cn/2bf605e621a74b69a2110652f386ec40.png)
[教学]路面裂缝检测_瑕疵检测等图像分割
直接上效果图
首先需要搜集n张路面缺陷的图片，然后使用labelme进行打标签。 沿着轮廓描一遍，打上标签 这里以unet图像分割网络为例，主干网络是vgg，如果有想通过加注意力机制优化网络的，可以尝试这样添加。
import torch
import torch.nn as nn
from torchvision.mode…
PyTorch深度学习实践（一）
文章目录一、线性模型二、w参数设置三、损失函数四、梯度下降写在前面：同门拉我进pytorch的坑，好在机器学习的原理是差不多的，那就直接从tensoflow转到pytorch吧！假设问题：x代表学习时间，y代表得分。 目前有…
PyTorch典型函数——torch.roll()
最近在看一些论文的源码过程中，在循环窗口以为过程中，出现了 torch.roll() 这个函数，roll的英文含义为翻滚的意思，在torch中主要表示在对应维度上进行循环移位，其实类似于数据的扩增方式了，由于平时在其他的…
AttributeError: module ‘torch.hub‘ has no attribute ‘download_url_to_file‘
pyTorch中出现这个问题，参考了这个链接，发现是由于pyTorch版本的原因
正确的版本： 错误的版本： 需要换成pytorch 1.6.0才行
【记录】Ubuntu20.04安装和配置Anaconda
官网下载Anaconda会发现比较慢，这里我们使用清华源进行下载，https://mirrors.bfsu.edu.cn/anaconda/archive/，选择合适的版本下载就行，一般为最新的，然后在系统中对Anaconda进行安装配置
切换到下载的 anaconda.sh 的…
label-smoothing
标签平滑(label-smoothing)在one-hot的基础上，添加一个平滑系数ε ，使得最大预测与其它类别平均值之间差距的经验分布更加平滑。主要用于防止过拟合，增强模型的泛化能力。 Pytorch代码实现
import torchdef smooth_one_hot(true_labels: tor…
PyTorch 2.0 重磅发布：编译、编译、还是编译！
内容一览：昨晚召开的 PyTorch Conference 2022 中，官方正式发布了 PyTorch 2.0。本文将梳理 PyTorch 2.0 与 1.x 相比的最大差异。 关键词：PyTorch 2.0 编译器 机器学习 在 PyTorch Conference 2022 上，PyTorch 官方正式发布了 Py…
Pytorch查看模型参数量和计算量
1、首先声明一个网络
使用torchsummary可以查看模型的参数，和输入输出尺寸，但不能看FLOPs。
import torchvision.models
import torch
import torchsummarymodel torchvision.models.vgg16(pretrainedFalse)
device torch.device(cpu)
model.to(devi…
PVT论文Pytorch代码解读
PVT论文代码实现 论文地址：https://arxiv.org/abs/2102.12122v2 Pytorch代码地址：https://github.com/whai362/PVT PVT结构图 PVT有什么用 PVT将金字塔结构结合到了Transformer中，提高特征图的分辨率，有利于将Transformer应用到语…
（已解决）AttributeError: module ‘cv2.gapi.wip.draw‘ has no attribute ‘Text‘
问题描述 今天再跑Caption-Anything项目的时候，最开始的时候就报了这样一个错误：AttributeError: module cv2.gapi.wip.draw has no attribute Text。 Caption-Anything是一种多功能的图像处理工具，结合了Segment Anything，Visual…
cuda以及pytorch安装
安装CUDA显卡驱动
这篇博客已经超级详细，具体就不在闭门造车了！ 最简单、实用的cuda安装教程！！！（nvidia官方渠道下载）
检测CUDA版本（cmd窗口命令行下）
nvidia-sminvcc…
代码解读：y.view(y.size(0), -1)---tensor张量第一维保持不变，其余维度展平
y.view(y.size(0), -1)代码解读：
用于改变PyTorch张量（tensor）y的形状的。 y.size(0)返回y的第一维的大小。 -1表示让PyTorch自动计算该维度的大小，以确保新的张量与原始张量有相同的元素数量。 功能：将y的第一维保持…
【深度学习】Pytorch 系列教程（二）：PyTorch数据结构：1、Tensor（张量）： GPU加速（GPU Acceleration）
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
1. 维度（Dimensions）
2. 数据类型（Data Types）
3. GPU加速（GPU Acceleration） 一、前言
ChatGP…
Pytorch学习笔记（模型训练）
模型训练
在同一个包下创建train.py和model.py，按照步骤先从数据处理，模型架构搭建，训练测试，统计损失，如下面代码所示
train.py
import torch.optim
import torchvision
from torch import nn
from torch.utils.da…
《动手学深度学习 Pytorch版》 5.2 参数管理
import torch
from torch import nnnet nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1))
X torch.rand(size(2, 4))
net(X)tensor([[-0.3771],[-0.3822]], grad_fn<AddmmBackward0>)5.2.1 参数访问
由 Sequential 类定义的模型可以通过索引访问其任意层&…
pytorch 官方接口 自定义算子注册
pytorch官方提供了注册自己的自定义算子的接口，不需要像native_functions.yaml那样每次改源码，再编译 在pytorch仓库下找一个地方，创建新的文件夹 我建议在/pytorch/aten/src/ATen/core/op_registration下创建 创建的文件夹假设叫做myrelu 在…
英伟达结构化剪枝工具Nvidia Apex Automatic Sparsity [ASP]（1）——使用方法
英伟达结构化剪枝工具Nvidia Apex Automatic Sparsity [ASP]（1）——使用方法
Apex是Nvdia维护的pytorch工具库，包括混合精度训练和分布式训练，Apex的目的是为了让用户能够更早的使用上这些“新鲜出炉”的训练工具。ASP࿰…
用darknet的模型截取目标图片(python脚本)
适用场景：通过*.cfg、*.weights文件，生成目标框，并截取出目标图片，方便后面做reid算法和hash图片相似度算法。 由AlexeyAB/darknet工程中的darknet_images.py文件修改而来。
import argparse
import os
import glob
import rando…
学习pytorch11 神经网络-非线性激活
神经网络-非线性激活 官网文档常用1 ReLUinplace 常用2 Sigmoid 代码logs B站小土堆学习pytorch视频 非常棒的up主，讲的很详细明白
官网文档 https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity 常用1 ReLU
对输入做截断…
conda下载出现连接超时 改变源，设置timeout时间
一、连接超时原因
连接超时一般是由于网络的原因，还有默认的下载源是在国外的服务器，所以一般下载速度回比较慢，在下载比较大安装包就会出现下载中断的现象。
二、解决conda下载超时的两种办法
1、添加下载镜像地址
1.pip解决超时
添加超…
查看 CUDA \cudnn版本，使用conda/pip安装pytorch教程(mac/windos/linux) 和卸载
2019.9.18
安装时候仔细看安装说明，cuda、cudnn、系统的版本需要对应。
2019.01.01 更新
可以直接去官网看安装指令，里面也有一些旧版本的指令入口：https://pytorch.org/
2019.02.16 更新
网速问题的话，安装指令示意…
用pytorch实现AlexNet
AlexNet经典网络由Alex Krizhevsky、Hinton等人在2012年提出，发表在NIPS，论文名为《ImageNet Classification with Deep Convolutional Neural Networks》，论文见：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf …
用pytorch实现google net
GoogleNet（也称为Inception v1）是由Google在2014年提出的一个深度卷积神经网络架构。它在ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2014比赛中取得了优秀的成绩，并引起了广泛的关注。 GoogleNet的设计目标是构建一个更…
机器学习深度学习——NLP实战（情感分析模型——RNN实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（情感分析模型——数据集） 📚订阅专栏：机器学习&…
PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案
注意：博主没有重写d2l的源代码文件，而是创建了一个新的python文件，并重写了该方法。 一、代码运行日志
C:\Users\Administrator\anaconda3\envs\limu\python.exe G:/PyCharmProjects/limu-d2l/ch03/softmax_regression.py
Traceback (most r…
Intel Real Sense D435查看器读取深度图信息
TOC
Intel Real Sense D435查看器读（Intel Real Sense Viewer）取深度图信息 **
下载Intel Real Sense D435查看器（下面简称查看器）
**
下载链接https://realsense.intel.com/get-started（里面有很多相关产品信息&a…
位置pid与增量pid
import numpy as npclass Controller:def __init__(self, u0):# ##增量pid# self.Kp 0.1# self.Kd 5# self.Ki 0.000# self.u 0# self.uMin 0# self.uMax 16# # 误差累加和# self.err 0# self.err_k_1 0# self.err_k_2 0# 位置pidself.Kp 0.5self.Kd 0self.Ki 0.00…
炼丹系列1: 分层学习率梯度累积
这个系列将记录下本人平时在深度学习方面觉得实用的一些trick，可能会包括性能提升和工程优化等方面。 该系列的代码会更新到Github 炼丹系列1: 分层学习率&梯度累积 炼丹系列2: Stochastic Weight Averaging (SWA) & Exponential Moving Average(EMA) 炼丹系…
番茄（西红柿）叶病害识别（Python代码，pyTorch框架，深度卷积网络模型，很容易替换为其它模型，带有GUI识别界面）
代码运行要求：Torch>1.13.1即可
1.数据集介绍： 每一个文件夹里装有一类病害叶子的照片，一共10种类别，每种类别下有1100张照片 从第一类到第十类分别如下图所示 2.整体文件夹 data文件夹存放的是未被划分训练集和测试集的原…
微调codebert、unixcoder、grapghcodebert完成漏洞检测代码
文件结构如下所示： mode.py # Copyright (c) Microsoft Corporation.
# Licensed under the MIT License.
import torch
import torch.nn as nn
import torch
from torch.autograd import Variable
import copy
from torch.nn import CrossEntropyLoss, MSELosscl…
9.FPN网络代码实现
代码如下：
# import torch.nn as nn
# import torch
# import torch.nn.functional as F
# import math
#
# #1.resNet的基本BottleBlock类
#
# class Bottleneck(nn.Module):
# expension4
# def __init__(self,in_planes,planes,stride1,downsampleNone)…
使用PyTorch加载数据集：简单指南
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
股票价格预测 | Python实现基于LSTM与Transfomer的股票预测模型（pytorch）
文章目录 效果一览文章概述LSTM模型原理时间序列模型从RNN到LSTMLSTM预测股票模型实现结语程序设计参考资料效果一览 文章概述
基于LSTM与Transfomer的股票预测模型
股票行情是引导交易市场变化的一大重要因素，若能够掌握股票行情的走势，则对于个人和企业的投资都有巨大的帮…
指定显卡运行python脚本
指定显卡运行python脚本 指定显卡运行python脚本 指定显卡运行python脚本 CUDA_VISIBLE_DEVICES0 python infer.py
NNDL:作业3：分别使用numpy和pytorch实现FNN例题
对比【numpy】和【pytorch】程序，总结并陈述。 激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。 激活函数Sigmoid改变为Relu，观察、总结并陈述。 损失函数MSE用PyTorch自带函数 t.nn.MSELoss()替代，观察、总…
《动手学深度学习 Pytorch版》 8.7 通过时间反向传播
8.7.1 循环神经网络的梯度分析
本节主要探讨梯度相关问题，因此对模型及其表达式进行了简化，进行如下表示： h t f ( x t , h t − 1 , w h ) o t g ( h t , w o ) \begin{align} h_t&f(x_t,h_{t-1},w_h)\\ o_t&g(h_t,w_o) \end{ali…
Pytorch公共数据集、tensorboard、DataLoader使用
本文将主要介绍torchvision.datasets的使用，并以CIFAR-10为例进行介绍，对可视化工具tensorboard进行介绍，包括安装，使用，可视化过程等，最后介绍DataLoader的使用。希望对你有帮助
Pytorch公共数据集
torc…
Pytorch使用torchvision.datasets.ImageFolder读取数据集,数据集的内容排列状况
当使用torchvision.datasets.ImageFolder读取猫狗数据集时,dataset中存的图片是 猫狗猫狗猫狗猫狗 还是 猫猫猫猫狗狗狗狗 呢?
数据集文件的存放路径如下图 测试代码如下
import torch
import torchvisiontransform torchvision.transforms.Compose([torchvision.transform…
BadNets：基于数据投毒的模型后门攻击代码（Pytorch）以MNIST为例
加载数据集
# 载入MNIST训练集和测试集
transform transforms.Compose([transforms.ToTensor(),])
train_loader datasets.MNIST(rootdata,transformtransform,trainTrue,downloadTrue)
test_loader datasets.MNIST(rootdata,transformtransform,trainFalse)
# 可视化样本 …
nlp系列（7）三元组识别（Bi-LSTM+CRF）pytorch
模型介绍
在实体识别中：使用了Bert模型，CRF模型
在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类&…
Debug result = unpickler.load() ModuleNotFoundError: No module named ‘models‘
1.torch训练的yolov5转trt出现问题如下：
Using CUDA device0 _CudaDeviceProperties(nameNVIDIA GeForce RTX 3080, total_memory10017MB)Find Pytorch weight
Traceback (most recent call last):File "export.py", line 243, in <module>ckpt t…
summary打印模型结构(VIT为例)
问题：怎么看部署的ViT结构？ 解决：实例化生成的模型，结合summary方法打印，以pytorch环境为例： 在虚拟环境中下载对应的torchsummary，pip安装指令：pip install torchsummary。 测试是否…
No module named ‘pytorch_lightning.utilities.distributed‘
在按照stable- diffusion中，需要安装很多依赖。如果版本不对，则不能成功运行，标题的问题就是如此。
相关参考：stable- diffusion V1效果咋样呢？V2呢？安装成功记录。
解决方案： pip install py…
RuntimeError: invalid argument 5: k not in range for dimension at /opt/conda/conda-bld/pytorch_15956
报错 解决：
包含的目标类别 少于5类 因此无法返回 top5的 概率
修改 将 topk(1,5) 改为 （1，2） acc1, acc5, _ model.get_accuracy(accuracy, output, target,topk(1, 2)) 解决！！！
在Ubuntu20.04中为python2和python3使用virtualenvwrapper
1、创建Python2虚拟环境
mkvirtualenv ros_cv -p python
这里创建一个ros_cv 的虚拟环境，制定的Python环境为2 2、创建Python3的虚拟环境 3、进入指定的虚拟环境工作
workon 双击tab键 4、停止虚拟环境
deactivate 5、删除虚拟环境：
rmvirtualenv 6…
Expected all tensors to be on the same device, but found at least two devices
Expected all tensors to be on the same device, but found at least two devices, 原因是计算的过程中，两个不同类型的变量在一起进行运算，即一个变量存储在gpu中，一个变量存储在cpu中，两个变量的存储位置冲突，导致无…
High Precision Open-World Website Fingerprinting阅读笔记
1.High Precision Open-World Website Fingerprinting
会议： IEEE Symposium on Security and Privacy (S&P, CCF A) 方法 ：open-set classfication未知类 团队：香港科技大学 王涛 背景 ： 开放世界网站指纹分类存在基本比率谬误，根据贝叶斯公式，比率很大时，模型在o…
Jupyter-Notebook与Pytorch的一些恩怨，我好烦呀！
文章目录Jupyter-Notebook真不简单奇怪的是cmd竟然是可以加载的说明不是环境问题，我们冲冲冲！解决方法如下：可恶的事情来了，这很重要！解决方法（保治百病）使用别人的notebook网站真爽！…
Jupyter-Notebook的操作介绍
jupyter-notebookJupyter-Notebook两种单元格两个模式多个快捷键Markdown语法Jupyter-Notebook
强大的notebook就像是代码的草稿本。 打过草稿的人都知道，打草稿真爽！
两种单元格
单元格类型作用code写代码markdown写注释
两个模式
模式作用命令模式…
Jupyter-Notebook安装+解决无法打开的bug
jupyter-notebookJupter-Notebook介绍安装（先配置好Anaconda）启动启动后无法打开界面解决方法更改notebook初始路径cmd快速开启Jupter-Notebook介绍
Jupter-Notebook(以前被成为IPython notebook)是一个基于网页的用于交互计算的应用程序，在…
pytorch安装教程(先配置好Anaconda)
就此踏上神经网络不归路冲冲冲打开anaconda prompt命令行来安装python的虚拟环境使用以下命令来激活刚才创建的虚拟环境接下来可以安装pytorch使用以下命令来安装pytorch一个bug消除bug之添加清华镜像源查看镜像源命令移除镜像源命令添加清华镜像源消除bug再次调用命令如图冲冲…
Pyqt5+Yolov5+Mss实现一个实时桌面检测软件
文章目录写在前面的话一、明确功能目标二、UI设计1.选择主界面三、功能的实现1.构建信号槽,为关闭按钮添加功能2.剥离yolo模型载入代码,载入训练好的模型,封装成函数3.剥离yolo推理代码,封装成函数可以被方便的调用4.使用Qlabel展示图片,并用QtWidgets.QApplication.processEve…
论文复现--lightweight-human-pose-estimation-3d-demo.pytorch(单视角多人3D实时动作捕捉DEMO)
分类：动作捕捉 github地址：https://github.com/Daniil-Osokin/lightweight-human-pose-estimation-3d-demo.pytorch 所需环境： Windows10，conda 4.13.0； 目录 conda环境配置安装Pytorch全家桶安装TensorRT（…
解决huggingface 在代码因为网络无法下载模型和数据集的问题（伪）
huggingface的模型下载
其实是用git手动下载 具体的方法：
sudo apt-get update
sudo apt-get install git-lfs
git lfs install 然后git clone https://huggingface.co/roberta-large
huggingface数据集下载
首先有些数据集也可以通过git下载（那种&…
【AI】《动手学-深度学习-PyTorch版》笔记（十七）：卷积神经网络入门
AI学习目录汇总
1、从全链接层到卷积
1.1 卷积
我们在前面学习的多层感知机中，已经认识了全链接层，缺点很明显，在稍微大点的网络模型中，参数成指数级别增长。参数量很快就达到数十亿，这样的量级几乎无法计算。为此科学家们想出一个减少参数的方法：卷积。
从全链接层到…
Pytorch深度学习-----实现神经网络模型在GPU上进行训练的方法
系列文章目录
PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用（ToTensor，Normalize，Resize ，Co…
神经网络分类模型训练
神经网络分类模型训练
常用包： import torch import numpy as np import torch.nn as nn import torch.utils.data as Data import torchvision
1，加载数据集:
对minist:
train_data torchvision.datasets.MNIST(root/Users/wangpeng/Desktop/all/C…
卷积操作后特征图尺寸，感受野，参数量的计算
文章目录 1、输出特征图的尺寸大小2、感受野的计算3、卷积核的参数量 1、输出特征图的尺寸大小
如果包含空洞卷积，即扩张率dilation rate不为1时： 2、感受野的计算 例如，图像经过两个3*3，步长为2的卷积后感受野为： co…
Win10+anaconda+CUDA+pytorch+vscode配置
Win10anacondaCUDApytorchvscode配置 1.安装anaconda2.安装CUDA确认CUDA版本确认CUDA和pytorch版本安装CUDA 3.安装cudnn4.安装Pytorch5.vscode配置安装VScodevscode配置pytorch环境 1.安装anaconda
官网https://www.anaconda.com 下载安装，路径全英文然后记得有一…
PyTorch实例：简单线性回归的训练和反向传播解析
文章目录 🥦引言🥦什么是反向传播？🥦反向传播的实现（代码）🥦反向传播在深度学习中的应用🥦链式求导法则🥦总结 🥦引言 在神经网络中，反向传播算法…
Pytorch的torch.utils.data中Dataset以及DataLoader等详解
在我们进行深度学习的过程中，不免要用到数据集，那么数据集是如何加载到我们的模型中进行训练的呢？以往我们大多数初学者肯定都是拿网上的代码直接用，但是它底层的原理到底是什么还是不太清楚。所以今天就从内置的Dataset函数和自定…
PyTorch应用实战三：构建神经网络
文章目录 神经网络1.继承Module构建神经网络2.结构化构建神经网络3.函数式操作附：系列文章 神经网络
构建神经网络的一般步骤如下： 确定网络的结构：这包括输入层、输出层和隐藏层的数量以及每层中的节点数等。 收集和准备数据：这…
PyTorch Lightning - LightningModule 训练逻辑 (training_step) 异常处理 try-except
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/133673820 在使用 LightningModule 框架训练模型时，因数据导致的训练错误，严重影响训练稳定性，因此需要使用 t…
pycharm添加虚拟环境以及虚拟环境安装pytorch
file、settings、interpreter、add interpreter、add local interpreter 记住不要勾选inherit，不然会把主环境的东西继承到虚拟环境。 创建前可以先点existing看看有没有已经建好的虚拟环境 有的时候pycharm有问题，创建了虚拟环境没有显示。找一个.py文…
FSC147数据集格式解析
一. 引言 在研究很多深度学习框架的时候，往往需要使用到FSC147格式数据集，若要是想在自己的数据集上验证深度学习框架，就需要自己制作数据集以及相关标签，在论文Learning To Count Everything中，该数据集首次被提出。 …
4-4 Representing text Exercise
本文所用资料下载
一. Representing text Let’s load Jane Austen’s Pride and Prejudice. We first split our text into a list of lines and pick an arbitrary line to focus on:
with open(D:jane-austen/1342-0.txt, encodingutf8) as f:text f.read()
lines text.…
pytorch_神经网络构建4
文章目录 循环神经网络LSTM词嵌入skip-Gram模型N-Gram模型词性预测RNN循环神经网络的基础模块实现RNN识别图片RNN时间序列预测词向量模块词向量运用N-Gram模型lstm词性预测 循环神经网络
这个网络主要用来处理序列信息,之前处理图片时大部分是分析图片的结构信息, 什么是序列信…
手动安装pytorch3D
一、安装两个核心库（手动安装）
iopath
git clone https://github.com/facebookresearch/iopath pip install -e iopath fvcore
git clone https://github.com/facebookresearch/fvcore pip install -e fvcore 二、安装CUB libaray 命令如下&…
在pytorch中对于张量维度的理解
原文参考链接： https://blog.csdn.net/qq_36930921/article/details/121670945. https://zhuanlan.zhihu.com/p/356951418 张量的计算：https://zhuanlan.zhihu.com/p/140260245 学习过程中对知识的补充学习，谨防原文失效，请大家支…
【安装GPU版本pytorch，torch.cuda.is_available()仍然返回False问题】
TOC
第一步
检查cuda是否安装，CUDA环境变量是否正确设置，比如linux需要设置在PATH，window下环境变量编辑看看，是否有CUDA
第二步，核查python中torch版本
首先查看你环境里的pytorch是否是cuda版本，我这…
MVSNet (pytorch版) 搭建环境 运行dtu数据集重建 实操教程（图文并茂、超详细）
文章目录 1 准备工作1.1 下载源码1.2 测试集下载2 配置环境3 dtu数据集 重建演示3.1 重建效果查看4 补充解释4.1 bash 脚本文件超参数解释4.2 lists/dtu解释5 Meshlab查看三维点云时 ，使用技巧总结1 Meshlab查看三维点云时 ，换背景颜色2 Meshlab查看三维点云时，点云颜色很暗…
![[PyTorch][chapter 58][强化学习-1]](https://img-blog.csdnimg.cn/5ac0049fea304f199d216c246b36c096.png)
[PyTorch][chapter 58][强化学习-1]
前言： RL(Reinfocement Learning) 强化学习 是机器学习，深度学习一个重点。 后面20章将重点结合一些例子回顾一下经典的强化学习算法。 这里重点介绍一下机器学习中的强化学习算法，以及Gym 工具 目录： 简介 强化学习基本要素 …
基于YOLOv8模型暗夜下人脸目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型暗夜下人脸目标检测系统可用于日常生活中检测与定位黑夜下人脸目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法…
【记录】USSOCOM Urban3D 数据集读取与处理
Urban3D数据集内容简介
Urban3D数据集图像为正摄RGB影像，分辨率为50cm。 从SpaceNet上使用aws下载数据，文件夹结构为：
|- 01-Provisional_Train|- GT|- GT中包含GTC，GTI，GTL.tif文件，GTL为ground truth b…
基于Yolov5的摄像头吸烟行为检测系统（pytoch）
目录 1.数据集介绍 1.1数据集划分 1.2 通过voc_label.py生成txt
1.3 小目标定义
2.基于Yolov5的吸烟行为检测性能提升
2.1采用多尺度提升小目标检测精度
2.2 多尺度训练结果分析
2.3基于多尺度基础上加入BiFormer: 基于动态稀疏注意力构建高效金字塔网络架构
2.3.1 BiFo…
关于trackformer中的super().forward()
代码：
import torch
import torch.nn as nnclass DETRTrackingBase(nn.Module):def __init__(self):print("build_DETRTrackingBase")def forward(self, x):print("DETRTrackingBase_forward") print(x)x super().forward(x)print(&q…
Pytorch学习：卷积神经网络—nn.Conv2d、nn.MaxPool2d、nn.ReLU、nn.Linear和nn.Dropout
文章目录 1. torch.nn.Conv2d2. torch.nn.MaxPool2d3. torch.nn.ReLU4. torch.nn.Linear5. torch.nn.Dropout 卷积神经网络详解：csdn链接 其中包括对卷积操作中卷积核的计算、填充、步幅以及最大值池化的操作。
1. torch.nn.Conv2d
对由多个输入平面组成的输入信号…
[PyTorch][chapter 54][GAN- 1]
前言： GAN playground: Experiment with Generative Adversarial Networks in your browser 生成对抗网络（Generative Adversarial Nets，GAN）是一种基于对抗学习的深度生成模型，最早由Ian Goodfellow于2014年在《Gener…
Pytorch-MLP-Mnist
文章目录 model.pymain.py参数设置注意事项初始化权重如果发现loss和acc不变关于数据下载关于输出格式 运行图 model.py
import torch.nn as nn
import torch.nn.functional as F
import torch.nn.init as initclass MLP_cls(nn.Module):def __init__(self,in_dim28*28):super…
【深度学习实验】线性模型（五）：使用Pytorch实现线性模型：基于鸢尾花数据集，对模型进行评估（使用随机梯度下降优化器）
目录
一、实验介绍 二、实验环境
1. 配置虚拟环境
2. 库版本介绍
三、实验内容
0. 导入库
1. 线性模型linear_model
2. 损失函数loss_function
3. 鸢尾花数据预处理
4. 初始化权重和偏置
5. 优化器
6. 迭代
7. 测试集预测
8. 实验结果评估
9. 完整代码 一、实验介…
Tensorrt8.6.1安装
环境配置：Tensorrt8.6.1 ，cuda11.6, cudnn8.6.0, torch1.13.1cu116, torchvision0.14.1cu116 1.先把cuda11.6, cudnn8.6.0, torch1.13.1cu116, torchvision0.14.1cu116这几个安装完之后
2.下载Tensorrt8.6.1，复制移动以下文件
将include中头…
python-pytorch 利用pytorch对堆叠自编码器进行训练和验证
利用pytorch对堆叠自编码器进行训练和验证 一、数据生成二、定义自编码器模型三、训练函数四、训练堆叠自编码器五、将已训练的自编码器级联六、微调整个堆叠自编码器 一、数据生成
随机生成一些数据来模拟训练和验证数据集：
import torch# 随机生成数据
n_sample…
【MetaLearning】有关Pytorch的元学习库higher的基本用法
【MetaLearning】有关Pytorch的元学习库higher的基本用法 文章目录 【MetaLearning】有关Pytorch的元学习库higher的基本用法1. 基本介绍2. Toy ExampleReference 1. 基本介绍
higher.innerloop_ctx是higher库的上下文管理器，用于创建内部循环（inner lo…
【香橙派-OpenCV-Torch-dlib】TF损坏变成RAW格式解决方案及python环境配置
前言
本文将介绍在香橙派（Orange Pi）开发板上进行软件配置和环境搭建的详细步骤，以便运行Python应用程序。这涵盖了以下主要内容： 获取所需软件：提供了香橙派操作系统和balenaEtcher工具的下载链接，以确保…
PyTorch CUDA GPU高占用测试
0x00 问题描述
安装完成PyTorch、CUDA后，验证PyTorch是否能够通过CUDA高占用GPU（占用>95%），特地使用以下代码测试。
0x01 代码设计 这个代码会持续执行神经网络的训练任务，每次循环都进行前向传播、反向传播和参数…
ThinPlateSpline(TPS)理论和代码
ThinPlateSpline理论和代码 TPS被广泛的应用于各类的任务中, 尤其是生物形态中应用的更多: 人脸, 动物脸等等, TPS是cubic spline的2D泛化形态. 值得注意的是, 图像处理中常用的仿射变换(Affine Transformation), 可以理解成TPS的一个特殊的变种.
暂时先整理相关资源，后面详细…
将cpu版本的pytorch换成gpu版本
1.首先激活虚拟环境
winRcmd 打开dos命令窗口 查看虚拟环境列表
conda env list 激活虚拟环境 2.将原来的pytorch_cpu版本换成gpu版本
注意：安装gpu版本的pytorch时并不需要先卸载原来的cpu版本pytorch,安装时会自己替换的
打开pytorch官网查看以前版本
Previo…
Pytorch中的Tensorboard常用API
SummaryWriter函数 这个函数用于创建一个tensorboard文件，其中常用参数有 log_dir：tensorboard文件的存放路径。不设置log_dir默认会在当前程序所在的文件夹下创建个runs文件夹存储flush_secs：表示写入tensorboard文件的时间间隔comment&…
使用Pytorch从零开始构建GRU
门控循环单元 (GRU) 是 LSTM 的更新版本。让我们揭开这个网络的面纱并探索这两个兄弟姐妹之间的差异。
您听说过 GRU 吗？门控循环单元（GRU）是更流行的长短期记忆（LSTM）网络的弟弟，也是循环神经网络&#x…
pytorch的基本运算，是不是共享了内存，有没有维度变化
可以把PyTorch简单看成是Python的深度学习第三方库，在PyTorch中定义了适用于深度学习的基本数据结构——张量，以及张量的各类计算。其实也就相当于NumPy中定义的Array和对应的科学计算方法，正是这些基本数据类型和对应的方法函数，…
Linux系统conda虚拟环境离线迁移移植
本人创建的conda虚拟环境名为yys（每个人的虚拟环境名不一样，替换下就行）
以下为迁移步骤：
1.安装打包工具将虚拟环境打包： conda install conda-pack conda pack -n yys -o yys.tar.gz
2.将yys.tar.gz上传到服务器&…
PyTorch 深度学习之卷积神经网络(高级篇)Advanced CNN(十)
0. Revision
前面讲的比较简单的是 串行网络结构 1. GoogLeNet 1.1 Inception module
w h 要一致 what is 11 convolution?
信息融合-eg.高中各门学科成绩比较(总分) 最主要工作:改变通道数量 why is 11 convolution?
减少10倍 1.2 implementation of inception module 拼…
【Tiny_CD】Tiny_CD变化检测网络详解（含python代码）
题目：TinyCD: A (Not So) Deep Learning Model For Change Detection
论文：paper
代码：code
目录
🍟 🍟1.摘要
🍗🍗 2.贡献
🍖🍖 3.网络结构
基于YOLOv8模型和UA-DETRAC数据集的车辆目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型和UA-DETRAC数据集的车辆目标检测系统可用于日常生活中检测与定位汽车（car）、公共汽车（bus）、面包车（vans）等目标，利用深度学习算法可实现图片、视频、摄像头等方…
【Python】pytorch，CUDA是否可用，查看显卡显存剩余容量
CUDA可用，共有 1 个GPU设备可用。 当前使用的GPU设备索引：0 当前使用的GPU设备名称：NVIDIA T1000 GPU显存总量：4.00 GB 已使用的GPU显存：0.00 GB 剩余GPU显存：4.00 GB PyTorch版本：1.10.1cu102 …
pytorch打印模型结构和参数
两种方式
当我们使用pytorch进行模型训练或测试时，有时候希望能知道模型每一层分别是什么，具有怎样的参数。此时我们可以将模型打印出来，输出每一层的名字、类型、参数等。 常用的命令行打印模型结构的方法有两种：
一是直接prin…
pytorch复现3_GoogLenet
背景： GoogLeNeta是2014年提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度(层数)来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。GoogLeNet通过引入i…
基于联合表示学习、用户聚类和模型自适应的个性化联合推荐
[Personalized Federated Recommendation via Joint Representation Learning, User Clustering, and Model Adaptation] (https://dl.acm.org/doi/abs/10.1145/3511808.3557668)
CIKM2022(CCF-B)
论文精读
文章主要创新点(消融实验分析的三个点)： 联合表示学习 …
语义分割 U2net网络学习笔记 （附代码）
论文地址：https://arxiv.org/abs/2005.09007 代码地址：https://github.com/xuebinqin/U-2-Net 强烈建议看一下B站霹导的原理讲解视频和代码讲解视频，链接放到最后了 1.是什么？
U2-Net是一种用于显着性目标检测的深度学习网络&…
Pytorch实战教程（二十九）-模型训练实用技巧
0. 前言 我们已经学习了多种图像分类模型的构建方法。在本节中，我们介绍在实际构建模型时影响模型性能的因素，包括数据质量(处理不平衡数据)、数据预处理(对象大小)、模型选择、超参数优化和正则化等，了解这些因素能够帮助我们更好地训练和优化机器学习模型。
1. 处理不平衡…
【动手学深度学习PyTorch版】16 经典卷积神经网络 LeNet
上一篇请移步【动手学深度学习PyTorch版】15 池化层_水w的博客-CSDN博客 目录
一、LeNet
1.1 手写数字识别
◼ 手写数字识别
◼ MNIST数据集
1.2 LeNet
1、INPUT层-输入层
2、C1层-卷积层
3、S2层-池化层（下采样层）
4、C3层-卷积层
5、S4层-池…
Pytorch数据集读出到transform全过程
最近写代码又遇见了这个问题，又忘记了，于是写一篇博客记录一下。 一般我们使用pytorch获取CIFAR10数据集，一般这样写：
mean [0.4914, 0.4822, 0.4465]
std [0.2023, 0.1994, 0.2010]
transform transforms.Compose([transform…
Pytorch torch.norm函数详解用法
torch.norm参数定义
torch版本1.6
def norm(input, p"fro", dimNone, keepdimFalse, outNone, dtypeNone)input
input (Tensor): the input tensor 输入为tensorp p (int, float, inf, -inf, fro, nuc, optional): the order of norm. Default: froThe following …
【Pytorch】Visualization of Feature Maps（3）
学习参考来自：
Image Style Transform–关于图像风格迁移的介绍github：https://github.com/wmn7/ML_Practice/tree/master/2019_06_03 文章目录 风格迁移 风格迁移
风格迁移出处：
《A Neural Algorithm of Artistic Style》（ar…
Pycharm创建项目新环境，安装Pytorch
在python项目中，很多项目使用的各类包的版本是不一致的。所以我们可以对每个项目有专属于它的环境。所以这个文章就是教你如何创建新环境。
一、创建新环境
首先我们需要去官网下载conda。然后在Pycharm下面添加conda的可执行文件。
用conda创建新环境。
二、…
如何解决混合精度训练大模型的局限性问题
混合精度已经成为训练大型深度学习模型的必要条件，但也带来了许多挑战。将模型参数和梯度转换为较低精度数据类型（如FP16）可以加快训练速度，但也会带来数值稳定性的问题。使用进行FP16 训练梯度更容易溢出或不足，导致优…
目标检测算法改进系列之Backbone替换为RepViT
RepViT简介
轻量级模型研究一直是计算机视觉任务中的一个焦点，其目标是在降低计算成本的同时达到优秀的性能。轻量级模型与资源受限的移动设备尤其相关，使得视觉模型的边缘部署成为可能。在过去十年中，研究人员主要关注轻量级卷积神经网络&a…
机器学习-Pytorch基础
Numpy和Pytorch可以相互转换，前者CPU上，后者GPU上，都是对矩阵进行运算，Pytorch的基本单位是张量。torch 可以初始化全为0、全为1、符合正态分布的矩阵确定性初始化
torch.tensor()torch.arrange()torch.linspace()torch.logspace…
Pytorch使用DataLoader, num_workers!=0时的内存泄露
描述一下背景，和遇到的问题：
我在做一个超大数据集的多分类，设备Ubuntu 22.04i9 13900KNvidia 409064GB RAM，第一次的训练的训练集有700万张，训练成功。后面收集到更多数据集，数据增强后达到了1000万张。…
Transformer预测 | Pytorch实现基于mmTransformer多模态运动预测（堆叠Transformer）
文章目录 文章概述程序设计参考资料文章概述 Transformer预测 | Pytorch实现基于mmTransformer多模态运动预测（堆叠Transformer） 程序设计 Initialize virtual environment: conda create -n mmTrans python=3.7# -*- coding: utf-8 -*-
import argparse
import os
机器学习笔记 - 基于pytorch、grad-cam的计算机视觉的高级可解释人工智能
一、pytorch-gradcam简介 Grad-CAM是常见的神经网络可视化的工具，用于探索模型的可解释性，广泛出现在各大顶会论文中，以详细具体地描述模型的效果。Grad-CAM的好处是，可以在不额外训练的情况下，只使用训练好的权重即可获得热力图。
1、CAM是什么？ CAM全称Class Activa…
PyTorch 深度学习之加载数据集Dataset and DataLoader(七)
1. Revision: Manual data feed
全部Batch：计算速度，性能有问题
1 个 ：跨越鞍点
mini-Batch:均衡速度与性能
2. Terminology: Epoch, Batch-Size, Iteration DataLoader: batch_size2, sheffleTrue 3. How to define your Dataset
两种处…
如何查看当前conda可供安装的所有pytorch版本
你可以使用以下命令在 Conda 中查看所有可用的 PyTorch 版本：
conda search -c pytorch pytorch这将列出 pytorch 通道中的所有可用版本。请注意， -c pytorch 指定了 pytorch 通道，以确保搜索的是 pytorch 官方通道中的包。在输出中…
Pytorch：torch.utils.data.DataLoader()
如果读者正在从事深度学习的项目，通常大部分时间都花在了处理数据上，而不是神经网络上。因为数据就像是网络的燃料：它越合适，结果就越快、越准确！神经网络表现不佳的主要原因之一可能是由于数据不佳或理解不足。因此&a…
YOLOv5改进 | 损失函数篇 | MPDIoU、InnerMPDIoU助力细节涨点
一、本文介绍
本文为读者详细介绍了YOLOv5模型的最新改进，带来的改进机制是最新的损失函数MPDIoU和融合了最新的Inner思想的InnerMPDIoU。提升检测精度和处理细节方面的作用。通过深入探讨MPDIoU和InnerMPDIoU(全网首发)的工作原理和实际代码实现，本文旨在指导读者如何将这些…
Pytorch Lightning 完全攻略
Pytorch-Lightning这个库我“发现”过两次。第一次发现时，感觉它很重很难学，而且似乎自己也用不上。但是后面随着做的项目开始出现了一些稍微高阶的要求，我发现我总是不断地在相似工程代码上花费大量时间，Debug也是这些代码花的时…
PyTorch模型训练过程内存泄漏问题解决
近日，在模型训练过程中，发现过一段时间后进程会被kill，观察发现是由于内存泄漏问题造成的。通过逐行代码注释，发现问题在于数据集中的此行代码：
info self.data_list[index]这里，self.data_list是dataset…
cpu版本的torch可以用清华镜像源安装
一、来到pytroch官网找到如下代码
官方提供的默认的安装cpu版本的torch的命令
pip3 install torch torchvision torchaudio二、使用清华镜像安装
pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
Python机器学习015：pytorch快速入门
相关网址 查询pytorch安装命令的网站： https://pytorch.org/get-started/locally/ 下载miniconda的网站： https://docs.conda.io/en/latest/miniconda.html#windows-installers pycharm下载网址： http://www.jetbrains.com/pycharm/download/#section=windows 这个好像失效了…
ConvBNReLU的作用
ConvBNReLU是一种常用的卷积神经网络结构，它的作用是在卷积层后面加上批量归一化（Batch Normalization，BN）和修正线性单元（Rectified Linear Unit，ReLU）激活函数，从而提高模型的性能…
深度学习（五）：pytorch迁移学习之resnet50
1.迁移学习
迁移学习是一种机器学习方法，它通过将已经在一个任务上学习到的知识应用到另一个相关任务上，来改善模型的性能。迁移学习可以解决数据不足或标注困难的问题，同时可以加快模型的训练速度。
迁移学习的核心思想是将源领域的知识迁…
如何使用torchrun启动单机多卡DDP并行训练
如何使用torchrun启动单机多卡DDP并行训练
这是一个最近项目中需要使用的方式，新近的数据集大概在40w的规模，而且载入的原始特征都比较大（5～7M），所以准备尝试DistributedDataParallel；
主要目…
torch 如何生成主对角阵?
可以使用 torch.eye() 函数生成主对角阵，并将对角元素设置为 0 或 1。具体来说，如果需要生成对角元素都为 0 的主对角阵，可以直接调用 torch.eye() 函数，并指定对角线上的元素为 0。如果需要生成对角元素都为 1 的主对角阵&#x…
ultralytics yolo图像分类训练案例；pytorch自有数据集图像分类案例
1、ultralytics yolo图像分类训练案例 优点：使用方便，训练过程评估指标可以方便查看 缺点：自带模型少，可选择自定义小 参考：https://docs.ultralytics.com/tasks/classify/#val https://blog.csdn.net/weixin_42357472/article/details/131412851
1）数据集格式 https://…
深入学习之anaconda、pytorch、cuda安装
文章目录 1. 安装CUDA与CUDNN2. Anaconda安装PyTorch3. notebook添加自己创建的环境4. Anaconda安装相关的库5. GPU测试 1. 安装CUDA与CUDNN
csdn大佬安装步骤 【CUDA】cuda安装 （windows版）
查看此电脑的CUDA版本配置 自己电脑上GPU使用的详细参数
n…
深入学习pytorch笔记
两个重要的函数 dir()： 一个内置函数，用于列出对象的所有属性和方法 help()：一个内置函数，用于获取关于Python对象、模块、函数、类等的详细信息
Dateset类
Dataset：pytorch中的一个类，开发者在训练和…
PyTorch 基础篇（1）：Pytorch 基础
Pytorch 学习开始 入门的材料来自两个地方：
第一个是官网教程：WELCOME TO PYTORCH TUTORIALS，特别是官网的六十分钟入门教程 DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ。
第二个是韩国大神 Yunjey Choi 的 Repo：pytorch-t…
【已解决】AttributeError: ‘DataFrame‘ object has no attribute ‘append‘
问题描述 AttributeError: ‘DataFrame‘ object has no attribute ‘append‘ 解决办法 原因是pandas版本升级弃用了，在老版本DataFrame的append方法。由于pandas与众多的第三方软件包捆绑，一般不宜轻易降低其版本号。故采用使用pandas的concat()方法将…
sahi切片辅助训练推理
本文的目的切片yolov5标注格式的数据，并保存图片和标注文件
代码实现步骤如下
把yolov5格式转换成coco格式标签；切片图片和coco标签；把切片出来的coco标签转换回yolov5标签格式
# 1. 把yolov5格式转换成coco格式标签；
# 2. 切片…
![[PyTorch][chapter 66][强化学习-值函数近似]](https://img-blog.csdnimg.cn/d2ff0e855c1a40db9f9511e127abde0b.png)
[PyTorch][chapter 66][强化学习-值函数近似]
前言 现实强化学习任务面临的状态空间往往是连续的,无穷多个。
这里主要针对这种连续的状态空间处理。后面DQN 也是这种处理思路。
目录： 1： 原理 2： 梯度更新 3： target 和 预测值 4 流程 一 原理 强化学习最重要的是得到 …
Pytorch当中squeeze(1)函数和unsqueeze(1)函数的区别及含义
一、squeeze(1）
在 PyTorch 中，.squeeze(1) 是用于张量维度操作的方法之一，它的作用是将张量中尺寸为 1 的维度压缩（去除）掉。
具体来说，如果张量在指定维度（这里是维度 1）上的尺寸…
关于pytorch张量维度转换大全
关于pytorch张量维度转换大全 1 tensor.view()2 tensor.reshape()3 tensor.squeeze()和tensor.unsqueeze()3.1 tensor.squeeze() 降维3.2 tensor.unsqueeze(idx)升维 4 tensor.permute()5 torch.cat([a,b],dim)6 tensor.expand()7 tensor.narrow(dim, start, len)8 tensor.resi…
PyTorch入门学习（十一）：神经网络-线性层及其他层介绍
一、简介
神经网络是由多个层组成的，每一层都包含了一组权重和一个激活函数。每层的作用是将输入数据进行变换，从而最终生成输出。线性层是神经网络中的基本层之一，它执行的操作是线性变换，通常表示为：
y Wx b其中…
pytorch笔记：split
torch.split 是 PyTorch 中的一个函数，用于将张量按指定的大小或张量数量进行分割
1 基本使用方法
torch.split(tensor, split_size_or_sections, dim0)tensor要分割的输入张量split_size_or_sections以是整数或整数列表。 如果是整数，那么它表示每个分…
【无标题】chapter6卷积
此例以说明全连接层处理图片的时候会遇到参数过多 模型过大的问题 参数比要研究的物体总数还多 卷积，特殊的全联接层 平移不变形，局部性
原本权重为二维（输入和输出全联接，想想下表组合，就是个二维的矩阵）…
![[内存泄漏][PyTorch](create_graph=True)](https://img-blog.csdnimg.cn/a8bf4ca0717745f0be9a2e8343df0447.png)
[内存泄漏][PyTorch](create_graph=True)
PyTorch保存计算图导致内存泄漏 1. 内存泄漏定义2. 问题发现背景3. pytorch中关于这个问题的讨论 1. 内存泄漏定义 内存泄漏（Memory Leak）是指程序中已动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致…
基于YOLOv8模型的水果目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的水果目标检测系统可用于日常生活中检测与定位苹果（apple）、香蕉（banan）、葡萄（grape）、橘子（orange）、菠萝（pineapple）和西…
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
Vision Transformer
Vision Transformer（ViT）是一种基于Transformer架构的神经网络模型，用于处理计算机视觉任务。传统的计算机视觉模型如卷积神经网络（CNN）在处理图像任务时取得了很大的成功，但CNN存在一…
WGAN基本原理及Pytorch实现WGAN
目录
1.WGAN产生背景
（1）超参数敏感
（2）模型崩塌
2.WGAN主要解决的问题
3.不同距离的度量方式
（1）方式一
（2）方式二
（3）方式三
（4&#…
pytorch一致数据增强
分割任务对 image 做（某些）transform 时，要对 label（segmentation mask）也做对应的 transform，如 Resize、RandomRotation 等。如果对 image、label 分别用 transform 处理一遍，则涉及随机操作的…
第十九章 解读利用pytorch可视化特征图以及卷积核参数(工具)
介绍一种可视化feaature maps以及kernel weights的方法
推荐可视化工具TensorBoard：可以查看整个计算图的数据流向，保存再训练过程中的损失信息，准确率信息等
学习视频：
使用pytorch查看中间层特征矩阵以及卷积核参数_哔哩哔哩…
关于torch.backends.deterministic和torch.backends.cudnn.benchmark
TLDR：这是个关于torch.backends.cudnn设置的问题，不同组合的torch.backends.deterministic和torch.backends.cudnn.benchmark会产生不一样的结果，其中最快的组合(deterministic False ,benchmark True)比最慢的组合(deterministic True ,b…
Pytorch-gpu环境篇
最最最头疼的就是配环境了
包之间的版本匹配问题
INSTALLING PREVIOUS VERSIONS OF PYTORCH 要考虑到pytorch和torchvision之间的匹配关系
显卡版本匹配问题
pytorch之load() eval()函数
1. load()函数
torch.load() 是 PyTorch 中用于从文件中加载序列化对象的函数。它可以用于加载模型、张量、字典等 PyTorch 对象。torch.load() 的一般用法如下：
torch.load(f, map_location=None, pickle_module=<module pickle from ...>)f：要加载的文件的路径（字…
针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法
针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法 文章目录 针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法Abstractscreen和tmux介绍tmux常用命令以及快捷键Byobu简单操作步骤集锦参考文献 Abstract
PyTorch多卡并行运行程序is one of the mos…
『PyTorch』张量和函数之gather()函数
文章目录 PyTorch中的选择函数gather()函数 参考文献 PyTorch中的选择函数
gather()函数
import torch
a torch.arange(1, 16).reshape(5, 3)
"""
result:
a [[1, 2, 3],[4, 5, 6],[7, 8, 9],[10, 11, 12],[13, 14, 15]]
"""# 定义两个index…
pytorch文本分类（三）模型框架（DNNtextCNN）
pytorch文本分类（三）模型框架（DNN&textCNN）
原任务链接 目录 pytorch文本分类（三）模型框架（DNN&textCNN）1. 背景知识深度学习 2. DNN2.1 从感知器到神经网络2.2 DNN的基本…
Pytorch项目肺癌检测项目之七 （总结）
1.两个模型的构建，分类模型（卷积）和分割模型（U-Net）模型
2.数据加载、损失、训练验证登录环节的代码编写
3.用F1 Score进行模型评估（混淆矩阵）
4.数据重复采样和数据增强等优化方法
5.使用T…
PyTorch常用工具（2）预训练模型
文章目录 前言2 预训练模型 前言
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。
由于内容较多，本文分成了五篇…
PyTorch深度学习实战 | 计算机视觉
深度学习领域技术的飞速发展，给人们的生活带来了很大改变。例如，智能语音助手能够与人类无障碍地沟通，甚至在视频通话时可以提供实时翻译；将手机摄像头聚焦在某个物体上，该物体的相关信息就会被迅速地反馈给使用者&…
新手也能理解的PyTorch激活函数详解
目录
torch.nn子模块Non-linear Activations
nn.ELU
主要特点与注意事项
使用方法与技巧
示例代码
图示
nn.Hardshrink
Hardshrink函数定义
参数
形状
示例代码
图示
nn.Hardsigmoid
Hardsigmoid函数定义
参数
形状
示例代码
图示
nn.Hardtanh
HardTanh函数…
新手可理解的PyTorch线性层解析：神经网络的构建基石
目录
torch.nn子模块Linear Layers详解
nn.Identity
Identity 类描述
Identity 类的功能和作用
Identity 类的参数
形状
示例代码
nn.Linear
Linear 类描述
Linear 类的功能和作用
Linear 类的参数
形状
变量
示例代码
nn.Bilinear
Bilinear 类的功能和作用
B…
优化器（一）torch.optim.SGD-随机梯度下降法
torch.optim.SGD-随机梯度下降法
import torch
import torchvision.datasets
from torch import nn
from torch.utils.data import DataLoaderdataset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue,transformtorchvision.transforms.ToTensor())
data…
【Pytorch】 理解张量Tensor
本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052 这是目录张量Tensor是什么？张量的创建为什么要用张量Tensor呢？总结张量Tensor是什么？
在深度学习中，我们经常会遇到一个概念ÿ…
动手学深度学习4 线性代数
动手学深度学习4 线性代数 1. 线性代数--数学意义2. 线性代数的实现3. 按特定轴求和4. 线性代数QA 1. 线性代数–数学意义
视频：https://www.bilibili.com/video/BV1eK4y1U7Qy/?spm_id_fromautoNext&vd_sourceeb04c9a33e87ceba9c9a2e5f09752ef8 课件ÿ…
【python、pytorch】
什么是Pytorch
Pytorch是一个基于Numpy的科学计算包，向它的使用者提供了两大功能。作为Numpy的替代者，向用户提供使用GPU强大功能的能力。做为一款深度学习的平台，向用户提供最大的灵活性和速度。
基本元素操作
Tenors张量：张量…
【技能---ubuntu20.04安装Anaconda】
文章目录 概要Anaconda安装Anaconda： 1.下载Anaconda32.安装Anaconda3总之：中间需要选择的都选yes或enter。 概要 在进行深度学习训练的过程中，我们面临的第一个问题就是深度环境的搭建，这是进行深度学习的第一步，那么…
模型的权值平均的原理和Pytorch的实现
一、前言
模型权值平均是一种用于改善深度神经网络泛化性能的技术。通过对训练过程中不同时间步的模型权值进行平均，可以得到更宽的极值点（optima）并提高模型的泛化能力。 在PyTorch中，官方提供了实现模型权值平均的方法。
这里…
Pytorch模型转Caffe
1. 支持的转换算子
github上实现的PytorchToCaffe的代码，支持转换的算子如下（参见:pytorch_to_caffe.py）:
F.conv2dRp(F.conv2d,_conv2d)
F.linearRp(F.linear,_linear)
F.reluRp(F.relu,_relu)
F.leaky_reluRp(F.leaky_relu,_leaky_relu)
…
UACANet: Uncertainty Augmented Context Attention for Polyp Segmentation代码
看一下整体的结构： 首先按照惯例我们测试一下模型的参数和计算量：
def main():model UACANet(channels256, output_stride16, pretrainedTrue) # (传入参数)model.eval()rgb torch.randn(1,3, 352, 352)summary(model, input_size[(3, 352,352)], d…
深度学习环境配置系列文章（二）：Anaconda配置Python和PyTorch
深度学习环境配置系列文章目录
第一章 专业名称和配置方案介绍 第二章 Anaconda配置Python和PyTorch 第三章 配置VS Code和Jupyter的Python环境 第四章 配置Windows11和Linux双系统 第五章 配置Docker深度学习开发环境 第二章文章目录 深度学习环境配置系列文章目录前言一&…
Pytroch nn.Unfold() 与 nn.Fold(）图码详解
文章目录 Unfold()与Fold()的用途nn.Unfold()Unfold()与Fold() 变化模式图解 nn.Fold()单通道 滑动窗口无重叠模拟图片数据（b,3,9,9），通道数 C 为3，滑动窗口无重叠。单通道 滑动窗口有重叠。 卷积等价于：Unfold Matri…
预训练时候 Pytorch FrozenBatchNorm (BN)一些小心得
在预训练模型中 会发现 这样使用：
# resnet model builder function
def build_resnet(archresnet50, pretrainedTrue,freeze_backbone_batchnormTrue, freeze_layer1True,norm_layermisc_nn_ops.FrozenBatchNorm2d):# weightsif pretrained: #如果是预训练 权重是…
【深度学习】【分布式训练】Collective通信操作及Pytorch示例
相关博客 【深度学习】【分布式训练】Collective通信操作及Pytorch示例 【自然语言处理】【大模型】大语言模型BLOOM推理工具测试 【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型 【自然语言处理】【大模型】用于大型Transformer的8-bit矩阵乘法介…
《计算机视觉和图像处理简介 - 中英双语版》：神经网络中的激活函数 ReLU vs Sigmoid
文章大纲 Neural Network Module and Training Function创建数据集Define Neural Network, Criterion function, Optimizer and Train the ModelTest Sigmoid and ReluAnalyze Results参考文献与学习路径在本文中，我们在具有两个隐藏层的MNIST数据集上测试Sigmoid和Relu激活函…
（pytorch进阶之路）Informer
论文：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting (AAAI’21 Best Paper)
看了一下以前的论文学习学习，我也是重应用吧，所以代码部分会比较多，理论部分就一笔带过吧
论文作者也很良心的…
pytorch不定长数据的dataloader读取
参考资料： https://pytorch.org/docs/stable/data.html#dataloader-collate-fn https://blog.csdn.net/anshiquanshu/article/details/112868740 在使用Pytorch深度学习框架的时候，一定绕不开的就是dataset和dataloader，后者依赖于前者&#…
初次使用yolov8遇到的问题
记录第一次使用yolo8跑自己的数据；
首先将官方文档看一下，大概捉摸了2个小时，地址：GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite
获得了基本的一些了解&#x…
gpu版本的GNN的demo
1、当涉及到在GPU上运行图神经网络（GNN）时，通常使用深度学习框架，如PyTorch或TensorFlow。在这里，我将为您提供一个使用PyTorch Geometric库实现GNN的简单示例。
首先，确保您已经安装了PyTorch和PyTorch G…
huggingface transformers框架个人记录
预备工作
创建虚拟环境：
conda create -n myenv#创建
conda activate myenv#激活安装transformers包
pip install githttps://github.com/huggingface/transformers
或者
conda install -c huggingface transformers
快速上手pipeline
transformer库中最基本…
PyTorch深度学习实战 | 自然语言处理与强化学习
PyTorch是当前主流深度学习框架之一，其设计追求最少的封装、最直观的设计，其简洁优美的特性使得PyTorch代码更易理解，对新手非常友好。本文主要介绍深度学习领域中自然语言处理与强化学习部分。自然语言区别于计算机所使用的机器语言和程序语…
【pytorch系列】优化器optimizer的使用与常用优化器
1 optimizer类实例 1.1 介绍 属性 【default】该实例的类型为 dict，元素为初始化时候的学习率等，具体的keys为 [lr,momentum, dampening, weight_decay, nesterov]【state】保存参数更新过程中的一些中间变量，如momentum的缓存（…
LSTM简单介绍—然后使用LSTM对FashionMNIST数据集处理
文章目录 LSTM 简单介绍LSTM的基本结构LSTM的工作原理输入门遗忘门输出门细胞状态更新输出计算 总结代码实例 LSTM 简单介绍
在自然语言处理、语音识别等领域，长短时记忆网络 (Long Short-Term Memory, LSTM) 已经成为了常用的模型之一。本文将介绍 LSTM 的基本结构…
一维卷积与一维平均池化的时间复杂度
计算请参考这篇文章：
(284条消息) 卷积神经网络的时间、空间复杂度以及数据流的变化_卷积的时间复杂度_Briwisdom的博客-CSDN博客
1. 时间复杂度 时间复杂度即模型的运行次数。
单个卷积层的时间复杂度：Time~O(M^2 * K^2 * Cin * Cout) //有的好奇小宝…
人工智能之配置环境教程二：在Anaconda中创建虚拟环境并在VsCode中使用
人工智能之配置环境教程二：在Anaconda中创建虚拟环境安装pytorch并在VsCode中使用虚拟环境 作者介绍一. 在Anaconda中创建虚拟环境1. 进入本地终端1.1 键盘使用**winR**快捷键1.2 输入**cmd**点击**确定**进入windows命令行终端 2. 安装镜像源2.1 添加镜像源 3. 创建…
pytorch转onnx踩坑日记
在深度学习模型部署时，从pytorch转换onnx的过程中，踩了一些坑。本文总结了这些踩坑记录，希望可以帮助其他人。
首先，简单说明一下pytorch转onnx的意义。在pytorch训练出一个深度学习模型后，需要在TensorRT或者openvin…
pytorch安装后遇到的问题
conda安装pytorch指令
conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia
-------------
import torchvision出错 安装成功后import torch正常，但是import torchvision提示报错，其中错误原因是 pillow版本过高&am…
pytorch 36 基于GT-seg标签生成伪seg标签模拟模型语义分割
在论文CascadePSP中提到对seg标签进行扰动，生成二值的伪seg标签，在此对其代码进行分析和改动，实现生成多值的伪seg标签，可用于模拟全局语义分割模型的分割结果。
1、关键代码
1.1 modify_boundary
modify_boundary函数是整个代码的关键，该函数主要实现对二值图轮廓的扰…
pytorch单张图片预测，如何代替DataLoader
1. 批量读取
trainset, valset, testset = get_dataset(cfg)test_loader = DataLoader(testset, batch_size=1, shuffle=False, num_workers=cfg[num_workers])这是一个 PyTor
【PyTorch】手把手带你快速搭建PyTorch神经网络
手把手带你快速搭建PyTorch神经网络1. 定义一个Class2. 使用上面定义的Class3. 执行正向传播过程4. 总结顺序相关资料话不多说，直接上代码1. 定义一个Class
如果要做一个神经网络模型，首先要定义一个Class，继承nn.Module，也就是i…
基于深度学习的三维重建网络PatchMatchNet（三）：如何利用patchmatchnet完成自己场景的数据集制作与利用自己的数据完成三维重建工作
目录 1.如何使用本篇博客
1.1 patchmatchnet网络环境配置
1.2 colmap环境配置
2.如何利用colmap制作自己的三维重建数据集
从 X 入门Pytorch——Tensor的自动微分、计算图，常见的with torch.no_grad()机制
这里写目录标题1 Pytorch计算图和自动微分2 将单个数据从计算图中剥离 .detach3 使用with torch.go_grad(): 包含的代码段不会计算微分1 Pytorch计算图和自动微分
从功能上理解： 计算图就是类似于数据结构中的无环有向图，Pytorch中的计算图就是为了记录…
YOLOv7-tiny网络结构图及yaml文件 详细备注
YOLOv7-tiny 整体网络结构图yolov7-tiny.yaml组件模块MXCBLSPPCSP结构图yaml构建代码MCB结构图yaml文件表示common.py代码参考整体网络结构图 yolov7-tiny.yaml
# parameters
nc: 80 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 …
CV+Deep Learning——网络架构Pytorch复现系列——Detection(二：RtinaNet)更换backbones(DarkNet)
上一话
CVDeep Learning——网络架构Pytorch复现系列——Detection(一：SSD:Single Shot MultiBox Detector 4.推理Detect)https://blog.csdn.net/XiaoyYidiaodiao/article/details/128683973?spm1001.2014.3001.5501 复现Object Detection，会复现的网络…
细粒度分类：NTS-Net源码笔记——Learning to Navigate for Fine-grained Classification
细粒度分类：NTS-Net源码笔记——Learning to Navigate for Fine-grained Classification 综述NTS-Net网络整体结构网络初始化阶段前向传播区域建议模块生成锚点图NMS损失函数信息量与置信度排序损失交叉熵损失函数数据集的加载初始化阶段迭代读取过程训练流程训练初始化阶段训…
使用Unit Scaling进行FP16 和 FP8 训练
Unit Scaling 是一种新的低精度机器学习方法，能够在没有损失缩放的情况下训练 FP16 和 FP8 中的语言模型。
使用FP16和BFLOAT16替代FP32可以将内存、带宽和计算需求的大幅减少，这也是目前越来越大的模型所需要的。
背景介绍
随着支持fp8的硬件的发展&…
pytorch深度学习基础（十一）——常用结构化CNN模型构建
结构化CNN模型构建与测试前言GoogLeNet结构Inception块模型构建resNet18模型结构残差块模型构建denseNet模型结构DenseBlocktransition_block模型构建结尾前言
在本专栏的上一篇博客中我们介绍了常用的线性模型，在本文中我们将介绍GoogleNet、resNet、denseNet这类…
PyTorch 深度学习框架：优雅而简洁的代码实现
PyTorch 是由 Facebook 发布的深度学习框架，旨在为研究人员和工程师提供快速、灵活和简单的实验平台。与其他框架相比，PyTorch 具有简洁的 API 和灵活的动态计算图，使得构建和训练深度神经网络变得更加优雅和简洁。本文将介绍 PyTorch 的基本…
Pytorch 的可复现性
ContentsControlling sources of randomnessRandom number generatorCUDA convolution benchmarkingAvoiding nondeterministic algorithmsCUDA convolution determinismCUDA RNN and LSTMDataLoaderSummaryReferences首先说明，即使使用完全相同的 seed，…
pytorch 根据bool矩阵取出tensor中对应位置元素
1. bool矩阵当做索引（类型是：BoolTensor）
结果为一维向量（因为bool矩阵二维的，根据bool矩阵中True对应位置，把tensor数据中相应位置中的值取出来，组成一个新的一维tensor向量）
#布…
pytorch 笔记
1.python文件、python控制台、jupyter代码执行比较 2.Dataset和Dataloader 3.tensorboard 4. transform结构及用法 4.1常见的transform 将PIL图片转化为带神经网络参数的Tensor图片ToTensor 将图片归一化Normalize 4.2 常见的Transforms resize-图片重置长和宽 transforms.r…
多个模型的参数的保存与导入
保存两个模型的参数
filename ./models/vgg16/ocr.pth
state {model:model.state_dict(),lossnet:lossnet.state_dict()}
torch.save(state, filename)载入两个模型
load_name ./models/vgg16/ocr.pth
checkpoint torch.load(load_name)
model.load_state_dict(checkpoin…
torch一次性设置随机种子复现及torch.backends.cudnn设置
def setup_seed(seed):torch.manual_seed(seed)torch.cuda.manual_seed_all(seed)np.random.seed(seed)random.seed(seed)torch.backends.cudnn.deterministic True # 为了确定算法，保证得到一样的结果。torch.backends.cudnn.enabled True # 使用非确定性算法t…
DataLoader问题TypeError: ‘tuple‘ object is not callable
问题描述
DataLoader迭代出来的image或者label报错。
问题原因及措施
class face_dataset(data.Dataset):def __init__(self):self.file_path ./data/faces/fopen("final_train_tag_dict.txt","r")self.label_dicteval(f.read())f.close()def __getite…
SegFormer程序调试记录
环境配置
首先是cuda环境配置：
conda create -n seg python3.8随后激活环境：
source activate segpytorch安装
安装pytorch版本，博主使用的是pytorch1.7.0
conda install pytorch1.7.0 torchvision0.8.0 torchaudio0.7.0 cudatoolkit11.…
【视频分割】【深度学习】MiVOS官方Pytorch代码--Propagation模块FusionNet网络解析
【视频分割】【深度学习】MiVOS官方Pytorch代码–Propagation模块FusionNet网络解析 MiVOS模型将交互到掩码和掩码传播分离，从而实现更高的泛化性和更好的性能。单独训练的交互模块将用户交互转换为对象掩码，传播模块使用一种新的top-k过滤策略在读取时空…
深度学习 Day26——利用Pytorch实现天气识别
深度学习 Day26——利用Pytorch实现天气识别 文章目录深度学习 Day26——利用Pytorch实现天气识别一、前言二、我的环境三、前期工作1、导入依赖项和设置GPU2、导入数据3、划分数据集四、构建CNN网络五、训练模型1、设置超参数2、编写训练函数3、编写测试函数4、正式训练六、结…
BART模型简单介绍
目录 一、概要
二、深入扩展
2.1 预训练任务
2.2 模型精调 一、概要 BART（Bidirectional and Auto-Regressive Transformers）模型使用标准的基于Transformer的序列到序列结构，主要区别在于用GeLU（Gaussian Error Linerar Units…
【PyTorch】第六节：乳腺癌的预测（二分类问题）
作者🕵️♂️：让机器理解语言か 专栏🎇：PyTorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
PyTorch----激活函数
什么是激活函数？ 在神经网络中我们经常使用线性运算来解决分类问题，这就需要激活函数来解决非线性问题 传统的全连接网络是让数据不断的通过线性函数和激活函数层，从而得到最终的预测结果。 Sigmoid函数
sigmoid函数是最经典、最早使用的…
Pytorch基础 - 0. Tensor数据类型与存储结构
目录
1. Tensor数据类型
2. Tensor存储结构 在讲PyTorch这个系列之前，先讲一下pytorch中最常见的tensor张量，包括数据类型，创建类型，类型转换，以及存储方式和数据结构。
1. Tensor数据类型
(1) 一共包括9种数据类型…
Pytorch 容器 - 1. Module类介绍
目录
1. 基于Module构建自己的网络
2. Module的初始化变量
3. Modules中需要子类 forward()
4. Modules中其他内置函数 1. 基于Module构建自己的网络
torch.nn.Module是所有神经网络模块的基类，如何定义自已的网络：
由于 Module 是神经网络模块的基…
PyTorch深度学习实战 | 基于线性回归、决策树和SVM进行鸢尾花分类
鸢尾花数据集是机器学习领域非常经典的一个分类任务数据集。它的英文名称为Iris Data Set，使用sklearn库可以直接下载并导入该数据集。数据集总共包含150行数据，每一行数据由4个特征值及一个标签组成。标签为三种不同类别的鸢尾花，分别为&…
【材料整理】 --Pytorch基础知识2
文章目录 文章目录写在前面神经网络的基本骨架 - nn.Module神经网络卷积层神经网络——非线性激活神经网络-线性层及其他层介绍写在前面
本系列内容主要是对小土堆的《Pytorch》课程的笔记整理。 b站地址：https://www.bilibili.com/video/BV1hE411t7RN?spm_id_fro…
【Python/Pytorch - Bug】-- Could not install packages due to an EnvironnentError
文章目录问题截图问题分析解决办法：问题截图 问题分析
分析：这个bug有几个奇怪的地方： 1、install命令没有用，报错原因是因为环境的问题
2、明明是正确的代码，运行的时候，却报语法错误。按着这个错误去找…
带你一文透彻学习【PyTorch深度学习实践】分篇—— 卷积神经网络CNN（基础篇）| 附：完整实例源代码 | 手把手教你如何在GPU上来跑
Yesterday been history，tomorrow to be mystery，today is gift.That’s why it is called present.
你患得患失，太在意从前，又太担心将来，有句话说得好，昨天是段历史，明天是个迷团，而今天是天赐的礼物，像珍惜礼物那样珍惜今天。 🎯作者主页： 追光者♂🔥 …
深度学习及使用全连接神经网络实现手写数字识别案例开发
1.什么是深度学习和机器学习有什么区别？是什么原因使得部分问题机器学习无法解决需要深入研究深度学习？
人工智能、机器学习、深度学习的区别是什么？_哔哩哔哩_bilibili
深度学习是一种机器学习方法，它通过构建多层神经网络来实…
Dish - TS：减轻时间序列预测中分布偏移的一般范式
摘要
时间序列预测中的分布偏移（TSF）指的是序列分布随时间发生变化，这很大程度上阻碍了TSF模型的性能。现有针对时间序列中分布偏移的研究主要限于分布的量化，更重要的是忽略了回视窗口和预测窗口（horizon windows&am…
统计软件与数据分析Lesson17----利用pytorch构建LSTM预测股票收益率详细教程
利用pytorch构建LSTM预测股票收益率详细教程 1. 整体实现思路2.代码编写2.1 step1:导入所需的库2.2 step2: 读取数据、构建训练样本2.3 step3: 定义部分辅助函数2.4 step4:LSTM模型构建2.5 step5:模型训练2.6 step6:模型预测和评估 3. 小结 1. 整体实现思路 step1:导入所需的库…
【深度学习】yolov7 pytorch模型转onnx，转ncnn模型和mnn模型使用细节
文章目录 前言1.前置1.1 安装必要的库1.2 .pt 权重转ncnn 和mnn所需要的权重 2、编码C项目1.ncnn2.mnn 总结 前言
yolov7 pytorch模型转onnx，转ncnn模型和mnn模型使用细节，记录一下 git仓库： yolov7 https://github.com/WongKinYiu/yolov7 n…
基于GPT的聊天机器人（未完待续）
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。
目录
一、简单介绍与参考鸣谢
二、数据集介绍
三、数据预处理
1、重复标点符号表达
2、英文标点符号变为中文标点符号
3、繁…
PyTorch是什么?
在现代人工智能领域，深度学习技术发挥着至关重要的作用。要实现深度学习，研究人员和工程师需要依赖一些高效、灵活的软件库。PyTorch就是这样一款深受欢迎的库。本文将对PyTorch进行简要介绍，以帮助你更好地理解这一强大工具。
什么是PyTorc…
语义实例分割1-01：snake(实时实例分割))-资源下载（前奏准备）
以下链接是个人关于 voxelpose(多视角3D人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：a944284742相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励…
pytorch 优化器调度器
一.优化器调度器概念
优化器调度器(optimizer scheduler)是神经网络训练过程中用来自适应地调整学习率 α \alpha α 或其他超参数的方法。优化器调度器根据训练过程中的学习率、训练损失、验证损失等指标的变化自动调整超参数，从而使得模型的训练和验证效果更加稳定和高效。…
行人重识别01-00：OpenUnReID(SpCL)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析OpenUnReID(SpCL-行人重识别)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以…
动作识别0-12：mmaction2(SlowFast)-源码无死角解析（8）-SlowFastHead-分类层
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-11：mmaction2(SlowFast)-源码无死角解析（7）-slow_path，fast_path网络构建
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 …
动作识别0-03：mmaction2(SlowFast)-白话给你讲论文-翻译无死角（1）
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
【标准化方法】(3) Group Normalization 原理解析、代码复现，附Pytorch代码
今天和各位分享一下深度学习中常用的标准化方法，Group Normalization 数据分组归一化，向大家介绍一下数学原理，并用 Pytorch 复现。
Group Normalization 论文地址：https://arxiv.org/pdf/1803.08494.pdf 1. 原理介绍
在目标检测…
Ubuntu22.04.2 LTS 安装nvidia显卡驱动及配置pytorch
首先安装显卡驱动
首先，查看我们可以使用的驱动版本，使用如下指令。可以看到打印出来的可以安装的版本号
sudo ubuntu-drivers devices
之后安装一个较新版本的驱动，使用如下指令。
$ sudo apt install nvidia-driver-470
安装完成后&am…
pytorch ray 出现 Windows fatal exception: access violation错误的解决方案(远程主机强迫关闭了一个现有的连接)
训练PPO算法，出现Windows fatal exception: access violation问题。PPO算法是一个多线程算法，为了加速训练，使用GPU和显存加速计算。该问题不能稳定复现。
为了节约现存，PPO的公共参数
储存在内存中，worker数据存储在…
![pytorch 1.8.1 安装方法及坑点（no matching distribution found for xxx、OSError: [WinError 193] %1 不是有效的 Win32）](https://csdnimg.cn/release/blog_editor_html/release1.9.1/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=L892){kind=icon}
pytorch 1.8.1 安装方法及坑点（no matching distribution found for xxx、OSError: [WinError 193] %1 不是有效的 Win32）
安装方法：
1、pip安装
面向Windows的Pytorch完整安装教程_冰海的博客-CSDN博客_windows安装pytorch目录1. 概述2. 安装2.1 安装cuda2.2 安装cudnn2.3 安装Pytoch2.4验证1. 概述PyTorch是一个开源的Python机器学习库，其前身是著名的机器学…
算法学习（十七）——A2C和PPO
个人理解：
ACadvantage A2C
A2C重要性采样TD(n) PPO
A2C：
所谓A2C就是在AC的基础上加了一个Advantage，公式有如下改进： 但是Q可以由V计算而来，因此转变位： 目的在于：给Q值增加一个基线&am…
PyTorch典型函数之gather
PyTorch典型函数之gather 作用描述函数详解典型应用场景(1) 深度强化学习中计算损失函数 参考链接 作用描述 如上图所示，假如我们有一个Tensor A（图左），要从A中提取一部分元素组成Tensor B（图右）࿰…
基于深度学习的高精度打电话检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度打电话检测识别系统可用于日常生活中或野外来检测与定位打电话目标，利用深度学习算法可实现图片、视频、摄像头等方式的打电话目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检…
六、PyTorch 深度学习 处理多维特征的输入
07处理多维特征的输入
来源：B站 刘二大人
源代码：
import numpy as np
import torch
import matplotlib.pyplot as plt# prepare dataset
xy np.loadtxt(diabetes.csv.gz, delimiter,, dtypenp.float32)
x_data torch.from_numpy(xy[:, :-1]) # 第…
Python 深度学习 PyTorch Tensors新手入门必备教程
**
深度学习Pytorch Tensors部分讲解
**
# 导入库
import torch
import numpy as np1.创建Tensor
1.1 直接从数据创建
# 可以直接利用数据创建tensor,数据类型会被自动推断出
data [[1, 2], [3, 4]]
x_data torch.tensor(data)
print(x_data)tensor([[1, 2],[3, 4]])1.2…
Python Pandas新人必备入门教程
**
Python Pandas的使用简介
**
import pandas as pd
import numpy as np1.Series
s pd.Series([1,3,6,np.nan,44,1])
print(s) # 索引在左边，值在右边
print(s.values) # 输出值
print(s.index) # 输出索引
# 默认索引从0开始，可以自己指定索引…
【已解决】Pycharm的Terminal终端和cmd终端的执行内容不同
最近在跑项目的过程中，很奇怪，Pycharm的Terminal终端和cmd终端的执行内容不同。
例如：同样是执行pip list 结果Pycharm的Terminal终端和cmd终端返回的安装包列表完全不一样。
原因： Pycharm的Terminal终端和cmd终端编辑器不一。…
【已解决】Python字符串如何实现多个字符分割
0 Python字符串如何实现多个字符分割。
主要针对需要转义的字符！！ 亲测有效！！ 网上也能找到很多相关脚本，但是奇怪，在我这都用不了。 因此决定做此记录，希望对于同在此迷茫的小伙伴提供参考。 …
【已解决】AttributeError: ‘Upsample‘ object has no attribute ‘recompute_scale_factor’
项目yolo v5中，终端执行detect.py文件时出现AttributeError属性报错，解决如下：
1 光标定位Upsampling.py，点击报错跳转 2 如行154示，直接删除or注释， recompute_scale_factorself.recompute_scale_factor …
【YOLOv5代码整理】
YOLO v5代码整理1 yolo前期准备-安装pytorch注意，需要安装pytorch 1.6版本以上创建虚拟环境命令行conda create -n my_pt38 python3.8激活my_pt38环境：
conda activate my_pt38在所创建的环境下安装pytorch的1.6版本以上（官网https://pytorc…
Jupyter Notebook操作快捷键【持续增加】
1.Jupyter Notebook默认不显示行号，可是当我们代码报错时，发现会显示自己多少行出现错误 快捷键shift L 搞定！
【已解决】Microsoft Visual C++ Redistributable is not installed
【Error】导入torch，提示报错： Microsoft Visual C Redistributable is not installed, this may lead to the DLL load failure. 【Cause】 Anaconda没有默认安装在C盘；系统没有安装VC Redistributable程序。 【Resolve】
VC Redistributab…
理解神经网络的注意力机制（Attention）及PyTorch 实现
刚刚结束的 2022 年对于人工智能的许多进步来说是不可思议的一年。最近 AI 中的大多数著名地标都是由称为变形金刚的特定类别模型驱动的，无论是 chatGPT 的令人难以置信的进步，它席卷了世界，还是稳定的扩散，它为您的智能手机带来了类似科幻小说的功能。即使是 Tesla 的自动…
Python代码最好的加密.pyd——easycython（Windows系统）
1 安装easycython
1.1 建议选用python 3.6及其以下的版本！！
1.2 CMD命令行
pip install easycython2 安装Visual Studio
2.1 下载 点击链接 https://visualstudio.microsoft.com/zh-hans/free-developer-offers/ 2.2 安装注意事项 记得勾选红色下图的…
Pytorch学习系列之九：OpenCV加载onnx模型进行推理
0. 为什么选着OpenCV进行推理 按道理，使用OpenVINO推理套件（引擎）进行优化加速推理，或者其他推理套件进行推理，比如TensorRT等等。OpenVINO是英特尔推出的一款全面的工具套件，用于快速部署应用和解决方案，支持计算机视觉的CNN网络结构超过150余种。 但引入推理套件（引擎…
python虚拟机集锦（2）-垃圾收集算法（2）
目录 识别参考循环为什么移动无法访问的对象更好正在销毁无法访问的对象优化：世代收集最古老的一代 识别参考循环
当GC启动时，它在第一个链接列表中拥有所有要扫描的容器对象。目标是移动所有无法到达的对象。由于大多数对象都是可访问的，因…
简单记录：AVE(变分自动编码器)，pytorch + MNIST
介绍
详细介绍这篇博客讲的很好 变分自编码器（一）：原来是这么一回事 - 科学空间|Scientific Spaces 损失函数 ##变分自动编码器的损失函数
## 均方差 KL divergence
reconstruction_function nn.MSELoss(size_averageFalse)
def loss_fu…
简单记录：自动编码器，pytorch + MNIST
目录
介绍
NET
多层感知机版
卷积版
train
可视化
test 介绍
自动编码器（ AutoEncoder）最开始作为一种数据的压缩方法,其特点有: (1）跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据,因为使用神经网络…
pytorch rpc如何实现分物理机器的model parallel
因为业务需要，最近接到一项任务，是如何利用pytorch实现model parallel以及distributed training。搜罗了网上很多资料，以及阅读了pytorch官方的教程，都没有可参考的案例。讲的比较多的是data parallel，关于model paral…
Transformer入门学习
摘要：记录一下自己在10月份参加DataWhale组队学习transformer的所得。这篇博客主要关于transformer基本原理的学习和一个输入序列转换的简单demo，并补充了一些transformer在CV领域的variants，希望本次组队学习能帮助自己快速入门，…
NeRF-SLAM代码记录
前言
没运行成功，尤其是编译gtsam部分，每一步都有错，又是讨厌c++第一天。 这一行编译到92% 就会报错
python/CMakeFiles/gtsam_py.dir/build.make:250: recipe for target python/CMakeFiles/gtsam_py.dir/linear.cpp.o failed
make[2
PyTorch 深度学习 || 专题四：搭建神经网络
搭建神经网络
一、使用 torch.nn.Module 类构建网络模型 搭建自己的网络模型，我们需要新建一个类，让它继承 torch.nn.Module 类，并必须重写Module 类中的 init() 和 forward() 函数。init() 函数用来申明模型中各层的定义，forwar…
基于深度学习的高精度人体摔倒行为检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度人体摔倒行为检测识别系统可用于日常生活中或野外来检测与定位人体摔倒行为目标，利用深度学习算法可实现图片、视频、摄像头等方式的人体摔倒行为目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系…
Pytorch系列1: torch.nn.Sequential()讲解
torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。通俗的话说，就是根据自己的需求，把不同的函数组合成一个（小的）模块使用或者把组合的模块添加到自己的网络中。主要有两种使用方…
【CV中的Attention机制】语义分割中的scSE模块
摘要: 本文介绍了一个用于语义分割领域的attention模块scSE。scSE模块与之前介绍的BAM模块很类似，不过在这里scSE模块只在语义分割中进行应用和测试，对语义分割准确率带来的提升比较大。 提出scSE模块论文的全称是：《Concurrent Spatial and …
行人重识别02-05：fast-reid(BoT)-pytorch编程规范(fast-reid为例)2-DefaultTrainer解析
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
pytorch指定权重初始化方式
如果网络权重不初始化，pytorch有一套默认初始化机制，本人没有研究具体怎么初始化的，和tensorflow标准正态分布初始化效果一样，下面是指定初始化代码：
conv nn.Conv2d(*args, **kwargs)
conv.weight.data.normal_() …
数据集打乱顺序代码（自定义shuffle)
直接可以用
def Shuffle(self, x, y,randomNone, intint):"""x, randomrandom.random -> shuffle list x in place; return None.Optional arg random is a 0-argument function returning a randomfloat in [0.0, 1.0); by default, the standard random.r…
【youcans动手学模型】DenseNet 模型-CIFAR10图像分类
欢迎关注『youcans动手学模型』系列 本专栏内容和资源同步到 GitHub/youcans 【youcans动手学模型】DenseNet 模型-CIFAR10图像分类 1. DenseNet 神经网络模型1.1 模型简介1.2 论文介绍1.3 改进方法与后续工作1.4 分析与讨论 2. 在 PyTorch 中定义 DenseNet 模型类2.1 DenseBlo…
LSTM 模型实践一
简单介绍
原因：普通的RNN（Recurrent Neural Network）对于长期依赖问题效果比较差，当序列本身比较长时，神经网络模型的训练是采用backward进行，在梯度链式法则中容易出现梯度消失和梯度爆炸的问题。
解决&…
pytorch 介绍
是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。不仅能够 实现强大的GPU加速，同时还支持动态神经网络.
PyTorch提供了两个高级功能： 1.具有强大的GPU加速的张量计算（如Numpy） 2.包含自动求导系统…
深度学习调参tricks总结
Warmup
学习率是神经网络训练中最重要的超参数之一，针对学习率的技巧有很多。Warm up是在ResNet论文[26]中提到的一种学习率预热的方法。由于刚开始训练时模型的权重(weights)是随机初始化的(全部置为0是一个坑，原因见[27])，此时选择一个较大…
【深度学习】pytorch pth模型转为onnx模型后出现冗余节点“identity”，onnx模型的冗余节点“identity”
情況描述
onnx模型的冗余节点“identity”如下图。
解决方式
首先，确保您已经安装了onnx-simplifier库：
pip install onnx-simplifier然后，您可以按照以下方式使用onnx-simplifier库：
import onnx
from onnxsim import simp…
pytorch低版本找到并安装torch_geometric对应版本
一、找到官网的安装命令
不同版本的torch_geometric 对应的安装命令不完全一致，因此我们需要首先找到所需torch_geometric版本的正确安装命令。然后再去找对应的版本。
目前torch_geometric官网上只有pytorch 2.0.* 和1.13.* 版本的 torch_geometric 版本对应关系…
第一天，掌握PyTorch的张量创建
文章目录 一，张量二，创建张量1. 直接从数据来创建张量Tensor函数TODO ：从数据直接创建张量 2. 从numpy数据创建张量from_numpy函数从numpy数据创建张量 3. 从另一个张量来进行创建张量4. 使用随机值或者常数值来创建张量5. 张量的属性&#x…
【学习分享】目标检测中的锚框(Anchor)
目录锚框引例锚框不同尺度的锚框先验框与特征图的对应锚框类别信息的确定锚框生成锚框
引例
在理解目标检测的锚框之前，我们首先通过一个不太严谨的例子对锚框进行一个简单的了解： 由于目前污染比较严重，导致海洋中漂浮着许多垃圾ÿ…
【报错解决】ValueError: batch length of `text`: xx does not match batch length of `text_pair`: xx.
错误样例输入和输出
样例代码如下：
from transformers import GPT2Tokenizer,GPT2Model
tokenizer GPT2Tokenizer.from_pretrained(gpt2)
model GPT2Model.from_pretrained(gpt2)
special_tokens_dict {cls_token: <CLS>}
num_added_toks tokenizer.add…
【Pytorch】【代价函数】【损失函数】{ nn.CrossEntropyLoss()和nn.NLLLoss()，各种损失函数讲解，sigmoid cross-entropy}
nn.CrossEntropyLoss()和nn.NLLLoss()https://blog.csdn.net/zwqjoy/article/details/96282788 各种损失函数讲解https://zhuanlan.zhihu.com/p/148102828
sigmoid cross-entropyhttps://www.cnblogs.com/henuliulei/p/13742376.htmlhttps://www.cnblogs.com/Ryan0v0/p/133068…
ResNet论文解读及代码实现（pytorch）
又重新看了一遍何凯明大神的残差网络，之前懵懵懂懂的知识豁然开朗了起来。然后，虽然现在CSDN和知乎的风气不是太好，都是一些复制粘贴别人的作品来给自己的博客提高阅读量的人，但是也可以从其中汲取到很多有用的知识，我…
简单有趣的变形金刚网络（VIT） Vision Transformer（网络结构详解+详细注释代码+核心思想讲解）——pytorch实现
论文题目： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 原论文下载链接：https://arxiv.org/abs/2010.11929原论文对应源代码：mirrors / google-research / vision_transformer GitCode Transformer最先应用于在NIP领域，并且取得了巨大的…
longformer代码结构解读
Longformer模型难点解读_sliding_chunks_query_key_matmul函数之中的结构变换1.当size[1] 1的情况下，data数据保持不变2.当size[1] 2的情况下，data数据中间变为乘2加一，对应数据变化如下：3.当size[1]3，对应数据变化如…
transformers之中mt5和t5的区别
为了查看transformers结构之中mt5结构和t5结构的区别，这里采用代码对比法，相同的程序分别调用mt5结构和t5结构 使用mt5的结构
from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer T5Tokenizer.from_pretrained("/home/…
附代码 DFNet ：Learning a Discriminative Feature Network for Semantic Segmentation
Learning a Discriminative Feature Network for Semantic Segmentation论文解读
代码链接：https://github.com/lxtGH/dfn_seg
摘要：
我们提出了一个判别特征网络(DFN)，它包含两个子网络：平滑网络和边界网络。具体来说…
附代码 RefineNet
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation 论文解读
代码链接：https://github.com/markshih91/refinenet_pytorch 参考链接：https://blog.csdn.net/qq_40520596/article/details/104530587
摘要ÿ…
torch.optim.lr_scheduler--学习率调整总结
目录调用例子：方法：一、lr_scheduler的手动方法：1.torch.optim.lr_scheduler.LambdaLR2.torch.optim.lr_scheduler.MultiplicativeLR3.torch.optim.lr_scheduler.StepLR4.torch.optim.lr_scheduler.MultiStepLR5.torch.optim.lr_scheduler.Co…
附代码 Deeplab V2（附迁移学习代码）
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 论文解读
V1链接：https://blog.csdn.net/weixin_44543648/article/details/122576853 V3链接：https://blog.csdn.net/weixin_44543…
附代码 DeeplabV1:SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS
SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS论文解读
V2链接：https://blog.csdn.net/weixin_44543648/article/details/122599976 V3链接：https://blog.csdn.net/weixin_44543648/article/details/122829741 论…
AttributeError: ‘RecursiveScriptModule‘ object has no attribute ‘copy‘
问题背景：
在使用pytorch的pt文件推理时候，model.load_state_dict(state_dict)出现了AttributeError: RecursiveScriptModule object has no attribute copy报错，是因为torch保存模型种类的问题，torch保存模型有jit.trace()和jit…
一、【Pytorch笔记】pytorch简介，开发环境安装，搭建
一、下载Anaconda
Anaconda包括Conda、Python以及一大堆安装好的工具包（其他深度学习里用到的东西），比如：numpy、pandas等。所以下了Anaconda就不用下载Python进入Anaconda官网：https://www.anaconda.com/download/下…
《动手学深度学习》Task10：图像分类案例2+GAN+DCGAN
文章目录1 图像分类案例22 GAN3 DCGAN1 图像分类案例2
Kaggle上的狗品种识别（ImageNet Dogs）
在本节中，我们将解决Kaggle竞赛中的犬种识别挑战，比赛的网址是https://www.kaggle.com/c/dog-breed-identification 在这项比赛中&am…
深度学习--深度学习框架对比
框架简介优点缺点点评Theano2008年诞生于LISA实验室，其设计具有较浓厚的学术气息。 作为第一个Python深度学习框架，Theano很好的完成了自己的使命，为之后深度学习框架的开发奠定了基本设计方向： 以计算图为框架的核心，…
Multispectral Deep Neural Networks for Pedestrian Detection/用于行人目标检测的多光谱深度神经网络
目录📝论文下载地址👨🎓论文作者📦模型讲解[背景介绍][论文解读][Vanilla-ConvNet][实施细节][结果对比][Multispectral-ConvNet][它们真的互补吗？][卷积融合模型][结果分析][数据集][检测评估][候选区域评估]&#…
《动手学深度学习》Task04：机器翻译及相关技术+注意力机制与Seq2seq模型+Transformer
文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq2seq模型3 Transformer3.1 Transformer结构概念3.2 Transfor…
DDcGAN：用于多分辨率图像融合的双判别器生成对抗网络
目录📝论文下载地址🔨代码下载地址👨🎓论文作者📦模型讲解[背景介绍][论文解读][DDcGAN总体结构][损失函数][网络具体结构][生成器][判别器][医学影像的融合][结果分析][数据集以及参数设置][训练细节][评估指标][红…
DenseFuse：红外和可见图像的融合方法
目录📝论文下载地址🔨代码下载地址👨🎓论文作者📦模型讲解[论文解读][网络结构][损失函数][训练过程][融合策略][相加策略][L1范数策略][结果分析][训练阶段][实验设置][评价指标][融合结果评估][RGB图像与红外图像的…
Pytorch代码笔记
Pytorch代码笔记 1. argparser的使用2. 加载图像2.1 按路径获取图像3 训练技巧3.1. 断点继续训练3.2. 删除临时文件3.3. 生成log3.4. 生成tensorboard绘图所用文件1. argparser的使用
argsparse是python的命令行解析的标准模块，内置于python，不需要安装。这个库可以让我们直…
基于深度学习的高精度水果检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度水果（苹果、香蕉、葡萄、橘子、菠萝和西瓜）检测识别系统可用于日常生活中或野外来检测与定位水果目标，利用深度学习算法可实现图片、视频、摄像头等方式的水果目标检测识别，另外支持结果可视…
[算法前沿]--022-Pytorch从0编写Transformer算法
文章目录 预备工作背景模型架构Encoder部分和Decoder部分EncoderDecoderAttention模型中Attention的应用基于位置的前馈网络Embeddings and Softmax位置编码完整模型训练批处理和掩码Training Loop训练数据和批处理硬件和训练时间Optimizer正则化标签平滑实例<
人工智能(pytorch)搭建模型15-手把手搭建MnasNet模型，并实现模型的训练与预测
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型15-手把手搭建MnasNet模型，并实现模型的训练与预测，本文将介绍MnasNet模型的原理，并使用PyTorch框架构建一个MnasNet模型用于图像分类任务，…
python 保存和读取中间变量
三种方法： pickle， joblib， pd.read_pickle
很简单，知道包之后就可以搜，教程很多，此处不再赘述。
需要说明的是，根据类型的不同，使用不同的包会报错，目前遇到的有&…
Pytorch权重初始化/参数初始化
refer:
【Pytorch】各网络层的默认初始化方法 https://blog.csdn.net/guofei_fly/article/details/105109883 20230625
其实Pytorch初始化方法就在各自的层的def reset_parameters(self) -> None:方法中。
有人可能会问为什么这个方法和Pytorch直接出来的权重初始值不一样…
Bert Pytorch 源码分析：二、注意力层
# 注意力机制的具体模块
# 兼容单头和多头
class Attention(nn.Module):"""Compute Scaled Dot Product Attention"""# QKV 尺寸都是 BS * ML * ES# （或者多头情况下是 BS * HC * ML * HS，最后两维之外的维度不重要&#…
python生成一个256维的PyTorch张量，其中每个值都是100
python生成一个256维的PyTorch张量，其中每个值都是100 问题描述解决办法 问题描述
生成一个256维的PyTorch张量，其中每个值都是100，比较常用，记录一下。
解决办法
代码如下
import torch# 生成维度为256的全100张量
tensor t…
【问题记录】如何使用 pip 在 linux 上安装 pytorch
一、进入 pytorch 官网
pytorch 官网：https://pytorch.org/
二、在页面选择环境 三、复制官网弹出的命令并运行即可
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pytorch和trt预测结果分析方法
出现这种问题，有几种可能
模型参数加载出错卷积核实现问题喂入数据格式不对网络结构不对
先排除3.方法很简单，就是输出形状对比。
然后想办法排除1，2，4。喂入网络（pytorch和trt）一个白色图像。然后每个Se…
第二章（一） 进程、线程
文章目录2.1.1 进程的定义、组成、组织方式、特征进程的定义进程的组成总进程的组织链接方式索引方式进程的特征总2.1.2 进程的状态与转换进程的状态三种基本状态另外两种状态进程转态的转换总2.1.3 进程的控制定义如何实现进程的控制（用原语）进程状态转…
22种transforms数据预处理方法
来源：投稿 作者：阿克西 编辑：学姐 建议搭配视频学习↓
视频链接：https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6
1.数据增强（data augmentation）
数据增强又称为数据增广，数据…
Windows11 Anaconda安装Pytorch
今天学习PCA的时候，找到了一个大佬的代码，用到了Pytorch，之前都是在服务器跑的，自己电脑没有装，所以今天就安装一下。 Windows11 Anaconda安装Pytorch1 查看一下自己电脑中conda的环境2 创建一个新的环境3 激活新创建的…
MiniConda、CUDA、CUDnn以及pytorch环境的配置以及坑
文章目录 一、MiniConda安装、介绍1.1 Conda是什么？1.2 MiniConda是什么？1.3 安装方法1.4 Conda常用命令1.5 杂项 二、CUDA 以及 CUDnn三、Pytorch安装总结 首先需要说明一下，我想安装的是Pytorch GPU版，所以需要安装CUDA toolkit…
【阅读笔记】概率预测之MQ-RNN(含Pytorch代码实现)
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，关于论文翻译可以查看参考文献。论文地址：https://arxiv.org/abs/1711.11053 MQ-RNN 一. 全文总结二. 研究方法三. 结论四. 创新点五…
《深度学习实战》汇总
对《深度学习实战》杨云、杜飞著这本书进行了学习，完成了所有的编码问题，将所有内容整理完毕。 原本课程代码是Python2，本人使用Python3进行了重写，使用版本Python 3.8.2。
源代码下载：
https://gitee.com/zuiyixin/…
![[PyTorch][chapter 37][经典卷积神经网络-2 ]](https://img-blog.csdnimg.cn/2bae29152c4343d88a2b594a6b074798.png)
[PyTorch][chapter 37][经典卷积神经网络-2 ]
1： VGG
2: GoogleNet 一 VGG 1.1 简介 VGGNet 是牛津大学计算机视觉组（Visual Geometry Group）和谷歌 DeepMind 一起研究出来的深度卷积神经网络，因而冠名为 VGG。VGG是一种被广泛使用的卷积神经网络结构，其在在20…
ResNet || 基于PyTorch的代码实现 + 迁移学习
文章目录1 class Basicblock1.0 expansions是什么1.1 输入的参数1.2 conv1层的参数1.3 forward函数2 class Bottleneck写在前面：上一篇博文介绍了ResNet 、 Batch Normalization 、 迁移学习的原理，有兴趣的小伙伴可以一起学习！ 这里是引用 1…
RuntimeError: No CUDA GPUs are available
print(torch.cuda.is_available()) 在使用Cuda之前都需要检测一下cuda是否可用，没检测就默认没有
Anaconda和PyTorch环境配置及安装
目录
1. Anaconda 下载
2. Anaconda 安装
3. Nvidia 显卡配置 , 无Nvidia 显卡直接跳过
驱动下载
驱动安装
4.管理Andconda3环境 5. 安装 PyTorch
安装最新版,打开PyTorch官网，下拉到下面的页面,配置如下：
推荐下载安装历史版,最新版在yolov5中莫…
pytorch学习笔记，cnn与gpu加速
cnn代码，警告见gpu版修正，版本问题。
import torch
import torch.nn as nn
import torch.utils.data as Data
import torchvision # 数据库模块
import matplotlib.pyplot as pltimport logginglogger logging.Logger(None)torch.manual_seed(1) …
【神经网络搜索】Once for all
【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。 文章目录0. Info1. Motivation2. Contribution3.…
PyTorch Lightning工具学习
【GiantPandaCV导语】Pytorch Lightning是在Pytorch基础上进行封装的库，为了让用户能够脱离PyTorch一些繁琐的细节，专注于核心代码的构建，提供了许多实用工具，可以让实验更加高效。本文将介绍安装方法、设计逻辑、转化的例子等内容…
pytorch学习笔记，回归和分类
回归
import torch
import matplotlib.pyplot as pltx torch.unsqueeze(torch.linspace(-1, 1, 100), dim1) # x data (tensor), shape(100, 1)
y x.pow(2) 0.2*torch.rand(x.size()) # noisy y data (tensor), shape(100, 1)# 画图
plt.scatter(x.data.n…
存储管理方式（扩容，缩减，快照，删除）+RAID+压缩
lvm
pv：物理卷，被lv命令处理过的物理分区 多个磁盘pv组织为一个逻辑设备vg
vg：物理卷组，被组装到一起的物理卷 类似于拓展分区 没办法直接格式化。需要lv 分割成很多个pe作为存储使用的
pe：图里扩展，lv…
VS Code + Conda + Pytorch
系统为W10 安装顺序为：VS code > Conda > Pytorch 一、安装VS code
官网下载其安装包，依次点击安装即可。推荐自定义安装路径。 安装完成后，需要设置系统变量的环境。
验证是否成功： python —version
若显示该python的版…
from . import model(相对路径和绝对路径的问题)
前面
在这里还是要重点强调一下，能够使用绝对路径，就尽量不用相对路径，除非是模型搭建的初始化中必要的设计，要不然很容易出错。
之前读了几个博客，并且照样实现了一下，发现，若是在单独的项目…
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for VQA 阅读笔记
解决VQA(Visual Question Answering)问题的关键在于如何从图片和问题中提取有用的特征, 并将二者进行有效地融合。目前对于VQA问题的研究路线分为两个主要部分, 一是更好的attention机制, 二是改进的特征融合方式。一般而言这两部分属于模型独立模块, 而本文认为两者是有联系的…
torch.einsum详解
举例：
vector torch.tensor([[1,2,3,4,5],[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1],[1,1,1,1,1]])
a vector[0, :]
weight torch.arange(225).view(5, 5, 3, 3)
out torch.einsum(oihw,o->oihw, weight, vector[0,:])
print(out)
# 等于在两个 O 维…
完整的神经网络模型训练套路
以下就是完整的神经网络模型训练套路，我们拿到的数据集是CRIF10，CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。它能够将图像进行10分类。我们就用CIFAR10来进行神经网络的训练…
GPU内存溢出，以及forward() missing 1 required positional argument: ‘x‘；设置GPU
问题
在实验过程里，总是遇到GPU内存溢出的问题，怎么改batchsize都不行 表面原因设置gpu的代码有问题。究其原因，还是因为穷。 在代码里
import os
os.environ[CUDA_VISIBLE_DEVICES] "0,1,2" 或在终端里
CUDA_VISIBLE_DEVICES…
【SOT】MDNet（在线更新）代码笔记
论文：Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 代码：https://github.com/hyeonseobnam/py-MDNet
网络整体结构：
论文中的重点：
首先进行多领域学习。学习完成后，当给定一个测试序…
【SOT】SiamRPN代码笔记
代码来源：https://github.com/laisimiao/siamrpn.pytorch 结合博客关于SiamRPN代码的一些要点 下面是阅读上述SiamRPN代码时的笔记 1、template frame和detection frame经过相同的Siamese Network得到一个feature,然后经过RPN的classification branch和regression b…
为什么深度学习中一般使用mean=[0.485, 0.456, 0.406]和std=[0.229, 0.224, 0.225]来归一化图像?
Q：图像预处理部分在resize后还会使用均值：image_mean[0.485,0.456,0.406]，标准差：image_std[0.229,0.224,0.225]进行归一化，为什么使用这几个值？
A：image_mean[0.485,0.456,0.406]、image_std[…
self training
What is self-training?
在监督学习中，模型都是需要有一个大量的有标签的数据集进行拟合，通常数据成本、人力成本都很高。而现实生活中，无标签的样本的收集相对就很容易很多。因此，近年来，利用大量的无标签样本和少量…
Ubuntu离线安装Pytorch和torchvision
Ubuntu离线安装Pytorch和torchvision
首先明确torch和torchvision的对应依赖版本
torchtorchvisionpythoncuda1.510.61>3.610.1，10.21.500.6.0>3.610.1，10.21.4.00,5.0>3.5，<3.89.2，10.01.3.10.4.2>3.5ÿ…
yolo v3训练过程中报错 non-finite loss的解决方法
报错
WARNING: non-finite loss, ending training {box_loss: tensor([nan], devicecuda:0, grad_fn<MulBackward0>), obj_loss: tensor([nan], devicecuda:0, grad_fn<MulBackward0>), class_loss: tensor([nan], devicecuda:0, grad_fn<MulBackward0>)}
…
1、GAN(Generative Adversarial Networks)论文及pytorch实现
GAN论文及pytorch实现一、论文1、Introduction2、相关工作3、对抗网络 Adversarial nets4and5、公式推导和实验结果展示6、优势和劣势7、结论二、代码实现本文是学习笔记，本人目前能力有限，对此理解远远不够，还在不断学习中，如有问…
pytorch实现LeNet-MNIST数据集
LeNet实现代码运行结果代码
#完整的训练模型LeNet#导入库
import torch
import torchvision
from torchvision import transforms as tf
from torch.utils.data import DataLoader
from torch import nn, optim
from tensorboardX import SummaryWriter
from PIL import Image…
pytorch学习笔记--trochvision.datasets和DataLoader的使用
trochvision.datasets和DataLoader的使用一、datasets二、DataLoader补充：datasets类的代码本文为学习笔记，感谢PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】
一、datasets
datasets工具在trochvision中
…
tensorboard显示无数据解决方法No scalar data was found 以及终端命令tensorboard --logdir logs无反应
本文记录在学习tensorboard时遇到的坑，tensorboard显示无数据解决方法No scalar data was found 以及终端命令tensorboard --logdir logs无反应
2022/3/25更新
时至今日我才发现真正的原因： 其实是路径问题 如果在F:\python_project\deep_learning\lo…
卷积神经网络LeNet的实现--mxnet
#卷积神经网络LeNet的实现#1导入库
from mxnet import autograd,nd,gluon,init
from mxnet.gluon import loss as gloss ,nn ,data as gdata
import mxnet as mx
import time
import d2l.mxnet as d2l#2模型创建
net nn.Sequential()
net.add(nn.Conv2D(channels6,kernel_size…
Python机器学习之游戏自动驾驶（三）
3. 如何进行测试
在测试阶段关键在于如何通过python对电脑发出相应的按键操作，因为我们的目的是让神经网络根据游戏的画面给出对应的操作，要想给出对应的操作也需要用到最开始所说的win32包，下面给出发送按键操作指令的代码
import ctypes
…
Pytorch卷积层输入输出大小计算
Pytorch中Conv2d有下面几个参数：
input_channels, output_channels, kernel_size, stride, padding, group
若输入图片为正方形，设输入为（C1, H1, W1）,输出为(C2, H2, W2)
则
C2 out_channels
H2 W2 ((H1 or W1 - kernel_…
线性不可分二分类问题的神经网络方法（pytorch实现）
首先生成一个线性不可分数据集
import numpy as np
import matplotlib.pyplot as pltN 200x1 np.linspace(-1, 1, N) # (1, 100)
y1 x1 ** 2 0.2 * np.random.rand(N) # (1, 100)
x1 np.reshape(x1, (N, 1)) # (100, 1)
y1 np.reshape(y1, (N, 1)) # (100, 1)x_c1 …
DDR：利用RGBD的基于维度分解残差网络的3D语义场景重建方法
目录📝论文下载地址👨🎓论文作者📦模型讲解[背景介绍][论文解读][总体结构][DDR维度分解残差模块][基础DDR][深层DDR][特征提取模块][2D特征提取器][2D转3D投影层][3D特征提取器][多级特征融合][轻量级ASPP模型][训练及损失][结…
pytorch基本算子
permute
将tensor的维度换位。 nn.functional.unfold()
unfold的作用就是手动实现(卷积中)的滑动窗口操作，也就是只有卷，没有积
行数为4，即对应着22的滑动窗口大小；而每一列的元素为滑动窗口依次所覆盖的内容，一共滑…
pytorch 加载 本地 roberta 模型
在利用Torch模块加载本地roberta模型时总是报OSERROR，如下： OSError: Model name ./chinese_roberta_wwm_ext_pytorch was not found in tokenizers model name list (roberta-base, roberta-large, roberta-large-mnli, distilroberta-base, roberta-b…
使用Yolov5-v5.0 + Yolov5_DeepSort-v2.0跟踪行人
Yolov5-v5.0 Yolov5_DeepSort-v2.0
下载Yolov5_DeepSort-v2.0
git clone https://github.com/mikel-brostrom/Yolov5_DeepSort_Pytorch.git下载Yolov5-v5.0
git clone https://github.com/ultralytics/yolov5.git将Yolov5-v5.0文件内所有文件移动到Yolov5_DeepSort-v2.0/yo…
【pytorch】图像数据预处理
本文是记录一些在深度学习中的预处理的一些语法和函数 2D、3D中心裁剪：
import random
def random_crop_2d(img, label, crop_size):random_x_max img.shape[0] - crop_size[0]random_y_max img.shape[1] - crop_size[1]if random_x_max < 0 or random_y_max …
炼丹系列2: Stochastic Weight Averaging (SWA) Exponential Moving Average(EMA)
这个系列将记录下本人平时在深度学习方面觉得实用的一些trick，可能会包括性能提升和工程优化等方面。 该系列的代码会更新到Github 炼丹系列1: 分层学习率&梯度累积 炼丹系列2: Stochastic Weight Averaging (SWA) & Exponential Moving Average(EMA) 炼丹系…
TensorRTTriton学习笔记(一)：triton和模型部署+client
前言
先介绍TensorRT、Triton的关系和区别：
TensorRT：为inference（推理）为生，是NVIDIA研发的一款针对深度学习模型在GPU上的计算，显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架&…
win10+anaconda安装yolov5的依赖项
yolov5依赖性：
pip3 install opencv-python4.4.0.46 -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip3 install numpy1.19.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip3 install Cython0.29.21 -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip3 ins…
yolov6 win10环境配置详细过程
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、yolov6 下载二、环境配置三、测试环境四、报错集合前言
提示：这里可以添加本文要记录的大概内容：
最近美团开源了yolov6 源码&…
RuntimeError: mat1 and mat2 shapes cannot be multiplied (1024x1 and 1024x3)
RuntimeError: mat1 and mat2 shapes cannot be multiplied (1024x1 and 1024x3)
前言：在学习pytorch 搭建神经网络的时候，测试网络发现出现RuntimeError: mat1 and mat2 shapes cannot be multiplied (1024x1 and 1024x3)的错误，记录下。
…
yolact windows10 环境配置详细过程
yolact windows10 环境配置详细过程
一、下载yolact
1.使用git 命令下载
git clone https://github.com/dbolya/yolact.git //下载yolact
cd yolact //进入yolact2.进入github 手动下载yolact，点击【Code】选择Download ZIP，即可下载。
二、创建…
window10 pytorch编译DCNv2 遇到的错误 （yolact ++)
window10 pytorch编译DCNv2 遇到的错误
错误1：
UserWarning: Attempted to use ninja as the BuildExtension backend but we could not find ninja.. Falling back to using the slow distutils backend.解决方案：
pip install ninja错误2࿱…
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution前言解决办法前言
今天使用yolov5.6版本训练模型，修改batchsize为32。出现如下错误：
Starting training for 100 epochs...Epoch gpu_mem box obj cls …
yolov5 + libtorch1.9 +vs2017 模型部署C++
yolov5 libtorch1.9 vs2017 模型部署C
一、模型转换：在C中调用pytorch模型需要转换成torchscript。
1.pt模型转换torchscript模型代码
import argparse
import sys
import timesys.path.append(./) # to run $ python *.py files in subdirectoriesimport torc…
yolov5快速安装环境
yolov5快速安装环境
1.打开Anaconda Prompt，进入base 环境 2.在base环境下，创建yolov5的环境。
(base) C:\Users\Administrator>conda create -n yolov550 python3.7 //yolov550为自己命名的环境名称，python3.7 指定python的版本为3.7
…
yolov5 模型部署NCNN（详细过程）
yolov5 模型部署NCNN
一、编译ncnn
1、在github官网输入 ncnn ,找到Tencen\ncnn 下载ncnn 2.打开vs2017 工具 x64 Native Tools Command Prompt for VS 2017 3.下载protobuf-3.4.0到本地
4.编译protobuf的动态库，输入以下命令：
cd <protobuf-ro…
windows WSL配置cuda，pytorch和jupyter notebook
机器配置
GPU: NVIDIA Quadro K2000
与 NVIDIA 驱动程序捆绑的CUDA版本 但按照维基百科的描述，我的GPU对应的compute capability3.0，允许安装的CUDA最高只支持10.2，如下所示。 为什么本地会显示11.4呢？对此，GPT是这…
pytorch--基于语音的性别识别
pytorch官网
基于梅尔频谱的语音性别分类模型，训练了20epoch，准确率97% 提升点有很多：还可以基于声纹特征作为训练集、数据预处理的逻辑、transform的逻辑（修改transform会导致数据的张量维度变更，可能需要更改模型结…
【3D 图像分割】基于 Pytorch 的 3D 图像分割11（预测结果评估）
如果要对预测结果，与标记结果进行评估，判断下模型的预测能力怎么样，该怎么办呢？在论文里面经常采用dice coeff这个值作为横向比较评判的标准。
而在实际的使用中，你们都会采用什么其他的评估方法，评价指标呢？本文采用更加直观的召回率和平均案例的假阳性率作为评价模型…
PyTorch基本操作和工作流程
1. PyTorch基础 张量（Tensors）： 学习 PyTorch 中表示数据的基本单元。了解如何创建、操作和使用张量。 自动微分（Autograd）： 了解 PyTorch 的自动微分机制，这是训练神经网络的核心。 模型定义…
Torch同时训练多个模型
20230302
引言
在进行具体的研究时，利用Torch进行编程，考虑到是不是能够同时训练两个模型呢？！而且利用其中一个模型的输出来辅助另外一个模型进行学习。这一点，在我看来应该是很简单的，例如GAN网络同时训…
BERT-pytorch源码实现，解决内存溢出问题
BERT-pytorch源码实现，解决内存溢出问题
相信大家很多人都在做BERT这个模型，但是，有些人可能就是直接从transfermer这个模型里直接导入数据，但是这种方法不方便我们修改模型，于是有些人就通过pytorch详细实现了BERT,但…
Pytorch从零开始实战11
Pytorch从零开始实战——ResNet-50V2算法实战
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——ResNet-50V2算法实战环境准备数据集模型选择开始训练可视化总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pyt…
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。
VAE
VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对…
cuda 在 torch神经网络中哪些地方可以用？
简言之，3部分： 1、数据data可以放在GPU上 2、网络net可以放在GPU上 3、损失函数loss可以放在GPU上 CUDA可以用于在torch神经网络中进行GPU加速计算，包括模型的训练和推理过程。具体来说，可以使用CUDA加速以下操作：
模…
神经网络的核心：简单易懂理解 PyTorch 非线性激活函数
目录
torch.nn子函数非线性激活详解
nn.Softmin
Softmin 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码
nn.Softmax
Softmax 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码
nn.Softmax2d
Softmax2d 函数简介
函数工作原理
输入…
910b上跑Chatglm3-6b进行流式输出【pytorch框架】
文章目录 准备阶段避坑阶段添加代码结果展示 准备阶段
配套软件包Ascend-cann-toolkit和Ascend-cann-nnae适配昇腾的Pytorch适配昇腾的Torchvision Adapter下载ChatGLM3代码下载chatglm3-6b模型，或在modelscope里下载
避坑阶段
每个人的服务器都不一样࿰…
PyTorch模型训练集正常收敛，但验证集准确率稳定在10%并保持不变
问题描述
训练过程中遇到的一个Bug，可能是跟Torch本身有关，如下图和题目所示，经过多轮训练，训练准确率开始收敛，但是验证准确率保持在10%左右不变。 排查手册
一般来说这表示模型本身可能存在问题，下面列…
Pytorch入门指南
在学习某个深度学习框架时，掌握其基本知识和接口固然重要，但如何合理组织代码，使得代码具有良好的可读性和可扩展性也必不可少。本文不会深入讲解过多知识性的东西，更多的则是传授一些经验，你可以将这部分当成是一种参…
PyTorch中的padding操作
1. 介绍
我们知道，在对图像执行卷积操作时，如果不对图像边缘进行填充，卷积核将无法到达图像边缘的像素，而且卷积前后图像的尺寸也会发生变化，这会造成许多麻烦。
因此现在各大深度学习框架的卷积层实现上基本都配备了…
关于Vision Transformer的复现其环境配置
安装tqdm库、matplotlib库、fvcore库
tqdm/tqdm: A Fast, Extensible Progress Bar for Python and CLI 使用fvcore计算Pytorch中模型的参数数量以及FLOPs
安装TensorBoard
直接 pip install tensorboard Pytorch 1.9.0 Tensorboard 2.5.0可视化工具使用记录
在Pytorc…
pip安装第三方库超时解决办法
pip安装第三方库超时解决办法
以ipython为例
C:\Users\shenyf>pip install ipython
WARNING: Ignoring invalid distribution -ip (d:\python37\lib\site-packages)
WARNING: Ignoring invalid distribution -ip (d:\python37\lib\site-packages)
Collecting ipythonUsing…
Pytorch中.detach()与.data()的用法
这里是官方文档对detach的定义 实际上，detach()就是返回一个新的tensor，并且这个tensor是从当前的计算图中分离出来的。但是返回的tensor和原来的tensor是共享内存空间的。
import torcha torch.tensor([1.0, 2.0, 3.0], requires_grad True)
a a.de…
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks论文详解
论文链接：https://arxiv.org/abs/1910.03151
代码地址：https://github.com/BangguWu/ECANet
摘要
现有的注意力方法开发更复杂的注意力模块来提升性能，增加了计算负担。本文提出了一个有效的通道注意(ECA)模块，它只涉及少量的&…
Pruning Filters for Efficient ConvNets详解
Pruning Filters for Efficient ConvNets 作者：弓 长 木 公 论文： https://arxiv.org/pdf/1608.08710.pdf github代码：https://github.com/tyui592/Pruning_filters_for_efficient_convnets
主要思想：
由于CNN通常在不同的 Filt…
Spatial Transformer Networks(STN)-代码实现
Spatial Transformer Networks(STN)-代码实现 pytorch为了方便实现STN，里面封装了affine_grid和grid_sample两个高级API。 STN的基本步骤是： Localisationnet\color{blue}Localisation\;netLocalisationnet(参数预测)： Localisation net模…
pytorch学习-4：快速搭建+保存提取
快速搭建保存提取
1. 快速搭建
上一讲神经网络时用到的步骤. 我们用 net1 代表这种方式搭建的神经网络。用 class 继承了一个 torch 中的神经网络结构, 然后对其进行了修改。
class Net(torch.nn.Module):def __init__(self, n_feature, n_hidden, n_output):super(Net, sel…
pytorch学习-3：线性回归
线性回归
1. 问题描述
一个一元二次函数: yax2byax^2byax2b, 我们给 yyy 数据加上一点噪声来更加真实的展示它。
import torch
import matplotlib.pyplot as pltx torch.unsqueeze(torch.linspace(-1, 1, 100), dim1) # x data (tensor), shape(100, 1)
y x.pow(2) 0.2*…
pytorch学习-1：Torch vs Numpy
Torch vs Numpy
1. numpy, torch 之间的转换
Torch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好咯. 就像…
老电脑安装pytorch一直显示Your installed CUDA driver is:10.0
Your installed CUDA driver is:10.0
出现这个情况，就是电脑配置最高位10.0
而pytorch-gpu版本，支持10.0的只有pytorch1.2版本
高版本是不支持较低cuda的，所以只能自己在重新找个合适的版本下载了，
个人试过1.6、1.7版本的pyt…
raw文件对比脚本（transpose、view与permute的异同）
1。计算两个feature之间的相似度，对比两个raw文件的差异。
（使用余玄相似性对比，越接近1越相似。）
import numpy as np
import cv2
import torch
import torch.nn as nn
import os
import random
import argparse
import copyif…
mmdetection框架中的测试脚本(python)
此脚本是针对yolohead网络的，从yolohead头部出来的outs（NHWC，Cclassnum41）结果，通过后处理，得到最终的坐标框，并在图片上画出。
代码
import numpy as np
import cv2
import torch
import os
…
Tensorflow框架与常用函数
目录
一、Tensorflow框架
二、Tensorflow常用函数
三、与Pytorch对比
四、其他框架 一、Tensorflow框架
1、Tensorflow V1.0框架：
将一系列的计算流程抽象为一张数据流图，包含节点和边两个基础元素；
“会话”将前台与后台连接起来&…
卷积神经网络（CNN）基本概念
一、卷积神经网络基本概念
卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元相连接。在CNN的一个卷积层中，通常包含若干个特征平面，每个特征平面都由一些矩形排列的神经元…
pytorch神经网络学习笔记(3)
分类 import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt#生成数据
n_datatorch.ones(100,2)
#类别1的数据
x0 torch.normal(2*n_data,1)
#类别1的标签
y0 torch.zeros(100)
#类别2的数据
x1 torch.normal…
如何为不固定输入图片尺寸的CNN-based image retrieval network生成固定长度的feature embedding
今天在看GeM pooling (generalized mean pooling)的代码的时候发现他们用的测试集（paris6k和oxford5k）的尺寸是不固定的。作为image retrieval net小白的我就很好奇他们是如何保证在用固定kernel size的CNN的情况下还能最终生成一样长度的feature embedd…
PyTorch Week 3——模型创建
系列文章目录
PyTorch Week 2——Dataloader与Dataset
PyTorch Week 1 文章目录系列文章目录一、模型二、“构建”与“拼接”1. LeNet的实现2.nn.Module总结一、模型
模型包括两个部分，一是模型创建，二是权值初始化。 模型创建就是使用卷积层、池化层…
mmrotate旋转目标检测框架的学习与使用
目录
前言
一、环境配置
1. 下载checkpoint文件
2. 运行demo
二、制作自己的数据集
1. 标注数据
2. 标签格式转换
3. 可视化数据集
4. 数据集裁剪
三、 修改配置文件
1. 修改classes
2. 修改训练参数
四、训练并测试
1. 训练
2. 测试
3. 预测
五、总结
参考资…
最新PyTorch机器学习与深度学习实践技术应用
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受…
pytorch dropout 置零 + 补偿性放缩
一句话概括：（训练过程中）Dropout 操作 随机置零 非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。
详细解释(来自chatgpt):
在 PyTorch 中，dropout 的操作不仅仅是将某些元素置零。为了确保期望输出在训练和测试…
LibTorch实战四：模型序列化
目录
在C环境中加载一个TORCHSCRIP
Step1： 将pytorch模型转为torch scrip类型的模型
1.1、基于Tracing的方法来转换为Torch Script
1.2、基于Annotating (Script)的方法来转换为Torch Script
Step2： 序列化torch.jit.ScriptModule类型的对象&#x…
Pytorch张量通过索引获取指定数据
import torch
x torch.tensor([1,2,3])x
Out[3]: tensor([1, 2, 3])x[0] # 索引操作：取单个数字
Out[4]: tensor(1)x[0:1] # 切片操作：可以保持维度不变
Out[5]: tensor([1])x[torch.tensor([True,False,True])] # 布尔值索引，通过条件筛…
Pytorch-CNN轴承故障一维信号分类(二)
目录
前言
1 数据集制作与加载
1.1 导入数据
1.2 数据加载，训练数据、测试数据分组，数据分batch
2 CNN-2D分类模型和训练、评估
2.1 定义CNN-2d分类模型
2.2 定义模型参数
2.3 模型结构
2.4 模型训练
2.5 模型评估
3 CNN-1D分类模型和训练、评…
Pytorch-Transformer轴承故障一维信号分类(三)
目录
前言
1 数据集制作与加载
1.1 导入数据
第一步，导入十分类数据
第二步，读取MAT文件驱动端数据
第三步，制作数据集
第四步，制作训练集和标签
1.2 数据加载，训练数据、测试数据分组，数据分batch…
【Python报错合集】Python元组tuple、张量tensor（IndexError、TypeError、RuntimeError……）~持续更新
文章目录 IndexError1. tuple index out of rangea. 示例代码b.报错原因c.解决方案 TypeError1. len() of a 0-d tensora. 示例代码b.报错原因c.解决方案 RuntimeError1. output with shape … doesnt match the broadcast shape …a. 示例代码b.报错原因c.解决方案 2. Cant ca…
Pytorch 里面torch.no_grad 和model.eval(), model.train() 的作用
torch.no_grad: 影响模型的自微分器，使得其停止工作；这样的话，数据计算的数据就会变快，内存占用也会变小，因为没有了反向梯度计算，当然，我哦们也无法做反向传播。 model.eval() 和model.train()…
[PyTorch][chapter 6][李宏毅深度学习][Logistic Regression]
前言： logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 逻辑回归根据给定的自变量数据集来估计事件的发生概率，由于结果是一个概率…
网络架构学习之FCNVMB（基于U-Net架构）
目录 一、U-Net介绍
1.1 网络简单介绍 1.2 网络特点
二、FCNVMB介绍
2.1 文章简介
2.2 网络简单介绍
2.3 代码介绍
2.4 跳跃连接
2.5 训练过程
2.6 FCNVMB与InversionNet的比较 一、U-Net介绍
1.1 网络简单介绍 U-Net是基于全卷积网络下一个语义分割应用于生物医学的深…
【深度学习环境配置】ubuntu 20.04+4060 Ti+CUDA 11.8+pytorch（装机、显卡驱动、CUDA、cudnn、pytorch）
文章目录 如何安装ubuntu20.04系统总体安装流程参考0. ubuntu 换源1. 禁用nouveau2. 安装gcc2.5 安装python3. :star2::star2::star2:安装显卡驱动 (此步很重要)4. 安装cuda5. 安装miniconda6. 安装cudnn7. 安装pytorch8. 所有都安装成功，验证cuda,pytorch,cudnn9. …
一行命令解决 深度学习环境 TensorFlow PyTorch Keras安装 cuda cudnn 配置
估计你已经被深度学习环境的安装和配置整得焦头烂额了，cuda和cudnn的安装配置真的好麻烦，下面我将告诉你只要用一行代码就可以解决这个问题。
不过首先，你得下载安装anaconda环境，而不是使用纯Python软件。
然后创建一个你想要运…
Ubuntu 18.04 安装pytorch cuda
安装Anaconda3 Ubuntu18.04 安装 Anaconda3
安装CUDA、cuDNN及pytorch PyTorch 在这方面做的真的好，不需要再人工安装 CUDA、cuDNN 之类的，只需安装pytorch，其他全部都给你解决了。 PyTorch环境配置及安装
vit源码中to_patch_embedding理解
self.to_patch_embedding nn.Sequential(Rearrange(b c (h p1) (w p2) -> b (h w) (p1 p2 c), p1 patch_height, p2 patch_width),nn.Linear(patch_dim, dim),)Rearrange是einops中的一个方法
einops：灵活和强大的张量操作，可读性强和可靠性好的代…
pytorch中数据增强transforms.py详解
在实际应用过程中，我们会在数据进入模型之前进行一些预处理，例如数据中心化(仅 减均值)，数据标准化(减均值，再除以标准差)，随机裁剪，旋转一定角度，镜像等一系列 操作。PyTorch 有一系列数据增强…
pytorch学习笔记torch.mul() 和 torch.mm() 的区别
pytorch中torch.mul() 和 torch.mm() 的区别
torch.mul(a, b)是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵
torch.mm(a, b)是矩阵a和b矩阵相乘，比如a的维度…
代码复现------TransT
论文地址：[2103.15436] Transformer Tracking (arxiv.org)
代码地址：chenxin-dlut/TransT: Transformer Tracking (CVPR2021) (github.com)
创建虚拟环境并且激活：
conda create -n transt python3.7
conda activate transt
安装PyTorch&…
P7 处理多维特征的输入
教程来源b站刘二《pytorch深度学习实战》 乘的权重(w)都一样，加的偏置(b)也一样。b变成矩阵时使用广播机制。神经网络的参数w和b是网络需要学习的，其他是已知的。 学习能力越强，有可能会把输入样本中噪声的规律也学到。我们要学习数据本身真…
P9课后作业《PyTorch深度学习实践》kaggle-otto多类别分类
难度不大，只需在手写字符的基础上做些改变。 重点在于pytorch学习，效果并不是特别好，在测试集上的loss有16 下面是pytorch实现代码：
import torch
from torch.utils.data import Dataset, DataLoader
import pandas as pd
import…
b站刘二大大课后作业 kaggle titanic数据集用pytorch的实现
对数据集的分析涉及特征工程的知识了，网上有详细教程。本文的主要目的是对pytorch进行练习。我主要挑选一下重要的信息作为特征进行训练。 PassengerID（ID）Survived(存活与否)Pclass（客舱等级，较为重要）Nam…
李沐动手学深度学习 每周学习汇报 2021/11/8
03 安装
前言 之前我一直使用的是WindowsUbuntu20.04双系统，虽然Linux系统可能更适合做编程，但是因为读研也并不是纯编程，也需要处理其他很多事情，所以往往也需要用到Windows系统，平时使用的时候就在两者之间来回切换…
Ubuntu 20.04-Pytorch-GPU系统环境搭建指南
本人硬件环境：
CPU：Intel Core i7 6700
GPU：NVIDIA GTX 1060 6G
内存：SAMSUNG DDR4 32GB
硬盘：双SSD 256G,双系统（windows,ubuntu） 第一步，安装Ubuntu.
1.1 准备工作
1.1.1 下…
DAY11、OS模块操作文件
概述
对文件进行重命名、删除等一些操作，在python中可以利用os模块。
os模块提供一些系统级别的操作命令 实操： 重命名 删除 先建立一个文件 注意：删除文件的前提是文件必须存在。
创建文件夹 删除文件夹 这个前提也是文件夹存在
…
win10环境安装tensorflow-gpu，软件版本、硬件支持、安装过程
创建于：2020.03.17 修改于：2020.03.28，2020.04.19 文章目录1. 背景介绍2. 环境选择2.1 硬件环境2.2 软件环境3. 安装过程3.1 安装VS20133.2 安装CUDA3.2.1 安装显卡驱动3.2.2 安装CUDA3.2.3 设置CUDA环境变量3.3 安装cuDNN3.4 安装Tensorflow…
时间序列学习（1）——【时间序列初认识】
文章目录1 时序数据的表示sequence representation2 举个时序数据的例子3 举一个图片数据的例子4 词向量表示4.1 one-hot 编码方式5 一次Batch 的数据结构重组6 nn.embedding 集成好的查表操作7 下载GloVe来表示词向量1 时序数据的表示sequence representation
序列的表示&…
AAAI2022 Data-Centric Robust Learning on ML Models Rank 10/3691(开源代码、做题思路）
初赛：2/3691 复赛：10/3691 AAAI2022 workshop地址：https://advml-workshop.github.io/aaai2022/ AAAI2022 workshop接收我们队伍的论文：论文链接 开源代码：Github链接
我们的海报：
方案PPT：
【pytorch】loss 不下降记录
在使用pytorch进行训练的时候，loss一直维持在同一个很大的数附近震荡，很明显是模型有问题，经过了长时间的查找，才发现pytorch早已提示了错误，而自己忽略了。
/home/anaconda3/envs/M/lib/python3.6/site-packages/tor…
Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net
动机
本文通过一个不深的网络搞定了3D的目标检测/跟踪/预测。采用BEV的方式进行表达。 猜测本文是MP3论文关于Perception部分的原型。 输入：4D张量（X,Y,Z,T） 输出：N张带预测的BEV图
备忘
This can result in catastrophic fail…
tensorrt windows下简易说明
文章目录前言一、使用流程前言
本文针对王鑫宇大神在github上的项目进行简单windows下的简单说明 项目地址：
https://github.com/wang-xinyu/tensorrtx
一、使用流程
1.创建一个控制台程序。
最好是选择release版本x64这个组合。release是个人习惯，…
pytorch相关小操作的总结
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、expand_as()的理解二、XX1.XX前言
这里主要记录自己python甚至 pytorch的学习内容 一、expand_as()的理解
这是个pytorch中的操作，这里
示例&…
【代码 bug 记录】PyTorch 的 Dataloader 如何加载 List 对象？
0、写在前面 在记录该问题解决方案的时候，也有在 csdn 上搜到某位小伙伴遇到同样的问题，但没有说明原因。那我就记录一下吧。 1、问题
之前看到一份代码，在 __init__() 函数中，加载的每一条数据都是一个列表 List【长度为 len_li…
使用 PyTorch 框架复现 Two-Stream 网络过程中遇到的问题
复现论文：《Two-Stream Convolutional Networks for Action Recognition》
完整代码：https://github.com/BizhuWu/Two-Stream-Network-PyTorch
（这是小吴同学第一次在 Github 上整理代码，可以的话，麻烦大家在 Github…
安装fabricmanager解决print(torch.cuda.is_available())报错NumCudaDevices()
安装fabricmanager
问题：print(torch.cuda.is_available())报错但是CUDA和cudnn都安装完成，版本对应良好，报错如下
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions befo…
PyTorch 实现图片预处理（归一化 标准化）代码整理
一、写在前面
本来图片预处理（归一化 & 标准化）的原理不难，但我这个人工智能小白被 Tensor 和 array 等几个类型的通道顺序搞得晕头转向，好不容易整理好了，故写一篇 blog 记录一下 二、先上代码
import torchvis…
如何在linux服务器上安装pytorch-gpu
现在一般租的远程服务器都会自带Anaconda环境
我们只要创建对应的虚拟环境，简单配制即可
这里我的电脑配置是2080ti服务器
create -n pytorch python3.8
创建了一个python3.8的虚拟环境，再进入虚拟环境
conda activate pytorch
然后在pytorch官网找…
在linux远程服务器配置pytorch-gpu
一般租远程服务器的话，都是租linux系统的
本文就以在2080ti显卡服务器上安装pytorch-gpu版本为例。
首先输入python 可以看到这个服务器是已经安装好anaconda了，我们直接使用conda命令进行安装即可
conda info -e 可以看到我之前安装的tensorflow1.13版本gpu环境，想直接怎…
last_hidden_state vs pooler_output的区别
一、问题来源：
from transformers import AutoTokenizer, AutoModel
import torch
# Load model from HuggingFace Hub
MODEL_NAME_PATH xxxx/model/bge-large-zh
tokenizer AutoTokenizer.from_pretrained(MODEL_NAME_PATH)
model AutoModel.from_pretrained(M…
解决RuntimeError: _thnn_mse_loss_forward is not implemented for type torch.cuda.LongTensor和scatter_方法
在PyTorch中遇到了如标题的问题，我使用的MSE损失函数，网上大多数给的是类型不匹配问题，在stackoverflow找到了问题的答案，这里出现的问题是因为loss需要one-hot类型的数据，而我们使用的是类别标签。
什么是one-hot&am…
pytorch2.0.1 安装部署（cpu+gpu） linux+windows
官网打开可能较慢，耐心等待 pytorch官网 以下操作在默认网络环境即可使用
一、说明和前期准备
1.pytorch是一个和tensorflow类似的框架
如果需要安装tensorflow，可以参考： tensorflow 1，2 cpugpu（windowslinux&…
使用 PyTorch 进行高效图像分割：第 2 部分
一、说明 这是由 4 部分组成的系列的第二部分，旨在使用 PyTorch 中的深度学习技术从头开始逐步实现图像分割。本部分将重点介绍如何实现基线图像分割卷积神经网络（CNN）模型。 图 1：使用 CNN 运行图像分割的结果。按从上到下的顺序…
【AI】《动手学-深度学习-PyTorch版》笔记（十九）：卷积神经网络模型（GoogLeNet、ResNet、DenseNet）
AI学习目录汇总
1、GoogLeNet
1.1 介绍
发布时间：2014年 GoogLeNet的贡献是如何选择合适大小的卷积核，并将不同大小的卷积核组合使用。 之前介绍的网络结构都是串行的，GoogLeNet使用并行的网络块，称为“Inception块”
“Inception块”前后进化了四次，论文链接： [1]ht…
ubuntu安装并进行tensorrt加速包YOLOv5推理
目录1. 下载tensorrt2. 安装tensorrt2.1 安装python-tensorrt2.2 安装uff2.3 查看tensorrt版本3. 生成engine文件3.1 生成wts格式权重文件3.2 cmake编译1. 下载tensorrt
笔者系统为ubuntu20.04, 由于Nvidia官网上面Tensorrt7.X版本没有找到对应ubuntu20.04的，因此使…
自编码器AutoEncoder
文章目录一. 什么是自编码器二. 有什么作用1) 图像去噪2) 可视化降维三. 如何实现1) 全连接层实现2) 测试: 对有噪声图像的自编码3) 卷积层实现四. 一些小细节一. 什么是自编码器
自动编码器 autoencoder, 简单表现编码器为将一组数据进行压缩编码(降维), 解码器将这组数据恢复…
利用迁移学习进行花的分类 - github项目介绍
前几天写了个小项目, 利用深度学习里的迁移学习方法做花的分类, 下面是项目的github地址. https://github.com/JameyWoo/transfer-learning
感兴趣的同学可以了解一下, 源码比较简单, 下面是项目的说明 transfer learning author 姬小野
— 迁移学习对五种花分类
环境
ubun…
Introduction to PyTorch 笔记
文章目录Introduction to PyTorch 笔记Part 1 - Tensors in PyTorch (Solution).ipynbPart 2 - Neural Networks in PyTorch (Exercises).ipynbPart 3 - Training Neural Networks (Exercises).ipynbPart 4 - Fashion-MNIST (Exercises).ipynbPart 5 - Inference and Validatio…
在Pytorch中保存和加载模型，以及构建自定义图片分类数据集
1 在Pytorch中保存和加载模型
1.1 在训练中保存检查点：
def save_checkpoint(state, filename"my_checkpoint.pth.tar"):print("> Saving checkpoint")torch.save(state, filename)设置在epoch2的时候保存检查点
for epoch in range(num_…
02- pytorch 实现 RNN
一 导包
import torch
from torch import nn
from torch.nn import functional as F
import dltools
1.1 导入训练数据
batch_size, num_steps 32, 35
# 更改了默认的文件下载方式，需要将 article 文件放入该文件夹
train_iter, vocab dltools.load_data_time_…
PyTorch实战-实现神经网络图像分类基础Tensor最全操作详解(一)
目录
前言
一、PyTorch数据结构-Tensor
1.什么是Tensor
2.数据Tensor使用场景
3.张量形态
标量（0D 张量） 向量（1D 张量）
矩阵(2D张量)
3D 张量与高维张量
二、Tensor的创建
1. 从列表或NumPy数组创建 2. 使用特定的初始…
2-1 张量数据结构
张量概念
张量是什么？ 单个元素叫标量（scalar），一个序列叫向量（vector），多个序列组成的平面叫矩阵（matrix），多个平面组成的立方体叫张量（tensor&…
PyTorch之张量的相关操作大全 -＞（个人学习记录笔记）
文章目录 Torch1. 张量的创建1.1 直接创建1.1.1 torch.tensor1.1.2 torch.from_numpy(ndarray) 1.2 依据数值创建1.2.1 torch.zeros1.2.2 torch.zeros_like1.2.3 torch.ones1.2.4 torch.ones_like1.2.5 torch.full1.2.6 torch.full_like1.2.7 torch.arange1.2.8 torch.linspace…
图像数据通道格式：NCHW和NHWC的区别
在深度学习中，图像数据通道格式有两种：
NCHW，又称：“channels_first”，是nvidia cudnn库原生支持的数据模式；在GPU中，使用NCHW格式计算卷积，比NHWC要快2.5倍左右（0:54 v…
《动手学深度学习 Pytorch版》 4.5 权重衰减
4.5.1 范数与权重衰减
整节理论，详见书本。
4.5.2 高维线性回归
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l# 生成一些数据，为了使过拟合效果更明显，将维数增加到 200 并使用一个只包含 20 个样…
【Pytorch笔记】2.张量操作
参考视频： 深度之眼官方账号 - 01-03-mp4-张量操作与线性回归
torch.cat()
功能：将两个tensor按照给定的维度进行拼接。
torch.cat(tensors,dim0,outNone)tensors：包含一坨tensor的list或tuple； dim：指定拼接的维度…
Anaconda Navigator打不开
1 可能是因为你用虚拟环境的时候，无论是用pycharm还是spyder等编辑器对于不同库的要求是不一样的。我们切换环境导致spyder版本与下载包的版本不一致，建议： 1用pip show 包名 2卸载版本不匹配的包，重新安装何时版本的包 pip Insta…
Pytorch-day04-模型构建-checkpoint
PyTorch 模型构建
1、GPU配置2、数据预处理3、划分训练集、验证集、测试集4、选择模型5、设定损失函数&优化方法6、模型效果评估
#导入常用包
import os
import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader
from torchvision.transfor…
带有 Amazon AWS 的 PyTorch 1.0 分布式训练师
(高级）带有 Amazon AWS 的 PyTorch 1.0 分布式训练师
在本教程中，我们将展示如何在两个多 GPU Amazon AWS 节点之间设置，编码和运行 PyTorch 1.0 分布式训练师。 我们将首先描述 AWS 设置，然后是 PyTorch 环境配置，最…
Lnton羚通算法算力云平台【PyTorch】教程：torch.nn.Softsign
torch.nn.Softsign
原型 CLASS torch.nn.Softsign() 图 代码
import torch
import torch.nn as nnm nn.Softsign()
input torch.randn(4)
output m(input)print("input: ", input)
print("output: ", output)# input: tensor([ 0.0046, -0.4135, -2…
卷积神经网络——下篇【深度学习】【PyTorch】【d2l】
文章目录 5、卷积神经网络5.10、⭐批量归一化5.10.1、理论部分5.10.2、代码部分 5.11、⭐残差网络（ResNet）5.11.1、理论部分5.11.2、代码部分 话题闲谈 5、卷积神经网络
5.10、⭐批量归一化
5.10.1、理论部分
批量归一化可以解决深层网络中梯度消失和…
PyTorch深度学习实战（5）——计算机视觉基础
PyTorch深度学习实战（5）——计算机视觉基础 0. 前言1. 图像表示2. 将图像转换为结构化数组2.1 灰度图像表示2.2 彩色图像表示3 利用神经网络进行图像分析的优势小结系列链接0. 前言
计算机视觉是指通过计算机系统对图像和视频进行处理和分析，利用计算机算法和方法，使计算机…
pytorch下的scatter、sparse安装
知道自己下载的torch配置
import torch
print(torch.__version__)
print(torch.version.cuda)进入网站，选择自己配置 https://pytorch-geometric.com/whl/下载相应的包 安装
pip install ******.whl
【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化
0x0. 前言
这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前的结果累加到先前计算的梯度上，所有这些都在一个操作中完成，可以避免多次访问global memory提升算子的带宽。下面解析一…
在 PyTorch 中使用 Eager 模式进行静态量化
(实验性）在 PyTorch 中使用 Eager 模式进行静态量化
本教程介绍了如何进行训练后的静态量化，并说明了两种更先进的技术-每通道量化和量化感知训练-可以进一步提高模型的准确性。 请注意，目前仅支持 CPU 量化，因此在本教程中我们将…
pytorch复现ShuffleNetV2
import torch
import torch.nn as nn
from torch import Tensor
from typing import List, Callable
#通道重排
def channel_shuffle(x: Tensor, groups: int) -> Tensor:batch_size, num_channels,height,width x.size()channel_pre_group num_channels // groups#reshap…
ModuleNotFoundError: No module named ‘seaborn‘（缺少seaborn包）
遇到的问题：ModuleNotFoundError: No module named seaborn（缺少seaborn包）
解决方法：
1、点击菜单页输入cmd→然后在命令框内输入
python -m pip install seaborn
即可完成seaborn包的安装。
2、此外，查看Python…
UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x99 in position 661: illegal multibyte sequence
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x99 in position 661: illegal multibyte sequence
1.使用Yolov5 跑模型，输入命令python train.py出错
Traceback (most recent call last):File "train.py", line 543, in <module>train…
Linux环境下pytorch安装教程
1. 安装NVIDIA GPU显卡驱动
如果需要安装cuda版本的PyTorch，电脑也有独立显卡的时候，一般需要更新一下Ubuntu独立显卡驱动。否则即使安装了cuda版本的PyTorch也没办法使用GPU。
因为我的笔记本电脑显卡是NVIDIA的，所以首先去官网࿱…
用pytorch实现MTCNN
我参考的是这个https://blog.csdn.net/qq_32478489/article/details/106193921 照他的步骤来，但是会有几个错误，我这里记录一下
1.按照他的运行detect.py
2.然后下载文件包，放在 3.然后先别往下训练Pnet
要自己在data_set中创建train&…
Pytorch安装win10GPU(GTX1050ti)
我的电脑联想拯救者。不是用pip、conda装pytorch，直接用清华源来下，速度快，不会出错 2022.3.25更新
最近给女朋友装的时候发现个问题，在第二步中运行conda install pytorch torchvision cudatoolkit10.1 -c pytorch时，…
torch.randn(50,512,7,7)
代码示例：
import torch
#生成50大组512小组二维7x7包含7x7x512x50个符合（0,1）正态分布的随机填充数
x1_intorch.randn(50,512,7,7)
#生成一维包含两个符合（0,1）正态分布的随机填充数
x2_intorch.randn(2)
#生成二维4…
YOLOv5算法改进（12）— 替换主干网络之Swin Transformer
前言：Hello大家好，我是小哥谈。Swin Transformer是一种基于Transformer的深度学习模型，它在视觉任务中表现出色。与之前的Vision Transformer（ViT）不同，Swin Transformer具有高效和精确的特性，并…
【Pytorch】Tutorials个人翻译集合
本文记录Pytorch Tutorials文档的翻译文章集合. 由于本人英语能力有限（only-CET4），欢迎指正翻译中的错误。
Introduction to PyTorch
【Pytorch】Pytorch文档学习1：Tensors 【Pytorch】Pytorch文档学习2：DATASETS &a…
【Pytorch笔记】5.DataLoader、Dataset、自定义Dataset
参考 深度之眼官方账号 - 02-01 Dataloader与Dataset.mp4
torch.utils.data.DataLoader
功能：构建可迭代的数据装载器。
data.DataLoader(dataset,batch_size1,shuffleFalse,samplerNone,batch_samplerNone,num_workers0,collate_fnNone,pin_memoryFalse,drop_la…
【Pytorch笔记】1. tensor的创建
参考视频： 深度之眼官方账号：01-02-张量简介与创建
torch.tensor()
b torch.tensor(data, dtypeNone, deviceNone, requires_gradFalse, pin_memoryFalse)data：创建的tensor的数据来源，可以是list或numpy dtype：数据…
【代码技巧】深度学习参数管理方案（1）
方法概述
利用argparse工具包进行参数管理
创建BaseOptions类进行基础参数的管理，在建立TrainOptions和TestOpetions继承BaseOptions的基础参数，然后可以再添train或者test阶段的新的参数。 文件结构
创建三个文件如图，分别管理BaseOption…
pytorch-v2.0.1 cuda arm64 aarch64 torch 2.0.1+cu118 源码编译笔记【2】验证cuda安装 成功
接上篇
pytorch-v2.0.1 cuda arm64 aarch64 torch 2.0.1cu118 源码编译笔记_hkNaruto的博客-CSDN博客 由于采用/usr/local/bin/gcc编译，先设置LD_LIBRARY_PATH，再启动python3
export LD_LIBRARY_PATH/usr/local/lib64:/usr/local/lib:/usr/lib64:/usr/…
PyTorch多GPU训练模型——使用单GPU或CPU进行推理的方法
文章目录 1 问题描述2 模型保存方式3 单块GPU上加载模型4 CPU上加载模型5 总结 1 问题描述
PyTorch提供了非常便捷的多GPU网络训练方法：DataParallel和DistributedDataParallel。在涉及到一些复杂模型时，基本都是采用多个GPU并行训练并保存模型。但在推…
pytorch lstm一致性测试脚本
# -*- coding: utf-8 -*-
"""“sequence_models_tutorial.ipynb”的副本Automatically generated by Colaboratory.Original file is located athttps://colab.research.google.com/drive/1ZmKR7oidXFyc-B8bsoX6TgGtXRRBGfcq
"""# Commented out…
【人工智能前沿弄潮】—— 玩转SAM(Segment Anything)
玩转SAM(Segment Anything)
官网链接：
Segment Anything | Meta AI (segment-anything.com)
github链接：
facebookresearch/segment-anything: The repository provides code for running inference with the SegmentAnything Model (SAM), links fo…
2-Pytorch创建随机值张量
2-Pytorch创建随机值张量
1 导入必备库
import torch
import numpy as np2 使用torch.rand()创建0-1均匀分布的随机数
t torch.rand(2,3)
print(t)输出：
tensor([[0.1452, 0.1435, 0.2124],[0.6646, 0.5232, 0.1572]])3 使用torch.randn()创建正态分布的随机数…
DETR纯代码分享（六）detr.py
一、导入模块
"""
DETR model and criterion classes.
"""
import torch
import torch.nn.functional as F
from torch import nnfrom util import box_ops
from util.misc import (NestedTensor, nested_tensor_from_tensor_list,accuracy, ge…
pytorch从python转 c++涉及到的数据保存加载问题；libtorch
pytorch 从python 转 c涉及到的数据保存加载问题
1. torch.nn.Module 保存 state_dict 无法被 c访问，只能转化为 python字典
python代码
model ThreeLayer_FCNN_Net()
model.load_state_dict(ret_load)
w {k: v for k, v in model.state_dict().items()}
torch…
【深入了解PyTorch】PyTorch分布式训练：多GPU、数据并行与模型并行
【深入了解PyTorch】PyTorch分布式训练：多GPU、数据并行与模型并行 PyTorch分布式训练：多GPU、数据并行与模型并行1. 分布式训练简介2. 多GPU训练3. 数据并行4. 模型并行5. 总结PyTorch分布式训练：多GPU、数据并行与模型并行
在深度学习领域，模型的复杂性和数据集的巨大规…
cs231n assignment2 q5 PyTorch on CIFAR-10
文章目录 嫌啰嗦直接看源码Q5 :PyTorch on CIFAR-10three_layer_convnet题面解析代码输出 Training a ConvNet题面解析代码输出 ThreeLayerConvNet题面解析代码输出 Train a Three-Layer ConvNet题面解析代码输出 Sequential API: Three-Layer ConvNet题面解析代码输出 CIFAR-1…
PyTorch深度学习实践1——线性回归和Logistic回归
PyTorch的风格
准备数据集使用类设计模型计算损失函数和优化器训练【前向、反向和更新】
线性回归 import torch# 准备数据集
# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征
x_data torch.tensor([[1.0], [2.0], [3.0]])
y_data to…
Pytorch02 神经网路搭建步骤
文章目录 import numpy as np
import torch
from PIL.Image import Image
from torch.autograd import Variable# 获取数据
def get_data():train_Xnp.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1])train_Ynp.asarr…
Pytorch Advanced(一) Generative Adversarial Networks
生成对抗神经网络GAN，发挥神经网络的想象力，可以说是十分厉害了
参考
1、AI作家 2、将模糊图变清晰(去雨，去雾，去抖动，去马赛克等)，这需要AI具有“想象力”，能脑补情节； 3、进行数…
transforms数据预处理【图像增强】 -＞（个人学习记录笔记）
文章目录 1. 安装2. transforms——Crop 裁剪2.1 transforms.CenterCrop2.2 transforms.RandomCrop2.3 transforms.RandomResizedCrop2.4 transforms.FiveCrop2.5 transforms.TenCrop 3. transforms——Flip 翻转3.1 transforms.RandomHorizontalFlip3.2 transforms.RandomVert…
NLP技术如何为搜索引擎赋能
目录 1. NLP关键词提取与匹配在搜索引擎中的应用1. 关键词提取例子 2. 关键词匹配例子 Python实现 2. NLP语义搜索在搜索引擎中的应用1. 语义搜索的定义例子 2. 语义搜索的重要性例子 Python/PyTorch实现 3. NLP个性化搜索建议在搜索引擎中的应用1. 个性化搜索建议的定义例子 2…
PyTorch微调终极指南2：提升模型的准确性
作为一名机器学习从业者，你可能经常会发现自己处于这样一种情况：你正在针对特定任务微调预先训练的模型，但已经达到了无法进一步提高模型准确性的地步。 在本文中，我们将探讨可用于提高模型准确性的各种技术和策略。 这些方法旨在…
LSTM和GRU的介绍以及Pytorch源码解析
介绍一下LSTM模型的结构以及源码，用作自己复习的材料。
LSTM模型所对应的源码在：\PyTorch\Lib\site-packages\torch\nn\modules\RNN.py文件中。
上次上一篇文章介绍了RNN序列模型，但是RNN模型存在比较严重的梯度爆炸和梯度消失问题。
本文…
PyTorch 实战之水果分类
当我们试图提高神经网络的准确性时，经常会遇到过拟合训练数据的情况。当我们运行测试数据的模型时，这会导致一个糟糕的预测。因此，我采取了一个数据集，并应用这些技术，不仅提高准确性，而且还处理过拟合的问…
register_buffer nn.Parameter
本文的大部分例子来源于知乎Link
在pytorch模型中保存模型参数的方式如下
torch.save(model.state_dict(), path)模型保存的是model.state_dict()返回对象，是一个OrderDict，他的key与value分别是模型需要保存的参数名字和值。下面介绍parameter和buffe…
【Pytorch】学习记录分享3——PyTorch 自动微分与线性回归
【【Pytorch】学习记录分享3——PyTorch 自动微分与线性回归 1. autograd 包，自动微分2. 线性模型回归演示3. GPU进行模型训练 小结：只需要将前向传播设置好，调用反向传播接口，即可实现反向传播的链式求导
1. autograd 包&#x…
OpenPCDet系列 | 1.OpenPCDet的安装训练与测试
如有错误，恳请指出。 文章目录1. OpenPCDet安装流程2. OpenPCDet测试模型3. OpenPCDet训练模型4. OpenPCDet推理测试OpenPCDet的官方地址：https://github.com/open-mmlab/OpenPCDet
这篇博客主要用于记录OpenPCDet的安装、模型测试、模型训练以及模型推…
Pytorch：backward()函数详解
.backward()
.backward() 是 PyTorch 中用于自动求导的函数，它的主要作用是计算损失函数对模型参数的梯度，从而实现反向传播算法。 在深度学习中，我们通常使用梯度下降算法来更新模型参数，使得模型能够逐步逼近最优解。 在梯度下…
Pytorch采坑记录：DDP 损失和精度比 DP 差，多卡GPU比单卡GPU效果差
结论：调大学习率或者调小多卡GPU的batch_size
转换DDP模型后模型的整体学习率和batch_size都要变。
当前配置：：1GPU：学习率0.1，batch_size64 如果8GPU还按之前1GPU配置：8GPU：学习率0.1&#x…
Pytorch：torch.sum()函数用法
torch.sum()
先看看官网描述：https://pytorch.org/docs/stable/generated/torch.sum.html#torch.sum
函数torch.sum有两种形式：
第一种： torch.sum(input, *, dtypeNone) → Tensor . Returns the sum of all elements in the inp…
PyTorch加载数据以及Tensorboard的使用
一、PyTorch加载数据初认识
Dataset:提供一种方式去获取数据及其label 如何获取每一个数据及其label 总共有多少的数据 Dataloader:为后面的网络提供不同的数据形式
数据集 在编译器中导入Dataset from torch.utils.data import Dataset 可以在jupyter中查看Dataset官方文档&…
天池数字生态创新大赛-遥感
1. 赛题描述
本赛题基于不同地形地貌的高分辨率遥感影像资料，希望参赛者能够利用遥感影像智能解译技术识别提取土地覆盖和利用类型，实现生态资产盘点、土地利用动态监测、水环境监测与评估、耕地数量与监测等应用。结合现有的地物分类实际需求，参照地理国情监测、“三调”等…
【PyTorch】P1 简介
PyTorch 基础PyTorch 简介机器学习框架PyTorch 与 TensorFlow 的核心之争PyTorch生态PyTorch能做什么开发环境选择Pytorch Cuda 安装与疑难解答PyTorch 简介 2002年提出 torch 框架，是通用的机器学习计算框架，支持GPU加速运算； 2011年推出 to…
Restnet34网络结构及代码
网络模型讲解https://blog.csdn.net/a171232886/article/details/121969107?spm1001.2014.3001.5506 看了https://blog.csdn.net/rothschild666/article/details/123497166这个博客的代码，感觉有错误。我自己又修改了一下。torch环境是1.8.1
import torch
from to…
Pytorch环境搭建（吐血~）、将CPU版本换为GPU版本
查看自己电脑的驱动版本。cmd命令行中输入下面代码 nvidia-smi 配置环境可能出现问题 假如报上述错误，说明对应文件夹里面没有yolov7.pt文件，与报错内容无关（因为YOLOv7官网压缩包里面没有pt文件，所以会自动联网下载，…
【Pytorch】深度学习之损失函数
文章目录 二分类交叉熵损失函数交叉熵损失函数L1损失函数MSE损失函数平滑L1(Smooth L1)损失函数目标泊松分布的负对数似然损失KL散度MarginRankingLoss多标签边界损失函数二分类损失函数多分类的折页损失三元组损失HingEmbeddingLoss余弦相似度CTC损失函数参考资料 学习目标&am…
Pytorch Torch.utils.data.Sampler
对于 可迭代样式的数据集，数据加载顺序完全由用户定义的可迭代样式控制。这样可以更轻松地实现块读取和动态批处理大小（例如，通过每次生成一个批处理的样本）。 为了从数据集中读取数据，pytorch提供了Sampler基类与多个…
《PyTorch深度学习实践》第三讲 梯度下降算法
《PyTorch深度学习实践》第三讲 梯度下降算法 问题描述梯度下降问题分析编程实现代码实现效果 随机梯度下降问题分析编程实现代码实现效果 参考资料 问题描述 梯度下降
问题分析 编程实现 代码
import matplotlib.pyplot as plt# 训练集数据
x_data [1.0, 2.0, 3.0]
y_data …
python+TensorFlow实现人脸识别智能小程序的项目（包含TensorFlow版本与Pytorch版本）（二）
pythonTensorFlow实现人脸识别智能小程序的项目（包含TensorFlow版本与Pytorch版本）（二） 1、人脸业务流程1、人脸检测（Face Detection）问题2、人脸对齐（Face Alignment）问题3、人脸属…
PyTorch - Dataset 迭代数据接口 __getitem__ 异常处理
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/133378772 在模型训练的过程中，加载数据部分，极其容易出现异常，以及不可控的因素，需要通过异常捕获…
基于YOLOV8模型的农作机器和行人目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型的农作机器和行人目标检测系统可用于日常生活中检测与定位农作机和行人目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标…
【AI】《动手学-深度学习-PyTorch版》笔记（二十一）：目标检测
AI学习目录汇总
1、简述
通过前面的学习，已经了解了图像分类模型的原理及实现。图像分类是假定图像中只有一个目标，算法上是对整个图像做的分类。 下面我们来学习“目标检测”，即从一张图像中找出需要的目标，并标记出位置。
2、边界框
边界框：bounding box，就是一个方…
pytorch调整模型训练的学习率
简介 torch.optim.lr_scheduler ：提供了一些方法可以基于epochs的值来调整学习率。
torch.optim.lr_scheduler.ReduceLROnPlateau ：则提供了基于训练中某些测量值使学习率动态下降的方法。
注意：学习率调整应该在优化器的更新之后ÿ…
Pytorch中如何加载数据、Tensorboard、Transforms的使用
一、Pytorch中如何加载数据 在Pytorch中涉及到如何读取数据，主要是两个类一个类是Dataset、Dataloader Dataset 提供一种方式获取数据，及其对应的label。主要包含以下两个功能： 如何获取每一个数据以及label 告诉我们总共有多少的数据
Datal…
使用生成式 AI 和 ML 模型进行电子邮件和移动主题行优化
结合使用生成式 AI 和 ML 模型，根据语气和受众自动创建引人注目的主题行和标题，以实现最大程度的参与。 电子邮件和推送通知的主题行和标题在确定参与率方面发挥着重要作用。数字通信需要精心设计引人注目的主题行和简洁的推送通知标题来吸引用户的注意力。营销人员根据要传递…
ddp训练流程-pytorch教程
1. pytorch如何初始化分布式训练
核心函数如下，下面具体分析一下 torch.distributed.init_process_group(backenddist_backend,init_methodinit_method,world_sizeworld_size,rankrank)backend就是通信协议，使用分布式时，在梯度汇总求平均的…
将pytorch模型结构转化成detectron的模型结构
其实就是把layer的名字改一下，如果是自己写的layer顺序不同也得改一下。
官方代码
#!/usr/bin/env python
# Copyright (c) Facebook, Inc. and its affiliates. All Rights Reservedimport pickle as pkl
import sys
import torch"""
Usage:# dow…
NLP信息抽取全解析：从命名实体到事件的PyTorch实战指南
目录 引言背景和信息抽取的重要性文章的目标和结构 信息抽取概述什么是信息抽取信息抽取的应用场景信息抽取的主要挑战 实体识别什么是实体识别实体识别的应用场景PyTorch实现代码输入、输出与处理过程 关系抽取什么是关系抽取关系抽取的应用场景PyTorch实现代码输入、输出与处…
基于PyTorch3D的GeoAI实现【ESRI】
Esri 的 AI 原型团队正在以 PyTorch3D API 的一系列 PR 的形式分享一些功能增强功能。 这些功能支持 obj 格式的网格的输入/输出 (I/O)，该网格具有多个纹理和代表真实世界几何形状的顶点坐标。 对于 GeoAI 任务，这些功能支持跨网格分割管道的任务&#x…
PyTorch深度学习实战——交通标志识别
PyTorch深度学习实战——交通标记识别 0. 前言1. 交通标志识别1.1 数据集介绍1.2 数据增强和批归一化 3. 交通标志检测相关链接 0. 前言
在道路交通场景中，交通标志识别作为驾驶辅助系统与无人驾驶车辆中不可缺少的技术，为车辆行驶中提供了安全保障。在…
LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】
文章目录 5、 有监督微调5.1、提示学习&语境学习5.2、高效微调5.3、模型上下文窗口扩展5.4、指令数据构建5.5、开源指令数据集 5、 有监督微调
5.1、提示学习&语境学习
提示学习
完成预测的三个阶段：提示添加、答案搜索、答案映射 提示添加 “[X] 我感到…
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
文章目录 3、语言模型训练数据3.1、词元切分3.2、词元分析算法 3、语言模型训练数据
数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。训…
pytorch3D Windows下安装经验总结
一、说明及准备工作
最近在安装pytorch3D的时候遇到了很多问题，查了很多博客，但发现讲的都不太全，所以特将自己的及收集到的安装过程经验总结如下。我是在Anaconda中虚拟环境下安装的。
1.1准备工作
官方安装教程如下：https://…
PyTorch深度学习（六）【循环神经网络-基础】
RNN Cell： h0和x1生成h1,把h1作为输出送到下一次的RNN Cell里面。（h1linear(h0,x1)） RNN计算过程： 输入先做线性变换，循环神经网络常用的激活函数是tanh（1区间）。 构造RNN Cell： 代码…
NPU上PyTorch模型训练问题案例
在昇腾AI处理器上训练PyTorch框架模型时，可能由于环境变量设置问题、训练脚本代码问题，导致打印出的堆栈报错与实际错误并不一致、脚本运行异常等问题，那么本期就分享几个关于PyTorch模型训练问题的典型案例，并给出原因分析及解决…
mmpretrain学习笔记
深度学习模型的训练涉及几个方面 1、模型结构：模型有几层、每层多少通道数等 2、数据：数据集划分、数据文件路径、批大小、数据增强策略等 3、训练优化 ：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等 4、运行时：GPU、…
高阶操作（where和gather函数）
1、where
torch.where(condition, x, y) → Tensor
三个参数，condition是选择条件，x是第一个源头1，y是源头2原理：当满足condition条件时，输出tensor对应位置为x中该位置元素，反之为y中该位置元素。
cond…
Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器
在上一篇 文章中，我们Fast.ai 在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到 96% 的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如 Keras、Fast.ai 甚至 PyTorch）中的大多数语…
【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec
【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec 1. 词向量模型Word2Vec)1. 如何度量这个单词的？2.词向量是什么样子？3.词向量对应的热力图：4.词向量模型的输入与输出
基于PyTorch的Transformer组件实现
最近看了不少介绍LLM工作原理的文章，发现每一篇都会试图跟读者讲明白作为baseline的Transformer架构到底长啥样。但是好像比较少有代码实现的示例和具体的例子帮助理解。于是自己也想尝试着写一篇含有代码实现和具体例子解释的文章，希望能够给喜欢编程朋…
YOLOv5改进 | 检测头篇 | 增加辅助检测头利用AFPN改进Head（附详细修改教程）
一、本文介绍
本文给大家带来的改进机制是利用今年新推出的AFPN（渐近特征金字塔网络）来优化检测头，AFPN的核心思想是通过引入一种渐近的特征融合策略，将底层、高层和顶层的特征逐渐整合到目标检测过程中。这种渐近融合方式有助于减小不同层次特征之间的语义差距，提高特征…
YOLOv5改进 | 卷积篇 | 手把手教你添加动态蛇形卷积（管道结构检测适用于分割Seg）
一、本文介绍
动态蛇形卷积的灵感来源于对管状结构的特殊性的观察和理解，在分割拓扑管状结构、血管和道路等类型的管状结构时，任务的复杂性增加，因为这些结构的局部结构可能非常细长和迂回，而整体形态也可能多变。 因此为了应对这个挑战，作者研究团队注意到了管状结构的特…
使用pytorch构建图卷积网络预测化学分子性质
在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。 图和图神经网络
化学或物理中的模型通常是一个连续函数，例如yf(x₁ÿ…
第一章---Pytorch快速入门---第一节---张量及运算
目录
1.1张量的数据类型 1.2 张量的生成
1.3 张量操作 1.4 张量的计算 一、张量
在高等数学中，单独的一个数是标量，而有序排列的一组数字是一个向量（例如一个数组），向量组可以构成矩阵。向量是一维的，而…
windows10环境下安装pytorch
安装Anaconda
Anaconda的安装按照下载安装的方式即可。 anaconda下载地址 anaconda安装教程
Nvidia显卡驱动程序安装
使用驱动管理软件下载显卡驱动并安装或者到显卡官网下载。 查看显卡的CUDA版本，如下图所示： 可以看到显卡驱动的版本是517.00。 显…
PyG 一个基于PyTorch的图神经网络库
PyG: 一个基于PyTorch的图神经网络库
图神经网络（GNN）是一种用于处理结构化数据的深度学习模型，它可以捕捉数据中的图形结构和特征信息，从而实现各种应用，如节点分类、图分类、链接预测、推荐系统等。然而，…
轻松识别几个小时的长音视频文件
前言
之前的文章绍一个准确率非常高的语音识别框架，但那个只能识别实时的短音频，如果想要识别一个非常长的音频，几十分钟，甚至几个小时，那之前的那个是做不到的所以就有了本文。本文介绍搭建一个长语音识别服务&#…
mmskeleton的环境配置问题
1.使用ubuntu系统配置环境，使用win10配置环境比较麻烦且容易报错。 2.如果使用mmcv0.4.3，则使用cuda10的pytorch，mmdetection1.0.0的 3.如果想用cuda11来配置环境，则需使用 cuda 11.1 pytorch 1.8.1, torchvision 0.9.1 mmdet 2.1…
pytorch实现深度神经网络与训练
目录
1. 随机梯度下降算法
2.优化器
3. 损失函数
3.1 均方误差损失
3.2 交叉熵损失 4.防止过拟合
4.1 过拟合的概念
4.2 防止过拟合的方法
5. 网络参数初始化
5.1 网络参数初始化方法
5.2 参数初始化方法应用实例
1.针对某一层的权重进行初始化
2.针对一个网络的权…
【深度强化学习】(8) iPPO 模型解析，附Pytorch完整代码
大家好，今天和各位分享一下多智能体深度强化学习算法 ippo，并基于 gym 环境完成一个小案例。完整代码可以从我的 GitHub 中获得：https://github.com/LiSir-HIT/Reinforcement-Learning/tree/main/Model 1. 算法原理
多智能体的情形相比于单智…
模型训练和推理过程中的显存占用问题
问题背景
我有两个GPT2的模型，模型1只有1亿参数，并以16位浮点数存储，也就是250MB左右，模型2有35亿参数，同样以16位浮点数存储，也就是7GB左右。
我以为推理的时候加载模型到显存中后占用的空间应该也是差不…
【PyTorch】教程：torch.nn.Softshrink
torch.nn.Softshrink
原型 CLASS torch.nn.Softshrink(lambd0.5) 参数
lambd (float) – λ\lambdaλ 为 Softshrink参数，默认为 0.5, 必须不小于0
定义 SoftShrinkage(x){x−λ,if x>λxλ,if x<−λ0,otherwise\text{SoftShrinkage}(x)\begin{cases} x-\…
【三维几何学习】从零开始网格上的深度学习-4:训练测试篇(Pytorch)
本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052 从零开始网格上的深度学习-4:训练测试篇引言一、概述二、核心代码2.1 网格上的Transformer2.2 模型初始化、学习率动态调整2.3 随机种子设定、使用tensorboardX可视化三、网格分类实验…
【PyTorch】重要概念
文章目录 1. 前向传播、反向传播和计算图2. 数值稳定性和模型初始化3. 环境和分布偏移 1. 前向传播、反向传播和计算图
前向传播：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。计算图：可视化计算中操作符和变量的依…
Linux 系统安装 Pytorch
文章目录配置 Anaconda下载 Anaconda安装 Anaconda配置 Pytorch创建虚环境安装 Pytorch配置 Anaconda 下载 Anaconda
（1）网页方式下载离线包
进入 Anaconda 官网 ，出现如下的页面。 Anaconda 会根据访问网页所使用的系统，推荐对…
double DQN 跑 Pendulum-v1
gym-0.26.1 Pendulum-v1 环境详细信息
double DQN 实验环境 是为了体现 double DQN对高估的缓解, 因为 Pendulum-v1 reward最大是为0，可以有明显的对比。 相关论文 Deep Reinforcement Learning with Double Q-Learning
对动手深度强化学习里的代码做了一些修改。…
【代码笔记】Pytorch学习 DataLoader模块详解
Pytorch DataLoader模块详解dataloader整体结构DataLoaderinit 初始化参数解释代码解析IterableDataset 判断构建Sampler，单样本构建BatchSampler，组建batch构建collate_fn 对获取的batch进行处理其他的一些逻辑判断_get_iterator代码解析multiprocessin…
Python使用EasyOCR识别图像文本
EasyOCR 是 PyTorch 实现的一个光学字符识别 (OCR) 工具。
安装 EasyOCR
在命令窗口中，使用 pip 安装 EasyOCR 稳定版本。
pip install easyocr使用 EasyOCR
import easyocrreader easyocr.Reader([ch_sim, en],gpuFalse,model_storage_directorymodel/.,user_…
anaconda+pytorch+cuda安装教程
1. 2. 3.选择安装位置 4.安装pytorch 5.在下载了 需要的时间挺长的 6.安装完成后测试 7.pycharm里的环境位置 8.pycharm里运行成功
【PyTorch深度学习项目实战100例】—— 基于Pytorch的语音情感识别系统 | 第71例
前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境： 平台：Windows10语言环境：python3.7编译器：PyCharmPy…
基于深度学习的三维重建（二）：pytorch的简单操作及DataLoader、Dataset类简介
目录 1.numpy举几个demo
2.pytorch基础
2.1 tensor介绍
3.简单版DataSet & DataLoader
4.模型构建
5.深度学习模型demo：手写文字识别
5.1 构建网络
5.2 前向传播过程
5.3 训练部分
5.4 测试部分
5.5 模型导出
5.6 模型测试
6.pytorch可视化工具ten…
风格迁移2-07：MUNIT(多模态无监督)-源码无死角解析（3）-loss计算
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
风格迁移2-03：MUNIT(多模态无监督)-白话给你讲论文-翻译无死角（1）
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
detectron2（目标检测框架）无死角玩转-07：源码详解（3）-模型构建-RetinaNet为例
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
风格迁移1-02：Liquid Warping GAN(Impersonator)-源码模型测试-报错解决
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
Pytorch模型转换为onnx或ncnn的方法兼谈pytorch模型编写规范
最近在将一个其它人编写的pytorch模型转换到ncnn 格式， 转换路径为：
pytorch-> torchscript->pnnx, 中间有副产品onnx模型。 使用torch.jit.trace_module( model, {"entrypoint",[parameters]}) 来记录模型，entrypoint在大多…
torch.where的新用法（很老但是大家忽略的用法）
torch.where(condition) → tuple of LongTensor
torch.where(condition) is identical to torch.nonzero(condition, as_tupleTrue). 通常 ，我们都 会这样使用torch.where函数:
torch.where(condition, x, y) 但是实际上torch.where还有如题头如示的用法…
微软python jit 库pyjion 测试
ubuntu下安装.net runtime wget https://packages.microsoft.com/config/ubuntu/21.04/packages-microsoft-prod.deb -O packages-microsoft-prod.deb sudo dpkg -i packages-microsoft-prod.deb rm packages-microsoft-prod.deb
sudo apt-get update; \ sudo apt-get insta…
训练自己的源码识别模型
我们使用guesslang 工具进行数据集下载处理。
guesslang 网址： Guesslang documentation — Guesslang 2.2.1 documentation 利用 guesslangtool 下载训练数据，为了方便ＳＣＣ研究人员，处理好的数据在本…
bloom filter 理解
Bloom filter是一种特殊算法。通常的算法是在时间和空间之间权衡：时间换空间或空间换时间。 Bloom filter是一种用可接受的错误率换时间和空间的作法：用一定错误率的代价来解决时间和空间的占用问题（同时解决时空问题）。 动态演示…
AMD 显卡编译 pytorch 指南 ROCM + pytorch
ROCM pytorch 快速安装方法 最新更新： 2022.10.10 由于pytorch官方已经支持rocm, 不需要自己编译，请访问
http://www.pytorch.org 进行安装
---------------------------------------------------------------------------------
需要在干净机器上…
PyTorch知识点总结100问
PyTorch知识点总结 什么是PyTorch？它有什么特点和优势？ PyTorch中的张量（Tensor）是什么？它与NumPy中的数组有何区别？ 请介绍一下PyTorch的执行流程。 PyTorch中的autograd是什么？它有什么作用…
CUDA下载，以及下载GPU版本的pytorch
一、下载anaconda
因为这步我之前就下好了，主要参考这个链接：史上最全最详细的Anaconda安装教程
二、下载CUDA
1.首先观察自己需要什么版本的CUDA，以及是否安装过CUDA 先cmd，输入命令
nvidia-smi结果如下，所以我们…
解决anaconda下载pytorch慢问题（清华镜像源）
在anaconda中下载pytorch时，如果使用pytorch官网所提供的命令，会造成下载巨慢的问题。 pytorch官网的命令如下： 以上选中的区域即为官网提供的命令，直接复制到anaconda命令行中也可以，但以下使用清华镜像源则可以大大…
win下C++部署深度学习模型之clion配置pytorch+opencv教程记录
win下clion配置pytorch和OpenCV 一、clion配置vs编译器以及测试二、clion配置pytorch2.1、下载libtorch2. 2、环境变量配置2.3、cmakelist.txt编写2.4、main函数测试运行 三、clion配置opencv3.1、源码下载3.2、编译3.3、环境变量配置3.4、cmakelist.txt编写3.5 main函数测试运…
win下pytorch安装—cuda11.6 + cudnn8.4 + pytorch1.12 + tensorRT（pycuda）
安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch安装四、tensorRT8.X安装写在前面 博主这里装的是cuda11.7，最后一步tensorRT运行的时候有个pycuda的安装，它的最新版本只支持到cuda11.6，所以博主最后是又把cuda…
简单记录一下，几个经典的网络结构
目录
LeNet
AlexNet
VggNet
GoogLeNet
ResNet
Unet
Unet LeNet lenet很经典的网络结构，在1998年由大佬LeCun提出，仅仅只有七层网络（对于今天来说肯定是洒洒水蜡）
两层卷积层两层下采样层（池化层）三…
本地配置Anaconda+Python+PyCharm+PyTorch深度学习环境
目录
1-创建pytorch环境 2-安装pytorch环境
3-pycharm导入pytorch环境
首先已经安装好了anaconda，并且我们也知道anaconda是一个包管理工具，它可以用来管理我们的工作环境。此教程就不在此说明anaconda安装方法了。总要留点给你们遐想空间O(∩_∩)O …
【我是土堆 - Pytorch教程】 知识点 学习总结笔记（三）
此文章为【我是土堆 - Pytorch教程】 知识点 学习总结笔记（三）包括：torchvision中的数据集使用、DataLoader 的使用、神经网络的基本骨架 - nn.Module 的使用、土堆说卷积操作（可选看）、 神经网络 - 卷积层、神经网络 …
使用Anaconda创建pytorch虚拟环境，并在JupyterNotebook使用
创建虚拟环境
打开：Anaconda Powershell Prompt
输入：conda create -n pytorch python pytorch(环境名) ，即可创建成功 激活虚拟环境
输入：conda activate pytorch 在虚拟环境安装ipykernel (切记这一步是在对应的虚拟环境中进…
CenterNet之loss计算代码解析
[GiantPandaCV导语] 本文主要讲解CenterNet的loss，由偏置部分（reg loss）、热图部分(heatmap loss)、宽高(wh loss)部分三部分loss组成，附代码实现。
1. 网络输出
论文中提供了三个用于目标检测的网络，都是基于编码解…
pytorch第一天（tensor数据和csv数据的预处理）lm老师版
tensor数据：
import torch
import numpyx torch.arange(12)
print(x)
print(x.shape)
print(x.numel())X x.reshape(3, 4)
print(X)zeros torch.zeros((2, 3, 4))
print(zeros)ones torch.ones((2,3,4))
print(ones)randon torch.randn(3,4)
print(randon)a …
自编码器AE全方位探析：构建、训练、推理与多平台部署
本文深入探讨了自编码器（AE）的核心概念、类型、应用场景及实战演示。通过理论分析和实践结合，我们详细解释了自动编码器的工作原理和数学基础，并通过具体代码示例展示了从模型构建、训练到多平台推理部署的全过程。 关注TechLead&…
基于YOLOV8模型和CCPD数据集的车牌目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型和CCPD数据集的车牌目标检测系统可用于日常生活中检测与定位车牌目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算…
pytorch如何使用Focal Loss
Focal loss 是 文章 Focal Loss for Dense Object Detection 中提出对简单样本的进行decay的一种损失函数。是对标准的Cross Entropy Loss 的一种改进。 FL对于简单样本（p比较大）回应较小的loss。 如论文中的图1， 在p0.6时， 标准的…
基于transformer的心脑血管心脏病疾病预测
视频讲解：基于transformer的心脑血管疾病预测 完整数据代码分享_哔哩哔哩_bilibili
数据展示： 完整代码：
# pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple/
# pip install optuna -i https://pypi.tuna.tsinghua.edu.cn/simple/
import numpy as np
…
经典文献阅读之--MapTR(环视车道线地图提取)
0. 简介
最近环视图像处理其实已经非常火了，最近地平线&华科则是提出了一种新的环视车道线地图提取工具。高清（HD）地图提供了驾驶场景丰富而精确的环境信息，是自动驾驶系统规划中基础且不可或缺的组成部分。《MapTR: Structu…
基于YOLOv8和WiderFace数据集的人脸目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8和WiderFace数据集的人脸目标检测系统可用于日常生活中检测与定位人脸目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算…
torch.cuda.is_available() 解决方
本人使用的显卡如下，打开任务管理器查看
Anaconda下载哪个版本都可以
使用命令conda create -n pytorch python3.6创建一个名为pytorch的环境，解释器使用3.6的
使用命令conda activate pytorch进入该环境
进入pytorch官网，选择下列选项 复…
Pytorch面试题整理（2023.09.10）
1、pytorch如何微调fine tuning？
在加载了预训练模型参数之后，需要finetuning 模型，可以使用不同方式finetune。
局部微调：加载了模型参数后，只想调节最后几层，其他层不训练，也就是不进行梯度…
目标检测算法改进系列之Backbone替换为InceptionNeXt
InceptionNeXt
受 Vision Transformer 长距离依赖关系建模能力的启发，最近一些视觉模型开始上大 Kernel 的 Depth-Wise 卷积，比如一篇出色的工作 ConvNeXt。虽然这种 Depth-Wise 的算子只消耗少量的 FLOPs，但由于高昂的内存访问成本 (memory…
取Dataset子集(pytorch)
取Dataset子集--pytorch 1. why2. how3. example 1. why
我们在调试深度学习代码时，常常会遇到数据集太大，导致调试浪费时间的情况，这种情况下，将数据集中的一个子集拿出来用于调试代码，调试成功在用完整的数据集运行…
基于YOLOv8模型的车载摄像头下车辆目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的车载摄像头下车辆目标检测系统可用于日常生活中检测与定位车辆目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算…
PyTorch - 大模型多卡训练 “CUDA error: an illegal memory access was encountered”
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/133640212 错误日志：
# ...File "lib/python3.7/site-packages/pytorch_lightning/trainer/trainer.py", line 580, in fi…
使用 PyTorch 构建自定义 GPT
一、介绍 介绍大模型，首先考虑一下使用 ChatGPT、Bing Chat 或 Bard 。您是否想过拥有自己的 ChatGPT 会是什么样子？想象一下创建自己的 GPT 模型的兴奋程度。这确实是一种难以置信的感觉！ 为了开始构建自定义 GPT 的旅程，让我们仔…
用PyTorch轻松实现二分类：逻辑回归入门
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
简单线性回归模型（复习一下前向传播和反向传播）
案例1
import torch
torch.__version__
xtorch.rand(3,4,requires_gradTrue)
xtensor([[0.9795, 0.8240, 0.6395, 0.1617],[0.4833, 0.4409, 0.3758, 0.7234],[0.9857, 0.9663, 0.5842, 0.8751]], requires_gradTrue)btorch.rand(3,4,requires_gradTrue)
txb
yt.sum()y.backwa…
Pytorch detach()方法
detach() 是 PyTorch 中的一个方法，用于从计算图中分离（detach）张量。它可以将一个张量从当前计算图中分离出来，返回一个新的张量，该张量与原始张量共享相同的底层数据，但不再追踪梯度信息。
当你需要在计…
GPU版本的Pytorch安装
GPU版本的Pytorch安装 1.CUDA的安装 查看自己计算机CUDA支持的版本 2.CUDNN的安装 对应找到CUDNN的版本 3.Pytorch的安装 找自己的CUDA对应的PYtorch安装包 https://pytorch.org/get-started/previous-versions/ 并在下面的页面下载 https://download.pytorch.org/whl/cu101/to…
【pytorch】多GPU同时训练模型
文章目录 1. 基本原理单机多卡训练教程——DP模式 2. Pytorch进行单机多卡训练步骤1. 指定GPU2. 更改模型训练方式3. 更改权重保存方式 摘要：多GPU同时训练，能够解决单张GPU显存不足问题，同时加快模型训练。
1. 基本原理
单机多卡训练教程—…
MobileViT v2导出onnx模型时遇Col2Im算子无法导出问题
相关error log索引
onnxruntime.capi.onnxruntime_pybind11_state.InvalidGraph: [ONNXRuntimeError] : 10 : INVALID_GRAPH : This is an invalid model. In Node, ("/classifier/classifier.0/ReduceMean", ReduceMean, "", -1) : ("/layer_5/laye…
pytorch 笔记：KLDivLoss
1 介绍
对于具有相同形状的张量 ypred 和 ytrue（ypred 是输入，ytrue 是目标），定义逐点KL散度为： 为了在计算时避免下溢问题，此KLDivLoss期望输入在对数空间中。如果log_targetTrue，则目标…
torch.cat函数用法
torch.cat函数是PyTorch中用于拼接张量（tensors）的函数。它可以沿着指定的维度将多个张量连接在一起。 本文主要包括以下内容： 1. cat函数构成2.两个二维张量拼接2.1 二维张量拼接（dim0维度）2.2 二维张量拼接…
为Yolov7环境安装Cuba匹配的Pytorch
1. 查看Cuba版本
方法一 nvidia-smi 找到CUDA Version
方法二 Nvidia Control Panel > 系统信息 > 组件 > 2. 安装Cuba匹配版本的PyTorch
https://pytorch.org/get-started/locally/这里使用conda安装
conda install pytorch torchvision torchaudio pytorch-cu…
pytorch代码实现之动态蛇形卷积模块DySnakeConv
动态蛇形卷积模块DySnakeConv
血管、道路等拓扑管状结构的精确分割在各个领域都至关重要，确保下游任务的准确性和效率。 然而，许多因素使任务变得复杂，包括薄的局部结构和可变的全局形态。在这项工作中，我们注意到管状结构的特殊…
Anaconda prompt中使用conda下载pytorch，一直卡在solving environment解决方案
关闭梯子
清空镜像源：
conda config --remove-key channels
在pytorch官网找到对应的版本与命令：PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia（我的电脑CUDA版本为12.1.103，…
关于pytorch不区分行向量与列向量的理解
听李沐老师讲深度学习时候解释pytorch不区分行向量和列向量，只相当于是一维数组，一维张量一定是行向量，相当于数组，而行列向量可以放到矩阵中看。
测试如下：
rtorch.tensor([1,2,3],dtypetorch.float32)
print(r,r.T…
pytorch定义datase多次重复采样
有的时候训练需要对样本重复抽样为一个batch，可以按如下格式定义:
class TrainLoader(Dataset):def __init__(self, fns, repeat1):super(TrainLoader, self).__init__()self.length len(fns) # 数据数量self.repeat repeat # 数据重复次数def __getitem__(self,…
torch实现Gated PixelCNN
文章目录 PixelCNNGated PixelCNN PixelCNN
import torch
import torch.nn as nn
import torch.nn.functional as F# Pixel CNNclass MaskConv2d(nn.Module):def __init__(self, conv_type, *args, **kwags):super().__init__()assert conv_type in (A, B)self.conv nn.Conv2…
Pytorch从零开始实战05
Pytorch从零开始实战——运动鞋识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——运动鞋识别环境准备数据集模型选择数据可视化模型预测总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.0.1cu118…
PyTorch模型INT8量化基础
PyTorch模型INT8量化基础 最基础的Tensor量化校准两种不同的量化方案每张量和每通道量化方案量化后端引擎配置QConfigTensor量化Post Training Static Quantization (训练后静态量化)fuse_model:融合网络中的一些层 设置qCONFIGprepare: 定标 ：scale 和 zero_point喂…
Prefix-Tuning源码解析
Prefix-Tuning源码解析
Prefix-Tuning在PEFT包中的源码实现 改写自Based on https://github.com/THUDM/P-tuning-v2/blob/main/model/prefix_encoder.py
import torch
from transformers import PretrainedConfigclass PrefixEncoder(torch.nn.Module):rThe torch.nn model t…
pytorch tensor的广播机制
一般来说，numpy数组或者pytorch张量的形状必须完全一致才能进行直接相乘，否则会报错。但是，有一种特殊的情况，就是当两个数组或者张量的形状在某些维度上只有一个元素时，它们可以进行广播（broadcasting&…
《动手学深度学习 Pytorch版》 9.7 序列到序列学习（seq2seq）
循环神经网络编码器使用长度可变的序列作为输入，将其编码到循环神经网络编码器固定形状的隐状态中。
为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。 要点&#x…
transformers架构实现
目录 架构代码如下 模型打印如下 架构代码如下
import numpy as np
from torch.autograd import Variable
import copy
from torch import softmax
import math
import torch
import torch.nn.functional as F
import torch.nn as nn
# 构建Embedding类来实现文本嵌入层
class…
【Pytorch】pytorch中保存模型的三种方式
【Pytorch】pytorch中保存模型的三种方式 文章目录 【Pytorch】pytorch中保存模型的三种方式1. torch保存模型相关的api1.1 torch.save()1.2 torch.load()1.3 torch.nn.Module.load_state_dict()1.4 什么是state_dict()1.4. 1 举个例子 2. pytorch模型文件后缀3. 存储整个模型3…
深度学习实战57-pytorch框架搭建LSTM+CNN模型与实现时间序列的预测过程
大家好，我是微学AI，今天给大家介绍一下深度学习实战57-pytorch框架搭建LSTM+CNN模型与实现时间序列的预测过程， 随着科技的进步，我们越来越依赖数据来理解世界，预测未来。特别是在金融、气候研究、交通管理等领域，时间序列预测已经成为了重要的工具。本文将介绍如何使用L…
pytorch 训练可视化
pytorch 训练可视化 1.from torch.utils.tensorboard 1.from torch.utils.tensorboard
from torch.utils.tensorboard import SummaryWriter在最新版本的pytorch中官方提供了tensorboard的api。以下是官方教程的链接
https://pytorch.org/tutorials/intermediate/tensorboard…
人群计数——MCNN
这是对于Single-Image Crowd Counting via Multi-Column Convolutional Neural Network（2016 CVPR）中所提出的MCNN模型的基于pytorch的实现
import torch#import torchstat as te;import numpy
class my_MCNN(torch.nn.Module):def __init__(self):supe…
PyTorch入门教学——使用PyCharm创建一个PyTorch项目
首先需要创建好PyTorch的虚拟环境，步骤：PyTorch入门教学——简介与环境配置-CSDN博客打开PyCharm，新建项目，选择项目的存放位置。选择先前配置的解释器，也就是虚拟环境中的解释器。（记住创建的虚拟环境所在…
《PyTorch深度学习实践》第三讲 反向传播
《PyTorch深度学习实践》第三讲 反向传播 问题描述问题分析编程实现代码实现效果 参考文献 问题描述 问题分析 编程实现
代码 import torch
# 数据集
x_data [1.0, 2.0, 3.0]
y_data [2.0, 4.0, 6.0]
# w权重
w torch.tensor([1.0])
w.requires_grad True # 需要计算梯度…
2023最新pytorch安装教程，简单易懂，面向初学者（Anaconda+GPU）
一、前言
目前是2023.1.27,鉴于本人安装过程中踩得坑，安装之前我先给即将安装pytorch的各位提个醒，有以下几点需要注意
1.判断自己电脑是否有GPU
注意这点很重要，本教程面向有NVIDA显卡的电脑，如果你的电脑没有GPU或者使用AMD显…
运行pytorch时出现version `CXXABI_1.3.9‘ not found
发现问题：运行bert预测代码时出现如下错误
/envs/py38/lib/python3.8/site-packages/transformers/utils/import_utils.py", line 1184, in _get_module
RuntimeError: Failed to import transformers.onnx.config because of the following error (look up …
仪酷LabVIEW OD实战(3)——Object Detection+onnx工具包快速实现yolo目标检测
🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主 🎄所属专栏：『LabVIEW深度学习工具包』『仪酷LabVIEW目标检测工具包实战』 📑上期文章：『仪酷LabVIEW OD实战(2)——Obje…
DASCTF X CBCTF 2023
一、justpaint
1.先是压缩包密码爆破，密码为11452，然后开始代码审计，发现是一个线性的神经网络。 源代码如下：
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
from PIL import Ima…
TVRNet网络PyTorch实现
文章目录 文章地址网络各层结构代码实现 文章地址
An End-to-End Traffic Visibility Regression Algorithm文章通过训练搜集得到的真实道路图像数据集（Actual Road dense image Dataset, ARD），通过专业的能见度计和多人标注，获得…
创建Dataloader基础篇【一】
概述
在transformers trainer训练、评估模型中，大致根据以下过程加载与处理训练、评估数据集：
使用dataset.Dataset加载数据使用Dataset.map与自定义的convert_examples_to_features函数处理Dataset中的每一行数据定义sampler，在迭代Datalo…
Pytorch从零开始实战07
Pytorch从零开始实战——咖啡豆识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——咖啡豆识别环境准备数据集模型选择训练模型可视化模型预测其他问题总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytor…
Ha-NeRF源码解读 train_mask_grid_sample
目录
背景：
（1）Ha_NeRF论文解读
（2）Ha_NeRF源码复现
（3）train_mask_grid_sample.py 运行
train_mask_grid_sample.py解读
1 NeRFSystem 模块
2 forward()详解
3 模型训练tranining_st…
pytorch加载的cifar10数据集，到底有没有经过归一化
pytorch加载cifar10的归一化 pytorch怎么加载cifar10数据集torchvision.datasets.CIFAR10transforms.Normalize()进行归一化到底在哪里起作用？【CIFAR10源码分析】 torchvision.datasets加载的数据集搭配Dataloader使用model.train()和model.eval() pytorch怎么加载…
【RT-DETR改进】SIoU、GIoU、CIoU、DIoU、AlphaIoU等二十余种损失函数
一、本文介绍
这篇文章介绍了RT-DETR的重大改进，特别是在损失函数方面的创新。它不仅包括了多种IoU损失函数的改进和变体，如SIoU、WIoU、GIoU、DIoU、EIOU、CIoU，还融合了“Alpha”思想，创造了一系列新的损失函数。这些组合形式的…
深度学习_11_softmax_图片识别代码原理解析
完整代码：
import torch
from d2l import torch as d2l"创建训练集&创建检测集合"
batch_size 256
train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)"每个图片长度，以及图片种类"
num_inputs 784
num_output…
pytorch基础语法问题
这里写目录标题 pytorch基础语法问题shapetorch.ones_like函数和torch.zeros_like函数y.backward(torch.ones_like(x), retain_graphTrue)torch.autograd.backward参数grad_tensors: z.backward(torch.ones_like(x))来个复杂例子z.backward(torch.Tensor([[1., 0]])更复杂例子实…
linux下 u2net tensorrt模型部署
TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov5 tensorrt模型加速…
pytorch 入门（二）
本文为🔗小白入门Pytorch内部限免文章 🍨 本文为🔗小白入门Pytorch中的学习记录博客🍦 参考文章：【小白入门Pytorch】教案二🍖 原作者：K同学啊 目录 一、神经网络的组成部分1. 神经元2. 神经网络…
cuda PyTorch
1. GPU对应的CUDA版本 nvidia-smi CUDA Version: 12.2 GPU diver 大于cuda toolkit， pytorch 版本根据cuda toolkit 2. 查看nvcc的版本（即cuda toolkit 版本）
nvcc --version Cuda compilation tools, release 12.2, V12.2.91 Build cud…
【动手学深度学习】(十)PyTorch 神经网络基础
文章目录 一、层和块1.自定义块2.顺序块3.在前向传播函数中执行代码 二、参数管理1.参数访问2.参数初始化3.参数绑定 三、自定义层1.不带参数的层2.带参数的层 四、读写文件1.加载和保存张量2.加载和保存模型参数 [相关总结]state_dict() 一、层和块 为了实现复杂神经网络块&am…
使用Pytorch Geometric 进行链接预测代码示例
PyTorch Geometric (PyG)是构建图神经网络模型和实验各种图卷积的主要工具。在本文中我们将通过链接预测来对其进行介绍。
链接预测答了一个问题:哪两个节点应该相互链接?我们将通过执行“转换分割”，为建模准备数据。为批处理准备专用的图数据加载器。在Torch Ge…
RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR错误原因以及解决方法
这里写自定义目录标题1.环境2.报错的代码3.错误原因4.解决方案4.1卸载容器中的cuda11.74.2 下载对应版本的cuda4.3最后结果1.环境
物理机环境：4090显卡，ubuntu20 容器环境：cuda11.7；torch1.13 代码中有用到torch的傅里叶变换
2.…
【PyTorch】第二节：梯度的求解
作者🕵️♂️：让机器理解语言か 专栏🎇：Pytorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
Anaconda创建新环境以及应用到Pycharm项目中
1.Anaconda创建新环境
1.安装
最详细的 Windows 下 PyTorch 入门深度学习环境安装与配置 CPU GPU 版 | 土堆教程 这个教程从零开始，能解决大部分问题
坑：安装anaconda时选了all user，导致环境安装在C盘，解决方法如下࿱…
PyTorch dataset dataloader用法
dataset & dataloader 参考PyTorch官方文档: https://pytorch.org/docs/stable/data.html Dataloader
TODO: sample取样器
本来想写这个参数的用法，结果发现自己总用不上这个参数
pin_memory 详解Pytorch里的pin_memory 和 non_blocking.https://zhuanlan.zh…
【Pytorch】神经网络搭建
在之前我们学习了如何用Pytorch去导入我们的数据和数据集，并且对数据进行预处理。接下来我们就需要学习如何利用Pytorch去构建我们的神经网络了。
目录
基本网络框架Module搭建
卷积层
从conv2d方法了解原理
从Conv2d方法了解使用
池化层
填充层
非线性层
…
PyTorch学习笔记：nn.ReLU——ReLU激活函数
PyTorch学习笔记：nn.ReLU——ReLU激活函数
torch.nn.ReLU(inplaceFalse)功能：逐元素应用ReLU函数对数据进行激活
函数方程： ReLU(x)(x)max(0,x)ReLU(x)(x)^\max(0,x) ReLU(x)(x)max(0,x) 输入：
inplace：是否改变输…
PyTorch学习笔记：nn.PReLU——PReLU激活函数
PyTorch学习笔记：nn.PReLU——PReLU激活函数
torch.nn.PReLU(num_parameters1, init0.25, deviceNone, dtypeNone)功能：逐元素对数据应用如下函数公式进行激活 PReLU(x)max(0,x)a∗min(0,x)\text{PReLU}(x)\max(0,x)a*\min(0,x) PReLU(x)max(0,x)a∗…
pytorch的学习与总结(第二次组会)
pytorch的学习与总结 一、pytorch的基础学习1.1 dataset与dataloader1.2 可视化工具(tensorboard)、数据转换工具(transforms)1.3 卷积、池化、线性层、激活函数1.4 损失函数、反向传播、优化器1.5 模型的保存、加载、修改 二、 pytorch分类项目实现2.1 网络模型2.2 具体代码 一…
安装全新的 pytorch 1.0
新的pytorch 已经发布，在conda下安装1.0的命令如下： 支持cuda 10.0 版本 conda install pytorch torchvision cudatoolkit10.0 -c pytorch
【实例分割yolact++】从头训练自己的yolact++模型
目录0.前言1.整个流程2.具体过程2.1 下载Github上的项目2.2 使用labelme打标签2.2.1 安装labelme2.2.2 如何标注2.3 制作COCO格式的数据集2.4 改data/config.py文件2.5 开始训练2.6 检测模型3.总结0.前言
最近需要做一个实例分割的任务，接触到了yolact。也是刚开始…
树莓派4B部署yolov5：安装torch：torch1.8.0+torchvision0.9.0
前两天一直在树莓派4B上部署yolov5，但就是一直安装不好要求版本的pytorch，难受坏了。
官方要求版本： 这里分享编译好的torch1.8.0torchvision0.9.0的.whl文件，下载好直接pip3 install XXX.whl即可。 链接：https://pan…
编译 PyTorch 模型
本篇文章译自英文文档 Compile PyTorch Models。
作者是 Alex Wong。
更多 TVM 中文文档可访问 →TVM 中文站。
本文介绍了如何用 Relay 部署 PyTorch 模型。
首先应安装 PyTorch。此外，还应安装 TorchVision，并将其作为模型合集 (model zoo)。
可通…
Pytorch中的梯度知识总结
文章目录1.叶节点、中间节点、梯度计算2.叶子张量 leaf tensor (叶子节点) (detach)2.1 为什么需要叶子节点？2.2 detach()将节点剥离成叶子节点2.3 什么样节点会是叶子节点2.3 detach()，detach_() 的作用和区别2.4 clone()与detach()的区别5.optimizer.z…
五、PyTorch 深度学习 Logistic回归
Logistic回归
来源：B站 刘二大人
import torch
# import torch.nn.functional as F# prepare dataset
x_data torch.Tensor([[1.0], [2.0], [3.0]])
y_data torch.Tensor([[0], [0], [1]])#design model using class
class LogisticRegressionModel(torch.nn.Mo…
笔记：对多维torch进行任意维度的多“行”操作
如何取出多维torch指定维度的指定“行” 从二维torch开始新建torch取出某一行取出某一列一次性取出多行取出连续的多行取出不连续的多行 一次取出多列取出连续的多列取出不连续的多列 考虑三维torch取出三维torch的任意两行（means 在dim0上操作）取出连续…
YOLOv7环境配置的一些细节
评论区和私信问我问题的同学们不要急，你们的问题我一直在研究，只是还没成功(>﹏<)，如果完成了我会第一时间发出来并通知你的(≧∇≦)/ 本文将讲解YOLOv7环境配置的一些细节（YOLOv5环境配置也适用，之前在配gpu版本…
YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制 前言前提条件相关介绍注意力机制SE添加SE注意力机制到YOLOv5 CBAM添加CBAM注意力机制到YOLOv5 CoordAtt添加CoordAtt注意力机制到YOLOv5 ECA添加ECA注意力机制到YOLOv5 参考 前言 记录在YOLOv5添加注意力机制…
PyTorch Week 2——transforms图像增强
系列文章目录
PyTorch Week 2——Dataloader与Dataset
PyTorch Week 1 PyTorch Week 2——transforms图像增强系列文章目录一、transforms初体验transforms.Compose 有序组合数据增强方法，并依次执行二、transforms.Normalize——逐个channel对图像进行标准化1.步…
PyTorch Geometric (PyG) 库的安装
PyG 库的安装 前言1、PyG库的安装过程2、版本问题解决 前言
最近在学习图神经网络，需要用到PyG库，发现这个库的安装不能简单的使用pip install 安装，这里记录一下。
1、PyG库的安装过程
第一步：查看自己的torch版本和cuda版本 …
强化学习实践之交叉熵方法
核心：丢弃不好的episode步骤： 使用当前的模型和环境运行N个episode计算每个episode的总奖励并确定一个奖励边界。通常，使用所有奖励的一些百分位数，例如：50%和70%丢弃所有包含边界以下奖励的episode用观察作为输入&…
动手学深度学习之全连接卷积神经网络
全连接卷积神经网络(FCN)
FCN是用深度神经网络来做语义分割的奠基性工作他用转置卷积层来替换CNN最后的全连接层，从而可以实现每个像素的预测
代码实现
%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functio…
动手学深度学习之物体检测和数据集
目标检测
目标检测和图片分类的区别
图片分类我们就是要找出主体，目标检测就是在图片中识别所有我们感兴趣的东西，并且知道所有物体的位置
边缘框(bounding box)
用来表示物体的位置一个边缘框可以通过4个数字定义 (左上x, 左上y, 右下x, 右下y)(左…
RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
遇到的问题
RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
详细错误
***.py return F.conv1d(input, weight, bias, self.stride, RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR You can try to repro this exception using the following code snipp…
PyTorch中的intrusive_ptr
PyTorch中的intrusive_ptr
前言
intrusive_ptr與unique_ptr，shared_ptr等一樣，都是smart pointer。但是intrusive_ptr比較特別，它所指向的物件類型必須繼承自intrusive_ptr_target，而intrusive_ptr_target必須實現引用計數相關的…
基于tornado BELLE 搭建本地的web 服务
我的github
将BELLE 封装成web 后端服务，采用tornado 框架
import timeimport torch
import torch.nn as nnfrom gptq import *
from modelutils import *
from quant import *from transformers import AutoTokenizer
import sys
import json
#import lightgbm a…
PyTorch 基础篇（2）：线性回归（Linear Regression）
# 包import torchimport torch.nn as nnimport numpy as npimport matplotlib.pyplot as plt # 超参数设置input_size 1output_size 1num_epochs 60learning_rate 0.001 # Toy dataset # 玩具资料：小数据集x_train np.array([[3.3], [4.4], [5.5], [6.71], [6.…
使用PyTorch解决多分类问题：构建、训练和评估深度学习模型
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
图像语义分割 pytorch复现U2Net图像分割网络详解
图像语义分割 pytorch复现U2Net图像分割网络详解 1、U2Net网络模型结构2、block模块结构解析RSU-7模块RSU-4Fsaliency map fusion module U2Net网络结构详细参数配置RSU模块代码实现RSU4F模块代码实现u2net_full与u2net_lite模型配置函数U2Net网络整体定义类损失函数计算评价指…
《动手学深度学习 Pytorch版》 9.4 双向循环神经网络
之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。
9.4.1 隐马尔可夫模型中的动态规划
数学推导太复杂了，略。
9.4.2 双向模型
双向循环神经网络（bidirectional RNNs）…
Pytorch实现GAT(基于PyTorch实现)
文章目录 前言一、导入相关库二、加载Cora数据集三、定义GAT网络3.1 定义GAT层3.1.1 将节点信息进行空间映射3.1.2 注意力分数3.1.3 获取邻接矩阵3.1.4 获得注意力分数矩阵3.1.5 加权融合特征3.1.6 GATConv层3.2 定义GAT网络四、定义模型五、模型训练六、模型验证七、结果完整代…
pytorch读取tiny-imagenet-200的验证集(val)
ori_train torchvision.datasets.ImageFolder(root args.datadir /tiny-imagenet-200/train/, transformtransform)#可以获取class_idx的映射class_idx ori_train.class_to_idx
val_annotations.txt中存储着每个图片对应的类别
获取验证集的标签 test_target []#读取val_…
VAE模型及pytorch实现
VAE模型及pytorch实现 VAE模型推导部分最小化KL散度推导代码部分损失函数Encoder部分Decoder部分VAE整体架构 VAE问题参考资料 VAE（变分自编码器）是一种生成模型，结合了自编码器和概率图模型的思想。它通过学习数据的潜在分布，可以…
如何快速安装MONAI(莫奈)医学标注软件
安装 MONAI Label软件怕【官网】
python -m pip install --upgrade pip setuptools wheel# Install latest stable version for pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113# Check if cuda enabled
python …
LibTorch实战二：MNIST的libtorch代码
目录 一、前言
二、另一种下载数据集方式
三、MNIST的Pytorch源码
四、MNIST的Libtorch源码 一、前言 前面介绍过了MNIST的python的训练代码、和基于torchscript的模型序列化（导出模型）。今天看看，如何使用libtorch C来实现手写数字训练。…
torch_flops: 准确捕获forward中所有算子的FLOPs计算库
目录
为什么需要torch_flops库
torch_flops库介绍
torch_flops的使用和对比
尚存的限制
最后 为什么需要torch_flops库
在对比神经网络模型轻量程度时，通常会使用FLOPs（Floating Point Operations. 参考链接）指标（但要注意的…
win10下安装 Anaconda + Cuda + Cudnn + Pycharm + Pytorch
1.安装Anaconda
（1-1）下载Ananconda, Anaconda官网 选择windows版本； （1-2）安装Anaconda,一般选择【Just Me】 （1-3）建议不要装在C盘，后期多环境的python环境和各种库文件会占用很多…
【深度学习】pytorch——Autograd
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 深度学习专栏链接： http://t.csdnimg.cn/dscW7 pytorch——Autograd Autograd简介requires_grad计算图没有梯度追踪的张量ensor.data 、tensor.detach()非叶子节点的梯度计算图特点总结 利用Autograd实…
【pytorch源码分析--torch执行流程与编译原理】
背景
解读torch源码方便算子开发方便后续做torch 模型性能开发
基本介绍
代码库
https://github.com/pytorch/pytorch
模块介绍 aten: A Tensor Library的缩写。与Tensor相关的内容都放在这个目录下。如Tensor的定义、存储、Tensor间的操作（即算子/OPÿ…
人群计数CSRNet的pytorch实现
本文中对CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes（CVPR 2018）中的模型进行pytorch实现
import torch;import torch.nn as nn
from torchvision.models import vgg16
vggvgg16(pretrained1)import…
第12章 PyTorch图像分割代码框架-2
模型模块 本书的第5-9章重点介绍了各种2D和3D的语义分割和实例分割网络模型，所以在模型模块中，我们需要做的事情就是将要实验的分割网络写在该目录下。有时候我们可能想尝试不同的分割网络结构，所以在该目录下可以存在多个想要实验的网络模型…
【PyTorch】（五）模型训练
文章目录 1. 基本步骤 1. 基本步骤
for epoch in range(num_epochs):for _X, _y in dataloader:# 将数据转移到GPU_X, _y _X.to(device), _y.to(device)# 前向传播计算损失loss criterion(model(_X).reshape(_y.shape), _y)# 清空优化器梯度缓存optimizer.zero_grad()# 误差…
昇腾CANN 7.0 黑科技：大模型推理部署技术解密
CANN作为最接近昇腾AI系列硬件产品的一层，通过软硬件联合设计，打造出适合昇腾AI处理器的软件架构，充分使能和释放昇腾硬件的澎湃算力。针对大模型推理场景，CANN最新发布的CANN 7.0版本有机整合各内部组件，支持大模型的…
使用True False矩阵对torch.tensor切片
torch.tensor可以使用true、false矩阵进行切片，这里对切片结果记录一下
第一种情况：true、false矩阵和torch.tensor维度相同
一维情况
import torch
a torch.randn((8,))
b torch.randint(0,2,(8,))
slice_ (b0)
print(f"a {a}")
print…
PyTorch语音识别的理论基础——MFCC
在语音识别研究领域，音频特征的选择至关重要。本书大部分内容中都在使用一种非常成功的音频特征—梅尔频率倒谱系数（Mel-Frequency Cepstrum Coefficient，MFCC）。
MFCC特征的成功很大程度上得益于心理声学的研究成果，…
Pytorch实战教程（五）-计算机视觉基础
0. 前言 计算机视觉是指通过计算机系统对图像和视频进行处理和分析，利用计算机算法和方法，使计算机能够模拟和理解人类的视觉系统。通过计算机视觉技术，计算机可以从图像和视频中提取有用的信息，实现对环境的感知和理解，从而帮助人们解决各种问题和提高效率。本节中，将介…
【PyTorch】概述
文章目录 1. PyTorch是什么？2. PyTorch的特点3. PyTorch的架构 1. PyTorch是什么？
PyTorch是一个深度学习框架，由Facebook于2016年开源发布。PyTorch是基于Torch框架的Python接口，旨在提供易用的强大工具来进行神经网络的构建和训…
目标检测算法改进系列之Backbone替换为VanillaNet
VanillaNet简介
简介：VanillaNet是一种在设计中融入优雅的神经网络架构，通过避免高深度，shortcut和自注意力等复杂操作，VanillaNet简单而强大。每一层都经过精心制作，紧凑而直接，在训练后对非线性激活函数…
Pytorch模型使用与修改、保存与加载
以图像处理中torchvision为例，PyTorch通过torchvision.models模块提供了更多的预训练模型.
在图像分类当中，包括许多模型
import torchvision
import warnings
import torch
warnings.filterwarnings("ignore")本文将以VGG16为例࿰…
时间序列预测实战(九)PyTorch实现LSTM-ARIMA融合移动平均进行长期预测
一、本文介绍
本文带来的是利用传统时间序列预测模型ARIMA(注意：ARIMA模型不属于机器学习)和利用PyTorch实现深度学习模型LSTM进行融合进行预测，主要思想是->先利用ARIMA先和移动平均结合处理数据的线性部分（例如趋势和季节性）…
深度学习之基于Pytorch框架的MNIST手写数字识别
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 MNIST是一个手写数字识别的数据集，是深度学习中最常用的数据集之一。基于Pytorch框架的MNIST手写数字识…
时间序列预测实战(二十三)进阶版LSTM多元和单元预测（课程设计毕业设计首选）
一、本文介绍
本篇文章给大家带来的是利用我个人编写的架构进行LSTM模型进行时间序列建模（专门为了时间序列领域新人编写的架构，简单且不同于市面上大家用GPT写的代码），包括结果可视化、支持单元预测、多元预测、模型拟合效果检测…
【Pytorch API笔记8】用torch.cuda.empty_cache()释放所有未使用的缓存内存
骚操作：循环训练多个不同数据集的模型，显存占用得不到释放！
那么，在python上，如何释放pytorch开辟的显存呢？
PyTorch提供了上下文管理器来控制GPU内存分配。可以使用torch.cuda.empty_cache()来释放所有未…
在已安装Anaconda环境下配置沐神（李沐老师）动手学深度学习环境
沐神配置环境视频 B站李沐老师动手学深度学习环境配置视频
在windows中配置沐神深度学习环境
前提：安装了Anaconda基本环境，了解Jupyter NoteBook
1.打开 Anaconda Prompt 2.创建虚拟环境
create conda -n d2l-zh python3.8 pip3.激活虚拟环境
con…
基于Pytorch的从零开始的目标检测
引言
目标检测是计算机视觉中一个非常流行的任务，在这个任务中，给定一个图像，你预测图像中物体的包围盒(通常是矩形的) ，并且识别物体的类型。在这个图像中可能有多个对象，而且现在有各种先进的技术和框架来解决这个问…
PyTorch 之 Dataset 类入门学习
PyTorch 之 Dataset 类入门学习
Dataset 类简介 PyTorch 中的 Dataset 类是一个抽象类，用来表示数据集。通过继承 Dataset 类可以进行自定义数据集的格式、大小和其它属性，供后续使用； 可以看到官方封装好的数据集也是直接或间接的继承自 …
MMDetection3.0以上如何在推理是不显示类名？
找到/mmdet/visualization/local_visualizer.py这个文件，从156行开始
for i, (pos, label) in enumerate(zip(positions, labels)):# 这里先把类名拼接在了label_text中if label_names in instances:label_text instances.label_names[i]else:label_text classes…
torch::和at:: factory function的差別
torch::和at:: factory function的差別 前言torch::autograd::THPVariable_randtorch::rand_symintat::rand_symintdemotorch命名空間at命名空間 前言
>>> import torch
>>> a torch.rand(3, 4)
>>> a.requires_grad
False
>>> a torch…
基于可微分渲染器的相机位置优化【PyTorch3D】
在这个教程中，我们将使用可微渲染学习给定参考图像的相机的 [x, y, z] 位置。
我们将首先使用相机的起始位置初始化渲染器。 然后，我们将使用它来生成图像，使用参考图像计算损失，最后通过整个管道进行反向传播以更新相机的位置。…
学习pytorch17 pytorch模型保存及加载
pytorch模型保存及加载
代码
import torch
import torchvisionvgg16 torchvision.models.vgg16(pretrainedFalse)# 1. save model 1 保存模型结构及模型参数
torch.save(vgg16, ./vgg16_save1.model)# 2. save model 2 只保存模型参数 比第一种保存方法保存的文件要小
t…
5. PyTorch——数据处理模块
1.数据加载
在PyTorch中，数据加载可通过自定义的数据集对象。数据集对象被抽象为Dataset类，实现自定义的数据集需要继承Dataset，并实现两个Python魔法方法：
__getitem__：返回一条数据，或一个样本。obj[in…
本地编译安装 Minkowski Engine 报错 Cuda 版本 与 Pytorch 版本不匹配
编译 Cuda 版本 C 插件 Cuda 版本 与 Pytorch 版本不匹配解决方案 报错详情环境报错分析 报错详情
RuntimeError:
The detected CUDA version (12.2) mismatches the version that was used to compile
PyTorch (11.8). Please make sure to use the same CUDA versions.环境 …
在PyTorch中使用CUDA, pytorch与cuda不同版本对应安装指南，查看CUDA版本，安装对应版本pytorch
目录
1 查看本机CUDA版本
2 查看对应CUDA的对应pytorch版本安装
3 用pip 安装
4 用conda安装
5 验证安装 在PyTorch中使用CUDA，根据你的具体环境和需求调整版本号，确保安装的PyTorch版本与你的CUDA版本兼容。 在PyTorch中使用CUDA，你需…
Conda executable is not found 三种问题解决
如果在PyCharm中配置Python解释器时显示“conda executable is not found”错误消息，这意味着PyCharm无法找到您的Conda可执行文件。您可以按照以下步骤解决此问题： 1.方法一
确认Conda已正确安装。请确保您已经正确安装了Anaconda或Minicondaÿ…
【论文精读】Pose-Free Neural Radiance Fields via Implicit Pose Regularization
今天读的是一篇发表在ICCV 2023上的文章，作者来自NTU。 文章地址：点击前往 文章目录 Abstract1 Intro2 Related Work3 Preliminary4 Proposed Method4.1 Overall Framework4.2 Scene Codebook Construction4.3 Pose-Guided View Reconstruction4.4 Train…
4.5 构建onnx结构模型-Reshape
前言
构建onnx方式通常有两种： 1、通过代码转换成onnx结构，比如pytorch —> onnx 2、通过onnx 自定义结点，图，生成onnx结构
本文主要是简单学习和使用两种不同onnx结构， 下面以pow 结点进行分析
方式
方法一&am…
pytorch 数据预加载
1. Abstract
本文介绍一个工具 PreDataLoader，它包装 torch.utils.data.DataLoader，接收该类的一个实例 loader，启动一个线程 t，创建一个队列 q，t 将 loader 中的数据预加载到队列 q 中, 以在模型计算时也能启动启动数…
【学习分享】目标检测损失函数
目录前言损失函数正负样本的选择损失函数Hard negative mining（负样本难例挖掘）前言
前一篇博文我们讲到网络的模型结构，特征提取网络，分别用于分类和定位的分类分支和回归分支，以及两个分支的输出情况。接下来我们要…
【学习分享】目标检测基本概念及目标检测数据集VOC
目标检测基本概念及目标检测数据集VOC前言目标检测基础知识定义求解思路目标框定义交并比(IoU)目标检测数据集VOC数据集说明前言
之前对目标检测(Object Dectection)的理解一直不是什么深入，且没有做过相关的代码实践，最近看到DataWhale在12月份的组队学…
四、PyTorch 深度学习 用PyTorch实现线性回归
第5讲 用PyTorch实现线性回归
来源：B站 刘二大人
源代码：
import torch# prepare dataset
# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征
x_data torch.Tensor([[1.0], [2.0], [3.0]])
y_data torch.Tensor…
【2023 · CANN训练营第一季】新手班 昇腾AI入门课（PyTorch）
1 昇腾AI全栈架构
昇腾计算产业是基于昇腾系列处理器和基础软件构睫的全栈Al计算基础设施．行业应用及服务，包括昇腾系列处理器、Atlas系列硬件、CANN (Compute Architecture for Neural Networks，异构计算架构》、Al计算框架、应用使能、全流…
利用 Pytorch 加载词向量库文件
1. 示例代码
完整代码：
import torch
from torch.nn import Embedding# 载入讯飞词向量文件
word_vector_file ../Downloads/tencent-ailab-embedding-zh-d100-v0.2.0-s.txt # 库文件的路径。本程序选择了最小的一个库文件。
word_vectors {}
with open(word_ve…
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
PyTorch深度学习实战（1）——神经网络与模型训练过程详解 0. 前言1. 传统机器学习与人工智能2. 人工神经网络基础2.1 人工神经网络组成2.2 神经网络的训练 3. 前向传播3.1 计算隐藏层值3.2 执行非线性激活3.3 计算输出层值3.4 计算损失值3.5 实现前向传播…
戴尔游匣g15 5515笔记本电脑g3060锐龙cpu版装入显卡驱动配置pytorch环境踩坑总结
游戏本ubuntu21.04装机配置pytorch环境大全ubuntu更换镜像源0.删除之前的内容1.开始的ubuntu20.04尝试2.转换思路，改变系统的版本，使用ubuntu18.043.再战ubuntu20.044.使用ubuntu21.04顺利安装上5.安装nvidia驱动之后打开笔记本电脑显示Failed to start …
【文生图系列】 Stable Diffusion v2复现教程
文章目录 xformersbug 记录 txt2imgdiffusers参考 基础环境承接Stable Diffusion v1, 详情请见我的博文【文生图系列】 Stable Diffusion v1复现教程。然后更新pytorch和torchvision的版本，因为要使用GPU和xformers，需要下载gpu版本的pytorch。再下载ope…
《Python深度学习基于Pytorch》学习笔记
1.Numpy提供两种基本的对象：ndarray（n维数组对象）（用于储存多维数据）和ufunc（通用函数对象，用于处理不同的数据）。
2.numpy的主要优点：ndarray提供了很多数组化的运算&a…
深度学习模型精度与PyTorch模型量化
深度学习的模型压缩的主流方法有基于量化的方法、模型剪枝和知识蒸馏（teacher-student），模型量化，这是最广泛使用的模型压缩形式。
量化主要是一种加快推理速度的技术，并且只支持量化运算符的前向传递。简单来说&…
Win10+VS2015+python2.7安装cpu版caffe并测试
Ubuntu的官方安装方法Caffe | Installation: Ubuntu Windows安装方法Caffe | Installation 必须的安装的是Visual Studio 2013 or 2015，本文用到的是VS2015；还有CMake版本需要大于或等于3.4，本文用到的版本是3.12.2 可以使用命令cmake -ve…
【pytorch】新的windows电脑从头搭建pytorch深度学习环境（完整版+附安装包）
文章目录 新的windows电脑搭建pytorch深度学习环境电脑环境的配置显卡驱动cudacudnn pytorch开发软件的安装minicondavscode pytorch环境的安装conda安装python环境安装pytorch和torchvision 附录1：部分torch、torchvision、torchaudio版本对应关系附录2：…
损失函数：IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU超详细精讲及Pytorch实现
前言 损失函数是用来评价模型的预测值和真实值不一样的程度，损失函数越小，通常模型的性能越好。不同的模型用的损失函数一般也不一样。 损失函数的使用主要是在模型的训练阶段，如果我们想让预测值无限接近于真实值，就需要将损…
TRecgNet：基于转换识别网络进行RGB-D场景识别
目录📝论文下载地址🔨代码下载地址👨🎓论文作者📦模型讲解[论文解读][网络结构][对转换过程的优化][层分离内容监督转换][训练策略][双模数据之间的转换不平衡][融合过程][结果分析][数据集][训练细节][[SUN RGB-D数…
将目标检测数据集标签格式转为COCO标签的json格式
代码地址：[GitHub]
ALL2COCO
将所有目标检测数据集标签格式转为COCO标签的json格式。
运行参数
python 2COCO.py --image_path 所有图片的路径 --annotation_path 所有标签的路径 --dataset 选择数据集 --save json保存路径
目前支持数据集
NWPU VHR-10(txt)&…
图像分类/识别 ResNet
ResNet残差网络,最早的 ResNet 是由 MSRA团队提出的一个 152 层的网络，在2015年的 ILSVRC2015 取得了冠军,比14年的 VGG 和 GoogLeNet 好了不少
随着网络越来越深，大家发现，仅仅靠 BN、ReLU、DropOut 等 Trick无法解决收敛问题，相…
torch中dim（0/1）维度表示
dim维度dim0代表是列，dim1代表是行import torch
a [[1,3,5],[2,4,6],[7,8,9]]a torch.tensor(a).float()t a.mean(dim0) #dim0代表是列
print(t)输出结果（列求均值）：
t a.mean(dim1) # dim1代表是行
print(t)输出结果&…
【mmdetection3d】——04自定义模型
教程 4: 自定义模型
我们通常把模型的各个组成成分分成6种类型：
编码器（encoder）：包括 voxel layer、voxel encoder 和 middle encoder 等进入 backbone 前所使用的基于 voxel 的方法，如 HardVFE 和 PointPillarsSca…
【Pytorch实现】——nn.Sequential()
【Pytorch实现】——nn.Sequential()
import torch
import torch.nn as nnclass MySequential(nn.Module):def __init__(self,*args):super().__init__()# 将args中的层存入有顺序的dict中for block in args:self._modules[block] blockdef forward(self,X):# 从有顺序的dict…
从零开始学人脸检测之Retinaface篇（内含魔改版GhostNet+mbv2）
从零开始学人脸检测之Retinaface篇（内含魔改版） 代码已开源，欢迎白嫖和star：
github.com/pengtougu/Retinaface_Ghost 一、论文解读
论文研读工作由Sansa大佬完成: https://www.zhihu.com/people/0e4e23de534ba625a13b39a3153fa…
我们是如何改进YOLOv3进行红外小目标检测的？
【GiantPandCV导语】本文将介绍BBuf、小武和笔者一起在过年期间完成的一个目标检测项目，将描述我们模型改进的思路、实验思路、结果汇总和经验性总结。声明：这篇文章经过了三人同意，并且所有创新点也将被公布。此外，由于经验上的不…
Win11+RTX3060配置pytorch环境(一些踩坑记录)
30系显卡目前只支持cuda11以上的版本，如果装的版本过低会导致Pytorch无法使用GPU加速。装错了就得卸载重装一遍。 目前我装成功的环境版本是：
CUDA Toolkit 11.1.1cuDNN v8.1.1 (Feburary 26th, 2021), for CUDA 11.0,11.1 and 11.2pytorch版本1.8.0 …
使用关键点进行小目标检测
【GiantPandaCV导语】本文是笔者出于兴趣搞了一个小的库，主要是用于定位红外小目标。由于其具有尺度很小的特点，所以可以尝试用点的方式代表其位置。本文主要采用了回归和heatmap两种方式来回归关键点，是一个很简单基础的项目，代码…
【pytorch】同一个模型model.train()和model.eval()模式下的输出完全不同
测试时为什么要使用model.eval() - 小筱痕 - 博客园 (cnblogs.com)
输出不同的原因是由于student模型中的某些层的行为不同。一些层，如dropout和batch normalization，在训练和评估过程中的行为是不同的。 在训练过程中，dropout层会随机将一部…
pytorch学习笔记-使用pytorch实现 AlexNet
使用 pytorch 实现 AlexNet 网络
闲话少说，直接上代码！ 额…算了。还是过一下 AlexNet 网络吧，辉煌历史就不再赘述，从别的博主那里（忘记哪个博主了，不好意思哈，应该引用的）偷来了张…
大型语言模型与知识图谱协同研究综述：两大技术优势互补
机器之心报道
编辑：杜伟
多图综述理清当前研究现状，这篇 29 页的论文值得一读。
大型语言模型（LLM）已经很强了，但还可以更强。通过结合知识图谱，LLM 有望解决缺乏事实知识、幻觉和可解释性等诸多问题&am…
【pytorch函数笔记】torch.sum()、torch.unsqueeze()
1.torch.sum
torch.sum(imgs, dim0) # 按列求和
torch.sum(imgs, dim1) # 按行求和 imgs torch.Tensor([i for i in zip( range(10), range(10))])
print(imgs)
s1torch.sum(imgs, dim0) # 按列求和
s2torch.sum(imgs, dim1) # 按行求和
print(s1)
print(s2)
2.torch.uns…
Pytorch 了解强化学习（RL）
1 前言
先通过 3w原则 简单了解一下强化学习。
1.1 WHAT 什么是强化学习
下面是维基百科和百度百科上面的解释。 强化学习（英语：Reinforcement learning，简称RL） 是机器学习中的一个领域，强调如何基于环境而行动&am…
RNN以及其改进版（附2个代码案列）
感谢阅读RNN简介传统RNN内部结构过程演示内部计算公式RNN輸出激活函数tanhPytorch构建传统RNN梯度计算LSTM介绍遗忘门结构分析：输入门结构分析:细胞状态更新分析:输出门结构分析:结构图梯度公式现实生活列子加强理解代码示例GRU介绍结构图个人对GRU的理解LSTM难以比…
keras 搭建lstm+dnn网络 多步时间序列预测 模板
# -*- coding: utf-8 -*-
# 导入库pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import metrics
from sklearn.metrics import mean_square…
PyTorch深度学习入门 || 系列（六）——多元分类
文章目录0 写在前面1 softmax函数2 数据预处理2.1 scatter（）函数的cmap属性3 激活函数4 模型搭建5 完整代码6 输出分析6.1 目标6.2 运行过程7 总结0 写在前面
二分类问题是多分类问题的一种特殊情况，区别在于多分类用softmax代替sigmoid函数…
PyTorch深度学习入门 || 系列（五）——逻辑回归
文章目录0 写在前面1 sigmoid函数2 逻辑回归示例2.1 plt.scatter()函数参数设置3 模型定义3.1 sigmoid()函数说明4 优化器和损失函数5 train()和draw()函数5.1 torch.max(input, dim)6 完整代码0 写在前面
线性回归和非线性回归，它们的输出都是连续的。而逻辑回归的…
PyTorch深度学习入门 || 系列（四）——非线性回归
文章目录0 写在前面1 激活函数2 人工神经网络3 数据处理4 定义模型5 完整代码0 写在前面
这个系列之前学习是线性回归，但是生活中需要解决问题大多数都是非线性的。本文要讨论的重点就是非线性的问题！
1 激活函数 目的：激活函数实际上是一个…
PyTorch深度学习实践（九）
文章目录0 写在前面1 完整代码2 处理数据部分2.1 batch enumerate epoch2.2 transforms.Compose()函数2.3 dataset和dataloader3 搭建模型部分4 loss和优化部分5 训练数据部分0 写在前面
这篇博文主要针对一个深度学习代码进行学习，提高读代码的能力！学…
DL学习7--多输入多输出通道
多输入多输出通道
# 多输入通道互相关运算
import torch.nn
import torchdef corr2d(X,K):Y torch.zeros(X.shape[0]-K.shape[0]1,X.shape[1]-K.shape[1]1)h,w K.shapefor i in range(Y.shape[0]):for j in range(Y.shape[1]):Y[i,j] (X[i:ih,j:jw]*K).sum()# print((X[i:i…
pytroch实现线性回归
pytorch实现线性回归代码练习实例
欢迎大家指正，希望可以通过小的练习提升对于pytorch的掌握
# 随机初始化一个二维数据集，使用朋友torch训练一个回归模型
import numpy as np
import random
import matplotlib.pyplot as pltx np.arange(20)
y np.a…
PyTorch深度学习实战 | 基于深度学习的电影票房预测研究
基于深度学习的映前票房预测模型(Cross&Dense网络结构模型)，该模型通过影片基本信息如：电影类型、影片制式、档期和电影的主创阵容和IP特征等信息对上映影片的票房进行预测。 本篇采用451部电影作为训练模型，最后再在194部影片上进行测试…
AttributeError: module 'torch' has no attribute 'rand'
1. 参考：https://blog.csdn.net/Gao_YaJ/article/details/89578673?depth_1-utm_sourcedistribute.pc_relevant.none-task&utm_sourcedistribute.pc_relevant.none-task
2. 问题：今天开始学习pyTorch，按照中文版官方教程进行安装&#…
C++ Libtorch 头文件问题
！！！Libtorch 头文件顺序
#include <torch/script.h>
#include <torch/torch.h>
#include <iostream>
放在所有头文件最前面，避免出错 libtorch/include/ATen/DeviceGuard.h:25:8: error: reference to option…
style-GAN Generator 代码解析
文章目录style-GAN Generator 代码解析StyleGAN部分DenseBlock部分（Mapping主要组件）Truncation部分（trick1）ConvBlock部分（Synthesis主要组件）class StyleModLayerclass BlurLayerclass NoiseApplyingLaye…
pytorch基础学习-tensorboardX
最近训练总是出问题，听取建议，在pytorch环境下引入了tensorboard
1、安装tensorboardX
tensorboardX是在tensorboard前提下进行安装的，所以我们需要先安装tensorboard
pip install tensorboardpip install tensorboardX2、简单使用
这里我…
使用LoRA对大语言模型LLaMA做Fine-tune
使用LoRA对大语言模型LLaMA做Fine-tune 前言下载配置环境模型的训练 Fine-tune模型的使用 Inference参考 前言 目前有大量对LLM（大语言模型）做Fine-tune的方式，不过需要消耗的资源非常高，例如 Stanford Alpaca: 对LLaMA-7B做Fine-…
PyTorch 1.7 Video 初体验（Video Datasets，Video IO，Video Classification Models，Video Transform）
目录
Environment 环境
Reference 参考链接
Video Datasets 视频数据集 & 加载
加载 UCF101 数据集
加载 HMDB51 数据集
加载 Kinetics 400 数据集
Video I/O 视频 I/O 操作
torchvision.io.read_video()
torchvision.io.read_video_timestamps()
torchv…
本地部署chatgpt之老虎中文大模型
介绍
TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源：
模型：TigerBot-7B, TigerBot-7B-base…
PINN学习与实验之拟合sin(x)
首先给出数学上的知识。 1. 2. 3. 其次给出PINN最基础的理解与应用说明。 1.PINN中的MLP多层感知机的作用？ 答：目的是用来拟合出我们需要的那个 常微分方程，即函数逼近器。 2.PINN中物理信息的作用？ 答：用于约束MLP反向…
RNN输入数据加工问题与循环流程分析（torch）
RNN输入数据加工问题与循环流程分析（torch） RNN 输入序列数据加工处理 1.1 原始数据 # 假设训练样本text，为4行文本，每个词的词向量为torch.size(1),单元素0维量,tensor.item()获取其中元素text [我,我 爱 你,爱 ,你]--》[[1],[1…
![[PyTorch][chapter 40][数据增强]](https://img-blog.csdnimg.cn/bd671d65e220400fab39371017cc9c7b.png)
[PyTorch][chapter 40][数据增强]
前言： 深度学习对数据量要求非常大, 我们通常会遇到图像的数据集比较小,影响Train效果。
这个时候可以通过transformer 方法,增加图像的多样性,达到数据
增强的效果。
transformer 不会单独使用，通常和其它torch 其他类一起使用
transformer 常用方法…
Learning Efficient Convolutional Networks Through Network Slimming论文阅读笔记
作者：弓 长 木 公 论文链接：https://arxiv.org/abs/1708.06519 代码：https://github.com/liuzhuang13/slimming
概述：
此方法基于channel-wise，提出将L1正则化施加到BN层的缩放因子上，L1正则化推动BN层的趋向于零，这使得能够鉴别出不重要的通道或者神经元，因为每一个…
open-mmlab多框架下运行
1.open-mmlab多框架下运行
方法一：创建多个conda环境，为不同的版本使用不同的环境，（不详细说） 方法二：可选择的使用多框架代码。 在py的主脚本文件中插入下面的代码（train.py，test.…
pytorch下载太慢
解决办法
1，先确定是否更换了下载源（比如：apt-get源、pip源、conda源等） 2，以conda举例： pytorch官网查看pytorch安装命令
conda install pytorch torchvision torchaudio cpuonly -c pytorch最后的-c代表…
darknet转caffe
背景
最近在做华为atlas平台AI项目，atlas平台只支持tensorflow和caffe模型，而自己训练的是yolov3/yolov4/yolov5的darknet模型，需要先转换到pb或者caffemodel格式。 在网上查过一些模型转换方式，一种是先转ONNX模型，再…
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
文章目录 1. Softmax 的定义2. Softmax 使用 e 的幂次的作用2.1 代码验证2.2 数学原理分析 3. 解决 Softmax 的数值溢出问题3.1 什么是数值溢出？3.2 解决数值上溢问题： x i − m a x ( x ) x_i-max(x) xi−max(x)3.3 解决数值下溢问题：log_…
win10 安装pytorch的GPU版本全流程
目录一. 安装CUDA二. 安装Cudnn三. 安装pytorch测试一. 安装CUDA 二. 安装Cudnn 三. 安装pytorch 测试
import torch
flag torch.cuda.is_available()
print(flag)ngpu 1
# Decide which device we want to run on
device torch.device("cuda:0" if (torch.cuda.i…
Libtorch各版本下载
Libtorch各版本下载 文章目录Libtorch各版本下载linuxLibtorch 1.0.0Libtorch 1.1.0 —— 1.5.0Libtorch 1.6.0Libtorch 1.7.0Libtorch 1.8.0Libtorch 1.9.0libtorch 1.10.0libtorch 1.11.0libtorch 1.12.0libtorch 1.13.0winLibtorch 1.0.0Libtorch 1.1.0 —— 1.5.0Libtorch …
Pytorch 占用cpu资源过多
Pytorch 占用cpu资源过多 文章目录Pytorch 占用cpu资源过多解决办法效果最近在用pytorch进行一些AI的工作时发现 在部分环境下其cpu占用量过高。
如下：这里只简单的推理了一个小网络且还是用GPU运算的，其cpu占用已经高达1348%了。
top经过调试发现 主要…
LabVIEW中使用unet快速实现图像分割
🏡博客主页： virobotics的CSDN博客：LabVIEW深度学习、人工智能博主 🎄所属专栏：『LabVIEW深度学习实战』 🍻上期文章： 使用 LabVIEW调用LeNet快速搭建手写数字识别系统（内含源码…
pytorch笔记：Conv2d 和 ConvMixer
来自B站视频，API查阅，TORCH.NN
nn.Conv2d 中一般 kernel_size 是小奇数（很多是3），padding 设置为 k − 1 2 \frac{k-1}{2} 2k−1（实际上padding的是 k − 1 k-1 k−1，因为参数的意义是左右各…
一周掌握PyTorch，学习计划
文章目录 一、前言二、学习计划第一天：熟悉PyTorch基础重点知识点： 第二天：构建深度神经网络重点知识点： 第三天：处理图像数据重点知识点： 第四天：处理文本数据重点知识点： 第五天&a…
PyTorch 深度学习 || 4. 自编码网络 | Ch4.3 卷积自编码网络图像去噪
卷积自编码网络图像去噪
1. 数据的准备
先简单介绍一下训练网络使用到的图像数据集——STL10，该数据集可以通过torchvision.datasets模块中的STL10()函数进行下载，该数据集共包含三种类型数据,分别是带有标签的训练集和验证集，分别包含5000…
RNN使用sin曲线预测cos曲线
1. 导入我们需要的库
import torch
from torch import nn
import numpy as np
import matplotlib.pyplot as plt # 随机种子
torch.manual_seed(1) 2.定义我们的超参数
# 超参数 …
（二）学习笔记：动手学深度学习（数据操作）
目录1.1入门1.1.1深度学习框架与numpy的区别1.1.2PyTorch的导入方式1.1.2arange创建一个行向量1.1.3通过张量的shape属性来访问张量（沿每个轴的长度）的形状1.1.4reshape函数1.1.5初始化矩阵的方法1.1.5.1创建全为0的张量1.1.5.2创建全为1的张量1.1.5.3随…
【三维重建】【深度学习】NeRF_Pytorch代码--预备基础知识
【三维重建】【深度学习】NeRF_Pytorch代码–预备基础知识 给定一个场景的多视角的图像，神经辐射场（NeRF）通过图像重建误差优化一个神经场景表征，优化后可以实现逼真的新视角合成效果。NeRF最先是应用在新视点合成方向，…
Python 计算三角形的面积-05
以下实例为通过用户输入三角形三边长度，并计算三角形的面积：
# -*- coding: UTF-8 -*-# Filename : test.py# author by : https://www.edu.futurelab.tva float(input(输入三角形第一边长: ))b float(input(输入三角形第二边长: ))c float(input(输…
时间序列预测实战(十六)PyTorch实现GRU-FCN模型长期预测并可视化结果
往期回顾：时间序列预测专栏——包含上百种时间序列模型带你从入门到精通时间序列预测 一、本文介绍
本文讲解的实战内容是GRU-FCN(门控循环单元-全卷积网络)，这是一种结合了GRU（用于处理时间序列数据）和FCN（全卷积网络…
PyTorch技术和深度学习——四、神经网络训练与优化
文章目录 1.神经网络迭代概念1）训练误差与泛化误差2）训练集、验证集和测试集划分3）偏差与方差 2.正则化方法1）提前终止2）L2正则化3）Dropout 3.优化算法1）梯度下降2）Momentum算法3)RM…
基于PIPNet的人脸106关键点检测
做美颜需要使用到人脸关键点，所以整理了一下最近的想法。
按模型结构分类：
1.Top-Down: 分为两个步骤，首先，对于原始输入图片做目标检测，比如做人脸检测，将人脸区域抠出，单独送进关键点检测模…
【Pytorch】Visualization of Fature Maps（2）
学习参考来自
使用CNN在MNIST上实现简单的攻击样本https://github.com/wmn7/ML_Practice/blob/master/2019_06_03/CNN_MNIST%E5%8F%AF%E8%A7%86%E5%8C%96.ipynb 文章目录 在 MNIST 上实现简单的攻击样本1 训练一个数字分类网络2 控制输出的概率, 看输入是什么3 让正确的图片分…
Windows 安装 flash-attention 和 bitsandbytes
首先保证cuda版本为12.1，torch版本为2.1.0及以上，python版本3.10以上 从此处下载最新版的whl，https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels，通过whl来安装bitsandbytes 从此处下载最新版的whl&a…
YOLOv8改进 | SAConv可切换空洞卷积（附修改后的C2f+Bottleneck）
论文地址：官方论文地址
代码地址：官方代码地址 一、本文介绍
本文给大家带来的改进机制是可切换的空洞卷积（Switchable Atrous Convolution, SAC）是一种创新的卷积网络机制，专为增强物体检测和分割任务中的特征提取而…
YOLOv8改进 | 2023Neck篇 | BiFPN双向特征金字塔网络（附yaml文件+代码）
一、本文介绍
本文给大家带来的改进机制是BiFPN双向特征金字塔网络，其是一种特征融合层的结构，也就是我们本文改进YOLOv8模型中的Neck部分，它的主要思想是通过多层级的特征金字塔和双向信息传递来提高精度。本文给大家带来的结构可以让大家自…
【Pytorch】理解自动混合精度训练
【Pytorch】理解自动混合精度训练 混合精度概述 实验对比 更大的深度学习模型需要更多的计算能力和内存资源。一些新技术的提出，可以更快地训练深度神经网络。我们可以使用 FP16（半精度浮点数格式）来代替 FP32（全精度浮点数格式…
pytorch中五种常用随机矩阵构造方法：rand、randn、randn_like、randint、randperm
1 torch.rand：构造均匀分布张量
torch.rand是用于生成均匀随机分布张量的函数，从区间[0,1)的均匀分布中随机抽取一个随机数生成一个张量，其调用方法如下所示：
torch.rand(sizes, outNone) ➡️ Tensor
参数： sizes&…
深度强化学习中的动作屏蔽
RLlib中的example有一个代码是action_masking，很感兴趣，所以学习了一下 主要功能是：
“动作屏蔽”允许代理根据当前观察选择动作。这在许多实际场景中非常有用，在这些场景中，不同的时间步长可以执行不同的操作。解释动…
使用Pytorch从零开始构建LoRA
引言
在这篇博文中，我将向大家展示如何使用Pytorch从头开始构建 LoRA。LoRA 是Low-Rank Adaptation或Low-Rank Adapters的缩写，它提供了一种高效且轻量级的方法来微调预先存在的语言模型。这包括BERT和RoBERTa等掩码语言模型，以及GPT、Llama…
YOLOv5改进 | 2023 | CARAFE提高精度的上采样方法（助力细节长点）
一、本文介绍
本文给大家带来的CARAFE（Content-Aware ReAssembly of FEatures）是一种用于增强卷积神经网络特征图的上采样方法。其主要旨在改进传统的上采样方法（就是我们的Upsample）的性能。CARAFE的核心思想是：使用…
【深入pytorch】transforms.functional 梯度流动问题
实验环境：
torch.__version__
Out[3]: 1.12.1cu113首先测试一下：
import torch
from torchvision.transforms import functional as F
from torch.autograd import Function
img torch.randn(1, 3, 224, 224)
startpoints torch.FloatTensor([[0., 0…
PyTorch官网demo解读——第一个神经网络（2）
上一篇：PyTorch官网demo解读——第一个神经网络（1） 继上一篇文章我们展示了第一个神经网络的完整代码，今天我们来聊聊这个神经网络的模型设计。
这个demo实际上只使用了一个简单的线性模型：y wx b；
手写…
【Pytorch】学习记录分享4——PyTorch 天气预测线性回归实例
【Pytorch】学习记录分享4——PyTorch hub借鸡生蛋 1. hub使用教程2. 结构性数据加载3 结构性数据显示4 结构性数据预处理4 网络模型构建4.1 方法14.1 方法2（更简单的构建网络模型） 5. 网络模型预测使用测试 1. hub使用教程
视频B站链接教程 官网教程&a…
风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型
目录
前言
1 风速数据EMD分解与可视化
1.1 导入数据
1.2 EMD分解
2 数据集制作与预处理
2.1 先划分数据集，按照8：2划分训练集和测试集
2.2 设置滑动窗口大小为96，制作数据集
3 基于Pytorch的EMD-CNN-GRU并行模型预测
3.1 数据加载&a…
记录解决tensorboard无法加载数据
导航 问题描述解决方案 问题描述
使用Tensorboard 报错 “No dashboards are active for the current data set.”，如下：
解决方案
经过检查，发现没有定位到日志文件的上一层，如下：
正确做法应该是定位到日志文件…
Pytorch读写张量文件
目录 一、加载和保存张量
1、直接读写张量
2、读写张量列表
3、读写张量字典
二、加载和保存模型参数 一、加载和保存张量
1、直接读写张量 对于单个张量，我们可以直接调用load和save函数分别读写它们。这两个函数都要求我们提供一个名称，save要求将…
![[PyTorch][chapter 8][李宏毅深度学习][Back propagation]](https://img-blog.csdnimg.cn/direct/0bd5869d89094289bba80f32c34cd8e2.png)
[PyTorch][chapter 8][李宏毅深度学习][Back propagation]
前言： 反向传播算法(英:Backpropagation algorithm，简称:BP算法)是一种监督学习算法，常被用来训练多层感知机。 它用于计算梯度计算中，降低误差。 目录： 链式法则 模型简介（Model） 损失函…
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
本文旨在帮助Pytorch使用者快速上手使用寒武纪MLU。以代码块为主，文字尽可能简洁，许多部分对标NVIDIA CUDA。不正确的地方请留言更正。本文不定期更新。 文章目录 前言Cambricon PyTorch的Python包torch_mlu导入将模型加载到MLU上model.to(mlu)定义损失函…
解决pytorch训练的过程中内存一直增加的问题
来自：解决pytorch训练的过程中内存一直增加的问题 - 知乎 pytorch训练中内存一直增加的原因(部分)
代码中存在累加loss，但每步的loss没加item()
import torch
import torch.nn as nn
from collections import defaultdictif torch.cuda.is_available()…
pytorch RNN
RNN
from torch import nn
import torch
# # 表示feature_len=100(如每个单词用100维向量表示), hidden_len=10(隐藏单元的尺寸)
# rnn = nn.RNN(100, 10,1,batch_first=True)
# # odict_keys([weight_ih_l0, weight_hh_l0, bias_ih_l0, bias_hh_l0])
# print(rnn._parameters…
深入理解PyTorch中的Hook机制：特征可视化的重要工具与实践
文章目录 一、前言1. 特征可视化的重要性2. PyTorch中的hook机制简介 二、Hook函数概述1. Tensor级别的hook：register_hook()2. Module级别的hook 三、register_forward_hook()详解1. 功能与使用场景2. 示例代码与解释3. 在特征可视化中的具体应用 四、register_bac…
Y9000P + ubuntu22.04 配置Anaconda+pycharm +pytorch
Anaconda3 的安装及使用方法安装 Anaconda3 Anaconda3 是 Anaconda 的具体版本
Anaconda3 中的 Python 解释器默认使用的是 Python3.x 版本，而不是 Python2.x 版本
Python2.x 版本中，字符串是以 ASCII 编码处理的，而在 Python3.x 版本中&am…
2.pytorch iris data
文章目录 1、数据集介绍2、 run2.1 Transformer不采用dataset dataloader形式采用dataset dataloader形式 2.2 sklearn 自带模型 LR， SVM，DT 1、数据集介绍
该数据集包含了 150 个鸢尾花的数据，其中每个数据点都有 4 个变量（萼片…
这一次，我准备了 20节 PyTorch 中文课程
对于刚接触深度学习的小白来说，PyTorch 是必会的框架。 只是，很多小伙伴还没来得及开启学习之路，一个最重要的问题就摆在了面前： PyTorch，该怎么学呢？
很多同学会自己在网上找资料，不仅耗费时间…
Pytorch：torch.nn.utils.clip_grad_norm_梯度截断_解读
torch.nn.utils.clip_grad_norm_函数主要作用： 神经网络深度逐渐增加，网络参数量增多的时候，容易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁torch.nn.utils.clip_grad_norm_（）…
YOLOv8 Ultralytics：使用Ultralytics框架进行姿势估计
YOLOv8 Ultralytics：使用Ultralytics框架进行姿势估计 前言相关介绍前提条件实验环境安装环境项目地址LinuxWindows 使用Ultralytics框架进行姿势估计参考文献 前言 由于本人水平有限，难免出现错漏，敬请批评改正。更多精彩内容，可…
pytorch张量的创建
张量的创建
张量（Tensors）类似于NumPy的ndarrays ，但张量可以在GPU上进行计算。从本质上来说，PyTorch是一个处理张量的库。一个张量是一个数字、向量、矩阵或任何n维数组。 import torch
import numpy
torch.manual_seed(7) # 固…
PointNet：基于Python和PyTorch的3D分割的实用指南
准备好探索3D分割的世界吧，我们将通过PointNet进行一次旅程，这是一种理解3D形状的超酷方法。PointNet就像计算机查看3D事物的智能工具，尤其是在空间中漂浮的点群。它与其他方法不同，因为它直接处理这些点，而不需要将它…
Ubuntu20.04 及深度学习环境anaconda、cuda、cudnn、pytorch、paddle2.3安装记录
学习目标：
Ubuntu20.04下装好torch、paddle深度学习环境。 选择的版本环境是 ：最新的nvidia驱动、cuda 11.1 、cudnn v8.1.1，下面会说为啥这么选。
学习内容：
1. Ubuntu20.04仓库换源
本节参考Ubuntu 20.04 Linux更换源教程 2…
Pytorch的讲解及实战·MNIST数据集手写数字识别
目录
一、前言与pytorch的下载
1、前言
2、下载pytorch
①创建虚拟环境
②下载pytorch（cpu版）
③测试pytorch是否下载成功
④使用jupyter notebook 但是使用不了torch的解决方法
二、pytorch的使用
1、Tensor的数据类型
①torch.FloatTensor
…
YOLOv8改进 | 注意力篇 | ACmix自注意力与卷积混合模型（提高FPS+检测效率）
一、本文介绍
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根…
Python遥感影像深度学习指南(3)-卫星图像语义分割之用PyTorch创建一个简单的U-Net 模型
在上一篇文章中，介绍了如何在不使用 torchvision 模块的情况下，创建卫星图像的多通道数据集。现在，我们将继续创建一个简单的深度学习模型，用于卫星图像的语义分割。
1、介绍 下图来自 "卷积神经网络实现了从高分辨率无人机图像中高效、准确、精细地分割植物物种和群…
基于深度学习的高精度水下目标检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度水下目标（鱼（fish）、水母（jellyfish）、企鹅（penguin）、海鹦（puffin）、鲨鱼（shark）、海星（starf…
BrokenPipeError: [Errno 32] Broken pipe
BrokenPipeError: [Errno 32] Broken pipe
前言：今天在训练yolov5.6.1版本，突然出现BrokenPipeError: [Errno 32] Broken pipe错误。
一、 运行命令python train.py 出现如下错误
Traceback (most recent call last):File "train.py", line…
torchvision.transforms使用详解
1. 介绍
PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网：http://pytorch.…
pytorch训练图像分类模型,并部署到MNN
1. Pytorch分类器网络
# 定义一个简单的分类网络
class SimpleNet(nn.Module):def __init__(self):super(SimpleNet, self).__init__()# 三个卷积层用于提取特征# 1 input channel image 90x90, 8 output channel image 44x44self.conv1 nn.Sequential(nn.Conv2d(in_channels…
【pytorch】并行训练加载模型权重报错原因及解决方法
问题描述：
训练模型时，加载保存好的模型权重报错如下：
RuntimeError: [enforce fail at inline_container.cc:222] . file not found: archive/data/94167620909552问题分析
参考博客文章 ，造成该报错的原因是在用DistributedD…
OCR文字识别方法对比
ocr文字识别数据集
目前正在做ocr文字识别相关的项目，做了一些调研，今天做个周结，首先是几个开源框架对比吧！
EasyOCR、Chineseocr、Chineseocr_lite
我主要看的是GitHub中的一些项目，这三个OCR识别工具是Github里包…
《动手学深度学习》13.4锚框
13.4.1生成多个锚框
参考: 13.4.1生成多个锚框. 代码实现
导入功能包
import torch
import matplotlib.pyplot as plt
# 精简打印精度，保留两位小数
torch.set_printoptions(precision2) 定义生成以每个像素为中心具有不同形状的锚框函数
# 指定输入、一组大小…
【解决】RuntimeError: Distributed package doesn‘t have NCCL built in
现象
python在windows环境下dist.init_process_group(backend, rank, world_size)处报错‘RuntimeError: Distributed package doesn’t have NCCL built in’
原因分析：
windows不支持NCCL backend
解决方法1
import sysif sys.platform "win32":o…
《动手学深度学习》7.5 批量归一化-从零开始实现
《动手学深度学习》7.5 批量归一化-从零开始实现
导入功能包
import torch
from torch import nn
import MyFunction as MF定义归一化操作
# 归一化操作
def batch_norm(X, gamma, beta, moving_mean, moving_var, eps, momentum):# 通过 is_grad_enabled 来判断当前模式是训…
【教学】基于mobilenet的水果分类识别小程序
效果图如下： 代码主要要包含两个部分。 一个是算法部分，一个是小程序部分。通过上面途径可以下载到完整的代码，包括说明文档，如何安装环境运行代码。 算法部分主要运行训练demo如下：
import torch
from PIL import Image
from torchvision import datasets, models, tra…
Pytorch 版YOLOV5训练自己的数据集
我们曾经梦寐以求的权利，白嫖的权利：
1、环境搭建
https://github.com/ultralytics/yolov5
2、安装需要的软件 pip install -U -r requirements.txt
3、准备数据 在data文件下建立上面三个文件（Annotations、images与ImageSets࿰…
OWOD训练运行教程
Towards Open World Object Detection的训练
代码地址：https://github.com/JosephKJ/OWODhttps://github.com/JosephKJ/OWOD
1.创建一个conda环境python > 3.6, 安装 Pytorch > 4 和opencv
2.下载detectron2(也可以根据电脑配置下载不同版本的detectron2) …
Imagenet数据集处理
Imagenet数据集处理前言Imagenet数据集简介Imagenet处理前言
在学习pytorch时发现需要对imagenet数据集进行处理，搜了很久才找到处理方法，在这里记录一下。
Imagenet数据集简介
ImageNet图像数据集始于2009年，当时李飞飞教授等在CVPR2009上…
pytorch的model.train()和model.eval()用法和区别，以及model.eval()和torch.no_grad()的区别
model.train()和model.eval()的区别主要在于Batch Normalization和Dropout两层。
model.train() 官方文档 启用 Batch Normalization 和 Dropout。 如果模型中有BN层(Batch Normalization）和 Dropout，需要在训练时添加model.train()。model.train()是保…
pytorch 迁移训练自己的数据集
1、pytorch 基础训练
上一节为基础 视频与AI，与进程交互(二) pytorch 极简训练自己的数据集并识别 接着上面一节，我们开始使用迁移学习，训练自己的数据集和保存网络，加载网络并识别。
2、 pytorch加载resnet18
RetNet网络的基础…
PyTorch翻译官网教程-NLP FROM SCRATCH: GENERATING NAMES WITH A CHARACTER-LEVEL RNN
官网链接
NLP From Scratch: Generating Names with a Character-Level RNN — PyTorch Tutorials 2.0.1cu117 documentation 使用字符级RNN生成名字
这是我们关于“NLP From Scratch”的三篇教程中的第二篇。在第一个教程中</intermediate/char_rnn_classification_tutor…
零基础入门Pytorch框架(一)--实现文本分类
1. 基于pytorch实现快速搭建神经网络
首先使用pytorch框架实现全连接层网络，一般搭建神经网络的步骤如下：
数据集获取处理定义神经网络定义损失函数和优化器训练模型预测模型
1.1 数据集获取处理
一个简单的图像分类问题，输入图像的高和宽…
【项目复现和部署】《pytorch-CycleGAN-and-pix2pix》
pytorch-CycleGAN-and-pix2pix项目复现和部署
虽然之前在家里学习了一阵子，但是仅仅停留在理论基础，实际项目部署真的一点也不会，多亏了一位师兄的帮助才让让我得以复现这段代码（非常感谢）。
环境准备
这里只用到了…
linux中pip和conda配置清华源
pip设置清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simpleconda设置清华源 添加源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsi…
Pytorch 神经网络模型量化分析基本框架
环境准备：
1、anaconda官网下载
下载地址https://www.anaconda.com/distribution/ 注意选用该电脑相应的系统和64/32位。
已安装Python使用环境的请跳过此步骤。
已安装Python使用环境的请跳过此步骤。
2、pytorch安装
https://pytorch.org/get-started/previ…
InstDisc 代码解读
目录
Unsupervised Feature Learning via Non-Parametric Instance Discrimination 代码解读
0. 概览
1. lemniscate
1.1 lemniscate 的定义
1.2 NCEAverage
1.3 训练时，如何使用这个 NCEAverage 对象
1.4 NCEFunction
2. criterion Unsupervised Feature L…
G1D25-蜜汁APEX-RAGA代码运行友友第一次跑模型
一、APEX
英伟达开发的，压缩数据的框架
（一）安装bug
直接安装 https://blog.csdn.net/weixin_47658790/article/details/115055505
（二）运行bug
然后运行又出现了bug----------------------- IndexError: tuple …
2020年12月机器学习新书推荐
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是新鲜出炉的2020年12月机器学习新书，来看看有没有你感兴趣的新技术吧~
1、Mastering Splunk 8 图书简介
了解Splunk 8的组件及其工作方式…
TensorRT详细入门指南
前言
大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。
作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。
只…
ResT：用于图像识别的高效Transformer
目录📝论文下载地址🔨代码下载地址👨🎓论文作者📦模型讲解[背景介绍][模型解读][总体结构][标准Transformer][EMSA][[Patch Embedding/切片嵌入]]()[[Position Encoding/位置编码]]()[[Classification Head/分类头]]…
基于RNN系列的人名分类器【数据处理-训练-预测-评估-调优】
基于RNN系列的人名分类器第一步：导入必备工具包第二步：数据处理文本信息规范化编码第三步：构建RNN系列网络RNN网络LSTM网络GRU网络第四步：构建模型训练RNN训练函数LSTM训练函数GRU训练函数第五步：训练模型第六步&#…
pytorch — 学习笔记
文章目录pytorch — 学习笔记一、文档二、pytorch语法（一） 辅助函数（二）数据结构三、pytorch用法（一）自动求导1. 张量2. 梯度3. 计算图4. inplcae5. 动态图（二）神经网络1. torch.nn2…
卷积层与池化层输出尺寸计算
pytorch中定义卷积层
conv2d torch.nn.Conv2d(in_channels3,out_channels64, kernel_size7, stride2, padding3, biasFalse) 池化层
maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) 公式计算非整数时，向下取整，dilation参数表示空洞卷积&am…
Pan-GAN：用于遥感图像融合的无监督全色图像锐化方法
目录📝论文下载地址👨🎓论文作者📦模型讲解[背景介绍][模型解读][总体结构][损失函数][生成器损失函数][判别器损失函数][网络结构][生成器网络结构][判别器网络结构][结果分析][消融实验][对比实验]📝论文下载地址 …
cs231n assignment3 q5 Self-Supervised Learning for Image Classification
文章目录 嫌墨迹直接看代码Q5 Self-Supervised Learning for Image Classificationcompute_train_transform CIFAR10Pair.__getitem__()题面解析代码输出 simclr_loss_naive题面解析代码输出 sim_positive_pairs题面解析代码输出 compute_sim_matrix题面解析代码输出 simclr_lo…
PyTorch实现的各类论文和代码参考（安利供保存收藏）
文章地址
机器之心：
https://www.jiqizhixin.com/articles/102101
一篇翻译，主要是关于PyTorch的内容，提供了代码支持，项目地址：https://github.com/bharathgs/Awesome-pytorch-list
具体的列表如下 注意…
Tensor语法进阶
1. 常用操作
1.1 GPU判断
# 判断是否有GPU，若有则进行部署
if torch.cuda.is_available():device torch.device(cuda)
else:device torch.device(cpu)
或
device torch.device(cuda if torch.cuda.is_available() else cpu)
print(device.type)
# cpu# 进行部…
UCF101动作识别数据集简介绍及数据预处理
文章目录一、数据集简介：二、数据集获取及解压缩：1. 数据下载2. 数据集解压缩：三、数据集划分四、数据集预处理1. 生成pkl文件2. 直接对视频文件处理一、数据集简介：
UCF101是一个现实动作视频的动作识别数据集，收集自…
Pytorch学习——入门知识 01
文章目录1 机器学习和深度学习的介绍2 介绍神经网络2.1 概念2.2 神经元2.3 单层神经网络2.4 感知机2.4.1 感知机的作用2.5 多层神经网络2.6 全连接层2.7 激活函数2.8 总结写在前面：路漫漫其修远兮1 机器学习和深度学习的介绍 深度学习 是机器学习的分支，…
5. 线性层及其他层
5.1 神经网络结构 5.2 线性拉平
import torch
import torchvision
from torch import nn
from torch.nn import ReLU
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset torchvision.datase…
一文搞懂深度信念网络！DBN概念介绍与Pytorch实战
目录 一、概述1.1 深度信念网络的概述1.2 深度信念网络与其他深度学习模型的比较结构层次学习方式训练和优化应用领域 1.3 应用领域图像识别与处理自然语言处理推荐系统语音识别无监督学习与异常检测药物发现与生物信息学 二、结构2.1 受限玻尔兹曼机（RBM࿰…
transformer的学习记录【完整代码+详细注释】（系列七）
文章目录1 模型基本测试运行——copy任务2 介绍优化器和损失函数2.1 优化器和损失函数的代码2.2 介绍 标签平滑函数2.2.1 理论知识2.2.2 具体的参数以及代码展示2.3 训练和预测第一节：transformer的架构介绍 输入部分的实现 链接：https://editor.csdn.n…
transformer的学习记录【完整代码+详细注释】（系列三）
文章目录1 前馈全连接层1.1 前馈全连接层的代码1.2 包括前面学习内容的完整代码2 规范化层2.1 规范化层的作用2.2 规范化层的讲解2.3 实现规范化层的代码2.4 完整代码第一节：transformer的架构介绍 输入部分的实现 链接： https://editor.csdn.net/md/?…
训练技巧之数据集太多，加载太慢怎么办？
1. 背景
训练集全是16x16，32x32之类的小图，达到上千万张，训练时发现数据加载很慢很慢很慢！！！看了下CPU 内存 GPU使用情况，发现CPU使用率都跑到90%去了，GPU使用率却较低
2. 解决方法…
Pytorch学习笔记 | GAN生成对抗网络 | 代码 | 生成mnist手写数字图片
文章目录 GAN网络简介测试判别器和测试生成器测试判别器测试生成器首次生成图片（效果欠佳）生成图片（比较清晰，但还有差距）生成图片（继续优化，输入扩维）生成图片（继续优化，）GAN网络简介
生成对抗网络（GAN，Generative Adversarial Networks）是一种深度学习模型，由…
nn.Embedding()个人记录
维度
import torch.nn as nnembedding nn.Embedding(num_embeddings 10, embedding_dim 256)
nn.Embedding()随机产生一个权重矩阵weight，维度为（num_embeddings, embedding_dim）
输入维度（batch_size, Seq_len）…
pytorch深度学习笔记（共计169页，基于本人听完B站小土堆PyTorch深度学习快速入门教程所写）
一、笔记视频 pytorch深度学习（共计169页，基于本人听完B站小土堆PyTorch深度学习快速入门教程所写） 二、获取方式
方式一：
点击下面的链接 pytorch深度学习笔记 如果链接无法打开 直接复制下方链接即可 https://mall.bilibili.c…
Windows系统配置pytorch环境，Jupyter notebook编辑器安装使用（深度学习本地篇）
如今现在好一点的笔记本都自带英伟达独立显卡，对于一些简单的深度学习项目，是不需要连接服务器的，甚至数据量不大的话，cpu也足够进行训练学习。我把电脑上一些以前的笔记整理一下，记录起来，方便自己35岁事业…
大数据机器学习-梯度下降：从技术到实战的全面指南
大数据机器学习-梯度下降：从技术到实战的全面指南 文章目录 大数据机器学习-梯度下降：从技术到实战的全面指南一、简介什么是梯度下降？为什么梯度下降重要？ 二、梯度下降的数学原理代价函数（Cost Function）…
pytorch——豆瓣读书评价分析
任务目标
基于给定数据集，采用三层bp神经网络方法，编写程序并构建分类模型，通过给定特征实现预测的书籍评分的模型。
选取数据 在各项指标中，我认为书籍的评分和出版社、评论数量还有作者相关，和其他属性的关系并大。…
关于with torch.no_grad:的一些小问题
with torch.no_grad:是截断梯度记录的，新生成的数据的都不记录梯度，但是今天产生了一点小疑惑，如果存在多层函数嵌入，是不是函数内所有的数据都不记录梯度，验证了一下，确实是的。
import torch
x torch.r…
面向 NLP 任务的大模型 Prompt 设计
很久之前，我们介绍到，prompt是影响下游任务的关键所在，当我们在应用chatgpt进行nlp任务落地时，如何选择合适的prompt，对于SFT以及推理环节尤为重要。
不过，硬想不是办法，我们可以充分参考开源的…
YOLOv8改进 | Neck篇 | 利用ASF-YOLO改进特征融合层（适用于分割和目标检测）
一、本文介绍
本文给大家带来的改进机制是ASF-YOLO（发布于2023.12月份的最新机制），其是特别设计用于细胞实例分割。这个模型通过结合空间和尺度特征，提高了在处理细胞图像时的准确性和速度。在实验中，ASF-YOLO在2018年数据科学竞赛数据集上取得了卓越的分割准确性和速度，…
PyTorch中各种求和运算
首先定义张量A
A torch.arange(20, dtypetorch.float32).reshape(5, 4)
tensor([[ 0., 1., 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[12., 13., 14., 15.],[16., 17., 18., 19.]])1. 降维求和 降维求和会沿指定轴降低张量的维度，使它变为一个标量。…
使用pytorch搭建ResNet并基于迁移学习训练
这里的迁移学习方法是载入预训练权重的方法 net resnet34()# load pretrain weights# download url: https://download.pytorch.org/models/resnet34-333f7ec4.pthmodel_weight_path "./resnet34-pre.pth"assert os.path.exists(model_weight_path), "file {}…
PyTorch训练多任务模型技巧
一、解决在分布式训练中，如果对同一模型进行多次调用的报错
报错如下： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [256)] is at version 4; expected …
关于windows条件下pytorch使用torch.utils.data.DataLoader的numworkers值的确定
numworkers指的是进行数据集加载时使用的线程数量。如果设置为0就是使用单线程进行加载。最保险的方法就是将numworkers直接设置为0，这样在Windows条件下可以保证运行，但是可能速度会降低一些。 造成bug的原因：因为在Windows系统上࿰…
强化学习_06_pytorch-TD3实践(CarRacing-v2)
0、TD3算法原理简介
详见笔者前一篇实践强化学习_06_pytorch-TD3实践(BipedalWalkerHardcore-v3)
1、CarRacing环境观察及调整
Action SpaceBox([-1. 0. 0.], 1.0, (3,), float32)Observation SpaceBox(0, 255, (96, 96, 3), uint8)
动作空间是[-1~1, 0~1, 0~1]，…
Pytorch项目，肺癌检测项目之三
成功获取到数据之后，我们需要将数据放到Pytorch里面去处理，我们需要将其转换成Dataset数据集，方便去使用相同的API。要转换成Dataset数据集需要实现两个方法，方法一： 方法二：
运行比较慢的话，…
用通俗易懂的方式讲解大模型：HugggingFace 推理 API、推理端点和推理空间使用详解
接触 AI 的同学肯定对HuggingFace[1]有所耳闻，它凭借一个开源的 Transformers 库迅速在机器学习社区大火，为研究者和开发者提供了大量的预训练模型，成为机器学习界的 GitHub。
在 HuggingFace 上我们不仅可以托管模型，还可以方便…
PyTorch深度学习实战（27）——变分自编码器(Variational Autoencoder, VAE)
PyTorch深度学习实战（27）——变分自编码器 0. 前言1. 变分自编码器1.1 自编码器的局限性1.2 VAE 工作原理1.3 VAE 构建策略1.4 KL 散度1.5 重参数化技巧 2. 构建 VAE小结系列链接 0. 前言
变分自编码器 (Variational Autoencoder, VAE) 是一种生成模型&…
4.16 构建onnx结构模型-And
前言
构建onnx方式通常有两种： 1、通过代码转换成onnx结构，比如pytorch —> onnx 2、通过onnx 自定义结点，图，生成onnx结构
本文主要是简单学习和使用两种不同onnx结构， 下面以 And 结点进行分析
方式
方法一&…
pytorch02：数据读取DataLoader与Dataset、数据预处理transform
目录 模型训练数据处理一、DataLoader1.1torch.utils.data.DataLoader1.2数据常见概念 二、Dataset2.1torch.utils.data.Dataset2.2代码展示2.2.1划分数据集2.2.2训练代码 三、transform3.1 torchvision视觉工具包3.2 代码展示3.3 transforms.Normalize3.4 Normalize实验 模型训…
Pytorch深度学习-----完整的模型验证套路
系列文章目录
PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用（ToTensor，Normalize，Resize ，Co…
机器翻译：跨越语言边界的智能大使
导言 机器翻译作为人工智能领域的瑰宝，正在以前所未有的速度和精度，为全球沟通拓展新的可能性。本文将深入研究机器翻译的技术原理、应用场景以及对语言交流未来的影响。
1. 简介 机器翻译是一项致力于通过计算机自动将一种语言的文本翻译成另一种语言的…
PyTorch|transforms
在将图片输入到神经网络进行训练时，一般都需要对输入的图像进行预处理。对图片进行操作有很多种方法，这里我们使用torchvision库的transforms模块。
tansforms有很多种方法(一些可以用在张量和PIL图像，一些仅能用于张量，而另一些…
PyTorch|一次画一批图像
想想这样一个场景，我们训练了一个神经网络，输入一些信息，这个网络可以根据信息为我们生成相关图片。
这些图片并不是一张，而是多张，我们想把这些图片一次全部显示出来，而不是一张一张的显示（这…
【基于PyTorch】torch.unsqueeze() 使用
输入：
import torchx torch.tensor([1, 2, 3, 4])
print(torch.unsqueeze(x, 0))
print("**************")
print(torch.unsqueeze(x, 1))输出：
tensor([[1, 2, 3, 4]])
**************
tensor([[1],[2],[3],[4]])
PyTorch学习：加载模型和参数
版权声明：本文为博主转载文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lscelory/article/details/81482586
有点偷懒，直接转载的文章，原文链接如上…
如何在python3中安装第三方库（例：jieba库）
亲测有效，不用下载任何压缩包！！！ 首先打开菜单栏输入cmd，单击进入，如图1； 进入后，不需要进行任何操作，就开着就行，如图2； 图1（如上图…
Anaconda中快速创建虚拟环境
在环境已激活的情况下使用conda导出已有环境：
conda env export>environment.yaml;
使用导出的yaml文件移到其他服务器上：
conda env create -f environment.yaml。
《动手学深度学习》13.1 图像增广
《动手学深度学习》13.1 图像增广
训练部分
导入功能包
import torch
import torchvision
from tqdm import tqdm
from torch import nn
from torch.nn import functional as F
import MyFunction as MF
import sys
import time
import datetime定义使用的ResNet-18网络
#定…
torch.randn()参数size与输出张量形状详解
torch.randn()参数size与输出张量形状详解 torch.randn(*size, *, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse) → Tensor Returns a tensor filled with random numbers from a normal distribution with mean 0 and variance 1 (also called …
安装 旧版本pytorch
进入官网 查看 对应版本的安装命令
所有版本
COMMANDS FOR VERSIONS > 1.0.0
v1.8.0
Conda
OSX
# conda
conda install pytorch1.8.0 torchvision0.9.0 torchaudio0.8.0 -c pytorch
Linux and Windows
# CUDA 10.2
conda install pytorch1.8.0 torchvision0.9.0 torchaudi…
tensorboard使用说明
tensorboard使用说明 第一步：首先开始训练模型： 如上图所示可以肯出模型不断在训练，这样我们就可以打开tensorboard监控面板查看了， 第二步：再打开一个新的cmd控制台输入： tensorboard –logdir cifar10_tr…
《动手学深度学习》7.6 残差网络（ResNet）
《动手学深度学习》7.6 残差网络（ResNet）
导入功能包
import torch
from torch import nn
from torch.nn import functional as F
import MyFunction as MF
# summary用来可视化模型结构
from torchsummary import summaryResNet-18模型定义 # 残差操作…
pytorch-tensorflow安装环境
确保显卡驱动都是正常运行的（无安装显卡驱动，需先安装显卡驱动） 首先在 anaconda官网 安装python3.7version 双击anaconda安装包，引导安装，同意下一步，安装想要安装的目录下，然后需要勾选（上下都是钩）将anaconda加入环境变量，完成安装 …
Pytorch入门，简介，开发环境搭建及pytorch-gpu源码编译
简介
目前的深度学习框架很多，如Tensorflow、Pytorch、Keras、FastAI、CNTK等等，这些框架各有优缺点，尤其是Tensorflow和Pytorch，使用都非常广泛，那么应该如何进行选择呢？这应该是每一位即将开始学习深度学…
Ubuntu16.04+CUDA10.0+cuDNN7.4+Opencv3.4+Anaconda3-5（Python3.6）+pytorch
Ubuntu16.04CUDA9.0cuDNN7.4Opencv3.4Anaconda（Python3.6）pytorchUbuntu16.04安装搜狗输入法安装系统分盘显卡驱动安装CUDA10.0安装cuDNNv7安装PyCharm安装CUDA9.0cuDNNv7Opencv3.4.0安装参考（旧）Anaconda（Python3.6&a…
深度学习Batch Normalization
批标准化（Batch Normalization，简称BN）是一种用于深度神经网络的技术，它的主要目的是解决深度学习模型训练过程中的内部协变量偏移问题。简单来说，当我们在训练深度神经网络时，每一层的输入分布都可能会随着…
在 PyTorch 中使用关键点 RCNN 进行人体姿势估计--附源码
人体姿态估计是计算机视觉领域的一个重要研究领域。它涉及估计人体上的独特点，也称为关键点。在这篇博文中，我们将讨论一种在包含人类的图像上查找关键点的算法，称为Keypoint-RCNN。该代码是使用 Pytorch 使用Torchvision库编写的。
假设您想要建立一名私人健身教练，可以通…
深入浅出Pytorch函数——torch.nn.init.dirac_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
李沐pytorch学习-经典CNN的原理及代码实现
一、LeNet
1.1 模型结构 LeNet结构如图1所示，汇聚层即池化层，这里池化Stride（步幅）与池化层长宽一致，因此使得池化后大小减半。 图1. LeNet结构 1.2 代码实现 代码实现如下：
import torch
from torch imp…
卷积神经网络——下篇【深度学习】【PyTorch】
文章目录 5、卷积神经网络5.10、⭐批量归一化5.10.1、理论部分5.10.2、代码部分 5.11、⭐残差网络（ResNet）5.11.1、理论部分5.11.2、代码部分 话题闲谈 5、卷积神经网络
5.10、⭐批量归一化
5.10.1、理论部分
批量归一化可以解决深层网络中梯度消失和…
如何阅读pytorch框架的源码？
01. 基础知识
首先，需要保证有一定的深度学习基础知识，吴恩达的深度学习课还有斯坦福大学的CS231n都是不错的入门教程，只需要有大学数学的基础就可以看懂。
然后，需要对Linux系统使用有一定的了解，一般选择Ubuntu系统…
pytorch代码实现之分布偏移卷积DSConv
DSConv卷积模块
DSConv（分布偏移卷积）可以容易地替换进标准神经网络体系结构并且实现较低的存储器使用和较高的计算速度。 DSConv将传统的卷积内核分解为两个组件：可变量化内核（VQK）和分布偏移。 通过在VQK中仅存储整…
3-Pytorch张量的运算、形状改变、自动微分
3-Pytorch张量的运算、形状改变、自动微分 1 导入必备库2 张量的运算3 张量的算数运算4 一个元素的张量可以使用tensor.item()方法转成标量5 torch.from_numpy()和tensor.numpy()6 张量的变形7 张量的自动微分8 使用with torch.no_grad():包含上下文中使其不再跟踪计算9 使用te…
多层全连接网络：实现手写数字识别50轮准确率92.1%
多层全连接网络：实现手写数字识别50轮准确率92.1% 1 导入必备库2 torchvision内置了常用数据集和最常见的模型3 数据批量加载4 绘制样例5 创建模型7 设置是否使用GPU8 设置损失函数和优化器9 定义训练函数10 定义测试函数11 开始训练12 绘制损失曲线并保存13 绘制准…
3-2 中阶API示范
下面的范例使用Pytorch的中阶API实现线性回归模型和和DNN二分类模型。 Pytorch的中阶API主要包括各种模型层，损失函数，优化器，数据管道等等。 在低阶API示范中，是采用原生方式模拟DataLoader：
# 构建数据管道迭代器 模…
Pytorch Pytorch+深度学习神经网络相关学习收获
文章目录 一、基础知识二、Pytorch三、如何实现一个神经网络四、pytorch的数据类型五、常用结构六、构造神经网络的相关知识七、数据集处理 一、基础知识
机器学习 本质就是通过 数据答案的数据集 经过机器学习的训练 得到相关的规则进行预测
对应2242243的图像 代表的意思是…
【深度学习】Pytorch 系列教程（十二）：PyTorch数据结构：4、数据集（Dataset）
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
3、变量（Variable）
4、数据集（Dataset）
随机洗牌 一、前言 Ch…
PyTorch深度学习（三）【Logistic Regression、处理多维特征的输入】
Logistic Regression 这个名字叫做回归，做的是分类。 线性和logistic的模型： 使用的损失函数：二分类交叉熵 （这个也叫做BCELoss） logistic要做的事： 代码：
import torch# import torch.nn.fun…
【深度学习框架格式转化】Pytorch模型转ONNX格式流程详解【入门】
【深度学习框架格式转化】Pytorch模型转ONNX格式流程详解【入门】 提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论 文章目录 【深度学习框架格式转化】Pytorch模型转ONNX格式流程详解【入门】前言PyTorch模型环境搭建(GPU)安装onnx和onnxruntime(GPU)pyt…
FastViT：一种使用结构重新参数化的快速混合视觉变换器
文章目录 摘要1、简介2、相关工作3、体系结构3.1、概述3.2、FastViT3.2.1、重新参数化跳过连接3.2.2、线性训练时间过参数化3.2.3、大核卷积 4、实验4.1、图像分类4.2、鲁棒性评价4.3、3D Hand网格估计4.4、语义分割和目标检测 5、结论 摘要
论文：https://arxiv.or…
DataLoader PyTorch 主要参数的含义
定义：
DataLoader类是一个用于从数据集（dataset）中加载数据，并以迭代器（iterator）的形式返回数据样本（data samples）的工具。您给出的两个字典（dictionary）分…
PyTorch深度学习环境配置(Anaconda+PyTorch+PyCharm)
目录
一. Anaconda安装
二. 创建虚拟环境 三. 安装PyTorch 四. PyCharm的安装 学习视频可参考：
最详细的 Windows 下 PyTorch 入门深度学习环境安装与配置 CPU GPU 版 | 土堆教程_哔哩哔哩_bilibili
一. Anaconda安装 https://www.anaconda.com/
1. 点击上述网…
PyTorch：view() 与 reshape() 区别详解【转】
原文链接：https://blog.csdn.net/zhuguiqin1/article/details/119916419 1、PyTorch张量存储的底层原理 tensor数据采用头信息区（Tensor）和存储区 （Storage）分开存储的形式，如图1所示。变量名以及其存储的数…
回顾点Pytorch基础知识
torch.Tensor有两部分数据：gradient和data 当numpy和Tensor互转时，numpy->Tensor没啥问题，Tensor->numpy时有两种方法： 第一种： T1.data.numpy或者T1.detach().numpy。即只转data数据，否则会报错&…
目标追踪初试yolov5+deepsort（自学笔记）
项目地址mikel-brostrom/Yolov5_DeepSort_Pytorch: Real-time multi-object tracker using YOLO v5 and deep sort (github.com)
此文章所用版本为v2.0
clone下的项目缺少YOLOv5 需要自行下载YOLOv5选择相对应的版本
下载完成后解压到yolov5的文件夹下即可
1. 在文件目录下…
pytorch数据选择CPU或者GPU
pytorch中.to(device) 和.cuda()的区别说明
原理
.to(device) 可以指定CPU 或者GPU 1 2 3 4 5 6 device torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单GPU或者CPU model.to(device) #如果是多GPU if torch.cuda.device_count(…
ChatGLM Pytorch从0编写Transformer算法
预备工作 # !pip install http://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp36-cp36m-linux_x86_64.whl numpy matplotlib spacy torchtext seaborn import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
import math, copy, tim…
Pytorch中的 AdaptivePooling
AdaptivePooling是只出现在Pytoch中的池化方法，官方给出的[运算公式]为：(https://discuss.pytorch.org/t/what-is-adaptiveavgpool2d/26897) kernel的大小为 (input_sizetarget_size-1) // target_size, i.e. rounded up（即四舍五入ÿ…
jetson xavier nx 系统及相关环境配置（cuda，torchvision，torch，tensorflow，opencv）
一、装载系统
首先下载系统镜像
到这里下载https://developer.nvidia.com/embedded/downloads，选择自己需要的jetpack版本。我当时安装的时候查的资料都说jetpack和后面安装的pytorch以及tensorflow要对应，但是当时我没有注意安装的并不是对应的版本&a…
解决正常安装GPU版pytorch后pycharm引入报错问题“No module named torch“
问题说明
首先说明我遇到的情况是pytorch已经正常安装了，也就是如下代码会正常输出true
import torch
print(torch.cuda.is_available())问题就是代码虽然能运行但是引入torch那一行爆红并且pycharm提示No module named torch, 这就倒是写代码时候有关pytorch的都…
transforms数据增强
在AI领域的模型训练中通常会遇到模型过拟合问题，通常采取的办法就是数据增强处理，例如在图像处理中，数据增强是指对原始图像进行旋转、缩放、剪切、翻转等操作，以扩大训练数据集的规模，提高模型泛化能力，降…
WIN10+YOLOv4，windows上完美执行YOLOv4目标检测
最近新出了YOLOV4，我系统的从V1开始整理出稿，传送门： 【YOLOv1原文翻译】You Only Look Once Unified, Real-Time Object Detection 【YOLOv2原文翻译】YOLO9000: Better, Faster, Stronger 【YOLOv3原文翻译】YOLOv3：An Incremen…
PyTorch 微调终极指南：第 2 部分 — 提高模型准确性
一、说明 如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分&…
pytorch中transform库中常用的函数有哪些及其用法？
在PyTorch的torchvision.transforms库中，有许多常用的图像变换函数可用于数据增强和预处理。下面列举了一些常用的函数及其用法： Resize(size): 调整图像大小为给定的尺寸。 transform transforms.Resize((256, 256))RandomCrop(size, paddingNone): 随…
PyTorch应用实战二：实现卷积神经网络进行图像分类
文章目录 实验环境MNIST数据集1.网络结构2.程序实现2.1 导入相关库2.2 构建卷积神经网络模型2.3 加载MNIST数据集2.4 训练模型 附：系列文章 实验环境
python3.6 pytorch1.8.0
import torch
print(torch.__version__)1.8.0MNIST数据集
MNIST数字数据集是一组手写…
分布数据并行计算(单机多卡)训练记录
首先，我们先把我们的pytorch版本提升到2.0.1,这样会防止很多不必要的报错（但这样的坏处就是我们没有办法使用nvidia-apex进行加速了，除非等到版本的更新
DistributedSampler
我们使用分布数据采样器来保证我们的每个进程（每一块…
tensordataset 和dataloader取值
测试1
from torch.utils.data import TensorDataset,DataLoader
import numpy as np
import torch a np.array([[1,2,3],[2,3,3],[1,1,2],[10,10,10],[100,200,200],[-1,-2,-3]])
print(a)X torch.FloatTensor(a)
print(X)dataset TensorDataset(X,X)测试2
from torch.uti…
解密长短时记忆网络（LSTM）：从理论到PyTorch实战演示
目录 1. LSTM的背景人工神经网络的进化循环神经网络（RNN）的局限性LSTM的提出背景 2. LSTM的基础理论2.1 LSTM的数学原理遗忘门（Forget Gate）输入门（Input Gate）记忆单元（Cell State）…
桃子叶片病害识别（Python代码，pyTorch框架，深度卷积网络模型，很容易替换为其它模型，带有GUI识别界面）
1.分为三类 健康的桃子叶片 ，251张 桃疮痂病一般，857张 桃疮痂病严重，770
张 2. GUI界面识别效果和predict.py识别效果如视频所示桃子叶片病害识别（Python代码，pyTorch框架，深度卷积网络模型࿰…
copy is all you need前向绘图 和疑惑标记
疑惑的起因 简化前向图 GPT4解释 这段代码实现了一个神经网络模型，包含了BERT、GPT-2和MLP等模块。主要功能是给定一个文本序列和一个查询序列，预测查询序列中的起始和结束位置，使其对应文本序列中的一个短语。具体实现细节如下：…
[pytorch]torch.cuda用法以及判断显卡是不是存在问题
常见用法：
torch.cuda.is_available() # 查看是否有可用GPU torch.cuda.device_count() # 查看GPU数量 torch.cuda.get_device_capability(device) # 查看指定GPU容量 torch.cuda.get_device_name(device) # 查看指定GPU名称 torch.cuda.empty_cache() # 清空程序占…
学习笔记：Pytorch利用MNIST数据集训练生成对抗网络（GAN）
2023.8.27 在进行深度学习的进阶的时候，我发了生成对抗网络是一个很神奇的东西，为什么它可以“将一堆随机噪声经过生成器变成一张图片”，特此记录一下学习心得。
一、生成对抗网络百科 2014年，还在蒙特利尔读博士的Ian Goodfello…
ViT论文Pytorch代码解读
ViT论文代码实现 论文地址：https://arxiv.org/abs/2010.11929 Pytorch代码地址：https://github.com/lucidrains/vit-pytorch ViT结构图 调用代码
import torch
from vit_pytorch import ViTdef test():v ViT(image_size 256, patch_size 32, num_cl…
ResNet详解：网络结构解读与PyTorch实现教程
目录 一、深度残差网络（Deep Residual Networks）简介深度学习与网络深度的挑战残差学习的提出为什么ResNet有效？ 二、深度学习与梯度消失问题梯度消失问题定义为什么会出现梯度消失？激活函数初始化方法网络深度 如何解决梯度消失问…
Pytorch学习：神经网络模块torch.nn.Module和torch.nn.Sequential
文章目录 1. torch.nn.Module1.1 add_module（name，module）1.2 apply(fn)1.3 cpu()1.4 cuda(deviceNone)1.5 train()1.6 eval()1.7 state_dict() 2. torch.nn.Sequential2.1 append 3. torch.nn.functional.conv2d 1. torch.nn.Module 官方文档…
pytorch中squeeze函数用法
squeeze的中文意思是“挤压”，顾名思义，该函数的作用是压缩维度
squeeze(input, dimNone) -> Tensor
input一个高维张量，如果各个维度中存在大小为1的维度，squeeze才起作用，下面举例说明
x torch.arange(6).res…
一文读懂强化学习：RL全面解析与Pytorch实战
目录 一、引言强化学习的核心组成为什么强化学习重要？实用性与广泛应用自适应与优化推动AI研究前沿引领伦理与社会思考 二、强化学习基础马尔可夫决策过程（MDP）状态（State）动作（Action）奖励&…
新手深入PyTorch中RNN、LSTM和GRU使用和理解
目录
torch.nn子模块Recurrent Layers
nn.RNNBase
RNNBase 类描述
RNNBase 类的功能和作用
flatten_parameters() 方法
示例代码
nn.RNN
RNN 类描述
RNN 类的功能和作用
RNN 类的参数
输入和输出
注意事项
示例代码
nn.LSTM
LSTM 类描述
LSTM 类的功能和作用
…
transforms图像增强（一）
一、数据增强
数据增强（Data Augmentation）是一种常用的数据预处理技术，通过对训练集进行各种变换和扩增操作，可以增加训练数据的多样性和丰富性，从而提高模型的泛化能力。
数据增强的目的是通过对训练集中的图像进行…
![[书生·浦语大模型实战营]——轻松玩转书生·浦语大模型趣味 Demo](https://img-blog.csdnimg.cn/direct/0c7f413061c645f199e18e38ff90515c.png)
[书生·浦语大模型实战营]——轻松玩转书生·浦语大模型趣味 Demo
Part1 大模型及InternLM模型简介
1.1 什么是大模型？
定义大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。 发展大模型的出现和发展得益于增…
PyTorch|构建自己的卷积神经网络
如何搭建网络，这在深度学习中非常重要。简单来讲，我们是要实现一个类，这个类中有属性和方法，能够进行计算。
一般来讲，使用PyTorch创建神经网络需要三步： 继承基类：nn.Module 定义层属性 实现…
YOLOv5改进 | 卷积篇 | SAConv轻量化的可切换空洞卷积（附修改后的C3+Bottleneck）
一、本文介绍
本文给大家带来的改进机制是可切换的空洞卷积（Switchable Atrous Convolution, SAC）是一种创新的卷积网络机制，专为增强物体检测和分割任务中的特征提取而设计。SAC的核心思想是在相同的输入特征上应用不同的空洞率进行卷积，并通过特别设计的开关函数来融合这…
YOLOv5改进 | Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
一、本文介绍
本文给大家带来的改进机制是Damo-YOLO的RepGFPN（重参数化泛化特征金字塔网络），利用其优化YOLOv5的Neck部分，可以在不影响计算量的同时大幅度涨点（亲测在小目标和大目标检测的数据集上效果均表现良好涨点幅度超级高！）。RepGFPN不同于以往提出的改进模块，其…
使用pytorch-superpoint与pytorch-superglue项目实现训练自己的数据集
superpoint与superglue的组合可以实现基于深度学习的图像配准，官方发布的superpoint与superglue模型均基于coco数据训练，与业务中的实际数据或许存在差距，为此实现基于开源的pytorch-superpoint与pytorch-superglue项目实现训练自己的数据集。然而，在训练pytorch-superpoin…
ubuntu创建pytorch-gpu的docker环境
文章目录 安装docker创建镜像创建容器 合作推广，分享一个人工智能学习网站。计划系统性学习的同学可以了解下，点击助力博主脱贫( •̀ ω •́ )✧ 使用docker的好处就是可以将你的环境和别人的分开，特别是共用的情况下。本文介绍了ubuntu环境…
大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示
文章目录 大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示1. LSTM的背景人工神经网络的进化循环神经网络（RNN）的局限性LSTM的提出背景 2. LSTM的基础理论2.1 LSTM的数学原理遗忘门（Forget Gat…
新手入门安装PyTorch及其测试验证
目录
检查系统要求
安装PyTorch
通过pip在windows环境中安装GPU版本：
使用conda方式在windows中安装GPU版本 在windows环境安装cpu版本
验证安装
总结 检查系统要求
在开始安装PyTorch之前，请确保你的系统满足以下要求：
Python版本…
Mnist手写体数字数据集介绍与在Pytorch中使用
1.介绍 MNIST（Modified National Institute of Standards and Technology）数据集是一个广泛用于机器学习和计算机视觉研究的常用数据集之一。它由手写数字图像组成，包括0到9的数字，每张图像都是28x28像素的灰度图像，图…
torch.where用法介绍
torch.where用法1介绍
torch.where(condition, x, y) → Tensor这个用法介绍直接搜就可以，不做介绍
torch.where用法2介绍(在yolov8中计算TP中出现)
torch.where(condition) → Tensor返回的condition中为True的索引 直接举一个例子吧
condition torch.tensor(…
YOLOv8改进 | 检测头篇 | DynamicHead原论文一比一复现 （不同于网上版本，全网首发）
一、本文介绍
本文给大家带来的改进机制是DynamicHead(Dyhead)，这个检测头由微软提出的一种名为“动态头”的新型检测头，用于统一尺度感知、空间感知和任务感知。网络上关于该检测头我查了一些有一些魔改的版本，但是我觉得其已经改变了该检测头的本质，因为往往一些细节上才…
新手能掌握 PyTorch 的填充技术：深入理解反射、复制、零值和常数填充
目录
torch.nn子模块详解
nn.ReflectionPad1d
参数说明：
形状（Shape）：
使用示例：
注意事项：
nn.ReflectionPad2d
参数说明：
形状（Shape）：
使用示例…
大数据深度学习卷积神经网络CNN：CNN结构、训练与优化一文全解
文章目录 大数据深度学习卷积神经网络CNN：CNN结构、训练与优化一文全解一、引言1.1 背景和重要性1.2 卷积神经网络概述 二、卷积神经网络层介绍2.1 卷积操作卷积核与特征映射卷积核大小多通道卷积 步长与填充步长填充 空洞卷积（Dilated Convolution&…
YOLOv5改进 | 2023主干篇 | EfficientViT替换Backbone（高效的视觉变换网络）
一、本文介绍
本文给大家带来的改进机制是EfficientViT（高效的视觉变换网络），EfficientViT的核心是一种轻量级的多尺度线性注意力模块，能够在只使用硬件高效操作的情况下实现全局感受野和多尺度学习。本文带来是2023年的最新版本的EfficientViT网络结构，论文题目是Effici…
![[PyTorch][chapter 9][李宏毅深度学习][Why Deep]](https://img-blog.csdnimg.cn/direct/e1cbe022c3e64aa993450530d99105dd.png)
[PyTorch][chapter 9][李宏毅深度学习][Why Deep]
前言： 我们知道深度学习一个重要特征是网络堆叠，深。 为什么需要深度，
本篇主要简单介绍一下该原因
目录： 1： 简介 2： 模块化分析 3： 语音识别例子 一 简介 有人通过实验,使用相同的网络参数…
2024年1月8日学习总结
目录 学习计划学习内容how to save and load models in pytorch（1）什么是state_dict定义一个模型实例化模型初始化优化器查看模型的state_dict查看优化器的state_dict （2）保存模型A、save/load state_dict（推荐&#x…
怎样在Anaconda下安装pytorch(conda安装和pip安装)
前言
文字说明
本文中标红的，代表的是我认为比较重要的。
版本说明
python环境配置：jupyter的base环境下的python是3.10版本。CUDA配置是：CUDA11.6。目前pytorch官网提示支持的版本是3.7-3.9 本文主要用来记录自己在安装pytorch中出现的问…
使用AutoDecoder自动解码器实现简单MNIST特征向量提取
AutoDecoder
自动解码器（AD）是论文"DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation" 中使用的一种方法，与传统编码-解码结构不同，AD无编码器，仅有一个解码器。解码器实…
机器学习简单概念和pytorch代码-2
机器学习简单概念和pytorch代码-2
学习率的选择和调校
特征工程
特征工程是数据预处理和分析过程中的一个关键步骤，主要用于机器学习和数据挖掘。它涉及到从原始数据中选择、修改和创建新的特征（即数据的属性或变量），以便提高…
PyTorch知识图谱
PyTorch作为一个深度学习框架，其知识图谱可以分为几个主要部分：
1. 张量（Tensors）： PyTorch的基本数据结构，类似于多维数组，用于存储和操作数据。 包括创建张量、张量的操作（如加法…
在pytorch中，读取GPU上张量的数值 (数据从GPU到CPU) 的几种常用方法
1、.cpu() 方法： 使用 .cpu() 方法可以将张量从 GPU 移动到 CPU。这是一种简便的方法，常用于在进行 CPU 上的操作之前将数据从 GPU 取回
import torch# 在 GPU 上创建一个张量
gpu_tensor torch.tensor([1, 2, 3], devicecuda)# 将 GPU 上的张…
YOLOv8改进 | 主干篇 | EfficientNetV1均衡缩放网络改进特征提取层
一、本文介绍
这次给大家带来的改进机制是EfficientNetV1主干，用其替换我们YOLOv8的特征提取网络，其主要思想是通过均衡地缩放网络的深度、宽度和分辨率，以提高卷积神经网络的性能。这种方法采用了一个简单但有效的复合系数，统一…
基于全新电脑环境安装pytorch的GPU版本
前言：
距离第一次安装深度学习的GPU环境已经过去了4年多（当时TensorFlow特别麻烦），现在发现安装pytorch的GPU版本还是很简单方便的，流程记录如下。
安装步骤：
步骤一：官网下载Anaconda
Free…
pytorch中torch.gather（）简单理解
1.作用
从输入张量中按照指定维度进行索引采集操作，返回值是一个新的张量，形状与 index 张量相同，根据指定的索引从输入张量中采集对应的元素。
2.问题
该函数的主要问题主要在dim维度上，dim0 表示沿着第一个维度（行…
深度学习推荐系统(二)Deep Crossing及其在Criteo数据集上的应用
深度学习推荐系统(二)Deep Crossing及其在Criteo数据集上的应用
在2016年， 随着微软的Deep Crossing， 谷歌的Wide&Deep以及FNN、PNN等一大批优秀的深度学习模型被提出， 推荐系统全面进入了深度学习时代， 时至今日，…
【点云分割】points3d框架学习01 —— 安装和配置
安装
$ pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
$ pip install torch-points3d
$ pip install ipython
$ pip install trame
$ pip install h5py
$ pip install gdown案例
from to…
解决DCNv2不能使用高版本pytorch编译的问题
可变形卷积网络GitHub - CharlesShang/DCNv2: Deformable Convolutional Networks v2 with Pytorch代码已经出来好几年了，虽然声称"Now the master branch is for pytorch 1.x"，实际上由于pytorch自1.11版开始发生了很大变化，原来基…
基于resnet网络架构训练图像分类模型
数据预处理部分：
数据增强：torchvision中transforms模块自带功能，比较实用数据预处理：torchvision中transforms也帮我们实现好了，直接调用即可DataLoader模块直接读取batch数据
网络模块设置：
加载预训练…
【CUDA OUT OF MEMORY】【Pytorch】计算图与CUDA OOM
计算图与CUDA OOM
在实践过程中多次碰到了CUDA OOM的问题，有时候这个问题是很好解决的，有时候DEBUG一整天还是头皮发麻。
最近实践对由于计算图积累导致CUDA OOM有一点新的看法，写下来记录一下。包括对计算图的一些看法和一个由于计算图引发…
Netron【.pt转.torchscript模型展示】
Netron是一个模型的展示工具，它有网页版和app版： 网页版：Netron
app版：GitHub - lutzroeder/netron: Visualizer for neural network, deep learning, and machine learning models 直接用网页版吧，还不用安装。 它可…
UNet pytorch 胎教级介绍 使用DRIVE眼底血管分割数据集进行入门实战
同门的学妹做语义分割，于是打算稍微研究一下，最后的成果就是这篇文章，包括使用数据集进行测试，以及每一个部分的代码，还有一些思考改动和经验。 充分吸收本文知识你需要有pytorch的基础
U-net
U-Net：深度…
目标检测算法改进系列之Backbone替换为RIFormer
RIFormer简介
Token Mixer是ViT骨干非常重要的组成成分，它用于对不同空域位置信息进行自适应聚合，但常规的自注意力往往存在高计算复杂度与高延迟问题。而直接移除Token Mixer又会导致不完备的结构先验，进而导致严重的性能下降。
原文地址&…
1-Pytorch初始化张量和张量的类型
1-Pytorch初始化张量和张量的类型
1 导入必备库
import torch
import numpy as np2 初始化张量
# 初始化张量
t torch.tensor([1,2])#.type(torch.FloatTensor)
print(t)
print(t.dtype)输出：
tensor([1, 2])
torch.int643 创建float型张量
# 创建float型张量…
（十六）mmdetection源码解读：BasedRunner
目录 一、BasedRunner源码二、BasedRunner类的属性三、BasedRunner类的方法3.1 只读属性和抽象方法3.2 权重保存和加载方法3.3 hook的注册和调用 一、BasedRunner源码
class BaseRunner(metaclassABCMeta):def __init__(self,model,batch_processorNone,optimizerNone,work_di…
使用svd 分解的方法对神经网络模型进行压缩（能不能压缩要看秩的大小）
参考和理论 压缩原理代码
import torch
import numpy as np
torch.manual_seed(0)# ------------------------------------
# n：输入数据维度
# m：输出数据维度
# ------------------------------------
n = 12
m = 10# ------------------------------------
# 随机初始化权…
Pytorch3D多角度渲染.obj模型
3D理解在从自动驾驶汽车和自主机器人到虚拟现实和增强现实的众多应用中发挥着至关重要的作用。在过去的一年里，PyTorch3D已经成为一个越来越流行的开源框架，用于使用Python进行3D深度学习。值得庆幸的是，PyTorch3D 库背后的人员已经完成了实现…
pytorch中的词性标注_seq2seq_比较naive的示例
一、各种用法_查漏补缺：
1.关于numpy中的argmax的用法：
numpy之argmax()函数 - 知乎 (zhihu.com)
具体看这篇文章够了 二、代码注释：
参考：
Sequence Models and Long Short-Term Memory Networks — PyTorch Tutorials 2.0.…
pytorch tensorflow 保存和加载模型
1. Pytorch 1.1.1 save网络结构和参数： 注意最后一行为“self.state_dict()” def save(self,t):current_path os.path.dirname(os.path.abspath(__file__))model_path model/2E_model_ t _self.name/save_path os.path.join(current_path,model_path)if not o…
《动手学深度学习 Pytorch版》 6.5 汇聚层
import torch
from torch import nn
from d2l import torch as d2l6.5.1 最大汇聚和平均汇聚
汇聚层和卷积层类似，区别在于汇聚层不带包含参数，汇聚操作是确定性的，通常计算汇聚窗口中所有元素的最大值或平均值，即最大汇聚和平均…
Pytorch-CNN-Mnist
文章目录 model.pymain.py网络设置注意事项及改进运行截图 model.py
import torch.nn as nn
class CNN_cls(nn.Module):def __init__(self,in_dim28*28):super(CNN_cls,self).__init__()self.conv1 nn.Conv2d(1,32,1,1)self.pool1 nn.MaxPool2d(2,2)self.conv2 nn.Conv2d(3…
pytorch张量维度变换详解：view、squeeze、transpose
目录
1 view函数
1.1 指定变换后的维度
1.2 自动推理变换后的维度
1.3 将tensor展平成一维
2 reshape函数
2.1 指定变换后的维度
2.2 自动推理转换后的维度
2.3 将tensor展平成一维
2.4 使用tensor.reshape变换
3 squeeze函数
3.1 torch.squeeze去除所有为1的维度
…
pytorch 数据载入
在PyTorch中，数据载入是训练深度学习模型的重要一环。 本文将介绍三种常用的数据载入方式：Dataset、DataLoader、以及自定义的数据加载器。
使用 Dataset 载入数据 方法：
from torch.utils.data import Datasetclass CustomDataset(Dataset…
6-1 pytorch中构建模型的3种方法
可以使用以下3种方式构建模型： 1，继承nn.Module基类构建自定义模型。 2，使用nn.Sequential按层顺序构建模型。 3，继承nn.Module基类构建模型并辅助应用模型容器进行封装(nn.Sequential,nn.ModuleList,nn.ModuleDict)。 其中 第1种…
Pytorch笔记之分类
文章目录 前言一、导入库二、数据处理三、构建模型四、迭代训练五、模型评估总结 前言
使用Pytorch进行MNIST分类，使用TensorDataset与DataLoader封装、加载本地数据集。 一、导入库
import numpy as np
import torch
from torch import nn, optim
from torch.uti…
论文总结：3D Talking Face With Personalized Pose Dynamics
论文解决的问题：大多数现有的3D人脸生成方法只能生成静态头部姿势的3D面部，只有少数几篇文章关注头部姿势的生成，但这些文章也忽略了个体属性。 解决方法：框架由两个独立模块组成：PoseGAN和PGFace。给定输入音频，PoseGAN首先为3D头部生成一个头部姿势序列，然后PGFace利用…
Windows安装GPU版本的pytorch详细教程
文章目录 chatGLM2-6B安装教程正式安装 chatGLM2-6B
ChatGLM2-6B版本要装pytorch2.0，而且要2.0.1 ，因此CUDA不能用12.0 ，也不能用10.0，只能用11.x 版本。
安装教程
pip install直接下载安装 官网： https://pytorch.…
Transformer预测 | Pytorch实现基于Transformer 的锂电池寿命预测（CALCE数据集）
文章目录 效果一览文章概述模型描述程序设计参考资料效果一览 文章概述 Pytorch实现基于Transformer 的锂电池寿命预测，环境为pytorch 1.8.0，pandas 0.24.2 随着充放电次数的增加，锂电池的性能逐渐下降。电池的性能可以用容量来表示，故寿命预测 (RUL) 可以定义如下： SOH(t…
Pytorch从零开始实战04
Pytorch从零开始实战——猴痘病识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——猴痘病识别环境准备数据集模型选择模型训练数据可视化其他模型图片预测 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytor…
基于开源模型搭建实时人脸识别系统（八）：优化逻辑
文章目录 串行->并行多次识别高质量优先结语人脸识别系统项目源码 续
基于开源模型搭建实时人脸识别系统（七）：人脸比对_CodingInCV的博客-CSDN博客 前面我们已经讲述了从人脸检测到人脸比对的整个技术，基于前面的这些技术&…
TensorFlow的transformer类模型文件转换为pytorch
在进行transformer类模型的训练或开发时，我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写，然而很多时候在下载模型文件时，会遇到TensorFlow的模型，这是就涉及到转换的问题。
首先说一…
pycharm中配置torch
在控制台cmd中安装好torch后，在pycharm中使用torch，需要进行简单设置即可。
在pycharm中新建一个工程，在file文件中打开setting 在setting中找到project interpreter编译器 找到conda environment的环境配置，设置好相应的目录 新…
【深度学习】Pytorch训练过程中损失值出现NaN
项目场景
利用Pytorch框架，结合FEDformer开源代码（https://github.com/MAZiqing/FEDformer），将自己的数据集作为输入训练模型。
问题描述
训练过程中，发现打印出来的Train loss, Test loss, Test loss中，…
pytorch的四个hook函数
训练神经网络模型有时需要观察模型内部模块的输入输出，或是期望在不修改原始模块结构的情况下调整中间模块的输出，pytorch可以用hook回调函数来实现这一功能。主要使用四个hook注册函数：register_forward_hook、register_forward_pre_hook、r…
交叉熵Loss多分类问题实战（手写数字）
1、import所需要的torch库和包 2、加载mnist手写数字数据集，划分训练集和测试集，转化数据格式，batch_size设置为200 3、定义三层线性网络参数w，b，设置求导信息 4、初始化参数，这一步比较关键，…
一个案例熟悉使用pytorch
文章目录 1. 完整模型的训练套路1.2 导入必要的包1.3 准备数据集1.3.1 使用公开数据集：1.3.2 获取训练集、测试集长度：1.3.3 利用 DataLoader来加载数据集 1.4 搭建神经网络1.4.1 测试搭建的模型1.4.2 创建用于训练的模型 1.5 定义损失函数和优化器1.6 使…
深度学习框架安装与配置指南：PyTorch和TensorFlow详细教程
如何安装和配置深度学习框架PyTorch和TensorFlow 为什么选择PyTorch和TensorFlow？PyTorchTensorFlow安装PyTorch 步骤1：安装Python步骤2：使用pip安装PyTorch 安装TensorFlow 步骤1：安装Python步骤2：使用pip安装TensorF…
【问题解决】load_dataset报错An error occurred while generating the dataset
问题描述： 使用load_dataset读取在HuggingFace上的数据集，代码如下
from datasets import load_dataset
dataset load_dataset(path"openclimatefix/goes-mrms")用pip install datasets直接装了库，然后一运行就报错了 在_generat…
大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战
文章目录 大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战1. 概述1.1 什么是文本摘要？1.2 为什么需要文本摘要？ 2. 发展历程2.1 早期技术2.2 统计方法的崛起2.3 深度学习的应用2.4 文本摘要的演变趋势 3. 主要任务3.1 单文档摘要3.2 …
【GNN2】PyG完成图分类任务，新手入门，保姆级教程
上次讲了如何给节点分类，这次我们来看如何用GNN完成图分类任务，也就是Graph-level的任务。
【GNN 1】PyG实现图神经网络，完成节点分类任务，人话、保姆级教程-CSDN博客 图分类就是以图为单位的分类，举个例子࿱…
对比 PyTorch 和 TensorFlow：选择适合你的深度学习框架
目录 引言
深度学习在各行业中的应用
PyTorch 和 TensorFlow 简介
PyTorch：简介与设计理念
发展历史和背景
主要特点和设计理念
TensorFlow：简介与设计理念
发展历史和背景
主要特点和设计理念
PyTorch 和 TensorFlow 的重要性
Pytorch对比Te…
简单谈一谈pytorch中混合精度训练(torch.cuda.amp)的功效及命令行参数解析器的使用
一、首先来了解一下一个完整的命令行参数解析器的构成：
1. 创建解析器对象：使用argparse.ArgumentParser()创建一个解析器对象；
2.添加位置参数和其它可选参数：使用add_argument()方法添加位置参数和可选参数，指定参…
conda环境下No module named ‘pytorch_lightning‘问题解决
1 问题描述
在训练wav2lip模型时，出现如下错误：
D:\.conda\wav2lip\python.exe D:/ml/wav2lip384/parallel_syncnet_tanh.py --data_root D:/ml/Wav2Lip/data/25fps_out/ --checkpoint_dir syncnet_checkpoints/ --checkpoint_path
Traceback (most re…
【python、pytorch】NLP模型
自然语言处理（Natural Language Processing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。
1. 文本预处理
文本预处理详情
4. RNN模型
PyTorch中的FX图
一.FX 图介绍 FX 图是 PyTorch 中的一个主要数据结构，用于在 FX 中间表示（Intermediate Representation，IR）中表示程序。FX 图由一系列节点组成，每个节点代表调用站点（比如运算符、方法和模块）。…
【Pytorch简介】2.What are Tensors 什么是张量？
2.What are Tensors 什么是张量？ 文章目录 2.What are Tensors 什么是张量？Initializing a Tensor 初始化张量Directly from data 直接来自数据From a NumPy array 来自 NumPy 数组From another tensor 从另一个张量With random or constant values 使用…
【PyTorch简介】5.Autograd 自动微分
5.Autograd 自动微分 文章目录 5.Autograd 自动微分Automatic Differentiation with torch.autograd 自动微分与torch.autogradTensors, Functions and Computational graph 张量、函数和计算图笔记 Computing Gradients 计算梯度Note 笔记Disabling Gradient Tracking 禁用梯度…
浅谈一谈pytorch中模型的几种保存方式、以及如何从中止的地方继续开始训练；
一、本文总共介绍3中pytorch模型的保存方式：1.保存整个模型；2.只保存模型参数；3.保存模型参数、优化器、学习率、epoch和其它的所有命令行相关参数以方便从上次中止训练的地方重新启动训练过程。
1.保存整个模型。这种保存方式最简单&#x…
YOLOv5改进 | Neck篇 | 利用ASF-YOLO改进特征融合层（适用于分割和目标检测）
一、本文介绍
本文给大家带来的改进机制是ASF-YOLO（发布于2023.12月份的最新机制），其是特别设计用于细胞实例分割。这个模型通过结合空间和尺度特征，提高了在处理细胞图像时的准确性和速度。在实验中，ASF-YOLO在2018年数据科学竞赛数据集上取得了卓越的分割准确性和速度，…
PyTorch简单易懂的解析 Dropout Layers应用，代码示例
目录
torch.nn子模块Dropout Layers详解
nn.Dropout
用途
用法
使用技巧
注意事项
代码示例
nn.Dropout1d
用途
用法
使用技巧
注意事项
代码示例
nn.Dropout2d
用途
用法
使用技巧
注意事项
代码示例
nn.Dropout3d
用途
用法
使用技巧
注意事项
代码…
池化、线性、激活函数层
一、池化层
池化运算是深度学习中常用的一种操作，它可以对输入的特征图进行降采样，从而减少特征图的尺寸和参数数量。
池化运算的主要目的是通过“收集”和“总结”输入特征图的信息来提取出主要特征，并且减少对细节的敏感性。在池化运算中…
Pytorch从零开始实战01
Pytorch从零开始实战——MNIST手写数字识别 文章目录 Pytorch从零开始实战——MNIST手写数字识别环境准备数据集模型选择模型训练可视化展示 环境准备
本系列基于Jupyter notebook，使用Python3.7.12，Pytorch1.7.0cu110，torchvision0.8.0&…
经典卷积神经网络 - NIN
网络中的网络，NIN。
AlexNet和VGG都是先由卷积层构成的模块充分抽取空间特征，再由全连接层构成的模块来输出分类结果。但是其中的全连接层的参数量过于巨大，因此NiN提出用1*1卷积代替全连接层，串联多个由卷积层和“全连接”层构成…
P1-P5_动手学深度学习-pytorch(李沐版，粗浅的笔记)
目录 预告 1.学习深度学习的关键是动手 2.什么是《动手学深度学习》 3.曾经推出的版本（含github链接） 一、课程安排 1.目标 2.内容 3.上课形式 4.你将学到什么 5.资源 二、深度学习的介绍 1.AI地图 2.深度学习在一些应用上…
PyTorch C++ 前端：张量
本篇文章将尝试了解 PyTorch 组件的高级概述以及它们如何配合。 PyTorch 组件的高级概述
后端
PyTorch 后端是用 C++ 编写的，它提供 API 来访问高度优化的库，例如：用于高效矩阵运算的张量库、用于执行 GPU 运算的 CUDA 库以及用于梯度计算的自动微分等。
前端
可以使用…
PyTorch 模型性能分析和优化 — 第 1 部分
一、说明 这篇文章的重点将是GPU上的PyTorch培训。更具体地说，我们将专注于 PyTorch 的内置性能分析器 PyTorch Profiler，以及查看其结果的方法之一，即 PyTorch Profiler TensorBoard 插件。 二、深度框架 训练深度学习模型，尤其是…
基于YOLOv8模型的绵羊目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的绵羊目标检测系统可用于日常生活中检测与定位车辆目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
词！自然语言处理之词全解和Python实战！
目录 一、为什么我们需要了解“词”的各个方面词是语言的基础单位词的多维特性词在NLP应用中的关键作用 二、词的基础什么是词？定义分类 词的形态词根、词干和词缀形态生成 词的词性 三、词语处理技术词语规范化定义方法 词语切分（Tokenizationÿ…
YOLOv8 windows下的离线安装 offline install 指南 -- 以 带有CUDA版本的pytorch 为例
文章大纲 简介基础环境与安装包的准备windows 下 lap 包的离线安装conda 打包基础环境使用 pip 下载 whl 包特别的注意：pytorch cuda 版本的下载迁移与部署流程基础python 的conda 环境迁移与准备必备包： 安装cuda 版本 的torch，torchvision，ultralytics参考文献与学习路径…
torch.cuda.is_available() 解决方案
本人使用的显卡如下，打开任务管理器查看
Anaconda下载哪个版本都可以
使用命令conda create -n pytorch python3.6创建一个名为pytorch的环境，解释器使用3.6的
使用命令conda activate pytorch进入该环境
进入pytorch官网，选择下列选项
…
PyTorch入门教学——dir()函数和help()函数的应用
1、简介
已知PyTorch是一个工具包，其中包含许多功能函数。dir()函数和help()函数是学习PyTorch包的重要法宝。 dir()：能让我们知道工具包以及工具包中的分隔区有什么东西。help()：能让我们知道每个工具是如何使用的，即工具的使用…
torch.cat 使用小节
torch.cat 使用小节
torch.cat 要求在所指定拼接维度之外的所有维度都要匹配，例如
import torch
v1 torch.tensor([[1, 2, 3], [4, 5, 6], [4, 5, 6]]) # 3*3
v2 torch.tensor([[3, 6, 8]]) # 1*3
torch.cat([v1, v2], dim1)运行之后会报错
Sizes of tensors…
Pytorch：cat、stack、squeeze、unsqueeze的用法
Pytorch：cat、stack、squeeze、unsqueeze的用法
torch.cat
在指定原有维度上链接传入的张量，所有传入的张量都必须是相同形状 torch.cat(tensors, dim0, *, outNone) → Tensor tensor:相同形状的tensor dim:链接张量的维度，不能超过传入张…
【Python语义分割】Segment Anything（SAM）模型交互式分割+掩膜保存（三）
我之前分享了Segment Anything（SAM）模型的基本操作，这篇给大家分享下交互式语义分割代码，可以通过鼠标点击目标物生成对应的掩膜，同时我还加入了掩膜保存的代码。
1 Segment Anything介绍
1.1 概况 Meta AI 公司的 S…
更新暑假做过的项目（医学数据多标签分类与多标签分割，医学数据二分类）
写在前面
暑假参与了两个项目，收获颇多。搭建网络有许多走过的弯路与经验，调参也是一个必要的技能，在这里想一并分享给大家我在项目中积累的经验和一些小技巧。 PS：结合个人经验与网上经验，大家斟酌自取。 下面的几个…
Pytorch，矩阵求和维度变化解析
二维可以想象成一张纸， 三维可以想象成多张纸叠在一块 四维可以想成多沓纸 求和时，如果没设定keepdimTrue,则会消去相加的那一维度，否则则将维度变为1
A torch.arange(20).reshape(5, 4)
A,A.shape, A.sum()(tensor([[ 0, 1, 2, 3],[ 4,…
【错误】 undefined symbol: cublasLtHSHMatmulAlgoInit, version libcublasLt.so.11
问题分析
pip安装完pytorch1.13.1后，build代码时出错： undefined symbol: cublasLtHSHMatmulAlgoInit, version libcublasLt.so.11 原因因为pytorch1.13安装时会给我们自动安装 nvidia_cublas_cu11,nvidia_cuda_nvrtc_cu11,nvidia_cuda_runtime_cu11 an…
pytorch nn.Embedding 读取gensim训练好的词/字向量（有例子）
最近在跑深度学习模型，发现Embedding随机性太强导致模型结果有出入，因此考虑固定初始随机向量，既提前训练好词/字向量，不多说上代码！！
1、利用gensim训练字向量（词向量自行修改）
#…
《动手学深度学习 Pytorch版》 9.3 深度循环神经网络
将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系
将深度架构中的函数依赖关系形式化，第 l l l 个隐藏层的隐状态表达式为： H t ( l ) ϕ l …
安装mmcv及GPU版本的pytorch及torchvision
一、先装GPU版本的pytorch和torchvision
pip install torch1.9.1cu111 torchvision0.10.1cu111 torchaudio0.9.1 -f https://download.pytorch.org/whl/torch_stable.html注意：以上适用cuda11.1版本 如果想离线安装，就看这篇文章
二、安装mmcv
看这篇…
pytorch 入门 （三）案例一：mnist手写数字识别
本文为🔗小白入门Pytorch内部限免文章 🍨 本文为🔗小白入门Pytorch中的学习记录博客🍦 参考文章：【小白入门Pytorch】mnist手写数字识别🍖 原作者：K同学啊 目录 一、 前期准备1. 设置GPU2. 导入…
一些经典的神经网络（第19天）
1. 经典神经网络（LeNet）
LeNet是早期成功的神经网络； 先使用卷积层来学习图片空间信息 然后使用全连接层来转到到类别空间
【通过在卷积层后加入激活函数，可以引入非线性、增加模型的表达能力、增强稀疏性和解决梯度消失等问题…
Pytorch从零开始实战06
Pytorch从零开始实战——明星识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——明星识别环境准备数据集模型选择开始训练模型可视化模型预测总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.0.1c…
人工智能之PyTorch数据操作-Python版
PyTorch数据操作
# 导入PyTorch
import torch
[张量表示一个由数值组成的数组，这个数组可能有多个维度]。
具有一个轴的张量对应数学上的向量（）； 具有两个轴的张量对应数学上的矩阵（matrix）；…
对pytorch中的文本分类实例代码进行逐行注释
实例代码网址：https://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html
注意：代码适用于jupyter notebook分块运行
第一步、导入数据集并查看
import torch
from torchtext.datasets import AG_NEWS # 导入数据集train_iter i…
SqueezeNet 一维，二维网络复现 pytorch 小白易懂版
SqueezeNet
时隔一年我又开始复现神经网络的经典模型，这次主要复的是轻量级网络全家桶，轻量级神经网络旨在使用更小的参数量，无限的接近大模型的准确率，降低处理时间和运算量，这次要复现的是轻量级网络的非常经典的一…
PyTorch应用实战五：实现二值化神经网络
文章目录 实验环境二值化网络概述实验内容附：系列文章 实验环境
python3.6 pytorch1.8.0
import torch
print(torch.__version__)1.8.0二值化网络概述
二值化网络（BinaryNet）是一种深度学习网络类型，使用二进制（1和…
Pytorch ddp切换forward函数 验证ddp是否生效
DDP及其在pytorch中应用
ddp默认调用forward函数，有些模型无法使用forward函数，可以对模型包装一下。
class modelWraper(nn.Module):def __init__(self, model):super().__init__()self.model modeldef forward(self, *args, **kwargs):return self.…
YOLOV8改进：RefConv（即插即用！重参数化重聚焦卷积替代常规卷积，无额外推理成本下涨点明显！）
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。 2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。
3.涨点效果：RefConv,实现有效涨点！
论文地址…
conda清华源安装cuda12.1的pytorch
使用pytorch官方提供的conda command奇慢无比，根本装不下来（科学的情况下也这样） 配置一下清华源使用清华源装就好了 清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ 配置方法：conda config --…
DistributedDataParallel数据不均衡
背景
在使用 DistributedDataParallel 进行数据并行训练时，每次反向传播都需要执行 all_reduce 操作以同步各个进程的梯度。all_reduce 需要进程组中的所有进程参与，如果某一个进程没有执行 all_reduce（一个进程的输入较其他进程少ÿ…
【Pytorch】Pytorch学习笔记02 - 单变量时间序列 LSTM
目录 说明简单神经网络LSTM原理Pytorch LSTM生成数据初始化前向传播方法训练模型自动化模型构建 总结参考文献 说明
这篇文章主要介绍如何使用PyTorch的API构建一个单变量时间序列 LSTM。文章首先介绍了LSTM，解释了它们在时间序列数据中的简单性和有效性。然后&…
用 pytorch 训练端对端验证码识别神经网络并进行 C++ 移植
文章目录 前言安装安装 pytorch安装 libtorch安装 opencv（C） 准备数据集获取训练数据下载标定 编码预分析 数据集封装格式 神经网络搭建神经网络训练神经网络测试神经网络预测C 移植模型转换通过跟踪转换为 Torch Script通过注解转换为 Torch Script 编写…
YOLOV8改进：RefConv（即插即用重参数化重聚焦卷积替代常规卷积，无额外推理成本下涨点明显）
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。 2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点
3.涨点效果：RefConv,实现有效涨点！
论文地址 …
探索未来的视觉革命：卷积神经网络的崭新时代（二）
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
GG-Net: 超声图像中乳腺病变分割的全局指导网络
ATTransUNet 期刊分析摘要贡献方法整体框架1. Global Guidance Block2. Spatial-wise Global Guidance Block3. Channel-wise Global Guidance Block4. Breast Lesion Boundary Detection Module 实验1. 对比实验2. 消融实验2.1 Ablation Analysis of our GG-Net2.2 Ablation A…
《动手学深度学习 Pytorch版》 8.5 循环神经网络的从零开始实现
%matplotlib inline
import math
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2lbatch_size, num_steps 32, 35
train_iter, vocab d2l.load_data_time_machine(batch_size, num_steps) # 仍然使用时间机器数据集8.…
PyTorch JIT和TorchScript，一个API提升推理性能50%
PyTorch支持两种模式：eager模式和script模式。eager模式主要用于模型的编写、训练和调试，script模式主要是针对部署的，其包含PytorchJIT和TorchScript（一种在 PyTorch 中执行高效的序列化代码格式）。
script模式使用t…
【神经网络】如何在Pytorch中从零开始将MNIST网络量化为8位
论文： Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
下载地址：https://arxiv.org/pdf/1712.05877.pdf
更新:量化感知训练的博客文章是在线的，并在这里链接，通过它我们可以训…
造车先做三蹦子220101--机器学习字符(字母、和数字识别)的“小白鼠”与“果蝇”
“0”数字字符零 的图片(16*16点阵)： #Letter23Digital23R231006d.pyimport torch
import torch.nn as nn
import torch.optim as optim #optimizer optim.SGD(model.parameters(), lr0.01)
from PIL import Image
from PIL import ImageDraw
from PIL import Im…
tensor维度变换
作用函数不变大小改变shapeview / reshape删减与增加维度squeeze / unsqueeze维度扩展expand / repeat矩阵转置，单次和多次交换操作t / transpose / permute
1、 view reshape
view与reshape效果一致，且可以通用。直接以view为例：
a torc…
win10下u2net tensorrt模型部署
TensorRT系列之 Win10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov5 tensorrt模型加速部署…
y _hat[ [ 0, 1], y ]语法——pytorch张量花式索引
目录 1. y _hat[ [ 0, 1]例子
2.pytorch花式索引
（1）简单行、列索引
（2）列表索引
（3）范围索引 （4）布尔索引
（5）多维索引
3.张量拼接
（1…
pytorch学习第三篇：梯度
下面介绍了在pytorch中如何进行梯度运算，并介绍了在运行梯度计算时遇到的问题，通过解决一个个问题，来深入理解梯度计算。
梯度计算
import torch
x torch.rand(3,4,requires_gradTrue)
b torch.rand(4,3,requires_gradTrue)
print(x,b)y …
【Python · PyTorch】数据基础
数据基础 1. 数据操作1.1 入门1.2 运算符1.3 广播机制1.4 索引和切片1.5 节省内存1.6 转化为其他Python对象 2. 数据预处理2.1 读取数据集2.2 处理缺失值2.3 转换为张量格式 本文介绍了PyTorch数据基础，Python版本3.9.0，代码于Jupyter Lab中运行…
Pytorch深度学习快速入门—LeNet简单介绍（附代码）
一、网络模型结构 LeNet是具有代表性的CNN，在1998年被提出，是进行手写数字识别的网络，是其他深度学习网络模型的基础。如下图所示，它具有连狙的卷积层和池化层，最后经全连接层输出结果。 二、各层参数详解
2.1 INPUT层…
Pytorch之ConvNeXt图像分类
文章目录 前言一、ConvNeXt设计决策1.设计方案2.Training Techniques3.Macro Design🥇Changing stage compute ratio🥈Change stem to "Patchify" 4.ResNeXt-ify5. Inverted Bottleneck6.Large Kernel Size7.Micro Design✨Replacing ReLU wit…
pytorch中nn.DataParallel多次使用
pytorch中nn.DataParallel多次使用
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader# 定义模型
class MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()self.fc nn.Linear(10, 1)def forwa…
Variations-of-SFANet-for-Crowd-Counting记录
论文：Encoder-Decoder Based Convolutional Neural Networks with Multi-Scale-Aware Modules for Crowd Counting 论文链接：https://arxiv.org/abs/2003.05586
源码链接：GitHub - Pongpisit-Thanasutives/Variations-of-SFANet-for-Crowd-C…
pytorch 模型复现
一般来说，设置相同的随机种子，在相同参数条件下，能使pytorch模型复现出相同的结果。随机种子的设置代码如下：
def get_random_seed(seed):random.seed(seed)os.environ[PYTHONHASHSEED] str(seed)np.random.seed(seed)torch.man…
造车先做三蹦子-之三:自制数据集(6x6数据集)230103
6*6的数据集制造、与识别：
#6*6的数据集的制作、与识别、测试、输出等import torch
import torch.nn as nn
import torch.optim as optim# 定义模型
class NeuralNet(nn.Module):def __init__(self, input_size, hidden_size, num_classes):super(NeuralNet, self).__init__(…
pytorch 入门 （五）案例三：乳腺癌识别识别-VGG16实现
本文为🔗小白入门Pytorch内部限免文章 🍨 本文为🔗小白入门Pytorch中的学习记录博客🍦 参考文章：【小白入门Pytorch】乳腺癌识别🍖 原作者：K同学啊 在本案例中，我将带大家探索一下深…
![[已解决]安装的明明是pytorch-gpu，但是condalist却显示cpu版本，而且torch.cuda.is_available 也是flase](https://img-blog.csdnimg.cn/ac83ceeb89d64fab82fc57e463f87957.png)
[已解决]安装的明明是pytorch-gpu，但是condalist却显示cpu版本，而且torch.cuda.is_available 也是flase
问题;
安装了gpu版本的pytorch，但是显示的torch.cuda.is_available(）却是flase。 conda list查看 版本显示只有cpuonly 在网上找了半天，也没有解决办法。
仔细看了一下，发现，有个单独的包叫cpuonly，不知道…
显存充足却提示out of memory
1 问题描述
用Pytorch进行模型训练时出现以下OOM提示： RuntimeError: CUDA out of memory. Tried to allocate 98.00 MiB (GPU 0; 12.00 GiB total capacity; 3.19 GiB already allocated; 6.40 GiB free; 9.60 GiB allowed; 3.33 GiB reserved in total by PyTorc…
【错误解决方案】ModuleNotFoundError: No module named ‘torch._six‘
1. 错误提示
在python程序中，试图导入一个名为torch._six的模块，但Python提示找不到这个模块。
错误提示：ModuleNotFoundError: No module named torch._six 2. 解决方案
出现这个错误可能是因为你使用的PyTorch版本和你的代码不兼容。在某…
Pytorch学习笔记--torch.autograd.Function的使用
目录
1--前言
2--代码实例
2-1--e^x函数实现
2-2--linear函数实现
3--参考 1--前言 构建可连续求导的神经网络时，往往会继承 nn.Module 类，此时只需重写 __init__ 和 forward 函数即可，pytorch会自动求导； 构建不可连续求导的…
Variations-of-SFANet-for-Crowd-Counting代码复现
前文对Variations-of-SFANet-for-Crowd-Counting做了一点基础梳理，并对开源框架的可视化代码进行了验证，链接如下：
Variations-of-SFANet-for-Crowd-Counting记录-CSDN博客
Variations-of-SFANet-for-Crowd-Counting可视化代码-CSDN博客
这…
关于pytorch张量维度转换及张量运算
关于pytorch张量维度转换大全 1 tensor.view()2 tensor.reshape()3 tensor.squeeze()和tensor.unsqueeze()3.1 tensor.squeeze() 降维3.2 tensor.unsqueeze(idx)升维 4 tensor.permute()5 torch.cat([a,b],dim)6 torch.stack()7 torch.chunk()和torch.split()8 与tensor相乘运算…
第G7周：Semi-Supervised GAN 理论与实战
🍨 本文为🔗365天深度学习训练营 中的学习记录博客 🍦 参考文章：365天深度学习训练营-第G7周：Semi-Supervised GAN 理论与实战（训练营内部成员可读） 🍖 原作者：K同学啊|接…
Pytorch从零开始实战10
Pytorch从零开始实战——ResNet-50算法实战
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——ResNet-50算法实战环境准备数据集模型选择开始训练可视化模型预测总结 环境准备
本文基于Jupyter notebook，使用Python3.8，…
【t5 pytorch版源码学习】t5-pegasus-pytorch源码学习
0. 项目来源
中文生成式预训练模型，以mT5为基础架构和初始权重，通过类似PEGASUS的方式进行预训练。
bert4keras版：t5-pegasus pytorch版：t5-pegasus-pytorch
本次主要学习pytorch版的代码解读。
项目结构： train…
pytorch里面的 nn.Parameter 和 tensor有哪些异同点
简单来说，你可以把tensor看作是一个通用的数据结构，而nn.Parameter看作是一种特殊的tensor，这种tensor可以被优化以提高模型的性能。在创建模型参数时，你应该使用nn.Parameter而不是直接使用tensor，因为这样可以确保模…
基于Pytorch框架多人多摄像头摔倒跌倒坠落检测系统
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 深度学习在计算机视觉领域的应用已经取得了显著的进展，特别是在多人多摄像头场景下的摔倒跌倒检测。通过…
【pytorch 中 torch.max 和 torch.argmax 的区别】
torch.max 和 torch.argmax 的区别
1.torch.max
torch.max(input, dim, maxNone, max_indicesNone, keepdimFalse) -->> (Tensor, LongTensor)
作用：找出给定tensor的指定维度dim上的上的最大值，并返回最大值在该维度上的值和位置索引。 应用举…
实现mnist手写数字识别
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/Nb93582M_5usednAKp_Jtw) 中的学习记录博客** >- **🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)** >- **🚀…
【3D图像分割】基于 Pytorch 的 VNet 3D 图像分割3（3D UNet 模型篇）
在本文中，主要是对3D UNet 进行一个学习和梳理。对于3D UNet 网上的资料和GitHub直接获取的代码很多，不需要自己从0开始。那么本文的目的是啥呢？
本文就是想拆解下其中的结构，看看对于一个3D的UNet，和2D的UNet&#x…
皮肤病辅助诊断软件，基于Android编写
1.系统介绍
编写的皮肤病辅助诊断软件，包括皮肤病识别、皮肤病区域分割、皮肤病信息介绍、识别历史记录查询、简单图像处理操作以及本机信息查询等功能
2.登录界面
运行之后首先显示登录界面
3.注册界面
注册一个账号
4.主界面
输入用户名密码点击登录按钮…
【深度学习】pytorch——神经网络工具箱nn
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 深度学习专栏链接： http://t.csdnimg.cn/dscW7 pytorch——神经网络工具箱nn 简介nn.Modulenn.Module实现全连接层nn.Module实现多层感知机 常用神经网络层图像相关层卷积层（Convÿ…
Pytorch tensor 数据类型快速转换三种方法
目录
1 通用,简单，CPU/GPU tensor 数据类型转换
2 tensor.type()方法
CPU tensor 数据类型转换
GPU tensor 数据类型转换
3 tensor.to() 方法,CPU/GPU tensor 数据类型转换 1 通用,简单， CPU/GPU tensor 数据类型转换
tensor.double()：…
pytorch之relu激活函数
目录 1、relu
2、relu6
3、leaky_relu
4、ELU
5、SELU
6、PReLU 1、relu
ReLU（Rectified Linear Unit）是一种常用的神经网络激活函数，它在PyTorch中被广泛使用。ReLU函数接受一个输入值，如果该值大于零，则返回该…
pytorch 初始化
初始化
import matplotlib.pyplot as plt
import torch
import torch.nn as nn
from torch.utils.data import Dataset,DataLoader
import torch.optim as optim
import numpy as np
random_seed=1000
# np.random.seed(random_seed)
torch.manual_seed(random_seed)#自定义损…
个性化联邦学习-综述
介绍阅读的三篇个性化联邦学习的经典综述文章
Three Approaches for Personalization with Applications to Federated Learning
论文地址 文章的主要内容
介绍了用户聚类，数据插值，模型插值三种个性化联邦学习的方法。 用户聚类：
目的&a…
RuntimeError_ Found dtype Long but expected Float
在跑模型的时候，出现了报错：
RuntimeError: Found dtype Long but expected Float报错是发生在BCE loss 的部分，因为crossentropyloss要求batch_label必须为torch.float类型 所以需要修改一下标签，转为float格式就好了࿱…
解决UniAD在高版本CUDA、pytorch下运行遇到的问题
UniADhttps://github.com/OpenDriveLab/UniAD是面向行车规划集感知(目标检测与跟踪)、建图(不是像SLAM那样对环境重建的建图，而是实时全景分割图像里的道路、隔离带等行车需关注的相关物体)、和轨迹规划和占用预测等多任务模块于一体的统一大模型。官网上的安装说明…
技巧-PyTorch中num_works的作用和实验测试
简介
在 PyTorch 中，num_workers 是 DataLoader 中的一个参数，用于控制数据加载的并发线程数。它允许您在数据加载过程中使用多个线程，以提高数据加载的效率。
具体来说，num_workers 参数指定了 DataLoader 在加载数据时将创建的…
python+pytorch人脸表情识别
概述
基于深度学习的人脸表情识别，数据集采用公开数据集fer2013，可直接运行，效果良好，可根据需求修改训练代码，自己训练模型。
详细 一、概述
本项目以PyTorch为框架，搭建卷积神经网络模型，训…
tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装
文章目录 tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装1.深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）2.安装tensorrt相关 tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装
pytorch: python
libtor…
第12章 PyTorch图像分割代码框架-3：推理与部署
推理模块 模型训练完成后，需要单独再写一个推理模块来供用户测试或者使用，该模块可以命名为test.py或者inference.py，导入训练好的模型文件和待测试的图像，输出该图像的分割结果。inference.py主体部分如代码11-7所示。 代码11-7 …
transfomer模型——简介，代码实现，重要模块解读，源码，官方
一、什么是transfomer
Transformer是一种基于注意力机制（attention mechanism）的神经网络架构，最初由Vaswani等人在论文《Attention Is All You Need》中提出。它在自然语言处理（NLP）领域取得了巨大成功，特…
tensorboard报错解决：No dashboards are active for the current data set
版本：tensorboard 2.10.0 问题：文件夹下明明有events文件，但用tensorboard命令却无法显示。 例如： 原因：有可能是文件路径太长了，导致系统无法读取文件。在win系统中规定，目录的绝对路径不得超…
pyTorch Hub 系列#2：VGG 和 ResNet
一、说明 在上一篇教程中，我们了解了 Torch Hub 背后的本质及其概念。然后，我们使用 Torch Hub 的复杂性发布了我们的模型，并通过相同的方式访问它。但是，当我们的工作要求我们利用 Torch Hub 上提供的众多全能模型之一时，会发生什么？ 在本教程中，我们将学习如何利用称为…
RT-DETR算法优化改进：新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测 | NeurIPS2022
💡💡💡本文独家改进: 多尺度卷积注意力（MSCA），有效地提取上下文信息，新颖度高，创新十足。 1）代替RepC3进行使用； 2）MSCAAttention直接作为注意力进行使用；
推荐指数：五星
RT-DETR魔术师专栏介绍：
https://blog.csdn.net/m0_63774211/category_12497375.ht…
Pytorch：model.train()和model.eval()用法和区别，以及model.eval()和torch.no_grad()的区别
1 model.train() 和 model.eval()用法和区别
1.1 model.train()
model.train()的作用是启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。model.train()是保证BN层能够用到每一…
pytorch框架学习(tensorboard的使用)
什么是tensorboard？
tensorboard是一个可视化工具，它可以把训练过程中的数据变化以图像的形式绘制出来，或者记录训练过程中使用的图片
tensorboard的安装：
在pycharm的终端中输出安装命令后自动安装——
pip install tensorbo…
经典神经网络——VGGNet模型论文详解及代码复现
论文地址：1409.1556.pdf。 (arxiv.org)；1409.1556.pdf (arxiv.org) 项目地址：Kaggle Code 一、背景
ImageNet Large Scale Visual Recognition Challenge 是李飞飞等人于2010年创办的图像识别挑战赛，自2010起连续举办8年…
STM32 X-CUBE-AI:Pytorch模型部署全流程
文章目录 概要版本：参考资料STM32CUBEAI安装CUBEAI模型支持LSTM模型转换注意事项模型转换模型应用1 错误类型及代码2 模型创建和初始化3 获取输入输出数据变量4 获取模型前馈输出模型应用小结 小结 概要
STM32 CUBE MX扩展包：X-CUBE-AI部署流程…
Pytorch教程（代码逐行解释）
0、配准环境教程
1、开始导入相应的包
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensortorch是pytorch的简写 torch.utils.data import DataLoader 是用于读取数…
百面深度学习-图神经网络
百面深度学习-图神经网络部分
什么是图神经网络？
图神经网络（Graph Neural Networks，GNNs）是深度学习模型的一个类别，专门设计来处理图结构数据。在图结构数据中，实体以节点（vertex࿰…
pytorch实战---IMDB情感分析
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）
文章目录 一、内存估算1.1 Gradio Demos1.2 The Command 二、使用Accelerate加载超大模型2.1 模型加载的常规流程2.2 加载空模型2.3 分片检查点（Sharded checkpoints）2.4 示例：使用Accelerate推理GPT2-1.5B2.5 device_map 三、bitsandbytes量…
使用Pytorch测试cuda设备的性能（单卡或多卡并行）
以下CUDA设备泛指NVIDIA显卡 或 启用ROCm的AMD显卡 测试环境： Distributor ID: UbuntuDescription: Ubuntu 22.04.3 LTSRelease: 22.04Codename: jammy
1.首先，简单使用torch.ones测试CUDA设备
import torch
import timedef cuda_benchmark(device_id…
当数据库遇上深度学习：AI DataLoader 助力因子管理模型训练全流程
深度学习模型有能力自动发现变量之间的关系，而这些关系通常是不可见的，这使得深度学习可以挖掘新的因子和规律，为量化投资策略提供更多可能性。在传统的量化策略开发流程中，通常会使用 Python 或第三方工具生成因子，并…
时间序列预测中的4大类8种异常值检测方法(从根源上提高预测精度)
一、本文介绍
本文给大家带来的是时间序列预测中异常值检测，在我们的数据当中有一些异常值（Outliers）是指在数据集中与其他数据点显著不同的数据点。它们可能是一些极端值，与数据集中的大多数数据呈现明显的差异。异常值可能由于…
【MMCV】MMCV安装与踩坑
确认MMCV版本
首先确认项目所需MMCV的版本是多少 mmcv2.0版本的代码相比较于<2.0的发生了很多变化，mmcv2.0去除了以下代码：
mmcv/devicemmcv/enginemmcv/parallelmmcv/runnermmcv/model_zoo
如果发现代码中使用到了以上代码，就得安装小…
Pytorch 网络冻结的三种方法区别：detach、requires_grad、with_no_grad
1、requires_grad
requires_gradTrue # 要求计算梯度；
requires_gradFalse # 不要求计算梯度；在pytorch中，tensor有一个 requires_grad参数，如果设置为True，那么它会追踪对于该张量的所有操作。在完成计算时可以通过调…
Linux下查看pytorch运行时真正调用的cuda版本
一般情况我们会安装使用多个cuda版本。而且pytorch在安装时也会自动安装一个对应的版本。
正确查看方式：
想要查看 Pytorch 实际使用的运行时的 cuda 目录，可以直接输出 cpp_extension.py 中的 CUDA_HOME 变量。
import torch
import torch.utils
imp…
conda创建pytorch环境报错
昨天训练数据的时候，发现Anaconda占用C盘达到了20G（暑假在cmd状态下安装的，默认下载到了C盘），心道再创建几个环境，C盘就要爆红了，于是重装Anaconda到了D盘，不过之后的初始化并不顺利…
【3D 图像分类】基于 Pytorch 的 3D 立体图像分类4（多人标注的结节立体框合并和特征等级投票）
在LIDC-IDRI的数据集中，对于同一个案例，存在多个医生标注的结果。这就导致下面几种情况的出现： A医生标注的结节区域，B医生并不一定会标；B医生标注的结节，C医生也标注了，但是范围大小存在着交集关系；同时标记，给的特征等级也不一定相同。此时，就需要对一个案例标注的…
YOLO改进系列之注意力机制（GatherExcite模型介绍）
模型结构
尽管在卷积神经网络（CNN）中使用自底向上的局部运算符可以很好地匹配自然图像的某些统计信息，但它也可能阻止此类模型捕获上下文的远程特征交互。Hu等人提出了一种简单，轻量级的方法，以在CNN中更好地利用上下…
使用Pytorch从零开始构建WGAN
引言
在考虑生成对抗网络的文献时，Wasserstein GAN 因其与传统 GAN 相比的训练稳定性而成为关键概念之一。在本文中，我将介绍基于梯度惩罚的 WGAN 的概念。文章的结构安排如下：
WGAN 背后的直觉；GAN 和 WGAN 的比较；…
使用Pytorch从零开始构建LSTM
长短期记忆（LSTM）网络已被广泛用于解决各种顺序任务。让我们了解这些网络如何工作以及如何实施它们。
就像我们一样，循环神经网络（RNN）也可能很健忘。这种与短期记忆的斗争导致 RNN 在大多数任务中失去有效性。不过&a…
2023年11月18日~11月24日周报（调试OpenFWI代码）
目录 一、前言
二、完成情况
2.1 OpenFWI工程文件框架的理解
2.2 InversionNet网络的理解
2.3 dataset.py的理解
三、遇到的部分问题及解决
3.1 数据读取
3.2 Dataloader中设置num_workers-MemoryError
3.3 RuntimeError: CUDA out of memory
3.4 loss值的变化
四、相…
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
论文地址：RT-DETR论文地址
代码地址：RT-DETR官方下载地址 目录
一、本文介绍
二、RT-DETR的网络结构
2.1、模型概览
2.2、高效混合编码器
2.3、IoU感知查询选择
2.4、 可扩展的RT-DETR
三、RT-DERT的环境搭建
四、免费数据集获取
五、获取RT-D…
pytorch中的激活函数详解
1 激活函数介绍
1.1 什么是激活函数 激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。它来自动物界的灵感，动物的神经元会接受来自对它有作用的其他神经元的信号，当然这些信号对该神经元的作用大小不同（即具有不…
pytorch训练模板
来源：http://worthpen.top/#/home/blog?blogpot-blog36.md
引言
本项目实现了基于PyTorch Lightning的神经网络训练和测试管道。项目除了实现PyTorch Lightning的工作流外，还实现了通过任务池在训练过程中添加任务、k折交叉验证、将训练结果保存在.cv…
pytorch的二次索引矩阵无法赋值问题
最近在研究中发现torch一个问题，即torch的二次索引的矩阵无法赋值。
具体来说，给定相同的初始常数矩阵a和iou_target矩阵, 以及另一iou矩阵，直接赋值是没问题的。
然而，当对iou_target矩阵进行二次索引时，即idx矩阵和…
AttributeError: ‘_OpNamespace‘ ‘image‘ object has no attribute ‘read_file‘解决
问题再现
from torchvision.io.image import read_image
img_path border-collie.jpg
img read_image(img_path)报错如下：
WARNING:root:no value was provided for target_layer, thus set to layer4.
------------------------------------------------------…
基于U-Net的视网膜血管分割（Pytorch完整版）
基于 U-Net 的视网膜血管分割是一种应用深度学习的方法，特别是 U-Net 结构，用于从眼底图像中分割出视网膜血管。U-Net 是一种全卷积神经网络（FCN），通常用于图像分割任务。以下是基于 U-Net 的视网膜血管分割的内容&…
Pytorch实战教程（三十）-图像着色
0. 前言 图像着色指的是将黑白或灰度图像转换为彩色图像的过程，传统的图像处理技术通常基于直方图匹配和颜色传递的方法或基于用户交互的方法等完成图像着色操作，不但耗时且需要专业知识，而基于深度学习的方法能够实现自动着色，极大的提高了效率。在训练图着色模型时，我们…
ddrnet 分割学习笔记
目录
修改后可以加载预训练：
训练自己的数据代码： 修改后可以加载预训练：
import math
import torch
import numpy as np
import torch.nn as nn
import torch.nn.functional as F
from torch.nn import init
from collections import OrderedDictBatchNorm2d = nn.Batc…
Stable Diffusion (version x.x) 文生图模型实践指南
前言：本篇博客记录使用Stable Diffusion模型进行推断时借鉴的相关资料和操作流程。 相关博客： 超详细！DALL E 文生图模型实践指南 DALLE 2 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备环境搭建预训练模型下载 2. 代码 1. 环境搭建…
YOLOv8改进 | 2023主干篇 | EfficientViT替换Backbone（高效的视觉变换网络）
一、本文介绍
本文给大家带来的改进机制是EfficientViT（高效的视觉变换网络），EfficientViT的核心是一种轻量级的多尺度线性注意力模块，能够在只使用硬件高效操作的情况下实现全局感受野和多尺度学习。本文带来是2023年的最新版本…
深度学习之基于Pytorch和OCR的识别文本检测系统
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介深度学习与OCRPyTorch在OCR中的应用文本检测系统的关键组成部分1. 图像预处理2. 深度学习模型3. 文本检测算法4. 后处理 二、功能三、系统四. 总结 一项目简…
torch_cluster、torch_scatter、torch_sparse三个包的安装
涉及到下面几个包安装的时候经常会出现问题，这里我使用先下载然后再安装的办法：
pip install torch_cluster pip install torch_scatter pip install torch_sparse
1、选择你对应的torch版本：https://data.pyg.org/whl/
2、点进去然后&…
windows 11 本地运行ER-NeRF及pytorch3D安装
ER-NeRF本地运行只要梳理好依赖版本，运行起来就很顺畅 conda create -n ernerf python3.10
创建本项目虚拟环境conda install pytorch1.12.1 torchvision0.13.1 cudatoolkit11.3 -c pytorch
若windows有多个版本的cuda，需要在环境变量中切换至cuda 11.3&…
计算机视觉的应用17-利用CrowdCountNet模型解决人群数量计算问题(pytorch搭建模型)
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用17-利用CrowdCountNet模型解决人群数量计算问题(pytorch搭建模型)。本篇文章，我将向大家展示如何使用CrowdCountNet这个神奇的工具，以及它是如何利用深度学习技术来解决复杂…
torch.nn.DataParallel设置后数据和模型不在同一块卡/cpu
我遇到的原因： 应当对每个encoder，包括导入的，都用torch.nn.DataParallel。
self.encoder1 xxx.frompretrained（xxx）
self.encoder1 torch.nn.DataParallel(self.encoder1)
图像分类系列(一) AlexNet学习详细记录
本文将为大家介绍经典神经网络的开山力作——AlexNet（ImageNet Classification with Deep Convolutional Neural Networks）。文章包含论文原文翻译＋精读＋个人学习总结。 研一萌新，第一次发文，不足之处…
神经网络中的 Grad-CAM 热图（Gradient-weighted Class Activation Mapping）
Grad-CAM（Gradient-weighted Class Activation Mapping）是一种用于可视化卷积神经网络（CNN）中特定类别的激活区域的方法。其基本思想是使用网络的梯度信息来获取关于特定类别的空间定位信息。
Grad-CAM 的具体公式如下࿱…
使用 PyTorch 完全分片数据并行技术加速大模型训练
本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习 (ML) 模型的规模、大小和参数量的不断增加，ML 从业者发现在自己的硬件…
【Pytorch使用自制数据集,Dataloader】
数据集结构
话不多说，直接上核心代码
myDataset.py
from collections import Counter
from torch.utils.data import Dataset
import os
from PIL import Imageclass MyDataset(Dataset):"""读取自制的数据集args:- image_dir: 图片的地址- labe…
OSTrack论文阅读分享（单目标跟踪）
PS：好久没写csdn了，有点忙，但更多的是比较懒。
今天分享的论文是OSTrack：Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework
论文网址：https://arxiv.org/pdf/2203.11991.pdf Git…
pytorch学习8-损失函数
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
pytorch学习4-简易卷积实现
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
SAM+使用SAM应用数据集完成分割
什么是SAM？ SAM(Segment Anything Model）是由 Meta 的研究人员团队创建和训练的深度学习模型。在 Segment everything 研究论文中，SAM 被称为“基础模型”。 基础模型是在大量数据上训练的机器学习模型（通常通过自监督或半监督学习…
【PyTorch】模型选择、欠拟合和过拟合
文章目录 1. 理论介绍2. 实例解析2.1. 实例描述2.2. 代码实现2.2.1. 完整代码2.2.2. 输出结果 1. 理论介绍
将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合， 用于对抗过拟合的技术称为正则化。训练误差和验证误差都很严重， 但它们之间差…
1.PyTorch数据结构Tensor常用操作
import torch as t
t.__version__2.1.1从接口的角度来讲，对tensor的操作可分为两类：
torch.function，如torch.save等。另一类是tensor.function，如tensor.view等。
为方便使用，对tensor的大部分操作同时支持这两类接…
torch.nn.Softmax( )与torch.nn.functional.softmax( )函数的异同点
一、相同点
torch.nn.Softmax()和torch.nn.functional.softmax()函数都是用于计算softmax函数的输出，将输入的值转换为概率分布。
二、不同点
1.torch.nn.Softmax()的用法
torch.nn.Softmax()是一个类，在神经网络的模型中使用，通常作为一…
【两分钟】熟悉基于Pytorch保存和加载模型
引言
PyTorch是深度学习领域中广泛使用的框架之一。在深度学习中，模型的训练通常需要耗费大量时间，因此常常需要将训练好的模型保存下来，以便在需要时可以快速地加载模型参数。本文将介绍使用PyTorch保存和加载模型参数的方法：
…
在Pytorch中使用Tensorboard可视化训练过程
这篇是我对哔哩哔哩up主 霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享 本节课我们来讲一下如何在pytouch当中去使用我们的tensorboard 对我们的训练过程进行一个可视化 左边有一个visualizing models data and training with tensorboard 主要是这么一个教程 那么这里…
pytorch网络的增删改
本文介绍对加载的网络的层进行增删改, 以alexnet网络为例进行介绍。
1. 加载网络
import torchvision.models as models alexnet models.alexnet(weightsmodels.AlexNet_Weights.DEFAULT)
print(alexnet)2. 删除网络
在做迁移学习的时候，我们通常是在分类网络的…
【PyTorch】卷积神经网络
文章目录 1. 理论介绍1.1. 从全连接层到卷积层1.1.1. 背景1.1.2. 从全连接层推导出卷积层 1.2. 卷积层1.2.1. 图像卷积1.2.2. 填充和步幅1.2.3. 多通道 1.3. 池化层（又称汇聚层）1.3.1. 背景1.3.2. 池化运算1.3.3. 填充和步幅1.3.4. 多通道 1.4. 卷积神经…
Pytorch 基于 deeplabv3_resnet50 迁移训练自己的图像语义分割模型
一、图像语义分割
图像语义分割是计算机视觉领域的一项重要任务，旨在将图像中的每个像素分配到其所属的语义类别，从而实现对图像内容的细粒度理解。与目标检测不同，图像语义分割要求对图像中的每个像素进行分类，而不仅仅是确定物…
![[PyTorch][chapter 1][李宏毅深度学习-AI 简介]](https://img-blog.csdnimg.cn/da05a63adea64dac9405e730d5fcb59f.png)
[PyTorch][chapter 1][李宏毅深度学习-AI 简介]
前言： 李宏毅深度学习从2017-2023的系列课程总结 内容 章节 强化学习 11 李宏毅机器学习 【2017】 40 李宏毅机器学习深度学习(完整版)国语 【2020】 119 李宏毅大佬的深度学习与机器学【2022】 90 李宏毅机器学习完整课程【2023】 43 总结 303
目录…
使用Pytorch从零开始构建Energy-based Model
知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II 在本教程中…
深度学习中的Dropout正则化：原理、代码实现与实际应用——pytorch框架下如何使用dropout正则化
目录 引言
一、导入包
二、dropout网络定义
三、创建模型，定义损失函数和优化器
四、加载数据
五、训练train
六、测试 引言
dropout正则化的原理相对简单但非常有效。它在训练神经网络时，以一定的概率（通常是在0.2到0.5之间ÿ…
【笔记】windows+pytorch：部署一下stable diffusion和NeRF
之前都是 *nix 环境使用 pytorch，这次尝试了一下windows。 我们来部署下流行性高的stable diffusion和我觉得实用性比stable diffusion高多了的NeRF
Stable Diffusion
其实，我也不知道要写啥，都是按照步骤做就好了，后面等有时间…
【Pytorch】Visualization of Feature Maps（5）——Deep Dream
学习参考来自：
PyTorch实现Deep Dreamhttps://github.com/duc0/deep-dream-in-pytorch 文章目录 1 原理2 VGG 模型结构3 完整代码4 输出结果5 消融实验6 torch.norm() 1 原理
其实 Deep Dream大致的原理和【Pytorch】Visualization of Feature Maps（1&…
经典神经网络——AlexNet模型论文详解及代码复现
一、背景
AlexNet是在2012年由Alex Krizhevsky等人提出的，该网络在2012年的ImageNet大赛上夺得了冠军，并且错误率比第二名高了很多。Alexnet共有8层结构，前5层为卷积层，后三层为全连接层。 论文地址：ImageNet Classif…
Pytorch中的gather的理解和用法
Pytorch中的gather的理解和用法
这个Gather的用法花费了点时间，我相信很多人一开始不太懂。 跟着我简单理解。
首先样例是：
tensor([[ 3, 4, 5],[ 6, 7, 8],[ 9, 10, 11]])然后index:
[[2, 1, 0]]然后执行的代码：
tensor_0.gather(0…
用通俗的方法讲解：大模型微调训练详细说明（附理论+实践代码）
本文内容如下 介绍了大模型训练的微调方法，包括prompt tuning、prefix tuning、LoRA、p-tuning和AdaLoRA等。 介绍了使用deepspeed和LoRA进行大模型训练的相关代码。 给出了petals的介绍，它可以将模型划分为多个块，每个用户的机器负责其中一…
nn.relu和F.rulu的区别
先来看看nn.ReLU的源码，可以看到其实在forward中nn.relu是调用了F.relu函数的：
class ReLU(Module):r"""Applies the rectified linear unit function element-wise::math:\text{ReLU}(x) (x)^ \max(0, x)Args:inplace: can optionall…
pytorch bert实现文本分类
以imdb公开数据集为例，bert模型可以在huggingface上自行挑选
1.导入必要的库
import os
import torch
from torch.utils.data import DataLoader, TensorDataset, random_split
from transformers import BertTokenizer, BertModel, BertConfig
from torch import…
神经网络常用归一化和正则化方法解析（一）
🎀个人主页： https://zhangxiaoshu.blog.csdn.net 📢欢迎大家：关注🔍点赞👍评论📝收藏⭐️，如有错误敬请指正! 💕未来很长，值得我们全力奔赴更美好的生活&…
【水】pytorch：torch.reshape和torch.Tensor.view的区别
【水】pytorch：torch.reshape和torch.Tensor.view的区别
注：本篇仅为学习笔记，请谨慎参考，如有错误请评论指出。 参考：Pytorch: view()和reshape()的区别？他们与continues()的关系是什么？
两者…
PyTorch2.0环境搭建(二)
三、前置环境搭建——CUDA pytorch有cpu和gpu两个版本，区别是： 1、硬件要求：CPU版本运算只与CPU版本有关；GPU版本还需要额外链接N卡，可以通过N卡进行加速 2、运行速度：GPU版本比CPU版本在复杂数据和密集计算…
【PyTorch】优化分析
文章目录 1. 模型训练过程划分1.1. 定义过程1.1.1. 全局参数设置1.1.2. 模型定义 1.2. 数据集加载过程1.2.1. Dataset类：创建数据集1.2.2. Dataloader类：加载数据集 1.3. 训练循环 2. 优化分析2.1. 定义过程2.2. 数据集加载过程2.3. 训练循环2.3.1. 训练…
pytorch学习9-优化器学习
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
使用 PyTorch 进行 K 折交叉验证
一、说明 中号机器学习模型在训练后必须使用测试集进行评估。我们这样做是为了确保模型不会过度拟合，并确保它们适用于现实生活中的数据集，与训练集相比，现实数据集的分布可能略有偏差。 但为了使您的模型真正稳健，仅仅通过训练/测…
pytorch03：transforms常见数据增强操作
目录 一、数据增强二、transforms--Crop裁剪2.1 transforms.CenterCrop2.2 transforms.RandomCrop2.3 RandomResizedCrop2.4 FiveCrop和TenCrop 三、transforms—Flip翻转、旋转3.1RandomHorizontalFlip和RandomVerticalFlip3.2 RandomRotation 四、transforms —图像变换4.1 t…
使用Pytorch从零开始构建StyleGAN
本文介绍的是当今最好的 GAN 之一，来自论文《A Style-Based Generator Architecture for Generative Adversarial Networks》的 StyleGAN ，我们将使用 PyTorch 对其进行干净、简单且可读的实现，并尝试尽可能接近原始论文。
如果您没有阅读过…
深度学习——第5章 神经网络基础知识
第5章 神经网络基础知识 目录 5.1 由逻辑回归出发
5.2 损失函数
5.3 梯度下降
5.4 计算图
5.5总结
在第1课《深度学习概述》中，我们介绍了神经网络的基本结构，了解了神经网络的基本单元组成是神经元。如何构建神经网络，如何训练、优化神…
PyTorch: 基于【VGG16】处理MNIST数据集的图像分类任务【准确率98.9%+】
目录 引言在Conda虚拟环境下安装pytorch步骤一：利用代码自动下载mnist数据集步骤二：搭建基于VGG16的图像分类模型步骤三：训练模型步骤四：测试模型运行结果后续模型的优化和改进建议完整代码结束语 引言
在本博客中，小…
第P7周：咖啡豆识别（VGG-16复现）
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA) 中的学习记录博客**
>- **🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)**
一、前期工作 import …
Actor-Critic 跑 CartPole-v1
gym-0.26.1 CartPole-v1 Actor-Critic 这里采用 时序差分残差 ψ t r t γ V π θ ( s t 1 ) − V π θ ( s t ) \psi_t r_t \gamma V_{\pi _ \theta} (s_{t1}) - V_{\pi _ \theta}({s_t}) ψtrtγVπθ(st1)−Vπθ(st) 详细请参考 动手学强化学习 简…
运行torch_xla时，提示找不到cuda相关库（torchvision版本错误）
环境
pytorch 2.0.0(cuda)cuda 11.7torch-xla 2.0.0tensorflow 2.11.1
错误信息
明明cuda所有相关的库均存在，却提示不能加载动态库，仔细查看错误信息，是由于找不到此符号，从而引发的错误： torch::jit::parseSchema…
YOLOv8改进 | 2023主干篇 | 替换LSKNet遥感目标检测主干 (附代码+修改教程+结构讲解)
一、本文介绍
本文给大家带来的改进内容是LSKNet（Large Kernel Selection, LK Selection），其是一种专为遥感目标检测设计的网络架构，其核心思想是动态调整其大的空间感受野，以更好地捕捉遥感场景中不同对象的范围上下…
PyTorch官网demo解读——第一个神经网络（1）
神经网络如此神奇，feel the magic
今天分享一下学习PyTorch官网demo的心得，原来实现一个神经网络可以如此简单/简洁/高效，同时也感慨PyTorch如此强大。
这个demo的目的是训练一个识别手写数字的模型！
先上源码：
fr…
Pytorch当中的.detach()操作是什么意思
.detach() 是 PyTorch 中用于从计算图中分离张量的方法。当我们在PyTorch中进行张量运算时，操作会构建一个计算图来跟踪计算历史，这个计算图用于自动求导和反向传播来计算梯度。
使用.detach()方法可以将一个张量从当前的计算图中分离出来，使…
YOLOv8改进 | 2023检测头篇 | 利用AFPN改进检测头适配YOLOv8版（全网独家创新）
一、本文介绍
本文给大家带来的改进机制是利用今年新推出的AFPN（渐近特征金字塔网络）来优化检测头，AFPN的核心思想是通过引入一种渐近的特征融合策略，将底层、高层和顶层的特征逐渐整合到目标检测过程中。这种渐近融合方式有助于…
Faster R-CNN pytorch源码血细胞检测实战（二）数据增强
Faster R-CNN pytorch源码血细胞检测实战（二）数据增强 文章目录 Faster R-CNN pytorch源码血细胞检测实战（二）数据增强1. 资源&参考2. 数据增强2.1 代码运行2.2 文件存放 3 数据集划分4. 训练&测试5. 总结 1. 资源&参…
DCNv2安装适配pytorch各个版本
DCNv2安装适配pytorch各个版本 介绍解决方案使用Fork版本（推荐）☆☆☆☆☆DCNv2_latest项目（不推荐） 介绍
原始项目：https://github.com/CharlesShang/DCNv2 注意：原始项目只有低版本的pytorch安装
解决方…
Pytorch深度强化学习1-6：详解时序差分强化学习(SARSA、Q-Learning算法)
目录 0 专栏介绍1 时序差分强化学习2 策略评估原理3 策略改进原理3.1 SARSA算法3.2 Q-Learning算法 0 专栏介绍
本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时&#…
Linux CUDA11.6 Python3.8 安装pytorch-geometric
最近在学习图神经网络，需要安装pytorch-geometric。
pytorch-geometric安装教程
Pytorch-gemetric适配 python3.8-3.11版本
首先创建python3.8环境
conda create --name PyG python3.8
conda activate PyG安装PyTorch
conda install pytorch1.13.1 torchvision…
时间序列预测实战(二十一)PyTorch实现TCN卷积进行时间序列预测（专为新手编写的自研架构）
一、本文介绍
本篇文章给大家带来的是利用我个人编写的架构进行TCN时间序列卷积进行时间序列建模（专门为了时间序列领域新人编写的架构，简单不同于市面上大家用GPT写的代码），包括结果可视化、支持单元预测、多元预测、模型拟合效…
pytorch08：学习率调整策略
目录 一、为什么要调整学习率？1.1 class _LRScheduler 二、pytorch的六种学习率调整策略2.1 StepLR2.2 MultiStepLR2.3 ExponentialLR2.4 CosineAnnealingLR2.5 ReduceLRonPlateau2.6 LambdaLR 三、学习率调整小结四、学习率初始化 一、为什么要调整学习率ÿ…
【PyTorch】（三）模型的创建、参数初始化、保存和加载
文章目录 1. 模型的创建1.1. 创建方法1.1.1. 通过使用模型组件1.1.2. 通过继承nn.Module类 1.2. 模型组件1.2.1. 网络层1.2.2. 函数包1.2.3. 容器 1.3. 将模型转移到GPU 2. 模型参数初始化3. 模型的保存与加载3.1. 只保存参数3.2. 保存模型和参数 1. 模型的创建
1.1. 创建方法…
python pytorch实现RNN,LSTM，GRU，文本情感分类
python pytorch实现RNN,LSTM，GRU，文本情感分类
数据集格式： 有需要的可以联系我
实现步骤就是： 1.先对句子进行分词并构建词表 2.生成word2id 3.构建模型 4.训练模型 5.测试模型
代码如下： import pandas as pd
im…
深度学习（三）：pytorch搭建卷积神经网络
1.常用函数介绍
0 设备准备
device torch.device("cuda:0" if torch.cuda.is_available() else "cpu")这行代码是用来选择设备的，根据是否有可用的 CUDA 设备来选择使用 GPU 还是 CPU 进行计算。
更详细的解释如下： torch.cuda.…
Anaconda+Pytorch（GPU版）深度学习环境配置笔记
主要参考以下文章进行配置：
https://blog.csdn.net/qq_43757976/article/details/131173301
配置版本略有更新，最新版本时间为2023.12.11 一、准备工作
个人电脑配置：laptop RTX4060 win11 个人配置版本：cuda（12.1&…
深度学习 Day12——P1实现mnist手写数字识别
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 | 接辅导、项目定制 文章目录 前言1 我的环境2 代码实现与执行结果2.1 前期准备2.1.1 引入库2.1.2 设置GPU（如果设备上支持GPU就使用GPU,否则使用C…
【已解决】ModuleNotFoundError: No module named ‘tensorflow‘
问题描述 Traceback (most recent call last): File "dataset_tool.py", line 16, in <module> import tensorflow as tf ModuleNotFoundError: No module named tensorflow 如果直接pip install tensorflow，还会报错 解决办法 方法一
pip i…
深度学习环境配置------windows系统（GPU）------Pytorch
深度学习环境配置------windows系统（GPU）------Pytorch 准备工作明确操作系统明确显卡系列 CUDA和Cudnn下载与安装1.下载2.安装 环境配置过程1.安装Anacoda2.配置环境1）创建一个新的虚拟环境2）pytorch相关库的安装 2.安装VScode1&…
Pytorch的安装
Pytorch的安装 Pytorch的安装查看显卡信息CUDA兼容性安装说明开始安装常见异常安装CUDA Pytorch的安装 PyTorch的安装绝对是一个不是那么简单的过程，或多或少总是会出现一些奇奇怪怪的问题，这里分享记录一下PyTorch的安装心得。 查看显卡信息 没用显卡的…
转换 pytorch 格式模型为 caffe格式模型 pth2caffemodel
基于 GitHub xxradon/PytorchToCaffe 源码，修改 example\resnet_pytorch_2_caffe.py 如下
import os
import sys
sys.path.insert(0, .)import torch
from torch.autograd import Variable
from torchvision.models import resnet
import pytorch_to_caffe"&q…
不用再找，这是大模型 LLM 微调经验最全总结
大家好，今天对大模型微调项目代码进行了重构，支持ChatGLM和ChatGLM2模型微调的切换，增加了代码的可读性，并且支持Freeze方法、Lora方法、P-Tuning方法、「全量参数方法」 微调。
PS：在对Chat类模型进行SFT时ÿ…
利用Pytorch预训练模型进行图像分类
Use Pre-trained models for Image Classification.
# This post is rectified on the base of https://learnopencv.com/pytorch-for-beginners-image-classification-using-pre-trained-models/# And we have re-orginaized the code script.预训练模型(Pre-trained models)…
Keras 3.0发布：全面拥抱 PyTorch
Keras 3.0 介绍 https://keras.io/keras_3/ Keras 3.0 升级是对 Keras 的全面重写，引入了一系列令人振奋的新特性，为深度学习领域带来了全新的可能性。
如果你对 Pytorch 还处于小白阶段，没有理解的很透彻，可以先学这篇内容&…
cuda12.0 安装 pytorch
前两天买的y7000p到了，然后就要重新配下环境。
流程如下
首先下载miniconda ，我下的是python3.8的创建自己的自定义环境检查自己的cuda版本，我的是cuda:12.0然后再pytorch上找到对应cuda版本的进行下载，pip install或者conda in…
pytorch05:卷积、池化、激活
目录 一、卷积1.1 卷积的概念1.2 卷积可视化1.3 卷积的维度1.4 nn.Conv2d1.4.1 无padding 无stride卷积1.4.2 无padding stride2卷积1.4.3 padding2的卷积1.4.4 空洞卷积1.4.5 分组卷积 1.5 卷积输出尺寸计算1.6 卷积的维度1.7 转置卷积1.7.1 为什么被称为转置卷积1.7.2 nn.Con…
PyTorch中常用的工具（4）Visdom
文章目录 前言3.2 Visdom 前言
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。
由于内容较多，本文分成了五篇文…
【Pytorch】Pytorch或者CUDA版本不符合问题解决与分析
NVIDIA CUDA Toolkit Release Notes
Package installation issues
INSTALL PYTORCH
先声毒人：最好资料就是上面三份资料，可以通过官网明确的获取一手信息，你所遇到的99%的问题都可以找到，明确的解决方案，建议最好看…
YOLOv8改进 | 检测头篇 | ASFF改进YOLOv8检测头（全网首发）
一、本文介绍
本文给大家带来的改进机制是利用ASFF改进YOLOv8的检测头形成新的检测头Detect_ASFF，其主要创新是引入了一种自适应的空间特征融合方式，有效地过滤掉冲突信息，从而增强了尺度不变性。经过我的实验验证，修改后的检测头…
PyTorch 节省显存技巧：Activation Checkpointing
参考资料
官方文档： https://pytorch.org/docs/2.0/checkpoint.html官方博客：https://medium.com/pytorch/how-activation-checkpointing-enables-scaling-up-training-deep-learning-models-7a93ae01ff2d
Activation Checkpointing 介绍
激活检查点 …
PyTorch中常用的工具（3）TensorBoard
文章目录 前言3 可视化工具3.1 TensorBoard 前言
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。
由于内容较多，…
Noisy DQN 跑 CartPole-v1
gym 0.26.1 CartPole-v1 NoisyNet DQN NoisyNet 就是把原来Linear里的w/b 换成 mu sigma * epsilon, 这是一种非常简单的方法，但是可以显著提升DQN的表现。 和之前最原始的DQN相比就是改了两个地方，一个是Linear改成了NoisyLinear,另外一个是在agent在t…
【NeRF数据集】LLFF格式数据集处理colmap结果记录
【NeRF数据集】LLFF格式数据集处理colmap结果记录 1. 基于colmap的配置与运行，获取图像及其对应的相机位姿；2. 使用 LLFF格式数据集制作，将匹配的位姿转化为LLFF格式；3. 上传所需文件和设置配置文件，将所需文件上传至N…
风速预测（五）基于Pytorch的EMD-CNN-LSTM模型
目录
前言
1 风速数据EMD分解与可视化
1.1 导入数据
1.2 EMD分解
2 数据集制作与预处理
2.1 先划分数据集，按照8：2划分训练集和测试集
2.2 设置滑动窗口大小为96，制作数据集
3 基于Pytorch的EMD-CNN-LSTM模型预测
3.1 数据加载&…
【Pytorch】学习记录分享2——Tensor基础，数据类型，及其多种创建方式
pytorch 官方文档 Tensor基础，数据类型，及其多种创建方式 1. 创建 Creating Tensor： 标量、向量、矩阵、tensor2. 三种方法可以创建张量，一是通过列表(list)，二是通过元组(tuple)，三是通过Numpy的数组(arra…
Pytorch中Group Normalization的具体实现
Group Normalization (GN) 是一种用于深度神经网络中的归一化方法，它将每个样本划分为小组，并在每个小组内进行标准化。与批归一化（Batch Normalization）不同，Group Normalization 不依赖于小批量数据，因此…
ShuffleNet V1+V2(pytorch)
V1
V1根本思想： 1.GConv替换resnet的普通1*1Conv 2.GConv后加channel shuffle模块 对GConv的不同组进行重新组合。channel_shuffle a是resnet模块，b，c是ShuffleNetV1的block，在V1版中，两模块branch2的第一个1*1卷积…
VGG(pytorch)
VGG:达到了传统串型结构深度的极限
学习VGG原理要了解CNN感受野的基础知识 model.py
import torch.nn as nn
import torch# official pretrain weights
model_urls {vgg11: https://download.pytorch.org/models/vgg11-bbd30ac9.pth,vgg13: https://download.pytorch.org/mo…
深度学习seed()函数随机种子详解
目录 一、seed定义二、为什么要使用seed()随机种子？三、随机种子在不同库中的使用3.1 random.seed(seed)3.2 np.random.seed(seed)3.3 torch.manual_seed(seed)3.4 torch.cuda.manual_seed(seed) 四、注意事项 一、seed定义 seed() 函数用于设置随机数生成器的种子&…
pytorch06：权重初始化
目录 一、梯度消失和梯度爆炸1.1相关概念1.2 代码实现1.3 实验结果1.4 方差计算1.5 标准差计算1.6 控制网络层输出标准差为11.7 带有激活函数的权重初始化 二、Xavier方法与Kaiming方法2.1 Xavier初始化2.2 Kaiming初始化2.3 常见的初始化方法 三、nn.init.calculate_gain 一、…
YOLOv8改进 更换轻量化模型MobileNetV3
一、MobileNetV3论文 论文地址：1905.02244.pdf (arxiv.org)
二、 MobileNetV3网络结构
MobileNetV3引入了一种新的操作单元，称为"Mobile Inverted Residual Bottleneck"，它由一个1x1卷积层和一个3x3深度可分离卷积层组成。这个操…
linux创建pyspark虚拟环境
一、创建虚拟环境
conda create -n test python3.6.6 二、注意添加镜像
vi /root/.condarc
channels:- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- http://mirrors.ustc.edu.cn/anaconda/pkgs/ma…
熬了一个通宵，把国内外的大模型都梳理完了！
大家好，大模型越来越多了，真的有点让人眼花缭乱。
为了让大家清晰地了解大模型，我熬了一个通宵把国内和国外的大模型进行了全面梳理，国内有189个，国外有20，同时包括大模型的来源机构、来源信息和分类等。 …
PyTorch自动梯度计算（注意点）
if params.grad is not None: params.grad.zero_()
我们实际的运算往往会涉及到若干个requires-grad为true的张量进行运算，在这种情况下，Pytorch会计算整个计算图上的损失的导数，并把这些结果累加到grad属性中。多次调用backward()会导致梯度…
动手学深度学习2 安装环境
pytorch环境安装 1. windows 环境安装2. mac环境安装3. linux环境安装1. 申请云服务器 链接机器--Ubuntu2. 环境配置 4. 不安装环境直接使用colabQA 课程链接： https://www.bilibili.com/video/BV18p4y1h7Dr?p1&vd_sourceeb04c9a33e87ceba9c9a2e5f09752ef8
1.…
Pytorch当中nn.AvgPool3d()和nn.AdaptiveAvgPool3d()的区别
在 PyTorch 中，nn.AvgPool3d()和nn.AdaptiveAvgPool3d()都是用于三维数据（立体数据）的池化（Pooling）操作，但在功能上有一些区别。
1.nn.AvgPool3d():
nn.AvgPool3d()是一个常规的三维平均池化层ÿ…
python中[None, :]的用法
看下面的position embedding的代码：
class LearnablePositionalEmbedding(torch.nn.Module):"""Shorthand for a learnable embedding."""def __init__(self, embed_dim, max_position_embeddings1024, dropout0.0):super().__init_…
池化层(pooling)
目录 一、池化层
1、最大池化层
2、平均池化层
3、总结
二、代码实现
1、最大池化与平均池化
2、填充和步幅(padding和strides)
3、多个通道
4、总结 一、池化层 1、最大池化层 2、平均池化层 3、总结
池化层返回窗口中最大或平均值环节卷积层对位置的敏感性同样有窗口…
（NeRF学习）NeRF复现 win11
目录 一、获取源码二、环境三、准备数据集方法一：官方命令方法二：官网下载数据集 四、开始训练1.更改迭代次数2.开始训练方法一：方法二： 3.使用预训练模型 五、NeRF源码学习 一、获取源码
git clone https://github.com/bmild/ne…
Linux系统中卸载Anaconda
要在Linux系统中卸载Anaconda，你需要执行一系列的命令。这里是一个通用的步骤指南： 找到Anaconda安装脚本： 在安装Anaconda时，它会在你的主目录中创建一个名为anaconda3的文件夹（默认情况下，如果你在安装时…
YOLOv5改进 | 2023 | SCConv空间和通道重构卷积（精细化检测，又轻量又提点）
一、本文介绍
本文给大家带来的改进内容是SCConv，即空间和通道重构卷积，是一种发布于2023.9月份的一个新的改进机制。它的核心创新在于能够同时处理图像的空间（形状、结构）和通道（色彩、深度）信息，这样的处理方式使得SCConv在分析图像时更加精细和高效。这种技术不仅适…
(PyTorch)TCN和RNN/LSTM/GRU结合实现时间序列预测
目录 I. 前言II. TCNIII. TCN-RNN/LSTM/GRU3.1 TCN-RNN3.2 TCN-LSTM3.3 TCN-GRU IV. 实验结果 I. 前言
前面已经写了一系列有关LSTM时间序列预测的文章：
深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）PyTorch搭建LSTM实现时…
YOLOv5改进 | 损失篇 | VarifocalLoss密集检测专用损失函数 (VFLoss，论文一比一复现)
一、本文介绍
本文给大家带来的是损失函数改进VFLoss损失函数，VFL是一种为密集目标检测器训练预测IoU-aware Classification Scores（IACS）的损失函数，我经过官方的版本将其集成在我们的YOLOv8的损失函数使用上，其中有很多使用的小细节(否则按照官方的版本使用根本拟合不了…
PyTorch深度学习实战（26）——卷积自编码器(Convolutional Autoencoder)
PyTorch深度学习实战（26）——卷积自编码器 0. 前言1. 卷积自编码器2. 使用 t-SNE 对相似图像进行分组小结系列链接 0. 前言
我们已经学习了自编码器 (AutoEncoder) 的原理，并使用 PyTorch 搭建了全连接自编码器，但我们使用的数据…
pytorch——基于循环神经网络的情感分类
任务目标
基于给定数据集，进行数据预处理，搭建以LSTM为基本单元的模型，以Adam优化器对模型进行训练，使用训练后的模型进行预测并计算预测分类的准确率。
数据集信息
IMDB数据集是一个对电影评论标注为正向评论与负向评论的数据…
Pytorch：optimizer.zero_grad(), loss.backward(), optimizer.step()
在训练过程中常看到如下代码：
optimizer.zero_grad(set_to_noneTrue)
grad_scaler.scale(loss).backward()
grad_scaler.step(optimizer)
grad_scaler.update()这三个函数的作用是：
在训练过程中先调用 optimizer.zero_grad() 清空梯度再调用 loss.bac…
Pytorch项目，肺癌检测项目之四
# 安装图像处理 的两个包 simpleITK 和 ipyvolume
# 安装缓存相关的两个包 diskcache 和 cassandra-driver
import gzip from diskcache import FanoutCache, Disk from cassandra.cqltypes import BytesType
from diskcache import FanoutCache,Disk,core from diskcache…
pytorch常用的几个函数详解
view
view() 是 PyTorch 中的一个常用函数，用于改变张量（tensor）的形状。在深度学习中，我们经常需要调整数据的形状以适应不同的网络结构或计算需求，view() 函数就是用来完成这个任务的。
基本用法
view() 函数接受…
pytorch中池化函数详解
1 池化概述
1.1 什么是池化
池化层是卷积神经网络中常用的一个组件，池化层经常用在卷积层后边，通过池化来降低卷积层输出的特征向量，避免出现过拟合的情况。池化的基本思想就是对不同位置的特征进行聚合统计。池化层主要是模仿人的视觉系统…
模型量化 | Pytorch的模型量化基础
官方网站：Quantization — PyTorch 2.1 documentation Practical Quantization in PyTorch | PyTorch 量化简介 量化是指执行计算和存储的技术 位宽低于浮点精度的张量。量化模型 在张量上执行部分或全部操作，精度降低，而不是 全精度…
YOLOv5改进 | 主干篇 | 利用SENetV1改进网络结构 (ILSVRC冠军得主)
一、本文介绍
本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一…
![[PyTorch][chapter 9][李宏毅深度学习][CNN]](https://img-blog.csdnimg.cn/direct/ee1281c966204a209c3204c8f2113047.png)
[PyTorch][chapter 9][李宏毅深度学习][CNN]
前言： 卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家Yann LeCun，目前在Facebook工作，…
简单易懂的PyTorch线性层解析：神经网络的构建基石
目录
torch.nn子模块Linear Layers详解
nn.Identity
Identity 类描述
Identity 类的功能和作用
Identity 类的参数
形状
示例代码
nn.Linear
Linear 类描述
Linear 类的功能和作用
Linear 类的参数
形状
变量
示例代码
nn.Bilinear
Bilinear 类的功能和作用
B…
零基础也可以探索 PyTorch 中的上采样与下采样技术
目录
torch.nn子模块Vision Layers详解
nn.PixelShuffle
用法与用途
使用技巧
注意事项
参数
示例代码
nn.PixelUnshuffle
用法与用途
使用技巧
注意事项
参数
示例代码
nn.Upsample
用法与用途
使用技巧
注意事项
参数
示例代码
nn.UpsamplingNearest2d
…
Pytorch从零开始实战16
Pytorch从零开始实战——ResNeXt-50算法的思考
本系列来源于365天深度学习训练营
原作者K同学
对于上次ResNeXt-50算法，我们同样有基于TensorFlow的实现。具体代码如下。
引入头文件
import numpy as np
from tensorflow.keras.preprocessing.image import Ima…
YOLOv5改进 | 2023Neck篇 | CCFM轻量级跨尺度特征融合模块（RT-DETR结构改进v5）
一、本文介绍
本文给大家带来的改进机制是轻量级跨尺度特征融合模块CCFM（Cross-Scale Feature Fusion Module）其主要原理是：将不同尺度的特征通过融合操作整合起来，以增强模型对于尺度变化的适应性和对小尺度对象的检测能力。我将…
深度学习框架:Tensorflow和pytorch、PaddlePaddle比较
Tensorflow和pytorch、PaddlePaddle都是非常优秀的深度学习框架，它们各自有着独特的优势和特点。下面是它们之间的一些比较：
易用性：
PyTorch：以简洁、直观的设计思想著称，易于学习和使用。它采用动态图模式…
YOLOv8改进 | 注意力篇 | 实现级联群体注意力机制CGAttention (全网首发)
一、本文介绍
本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增…
YOLOv8改进 添加动态稀疏注意力机制BiLevelRoutingAttention
一、BiLevelRoutingAttention论文 论文地址：2303.08810.pdf (arxiv.org)
二、 BiLevelRoutingAttention的模型结构
BiLevelRoutingAttention是一种基于注意力机制的双层路由模型。在传统的路由模型中，只有一层路由器来决定数据包的下一跳路径。而BiLevelRoutingAttention在…
torch.cat 与torch.stack的区别
torch.cat 与torch.stack的区别
torch.cat 定义：按照规定的维度进行拼接。实际使用: 例如使用BiLSTM时，将两个方向的向量进行叠加，就是用torch.cat。 import torchforward_lstm torch.randn((2, 10, 3))
backward_lstm torch.randn((2, 10…
含并行连结的网络（GoogLeNet）
目录
1.GoogLeNet
2.代码 1.GoogLeNet inception不改变高宽，只改变通道数。GoogLeNet也大量使用1*1卷积，把它当作全连接用。 V3耗内存比较多，计算比较慢，但是精度比较准确。 2.代码
import torch
from torch import nn
from t…
YOLOv8改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)
一、本文改进
本文给大家带来的改进机制是CCFM配合Dyhead检测头实现融合涨点，这个结构配合在一起只能说是完美的融合，看过我之前的检测头篇的读者都知道Dyhead官方版本支持的输入通道数是需要保持一致的，但是CCFM作为RT-DETR的Neck结构其输出通道数就是一致的，所以将这两种…
【grid】pytorch中的Flow_filed，MES，affine_gridHGRID，GRID_SAMPLE详解
grid in Pytorch
官方链接： https://pytorch.org/docs/stable/generated/torch.nn.functional.grid_sample.html#torch.nn.functional.grid_sample
https://pytorch.org/docs/stable/generated/torch.nn.functional.grid_sample.html#torch-nn-functional-grid-sa…
pytorch 通用训练代码讲解(very good)
文章目录 1. 模型训练参数设置2. 保证模型可复现性3. 设置device4 初始化模型权重及加载预训练权重4.1 初始化模型权重4.2 加载预训练权重4.3 在线下载预训练权重5 k-means 聚类anchors6 多卡同步bn及并行运行7 权重指数平滑ModelEMA7.1 EMA的原理及作用7.2 EMA的实现7.2 EMA的…
【RT-DETR改进涨点】为什么YOLO版本的RT-DETR训练模型不收敛的问题
前言
大家好，我是Snu77，这里是RT-DETR有效涨点专栏。
本专栏的内容为根据ultralytics版本的RT-DETR进行改进，内容持续更新，每周更新文章数量3-10篇。
其中提到的多个版本ResNet18、ResNet34、ResNet50、ResNet101为本人根据RT-…
YOLOv8改进 | Conv篇 | 利用YOLO-MS的MSBlock轻量化网络结构（既轻量又长点）
一、本文介绍
本文给大家带来的改进机制是利用YOLO-MS提出的一种针对于实时目标检测的MSBlock模块(其其实不能算是Conv但是其应该是一整个模块)，我们将其用于C2f中组合出一种新的结构，来替换我们网络中的模块可以达到一种轻量化的作用，我将其用于我的数据集上实验，包括多个…
Python: ** 的用处
在 Python 中，** 主要用于两个相关但不同的概念：解包（unpacking）和关键字参数（keyword arguments）的传递。让我们分别解释这两个方面。
1. 解包（Unpacking）：
a. 解包字…
pytorch10：正则化(weight_decay、dropout、Batch Normalization)
目录 一、正则化regularization1.概念2.过拟合3.减小方差策略4 正则化--权值衰减 二、正则化-dropout2.1 dropout概念2.2 数据尺度变化2.3 nn.Dropout2.4 两种模式 三、Batch Normalization3.1 ICS现象（Internal Covariate Shift，内部协变量偏移)3.2 BN原…
PyTorch 各种池化层函数全览与用法演示
目录
torch.nn.functional子模块Pooling层详解
avg_pool1d
用法与用途
参数
注意事项
示例代码
avg_pool2d
用法与用途
参数
注意事项
示例代码
avg_pool3d
用法与用途
参数
注意事项
示例代码
max_pool1d
用法与用途
参数
注意事项
示例代码
max_pool2d…
droupout(Pytorch中的代码实现)
图片来源：
【Pytorch】torch.nn.Dropout()的两种用法：防止过拟合 & 数据增强-CSDN博客
注意：
droupout可以进行数据增强或者防止数据过拟合。
droupout在全连接层之后，使得部分神经元失活，但是为什么能保持数据…
（202401）深度强化学习基础与实践1：马尔科夫过程、DNQ算法回顾
文章目录 序言马尔科夫决策过程含义性质回报状态转移矩阵 DQN算法深度网络经验回放目标网络实战DQN算法 DQN 算法进阶Double DQNDueling DQNNoisy DQNPER DQNC51 算法 序言
本文章记录Datawhale开源学习组织2024年第一期学习，《深度强化学习基础与实践》第二期的任…
transfomer中Multi-Head Attention的源码实现
简介
Multi-Head Attention是一种注意力机制,是transfomer的核心机制,就是图中黄色框内的部分.
Multi-Head Attention的原理是通过将模型分为多个头，形成多个子空间，让模型关注不同方面的信息。每个头独立进行注意力运算，得到一个注意力权…
机器学习中常见的过拟合解决方法
在机器学习中，我们将模型在训练集上的误差称之为训练误差，又称之为经验误差，在新的数据集（比如测试集）上的误差称之为泛化误差，泛化误差也可以说是模型在总体样本上的误差。对于一个好的模型应该是经验误差…
Jetson AGX Orin安装archiconda、Pytorch
想在Jetson AGX Orin创建一个虚拟环境，然后安装pytorch，过程中遇到了很多的坑，这篇文章主要用于记录过程~因为Orin本身是Arm架构，X86架构可以装Anaconda，对于ARM要装archiconda。
1.安装archiconda
1.1确定操作系统架…
YOLOv5改进 | 2023主干篇 | 多种轻量化卷积优化PP-HGNetV2改进主干（全网独家创新）
一、本文介绍
Hello，大家好，上一篇博客我们讲了利用HGNetV2去替换YOLOv5的主干，经过结构的研究我们可以发现在HGNetV2的网络中有大量的卷积存在，所以我们可以用一种更加轻量化的卷积去优化HGNetV2从而达到更加轻量化的效果（亲测优化后的HGNetV2网络比正常HGNetV2精度更高…
win11 + insightface + pytorch + CUDA + cuDNN 实战安装
安装攻关秘籍，步骤如下: 第一步. 下载 pycharm 社区版 官网在这里：https://www.jetbrains.com/pycharm/download/?sectionwindows
第二步. 下载 anaconda (最新版) // 参考下面文章来执行安装anaconda Windows下MinicondaPytorchPycharm开发环境搭建指…
残差网络 ResNet
目录
1.1 ResNet
2.代码实现 1.1 ResNet 如上图函数的大小代表函数的复杂程度，星星代表最优解，可见加了更多层之后的预测比小模型的预测离真实最优解更远了， ResNet做的事情就是使得模型加深一定会使效果变好而不是变差。 2.代码实现
impo…
YOLOv8改进 | 主干篇 | 华为移动端模型Ghostnetv1改进特征提取网络
一、本文介绍
本文给大家带来的改进机制是华为移动端模型Ghostnetv1，华为的GhostNet是一种轻量级卷积神经网络，旨在在计算资源有限的嵌入式设备上实现高性能的图像分类。GhostNet的关键思想在于通过引入Ghost模块，以较低的计算成本增加了特征图的数量，从而提高了模型的性能…
深入浅出Pytorch宝典1.0
文章目录 前言1. 张量操作2. 自动微分3. 数据加载和处理4. 模型构建和训练5. 预训练模型和迁移学习6. 调试和性能7. 高级特性总结 torch中主要的数据对象主要特点和功能张量的创建 数据处理和转换1.torch.tensor() 创建一个新的张量（Tensor）2.torch.zero…
YOLOv8改进 | 进阶实战篇 | 利用YOLOv8进行视频划定区域目标统计计数
一、本文介绍
Hello，各位读者，最近会给大家发一些进阶实战的讲解，如何利用YOLOv8现有的一些功能进行一些实战， 让我们不仅会改进YOLOv8，也能够利用YOLOv8去做一些简单的小工作，后面我也会将这些功能利用PyQt或者是pyside2做一些小的界面给大家使用。
在开始之前给大家推…
pytorch GPU版本安装 python windows
annanconda环境
创建虚拟环境 pytorch19_gpu
create -n pytorch19_gpu python3.9
激活环境
conda activate pytorch19_gpu
查找CUDA版本是12.0，查找方式，win r输入cmd进入命令行模式，输入nvidia-smi，如下， 查找如…
深度学习-Pytorch如何构建和训练模型
深度学习-Pytorch如何构建和训练模型
用pytorch如何构建模型，如何训练模型，如何测试模型？
pytorch 目前在深度学习具有重要的地位，比起早先的caffe，tensorflow，keras越来越受到欢迎，其他的深度…
大模型微调报错：RuntimeError: expected scalar type Half but found Float
微调chatglm 报错RuntimeError: expected scalar type Half but found Float
1. 背景
博主显卡：3090 最初的设置：bfloat16 开始训练后，线性层报错
2. 解决: 统一代码中所有精度
1）将模型和数据精度都设置为torch.float32/torc…
《动手学深度学习(PyTorch版)》笔记3.3
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
深入浅出 diffusion(3)：pytorch 实现 diffusion 中的 U-Net
导入python包
import mathimport torch
import torch.nn as nn
import torch.nn.functional as F silu激活函数
class SiLU(nn.Module): # SiLU激活函数staticmethoddef forward(x):return x * torch.sigmoid(x)
归一化设置
def get_norm(norm, num_channels, num_groups)…
PyTorch中self.layers的作用
self.layers 是一个用于存储网络层的属性。它是一个 nn.ModuleList 对象，这是PyTorch中用于存储 nn.Module 子模块的特殊列表。
为什么使用 nn.ModuleList？
在PyTorch中，当需要处理多个神经网络层时，通常使用 nn.ModuleList 或 …
pytorch 44 不修改源码在yolov8中使用odconv动态卷积
这里仅修改对YOLOv8的使用方式，不修改任何源码即可将odconv使用到最新的yolov8n模型上，实现了对私有数据集下的巨大性能提升（尤其是对于类别不平衡的少样本数据）。ODCONV是Intel提出的一种极差即用的动态卷积，在小模型上涨点效果较为明显（在大模型上涨点效果略微退化），…
复现PointNet++（语义分割网络）：Windows + PyTorch + S3DIS语义分割 + 代码
一、平台
Windows 10
GPU RTX 3090 CUDA 11.1 cudnn 8.9.6
Python 3.9
Torch 1.9.1 cu111
所用的原始代码：https://github.com/yanx27/Pointnet_Pointnet2_pytorch
二、数据
Stanford3dDataset_v1.2_Aligned_Version
三、代码
分享给有需要的人…
【Pytorch 第三讲】如何使用pre-trained weights 来训练自己的模型
# 理由#
有时在训练自己的模型时，如果从头开始训练自己的模型， 不但费时费力， 有时可能训练了很久， 好不容易收敛， 发现结果不是太好。 如果能够基于被人 已经训练好的权重， 初始化自己的模型。那么在训练…
《动手学深度学习(PyTorch版)》笔记3.5
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
【PyTorch】6.Learn about the optimization loop 了解优化循环
Learn about the optimization loop 了解优化循环
Optimizing Model Parameters 优化模型参数
现在我们有了模型和数据，是时候通过优化数据上的参数来训练、验证和测试我们的模型了。训练模型是一个迭代过程；在每次迭代中，模型都会对输出进…
pytorch学习笔记（十一）
优化器学习
把搭建好的模型拿来训练，得到最优的参数。
import torch.optim
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoaderdataset torchvision.datas…
使用pytorch搭建resnet50
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊|接辅导、项目定制 前期准备
导入需要的包
import torch
import torch.nn as nn
import torch.nn.functional as F
import matplotlib.pyplot as plt
import …
Supervised Contrastive 损失函数详解
有什么不对的及时指出，共同学习进步。(●’◡’●)
有监督对比学习将自监督批量对比方法扩展到完全监督设置，能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时将来自不同类的样本簇推开。这种损失显示出对自然损坏很稳…
Pytorch自动求导机制
PyTorch框架可以帮我们计算好反向传播，需要求导的，可以手动定义
示例：
#先构造一个随机的三行四列矩阵，两种方法都可以#方法1
x torch.randn(3,4,requires_gradTrue)
x#方法2
x torch.randn(3,4)
x.requires_gradTrue
x
#再构…
《动手学深度学习(PyTorch版)》笔记2
Chapter2 Preliminaries
2.1 Automatic Differentiation
让计算机实现微分功能， 有以下四种方式： - 手工计算出微分， 然后编码进代码 - 数值微分 (numerical differentiation) - 符号微分 (symbolic differentiation) - 自动微分࿰…
![[PyTorch][chapter 11][李宏毅深度学习][Semi-supervised Learning]](https://img-blog.csdnimg.cn/direct/551fde07f37b49648853fe13c767ecfa.png)
[PyTorch][chapter 11][李宏毅深度学习][Semi-supervised Learning]
前言： 这里面简介一下半监督学习，如何利用未打标签的数据集。
重点可以参考一下 Graph-based Approach 方案。 目录： 简介 Semi-supervised Learning for Generative Model low-density Separation Assumption Entropy-based Regula…
Pytorch中Dataset和dadaloader的理解
不同的数据集在形式上千差万别，为了能够统一用于模型的训练，Pytorch框架下定义了一个dataset类和一个dataloader类。
dataset用于获取数据集中的样本，dataloader 用于抽取部分样本用于训练。比如说一个用于分割任务的图像数据集的结构如图1所…
基于 pytorch-openpose 实现 “多目标” 人体姿态估计
前言
还记得上次通过 MediaPipe 估计人体姿态关键点驱动 3D 角色模型，虽然节省了动作 K 帧时间，但是网上还有一种似乎更方便的方法。MagicAnimate 就是其一，说是只要提供一张人物图片和一段动作视频 (舞蹈武术等)，就可以完成图片…
对 MODNet 网络结构直接剪枝的探索
文章目录 1 写在前面2 遇到问题3 解决方案4 探索过程4.1 方案一4.2 方案二4.3 方案三 5 疑惑与思考5.1 Q15.2 Q2 1 写在前面
在前面的文章中，笔者与小伙伴们分享了对 MODNet 主干网络部分以及其余分支分别剪枝的探索历程，即先分解、再处理、后融合的手法…
![[pytorch入门] 6. 神经网络](https://img-blog.csdnimg.cn/direct/5169ed7542c047f5b2968863f602063a.png)
[pytorch入门] 6. 神经网络
基本介绍
torch.nn： Containers：基本骨架Convolution Layers： 卷积层Pooling layers：池化层Non-linear Activations (weighted sum, nonlinearity)：非线性激活Normalization Layers：正则化层
Container…
![[pytorch] 7. 神经网络搭建实例](https://img-blog.csdnimg.cn/direct/cdbb0619fcbb41ef89f1d035a3730fa7.png)
[pytorch] 7. 神经网络搭建实例
题目
目标搭建模型：
参数确定
设置卷积层等的参数时，除了in_channels、out_channels、kernel_size等，还需要设置padding等参数，可以根据官方给出的公式计算需要的参数是多少 带入已知数据，其中dilation没说空洞卷…
【PyTorch】n卡驱动、CUDA Toolkit、cuDNN全解安装教程
文章目录 GPU、NVIDIA Graphics Drivers、CUDA、CUDA Toolkit和cuDNN的关系使用情形判断仅仅使用PyTorch使用torch的第三方子模块 安装NVIDIA Graphics Drivers（可跳过）前言Linux法一：图形化界面安装（推荐）法二&#x…
【PyTorch】PyTorch之Module模块
文章目录 前言MODULE类1. add_module(name, module)2. apply(fn)3. children()4. cpu()和cuda()5. eval()6. forward(*input)7. get_parameter(target)8. get_submodule(target)9. load_state_dict(state_dict, strictTrue, assignFalse)10. modules()11. named_buffers(prefix…
【超详细教程】2024最新Pytorch安装教程（同时讲解安装CPU和GPU版本）
目录 一、前言
二、pytorch简介
三、安装准备工作
3.1、下载Anaconda
四、判断是否有NVIDIA显卡
五、安装pytorch-CPU版本
六、安装pytorch-GPU版本
6.1、查看CUDA显卡驱动版本
6.2、安装CUDA
6.3、安装CuDNN（加速器）
6.4、安装pytorch-GPU
七…
pytorch学习笔记（十二）
以下代码是以CIFAR10这个10分类的图片数据集训练过程的完整的代码。
训练部分
train.py主要包含以下几个部件： 准备训练、测试数据集用DateLoader加载两个数据集，要设置好batchsize创建网络模型（具体模型在model.py中）设置损失函…
PyCharm / DataSpell 导入WSL2 解析器，实现GPU加速
PyCharm / DataSpell 导入WSL2 解析器的实现 Windows的解析器不好么？设置WSL2和实现GPU加速为PyCharm / DataSpell 设置WSL解析器设置Interpreter Windows的解析器不好么？
Windows上的解析器的确很方便，也省去了我们很多的麻烦。但是WSL2的解…
在PyTorch中开发我们的第一个神经网络
本教程将介绍初学者在PyTorch中构建神经网络的过程。我们将通过一个项目逐步进行操作。本教程将使用Kaggle上的Heart.csv数据集，请随时下载数据集并跟随教程进行：https://www.kaggle.com/rashikrahmanpritom/heart-attack-analysis-prediction-dataset 首…
23/76-LeNet
LeNet 早期成功的神经网络。 先使用卷积层来学习图片空间信息。 然后使用全连接层转换到类别空间。 #In[]LeNet,上世纪80年代的产物,最初为了手写识别设计from d2l import torch as d2l
import torch
from torch import nn
from torch.nn.modules.loss import CrossEntropyLos…
小团体～抱团学习了！
大家好，我是K同学啊！
一个深度学习领域博主，CSDN的博客专家、有八万粉丝，和鲸特邀导师，《深度学习100例》的作者，一个收到中科院等诸多名校、名企offer的自由摄影爱好者 。
因为经常有读者向我倾诉学习上…
YOLOv7 pytorch，支持剪枝【附代码】
yolov7主干部分结构图：yolov7主干
yolov7数据集处理代码：yolov7数据集处理代码
yolov7训练参数解释：yolov7训练参数【与本文代码有区别】
yolov7训练代码详解：yolov7训练代码详解
目录
训练自己的训练集
生成推理阶段的模型…
【产业实践】使用YOLO V5 训练自有数据集，并且在C# Winform上通过onnx模块进行预测全流程打通
使用YOLO V5 训练自有数据集，并且在C# Winform上通过onnx模块进行预测全流程打通
效果图 背景介绍
当谈到目标检测算法时，YOLO（You Only Look Once）系列算法是一个备受关注的领域。YOLO通过将目标检测任务转化为一个回归问题，实现了快速且准确的目标检测。以下是YOLO的基…
【PyTorch】教程：torch.nn.Softplus
torch.nn.Softplus
原型 CLASS torch.nn.Softplus(beta1, threshold20) 参数
beta (int) – Softplus里β\betaβ 值， 默认为 1.threshold (int) – 高于这个值恢复为线性函数，默认为 20.
定义 Softplus(x)1β∗log(1exp(β∗x))\text{Softplus}(…
pysyft框架中WebsocketClientWorker与WebsocketServerWorker的消息传输
引言
pysyft是基于pytorch的一个联邦学习框架（虽然用起来很难受），通过内存管理实现联邦学习的模拟。 在pysyft中，WebsocketServerWorker充当数据的提供方（数据存储方），而WebsocketClientWorker…
《动手学深度学习(PyTorch版)》笔记4.6
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
Pytorch-统计学方法、分布函数、随机抽样、线性代数运算、矩阵分解
Tensor中统计学相关的函数
torch.mean() #返回平均值
torch.sum() #返回总和
torch.prod() #计算所有元素的积
torch.max() # 返回最大值
torch.min() # 返回最小值
torch.argmax() #返回最大值排序的索引值
torch.argmin() #返回最小值排序的索引值
torch.std() #返回标准差
…
![[pytorch入门] 9. 优化器](https://img-blog.csdnimg.cn/direct/edb3978178d24a7f87dd7e2d1ae39173.png)
[pytorch入门] 9. 优化器
介绍
在pytorch的官方文档中，所有的优化器都集中在torch.optim中 在官方文档中，会告诉你如何去创建一个优化器 选择一种优化器创建，传入模型的参数（必需的）、学习速率（几乎是每个优化器都有的参数&#…
GiB is reserved by PyTorch but unallocated
碰到错误
Of the allocated memory 12.53 GiB is allocated by PyTorch, and 1.22 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Manage…
机器学习_14_多分类及多标签分类算法
文章目录 1 单标签二分类问题1.1 单标签二分类算法原理1.2 Logistic算法原理 2 单标签多分类问题2.1 单标签多分类算法原理2.2 Softmax算法原理2.3 ovo2.4 ovr2.5 OvO和OvR的区别2.6 Error Correcting 3 多标签算法问题3.1 Problem Transformation Methods3.1.1 Binary Relevan…
PyTorch 2.2 中文官方教程（二十）
移动设备
在 iOS 上进行图像分割 DeepLabV3 原文：pytorch.org/tutorials/beginner/deeplabv3_on_ios.html 译者：飞龙 协议：CC BY-NC-SA 4.0 作者：Jeff Tang
审阅者：Jeremiah Chung
介绍
语义图像分割是一种计算机视…
2023年12月CCF-GESP编程能力等级认证Python编程五级真题解析
Python等级认证GESP（1~6级）全部真题・点这里 一、单选题（共15题，共30分）
第1题
通讯卫星在通信网络系统中主要起到（ ）的作用。
A：信息过滤 B：信号中继 C：避免攻击 D：数据加密
答案：B
第2题
小杨想编写一个判断任意输入的整数N是否为素数的程序，下面哪个方法…
365天深度学习训练营-第J6周：ResNeXt-50实战解析
目录 一、前言
二、论文解读
研究背景
研究内容
研究结果
研究意义
三、关键解读
Aggregated Residual Transformations（AggResNet）
Random Erasing和Mixup
四、对比ResNet50V2、DenseNet
网络结构
精度和计算量
适用范围
五、论文复现
te…
PyTorch自动微分模块torch.autograd的详细介绍
torch.autograd 是 PyTorch 深度学习框架中的一个核心模块，它实现了自动微分（Automatic Differentiation）的功能。在深度学习中，自动微分对于有效地计算和更新模型参数至关重要，特别是在反向传播算法中用于计算损失函数…
基于图像掩膜和深度学习的花生豆分拣（附源码）
目录 项目介绍
图像分类网络构建
处理花生豆图片完成预测 项目介绍
这是一个使用图像掩膜技术和深度学习技术实现的一个花生豆分拣系统
我们有大量的花生豆图片，并以及打好了标签，可以看一下目录结构和几张具体的图片 同时我们也有几张大的图片&…
【PyTorch】PyTorch中张量(Tensor)计算操作
PyTorch深度学习总结
第五章 PyTorch中张量(Tensor)计算操作 文章目录 PyTorch深度学习总结前言一、张量比较大小1、torch.allclose()2、torch.eq()和torch.equal()3、ge、gt、le、lt、ne函数4、torch.isnan() 二、基本运算1、四则运算(加减乘除)2、其他计算 前言
上文介绍了…
PyTorch vs TensorFlow:谁拥有更多预训练深度学习模型？
众所周知，访问预先训练的深度学习模型对于当代深度学习应用至关重要。随着最先进的模型变得越来越大，达到数万亿个参数，在许多领域，尤其是自动语音识别等领域，从头开始训练高级模型不再有意义。
鉴于预训练深度学习模型的重要性，哪个深度学习框架（PyTorch 或 TensorFlo…
【Pytorch Lighting】第 1 章：PyTorch Lightning adventure
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
【Pytorch Lighting】第 2 章：第一个深度学习模型起步
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
PyTorch（七）总结
系列文章目录
PyTorch（一）安装与环境配置 PyTorch（二）Dataset 与 DataLoader PyTorch（三）TensorBoard 与 Transforms PyTorch（四）Torchvision 与 Transforms PyTorch（五…
pytorch实战（五）——时间序列多步预测的五种方法介绍
当需要根据已有的时间序列数据，预测未来多个时刻的状态时，被称之为时间序列多步预测。 时间序列多步预测有五种策略，分别为： 1、直接多步预测（Direct Multi-step Forecast） 2、递归多步预测（Rec…
深度学习：04 神经网络的搭建
首先，这里主要是能够建立一个神经网络，不免会用到torch.nn，所以涉及到的会有讲解，没有用到的就我也不是很了解的。当然在这里我提供了链接Module，方便进行学习。
Containers（容器）&#…
PyTorch初学者指南：数据操作
PyTorch初学者指南：数据操作 文章目录PyTorch初学者指南：数据操作一、前言二、张量1、何为张量2、如何创建张量3、如何访问张量的形状4、如何改变张量的形状而不改变元素数量和元素值三、运算符1、基本数学运算2、张量的连结四、广播机制五、索引和切片1…
（深度学习快速入门）第三章第三节4：深度学习必备组件之TensorBoard和标准化技术
文章目录一：TensorBoard（1）TensorBoard介绍（2）Pytorch安装TensorBoard（3）TensorBoard使用（4）服务器tensorboard本地显示（5）AutoDL等算力平台tenso…
看这个就够了——ubuntu系统中的cuda cudnn cudatookit及pytorch使用
一.基本概念1.1 nvidia独立显卡独立显卡是指以独立板卡形式存在，可在具备显卡接口的主板上自由插拔的显卡。独立显卡具备单独的显存，不占用系统内存，而且技术上领先于集成显卡，能够提供更好的显示效果和运行性能。显卡作为电脑主机…
python环境里明明有那个库但是就no module named XXX
问题
用python -m venv 创建了一个环境，里面明明有某个库，比如torch， 但是某一天在这个环境中运行时却出现no module named torch， 检查了这个环境里面torch 这个库还在。
原因
我的原因是，我把原来的python删了&am…
PyTorch学习笔记：model.train()与model.eval()——切换训练模式与测试模式
PyTorch学习笔记：model.train()与model.eval()——切换训练模式与测试模式
功能：用于切换模型的模式，model.train()将模型切换为训练模式，model.eval() 将模型切换为测试模式。
主要区别
BN与DropOut运算规则不同
BN层 定义&a…
使用scikit-learn为PyTorch 模型进行超参数网格搜索
scikit-learn是Python中最好的机器学习库，而PyTorch又为我们构建模型提供了方便的操作，能否将它们的优点整合起来呢？在本文中，我们将介绍如何使用 scikit-learn中的网格搜索功能来调整 PyTorch 深度学习模型的超参数:
如何包装 P…
深度学习训练营_第P3周_天气识别
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍦 参考文章：Pytorch实战 | 第P3周：彩色图片识别：天气识别**🍖 原作者：K同学啊|接辅导、项目定制**␀ 本次实验有两个新增任务&…
Windows 系统从零配置 Python 环境，安装CUDA、CUDNN、PyTorch 详细教程
文章目录1 配置 python 环境1.1 安装 Anaconda1.2 检查环境安装成功1.3 创建虚拟环境1.4 进入/退出 刚刚创建的环境1.5 其它操作1.5.1 查看电脑上所有已创建的环境1.5.2 删除已创建的环境2 安装 CUDA 和 CUDNN2.1 查看自己电脑支持的 CUDA 版本2.2 安装 CUDA2.3 安装 CUDNN2.4 …
【PyTorch】教程：torch.nn.Tanh
torch.nn.Tanh
原型 CLASS torch.nn.Tanh() 定义 Tanh(x)tanh(x)exp(x)−exp(−x)exp(x)exp(−x)\text{Tanh}(x)tanh(x)\frac{\exp(x)-\exp(-x)}{\exp(x)\exp(-x)} Tanh(x)tanh(x)exp(x)exp(−x)exp(x)−exp(−x)
图 代码
import torch
import torch.nn as nnm n…
Megatron-LM源码系列(七)：Distributed-Optimizer分布式优化器实现Part2
1. 使用入口
DistributedOptimizer类定义在megatron/optimizer/distrib_optimizer.py文件中。创建的入口是在megatron/optimizer/__init__.py文件中的get_megatron_optimizer函数中。根据传入的args.use_distributed_optimizer参数来判断是用DistributedOptimizer还是Float16O…
Pytorch/paddle单机多卡深度学习训练环境配置+代码模板
目录一. 双卡并行环境配置二. 验证单机多卡2.1 paddle2.2 pytorch三. 单机多卡训练模板3.1 pytorch软硬件环境:OS: Ubuntu 20.04CPU: AMD5800GPU: 2*RTX3060Ubuntu-driver: 515CUDA driver: 11.2一. 双卡并行环境配置
下载nccl: https://developer.nvidia.com/nccl/nccl-legac…
了解pytorch，梳理一下pytorch的几个组件
PyTorch是一个基于Torch的Python开源机器学习库，用于计算机视觉等应用程序。 它主要由Facebook的人工智能研究小组开发。 PyTorch是一个Python包，提供两个高级功能： 具有强大的GPU加速的张量计算（如NumPy） 包含自动求…
《PyTorch深度学习实践8》——卷积神经网络（Convolution Neural Network）
目录一、卷积层1.卷积层理解2.卷积层参数二、池化层三、MNIST分类1.网络结构2.CPU版本3.GPU版本一、卷积层
1.卷积层理解 假如我们有一张图像，RGB三通道，我们对每个通道都用一个卷积核，就可以得到三个通道的特征图，之后我们可以将…
GAN | 代码简单实现生成对抗网络（GAN）（PyTorch）
2014年GAN发表，直到最近大火的AI生成全部有GAN的踪迹，快来简单实现它！！！GAN通过计算图和博弈论的创新组合，他们表明，如果有足够的建模能力，相互竞争的两个模型将能够通过普通的旧反向…
PyTorch保姆级安装教程
1 安装CUDA1.1 查找Nvidia适用的CUDA版本桌面右键，【打开 NVIDIA控制面板】查看【系统信息】查看NVIDIA的支持的CUDA的版本，下图可知支持的版本是 10.11.2 下载CUDACUDA下载官方网址https://developer.nvidia.com/cuda-toolkit-archive找到适合的版本下载…
Java+ElasticSearch+Pytorch实现以图搜图
以图搜图，涉及两大功能：1、提取图像特征向量。2、相似向量检索。第一个功能我通过编写pytorch模型并在java端借助djl调用实现，第二个功能通过elasticsearch7.6.2的dense_vector、cosineSimilarity实现。一、准备模型创建demo.py，输…
pytorch学习笔记_
leanring pytorch 河北工业大学人工智能与数据科学学院教师 线上课程学习笔记 Pytorch 建模流程
prepare data dataset dataloader design model using class inherit from nn.module construct loss and optimizer using Pytorch API training cycle test forward backward …
pytorch如何搭建一个最简单的模型，
一、搭建模型的步骤
在 PyTorch 中，可以使用 torch.nn 模块来搭建深度学习模型。具体步骤如下： 定义一个继承自 torch.nn.Module 的类，这个类将作为我们自己定义的模型。 在类的构造函数 __init__() 中定义网络的各个层和参数。可以使用 to…
《动手学深度学习(PyTorch版)》笔记7.2
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
PyTorch 2.2 中文官方教程（十五）
（beta）计算机视觉的量化迁移学习教程 原文：pytorch.org/tutorials/intermediate/quantized_transfer_learning_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 提示
为了充分利用本教程，我们建议使用这个C…
win下pytorch安装—cuda11.7 + cudnn8.4 + pytorch1.13安装
安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch安装一、cuda安装
下载地址：cuda下载官网链接
1.1、cuda版本选择
这里有个前置工作需要搞清楚的，就是自己的显卡支持的cuda版本。
点击电脑左下角开始菜单找到 点击【帮…
pytorch 计算混淆矩阵
混淆矩阵是评估模型结果的一种指标 用来判断分类模型的好坏 预测对了 为对角线
还可以通过矩阵的上下角发现哪些容易出错 从这个 矩阵出发 可以得到 acc ！ precision recall 特异度？ 目标检测01笔记AP mAP recall precision是什么 查全率是什么 查准率…
增加最优传输过程中遇到的问题
最近，正在使用最优传输，在使用的过程中遇到了一下问题，简单记录一下这些问题。该文章仅用于记录学习，不做其他用途，参考的文章均声明。
修改代码过程中，遇到的错误总结
Question 1. 描述： lin…
python内置库之os、sys、math、datetime、json、re
一 os 模块
# 导入os模块
import os# 查看os模块说明文档
help(os)
# 查看os模块的属性和方法
print(dir(os))
1.1 os常用方法
# 获取系统名称，nt代表windows,posix代表linux
print(os.name) # nt
# 获取系统环境变量信息
print(os.environ)
# 获取指定名称的环…
PyTorch 之 强大的 hub 模块和搭建神经网络进行气温预测
文章目录一、强大的 hub 模块1. hub 模块的使用2. hub 模块的代码演示二、搭建神经网络进行气温预测1. 数据信息处理2. 数据图画绘制3. 构建网络模型4. 更简单的构建网络模型本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052
一、强…
ChatGLM-6B 类似ChatGPT功能型对话大模型 部署实践
好难为了看到这个页面ChatGLM-6B 简介ChatGLM-6B 是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的一个开源的类 ChatGPT 模型,ChatGLM（alpha内测版：QAGLM）是一个初具问答和对话功能的中英双语模型，当…
【pytorch源码剖析系列】模型搭建
前言：本次内容不只是让你学会如何快速搭建网络骨架，还要深入理解pytorch的相关组件，让你能够实现自定义网络算子并将他们组合在一起。思考：为什么不用numpy自定义模型并训练呢？没有办法搭建复杂的网络结构梯度需要自己…
torch.autograd.Function的使用
（个人理解仅供参考）
1 什么情况下使用
自己定义的网络结构，没有现成的，就得手写forward和backward
2 怎么使用
2.1 forward
前向传播的表达式
2.2 backward
求导结果
2.3 举例
前向传播表达式：y w * x b 假…
PyTorch入门（五）使用CNN模型进行中文文本分类
本文将会介绍如何在PyTorch中使用CNN模型进行中文文本分类。 使用CNN实现中文文本分类的基本思路：
文本预处理将字（或token）进行汇总，形成字典文件，可保留前n个字文字转数字，不在字典文件中用表示对文…
第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器
第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器！ 目录第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器！1. Pytorch基础1.1 Pytorch安装1.1.…
PyTorch入门（六）使用Transformer模型进行中文文本分类
在文章PyTorch入门（五）使用CNN模型进行中文文本分类中，笔者介绍了如何在PyTorch中使用CNN模型进行中文文本分类。本文将会使用Transformer模型实现中文文本分类。 本文将会使用相同的数据集。文本预处理已经在文章PyTorch入门（…
【Tensorboard】工具使用细节记录，实现训练数据保存及可视化
目录
1 导入tensorboard-前提安装tensorboard！
2 确定存储位置
3 作为预训练参数加载函数
4 调用加载函数
5 保存训练模型参数
6 tensorboard可视化-环境：ubuntu 【学习资源】from torch.utils.tensorboard import SummaryWriter导入不成功问题_…
【Python/torch】torch.nn.functional.interpolate()函数解析
【Python/torch】torch.nn.functional.interpolate()函数详解 文章目录【Python/torch】torch.nn.functional.interpolate()函数详解1. 介绍2. API3. 例子3.1 one3.2 two3.3 three3.4 four3.5 five4. 总结5. 参考1. 介绍
nn.functional.interpolate 是 PyTorch 中的一个函数&a…
让PyTorch训练速度更快，你需要掌握这17种方法
掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN，文章向我们介绍了在…
新建一个虚拟环境来管理自己的pytorch环境
python只是一个编程语言，在开发具体软件时，可能还需要使用到各种的包，比如著名的 numpy，torch 等等。如果我们自己来管理则显得非常麻烦，于是便有了Anaconda这样一个类似容器的东西，它封装了python各种各样…
训练自己的GPT2-Chinese模型
文章目录效果抢先看准备工作环境搭建创建虚拟环境训练&预测项目结构模型预测续写训练模型遇到的问题及解决办法显存不足生成的内容一样文末效果抢先看 准备工作
从GitHub上拉去项目到本地，准备已训练好的模型百度网盘：提取码【9dvu】。
gpt2对联训…
人工智能(Pytorch)搭建卷积神经网络实现简单图像分类
本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052
目录
一、Pytorch深度学习框架
二、卷积神经网络
三、代码实战 内容：
一、Pytorch深度学习框架
PyTorch是一个开源的深度学习框架，它基于Torch进行了重新…
PyTorch 深度学习实战 | Fashion MNIST 图片重建实战
01、操作流程1）加载 Fashion MNIST 数据集Fashion MNIST 是一个定位在比 MNIST 图片识别问题稍复杂的数据集，它的设定与 MNIST 几乎完全一样，包含了 10 类不同类型的衣服、鞋子、包等灰度图片，图片大小为，共 70000 张图…
从零到亿学pytorch系列一：使用远程服务器在pycharm上运行简单的训练模型
参考视频和代码来源详见up主Leo在这的b站教学视频：1、Pytorch的安装与环境配置【小学生都会的Pytorch】_哔哩哔哩_bilibili如何在pycharm上连接远程服务器详见：(7条消息) 如何使用租用的云服务器实现神经网络训练过程（超详细教程，…
使用Pytorch实现对比学习SimCLR 进行自监督预训练
SimCLR（Simple Framework for Contrastive Learning of Representations）是一种学习图像表示的自监督技术。 与传统的监督学习方法不同，SimCLR 不依赖标记数据来学习有用的表示。 它利用对比学习框架来学习一组有用的特征，这些特征…
LibTorch中Windows系统环境配置及CUDA不可用问题解决
前言：本文对在Windows系统上进行LibTorch开发环境配置及相关问题解决做一个较为详细的记录，以便后续查询使用。 使用环境版本： Windows 11 Visual Studio 2022 CUDA 12.0 LibTorch 1.13.1_cu11.7 目录一、LibTorch简介二、LibTorch下载安装三…
动手学深度学习v2—01数据操作+数据预处理
[TOC]此次用到的虚拟环境：pytorchmwy项目名称：limuAI所需框架和工具：pytorch，pandas一、创建CSV文件所需工具：pandas在与项目同等目录下创建一个文件夹名为data，其中文件名称为house_tiny.csv。代码如下&am…
【视频分割】【深度学习】MiVOS官方Pytorch代码-S2M模块DeepLavV3Plus网络解析
【视频分割】【深度学习】MiVOS官方Pytorch代码-S2M模块DeepLavV3Plus网络解析 MiVOS模型将交互到掩码和掩码传播分离，从而实现更高的泛化性和更好的性能。单独训练的交互模块将用户交互转换为对象掩码，本博客将讲解S2M(用户交互产生分割图)模块的深度网…
如果这都不是爱！谷歌承包广告牌喊话苹果；亚马逊裁员的业内分析；李玟VR演唱会明日上线；AMD发布会全程高能；GitHub今日热榜 | ShowMeAI资讯日报
🎡 『Google』再次买下大幅电子广告牌，喊话苹果推动 RCS 发展
一线消息，Google 在拉斯维加斯 Harmon Corner 投放了大型新年主题广告，喊话说服苹果采用 RCS 消息协议，不要在修复像素化的照片和视频上掉链子。视频显示…
PyTorch实例3——迁移学习
传送门：蓝桥云课实验 目录1. 实验环境2. 实验目的3. 相关原理4. 实验步骤4.1 数据收集4.1.1加载数据4.1.2 GPU运算4.2 数据预处理4.3 创建模型4.3.1 构建迁移模型4.3.2 训练模型测试绘制图表4.3.2.1 预训练模式4.3.2.2 固定值模式4.4 结论1. 实验环境
Jupyter Note…
Pytorch高效降低内存 torch.utils.checkpoint()的使用
文章目录一.Checkpoint 机制二. torch.utils.checkpoint() 介绍1、官网文档2、源代码：3 、补充4、说明三. 几个使用示例3. 1 示例13.2 示例23.3 示例3：checkpoint_sequential（）的使用3.4 checkpoint() : 卷积模型的示例3.5 示例5&…
PyTorch实战5：运动鞋识别之动态学习率
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍦 参考文章：365天深度学习训练营-第P5周：运动鞋识别🍖 原作者：K同学啊|接辅导、项目定制 目录 一、设置动态学习率动态学习率的设置✨调用官方…
SE、CBAM、ECA注意力机制（网络结构详解+详细注释代码+核心思想讲解+注意力机制优化神经网络方法）——pytorch实现
这期博客我们来学习一下神秘已久的注意力机制，刚开始接触注意力机制的时候，感觉很有意思，事实上学会之后会发现比想象中的要简单，复杂的注意力机制后续会讲解，这期博客先讲解最常见的三种SE、CBAM、ECA注意力机制。 注意力机制更详细的可以被称为资源分配机制，神经网络的…
Stable Diffusion webui安装使用
参考： https://stability.ai/blog/stable-diffusion-public-release https://github.com/AUTOMATIC1111/stable-diffusion-webui 安装（6g显存） 1、conda创建python 3.10.6环境 conda create -n stable-diffusion pythonpython 3.10.6
也安装…
![[PyTorch][chapter 33][卷积神经网络]](https://img-blog.csdnimg.cn/980da0adf08d44c599ceb86255c190dd.png)
[PyTorch][chapter 33][卷积神经网络]
前言 参考： 《数字图像处理与机器视觉》 第五章 空间域图像增强， 图像卷积： 空间域图像增强 图像增强是根据特定需要突出一副图像中的某些信息，同时削弱或去除 某些不需要信息的处理方法,其主要目的是是的处理后的图像对某种特定的…
ARM架构下银河麒麟V10系统基于CUDA11.8编译PyTorch
概述
公司近期想尝试本地用下ChatGLM模型，只有服务器安装了两张显卡，故而只能在服务器做尝试。CUDA驱动啥的，之前的同事已经安装完毕，并且成功识别出显卡，顾略去。按照GIT README步骤开搞，一切顺利&#x…
【玩转Jetson TX2 NX】（十）TX2 NX 安装Archiconda3+创建pytorch环境（详细教程+错误解决）
1 写在前面的话
该篇文章创建pytorch环境部分，大家谨慎参考。本以为已经完全解决错误，但实际上pytorch最终并未配置在所创建虚拟环境中，本人能力有限，实在搞不定，故大家可在此博客的踩坑基础上，继续前行&a…
图神经网络入门：理论与实践
图神经网络（Graph Neural Networks，GNNs）是一种针对图数据进行建模和处理的深度学习模型，其具有在推理和预测具有高度关联和复杂结构的数据中具有优势等特点。与传统的神经网络不同，GNNs 能够自适应地根据图结构进行信…
softmax 反向传播 代码 python 实现
概念
反向传播求导
可以看到，softmax 计算了多个神经元的输入，在反向传播求导时，需要考虑对不同神经元的参数求导。 分两种情况考虑：
当求导的参数位于分子时当求导的参数位于分母时 pisoftmax(zi)ezi∑j1Nezjez1ez1ez2ez3p_is…
Pytorch nn.Softmax(dim=?) 详解
本文参考自：Pytorch nn.Softmax(dim?) - 知乎
原文写得很好了，我这边另外完善了一些细节，让大家理解地更加直白一些。
可以先去看上面的参考文章，也可以直接看我这篇。 目录
1、tensor1
1）已知该矩阵的维度为&am…
No module named ‘torch_geometric‘解决办法——PyG(PyTorch Geometric)安装教程
1、查询已安装的torch版本
一定要先查询自己的torch版本，也不同版本的依赖跟库都是不一样的。
import torch
print("torch版本：",torch.__version__)输出结果：
2、安装依赖
2.1 进入官网下载依赖。
官网下载链接：…
Pytorch:.gather(1,)和.gather(0,)的区别
Pytorch中gather(1,)和.gather(0,)的区别？
在 PyTorch 中，.gather(dim, index) 函数用于根据给定的索引在指定的维度上获取张量的元素。其中，dim 表示要进行索引的维度，index 是包含索引值的一个张量。
下面以一个简单的例子来解…
Pytorch学习笔记之tensor数据结构
torch.TensorTensor 数据类型Tensor 的属性 view 和 reshape 的区别Tensor 与 ndarray创建 Tensor 传入维度的方法参考资料torch.Tensor
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 可以使用使用 torch.tensor() 方法将 python 的 list 或序…
使用PyTorch来训练图像分类模型
使用PyTorch来训练模型。首先，需要定义一个数据加载器，然后使用PyTorch的内置优化器和损失函数来训练模型。以下是一个简单的示例代码，用于训练模型： import torch import torch.nn as nn import torch.optim as optim from torch…
【写博客常用】Colab Pytorch神经网络基本构建
【写博客常用】Colab & Pytorch调用基本模型1 使用Colab2 连接GPU3 tensor4 计算梯度5 读取data，使用torch.utils.data里面的Dataset和DataLoader6 网络构造6.1 结构6.2 Linear6.3 定义一个自己的model6.4 定义自己的loss6.5 optimizer6.6 神经网络构建流程6.6.…
pytorch拓展——Ubuntu vscode配置pytorch C++拓展环境
引言：pytorch的官方教程中
例子1是用numpyFunciton手动写的一个前向传播和反向传播例子2是一个有需要优化参数的例子例子3是用c写的拓展，1.0之前是用c写的拓展这里记录用vscode配置c，然后导入torch的TH.h头文件的过程
ubuntu配置vscode支持…
【玩转Jetson TX2 NX】（十一）TX2 NX 基于UNet网络实现显著目标分割（详细教程+错误解决）
1 写在前面的话
该博客作为一个小Demo，记录深度学习算法UNet部署到Jetson TX2 NX的全部流程，可将此作为参考，继续部署自己的深度学习算法模型。部署总流程为：
1、在服务器端训练模型，一般为pth文件2、在服务器端将pt…
TenserRT（三）PYTORCH 转 ONNX 详解
第三章：PyTorch 转 ONNX 详解 — mmdeploy 0.12.0 文档
torch.onnx — PyTorch 2.0 documentation
torch.onnx.export 细解
计算图导出方法
TorchScript是一种序列化和优化PyTorch模型的格式，将torch.nn.Module模型转换为TorchScript的torch.jit.Scr…
人工智能(Pytorch)搭建T5模型,真正跑通T5模型,用T5模型生成数字加减结果
大家好，我是微学AI，今天给大家介绍一下人工智能(Pytorch)搭建T5模型,真正跑通T5模型,用T5模型生成数字加减结果。T5（Text-to-Text Transfer Transformer）是一种由Google Brain团队在2019年提出的自然语言处理模型。T5模型基于Tran…
Pytorch深度学习笔记（一）前瞻概述
目录
1.人类智能Human intelligence
2.机器学习Machine learning
3.学习系统Learning System
4.神经网络neural network 课程推荐：《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili 1.人类智能Human intelligence 人类智能Human intelligence：把视…
pytorch进阶学习（五）：神经网络迁移学习应用的保姆级详细介绍，如何将训练好的模型替换成自己所需模型
代码资源和数据集资源使用进阶学习（四）中的代码，大家可以配合食用哟~
pytorch进阶学习（四）：使用不同分类模型进行数据训练（alexnet、resnet、vgg等）_好喜欢吃红柚子的博客-CSDN博客…
pytorch lightning之快速调试
调试代码
此阶段主要测试各阶段代码是否有问题。
快速测试
fast_dev_run项可以配置train/val/test阶段的循环次数，跑完就停止代码，快速查看各流程代码正确性，避免train调试后训练又在val/test阶段出错，白白浪费时间和计算成本。…
在Win10安装pytorch3d
Pytorch3d
这是一个为使用Pytorch的3D计算机视觉研究提供的高效可重用的组件
主要特点包括：
用于储存和操作三角形网格的数据结构三角形网格的高效操作（投影变换、图形卷积、采样、损失函数）可区分的网格渲染器可以通过隐式函数进行新试图…
whisper 语音识别AI 声音To文字
whisper介绍
Whisper 是一个由 OpenAI 训练并开源的神经网络，功能是语音识别,能把语音转换为文字,在英语语音识别方面的稳健性和准确性接近人类水平。
1、Whisper支持语音转录和翻译两项功能并接受各种语音格式，模型中、英、法、德、意、日等主流语言上…
NLP实战：基于Pytorch的文本分类入门实战
目录
一、前期准备
1.环境准备
2.加载数据
二、代码实战
1.构建词典
2.生成数据批次和迭代器
3. 定义模型
4. 定义实例
5.定义训练函数与评估函数
6.拆分数据集并运行模型
三、使用测试数据集评估模型
四、总结 这是一个使用PyTorch实现的简单文本分类实战案例。在…
YOLOv5s GTX 1660 Ti训练时出现，box，obj，cla全是nan的问题，Pytorch和cuda、cudnn版本不对
这里写自定义目录标题 参考资料问题描述当前使用版本尝试解决问题版本（1）尝试解决问题版本（2）CUDA卸载参考CUDA卸载之后发现依然还在，需要把torch卸载掉。 参考资料
1.Github_YOLOv5_nan问题
2.查看CUDA最高可使用版…
关于dataset，dataloader
Pytorch提供的对数据集进行操作的函数详见：
https://pytorch.org/docs/master/data.html# 题外话：
能够熟练的使用python语言的技巧，是理解pytorch源码的关键。在torch.utils.data.Dataset和torch.utils.data.DataLoader这两个类中会用到p…
pytorch单机多卡训练
多卡训练的方式 以下内容来自知乎文章：当代研究生应当掌握的并行训练方法（单机多卡） pytorch上使用多卡训练，可以使用的方式包括：
nn.DataParalleltorch.nn.parallel.DistributedDataParallel使用Apex加速。Apex 是 N…
【PyTorch】第八节：数据的预处理
作者🕵️♂️：让机器理解语言か 专栏🎇：PyTorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
【实验必用】使用ResNet18作为主干网络进行深度学习的Pytorch实现
使用ResNet18作为主干网络进行深度学习的Python实现 一、ResNet18的Python复现二、获取ResNet18的预训练模型三、加载ResNet18预训练模型参数并设计自己的模型一、ResNet18的Python复现 下述代码（resnet18.py）源于NeurlPS2021的RUL论文，全名为“Relative Uncertainty Learni…
pytorch进阶学习（八）：使用训练好的神经网络模型进行图片预测
课程资源：
【小学生都会的Pytorch】九、运用你的模型做预测（1）_哔哩哔哩_bilibili 笔记：
pytorch进阶学习（四）：使用不同分类模型进行数据训练（alexnet、resnet、vgg等）…
Torch 入门教程
文章目录Torch 入门教程Torch 的基础知识torch和PyTorch什么区别？TensorAutogradOptimizer举例一模型定义模型训练模型保存和加载模型评估举例二数据载入模型定义和训练模型测试总结Torch 入门教程
这是一篇针对 Torch 框架的入门教程，主要介绍 Torch 的…
Pytorch：关于nn.dataParallel我所踩过的坑
Pytorch：关于nn.dataParallel我所踩过的坑报错一：module must have its parameters and buffers on device cuda:1 (device_ids[0]) but found one of them on device: cpu报错二：RuntimeError: Expected all tensors to be on the same devi…
深度学习 Day29——利用Pytorch实现咖啡豆识别
深度学习 Day29——利用Pytorch实现咖啡豆识别 文章目录深度学习 Day29——利用Pytorch实现咖啡豆识别一、前言二、我的环境三、前期工作1、导入依赖项设置GPU2、导入数据3、划分数据集四、手动搭建VGG16模型1、模型搭建2、查看模型参数3、调用官方的VGG16网络框架五、训练模型…
LDNet分割模型搭建
原论文：https://arxiv.org/abs/2110.09103源码：https://github.com/unilight/LDNet
直接步入正题~~~
一、ESA_blcok模块
1、PPM模块
class PPM(nn.Module):def __init__(self, pooling_sizes(1, 3, 5)):super().__init__()self.layer nn.ModuleList…
Soft-Actor-Critic2比较靠谱的代码版本(PyTorch)和梯度更新/不收敛等问题(附完整详细的每一部分代码)
Soft-Actor-Critic一共有两个版本，笔者称为SAC1与SAC2，鉴于它是一个非常火爆好用的算法，笔者首先给出它的代码，网传版本有很多，但是存在诸多问题譬如:
1.算法不收敛 2.由于值网络的更新导致策略网络无法更新 3.SAC效果…
AdelaiDet训练自己的数据集（BlendMask训练COCO格式数据集）
AdelaiDet训练自己的数据集（COCO格式数据集）
不了解coco数据集形式的可以先去查找了解一下
环境配置为 Ubuntu 20.04.3/cuda10.1/python3.7/pythorch1.8
下面的detecton2就是你conda环境中的安装的detectron2，照着下面找一下： …
Anaconda＋vscode＋pytorch环境搭建
1、安装Anaconda
不要添加到path，否则可能会引起其他冲突。
记得手动添加环境变量 2、安装vscode 已经不支持自定义安装啦，默认(D:\Program Files) 按住ctrlshiftp，输入language，选择第一个configure Display Language&…
图神经网络：在KarateClub上动手实现图神经网络
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook。超链。提取码8888。 文章目录 文献阅读：代码实操： 文献阅读：
参考文…
北京超算云中心pytorch/mmcv环境配置
北京超算云中心pytorch/mmcv环境配置 which python查看python路径source deactivate mmseg-dev退出当前环境sbatch --gpus2 ./run.sh提交训练任务作业parajobs查看已提交作业sacncel ID取消作业
先放上常用的基本命令。
下面开始配置pytorch
pytorch环境配置
1、输入modul…
Pytorch从零开始实现Vision Transformer (from scratch)
Pytorch从零开始实现Vision Transformer 前言一、Vision Transformer架构介绍1. Patch Embedding2. Multi-Head Attention3. Transformer BlockFeed Forward 二、预备知识1. Einsum2. Einops 三、Vision Transformer代码实现0. 导入库1. Patch Embedding2. Residual & Norm…
Mac OS install PyTorch
1.首先确定一下是否安装condaAnaconda | Anaconda Distribution与pippip PyPI,由于我本地已经安装，就不再赘述。
2.安装虚拟环境及相应依赖包deeplearning： 自定义的虚拟环境
numpy： python数值计算包matplotlib: 支持python画图pandas &a…
VLAD Diffusion，一个更好用且易于安装的Stable Diffusion Web UI
VLAD Diffusion 是我们前面介绍过的 AUTOMATIC1111/stable-diffusion-webui的一个定制的更新，它主要是为了更频繁发布的更新和错误修复。它包含
新的安装程序，并且提供了高级CUDA调优不在依赖Accelerate，因为Accelerate是分布式的࿰…
[图神经网络]PyTorch简单实现一个GCN
Pytorch自带一个PyG的图神经网络库，和构建卷积神经网络类似。不同于卷积神经网络仅需重构__init__( )和forward( )两个函数，PyTorch必须额外重构propagate( )和message( )函数。
一、环境构建 ①安装torch_geometric包。
pip install torch_geometric …
2021-03-15 手势交互方式的一点思考（交互中用语音提示的可能尝试）
目前主流的手势交互方式用的是视觉方法，如下面的基于HoloLens AR眼镜的第一视角的使用画面示例： 手势交互-示例1手势交互-示例2根据视频的可视化图像可以看到，真实的用户手与交互界面对应的手的建模其实不能很好的完全契合，出现这…
本地测试Segment Anything
一、下载GitHub代码
官网地址： https://github.com/facebookresearch/segment-anything git clone 或者 下载ZIP压缩包
二、下载.pth文件
官网中给出了三个训练好的参数文件 点击下载，我这里下载了最后一个358M大小的模型（这里可以使用迅…
《联邦学习实战》杨强 读书笔记一——前言
AI的力量来自大数据，在现实中能获取的往往是少量数据，例如：
在法律领域，获取一个完整的案例样本往往需要很多的时间和资源在金融领域，在风控建模中，如果把反洗钱案例看成正样例，那么这也的正样…
从0到1基于ChatGLM-6B使用LaRA进行参数高效微调
之前尝试了基于LLaMA使用LaRA进行参数高效微调，有被惊艳到。相对于full finetuning，使用LaRA显著提升了训练的速度。
虽然 LLaMA 在英文上具有强大的零样本学习和迁移能力，但是由于在预训练阶段 LLaMA 几乎没有见过中文语料。因此࿰…
Pytorch实现R-CNN系列目标检测网络
在PyTorch提供的已经训练好的图像目标检测中,均是R-CNN系列的网络，并且针对目标检测和人体关键点检测分别提供了容易调用的方法。针对目标检测的网络，输入图像均要求使用相同的预处理方式，即先将每张图像的像素值预处理到0 ～1之间…
pytorch——损失函数之nn.BCELoss二进制交叉熵和 nn.BCEWithLogitsLoss
文章目录 1、pytorch损失函数之nn.BCELoss()（二进制交叉熵)1.1 是什么？1.2 怎么代码实现和代码使用？1.3 推导过程分析交叉熵作为损失函数的梯度情况：举一个sigmoid导致的梯度消失的MSE损失的例子 1.3 应用场景1.3.1 二分类1.3.2 多…
BrokenPipeError: [Errno 32] Broken pipe解决办法
我在train的过程中。出现错误
BrokenPipeError Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_15608\3724903352.py in <module>37 checkpoint_dircheckpoint_dir,38 checkpoint_intervalhparams.syncnet_c…
解决报错ERROR: No matching distribution found for torchvision==0.11.2+cu111
目录
一、猜测
二、验证
三、解决方案
四、检验 该报错是在按官网方法用指令： pip install torch1.9.1cu111 torchvision0.10.1cu111 torchaudio0.9.1 -f https://download.pytorch.org/whl/torch_stable.html 安装pytorch时出现的，以下是分析&#…
[Pytorch]张量的合并：cat和stack操作
文章目录 张量的合并：cat和stack操作一.cat操作二.stack操作 张量的合并：cat和stack操作
一.cat操作
torch.cat([tensor1, tensor2....], dim)将多个向量在同一维度上进行合并，并且要求在指定维度dim外，其他维度的形状应保持相同…
Anaconda详细安装使用
如果想在conda里面删除某个环境，可以使用 conda remove -n name --all 来删除。 其中 conda info --envs 是查看环境，切换环境 activate base 。 Anaconda
Anaconda | The Worlds Most Popular Data Science PlatformAnaconda is the birthplace of Pyt…
二、PyTorch气温预测项目实战
一、数据集预处理
1，数据集介绍
训练数据集：temps.csv免费下载链接 数据集主要包括348条样本，共8个自变量，1个因变量
自变量因变量year：年actual：当天的真实最高温度month：月day：…
机器学习----PyTorch正向传播与反向传播
正向传播
神经网络本质上就是一个复杂且有很多参数的复合函数，数据为函数的输入，结果为函数的输出。正向传播就是通过函数的输入以及神经网络，得到函数的输出。通常用来验证当前的参数是否是最优解，或者已经训练好的模型用来检测…
机器学习----PyTorch中的梯度计算
什么是梯度？
在一元函数中,某点的梯度标的就说某点的导数. 在多元函数中某点的梯度表示的是由每个自变量所对应的偏导数所组成的向量在前面的线性回归中 就像y wx b方程中求出w参数最优的解，就需要对w参数进行偏导数的求取，然后通过偏导数…
调试运行程序失败后，再次uiautomatorviewer截屏失败
调试运行程序失败后，再次uiautomatorviewer截屏失败 Error while obtaining UI hierarchy XML file: com.android.ddmlib.SyncException: Remote object doesn’t exist! 解决办法1：
adb reconnect允许 uiautomatorviewer 再次截屏
解决办法2ÿ…
pytorch相关部分矩阵变换函数
1、tensor 维度顺序变换 BCHW顺序的调整
tensor.permute(dims)
将tensor的维度换位。参数是一系列的整数，代表原来张量的维度。比如三维就有0，1，2这些dimension。
import torcha torch.rand(8,256,256,3) #---> n,h,w,c
print(a.sha…
注意力机制总结senet cbam ecanet scnet gcnet
注意力机制大概分为以下，Spatial domain，Channel domain，Mixed domain以及Self-attention。接下来简单介绍这部分方法。
SE-Net: Squeeze-and-Excitation Networks
SE-Net应用比较多，其基本原理是对于每个输出channel࿰…
pix2pixHD代码---readme
1：基础配置 要求大于等于11G的显卡，安装pytorch，下载代码。 2：测试 dataset文件中放的是一些例子，下载cityscape的预训练权重，放入到checkpoints文件夹下，测试模型。测试结果放在results文件夹…
![[chapter 25][PyTorch][激活函数与GPU加速]](https://img-blog.csdnimg.cn/66b34446b16c45b58156a82c06ad4a92.png)
[chapter 25][PyTorch][激活函数与GPU加速]
前言： 这里面主要介绍一下常用的激活函数与GPU 加速 目录 tanH 函数 sigmoid函数 relu 函数 leaky Relu 函数 tf.nn.selu 扩展型指数线性单元 GPU 加速 softplus 激活函数 numpy 傅里叶变换一: tanH 函数 定义： 应用…
【Python/Pytorch - Bug】-- CommandNotFoundError: Your shell has not been properly configured to use ‘c
文章目录问题截图问题分析解决办法：问题截图 问题分析
问题： CommandNotFoundError: Your shell has not been properly configured to use condaactivate ’ .To initialize your shell, run.
分析： 在激活环境的时候遇到
解决办法&#…
【材料整理】 -- DTI相关知识点
文章目录 文章目录写在前面DTI相关知识写在前面
本文主要总结自己毕设过程中，用到DTI中一些知识点，之后会不断补充，欢迎大家收藏！
DTI相关知识
首先DTI是什么，DWI是什么？然后什么是b值，影响什…
【Python/Pytorch - Bug】-- TypeError: cannot unpack non-iterable NoneType object.
文章目录问题截图问题分析解决办法：问题截图 问题分析
分析：这个bug有几个奇怪的地方：
1、网络在训练的时候，出现了loss inf 的情况，是在epoch 1 的中间部分，出现了loss inf 的情况，接下来…
Pytorch CIFAR10图像分类 ShuffleNet篇
Pytorch CIFAR10图像分类 ShuffleNet篇 文章目录 Pytorch CIFAR10图像分类 ShuffleNet篇4. 定义网络（ShuffleNet）Channel Shuffle网络单元 Shuffle UnitShuffleNet 网络结构summary查看网络测试和定义网络 5. 定义损失函数和优化器6. 训练及可视化&#…
深度学习目标检测项目实战(六)-基于Faster rcnn pytorch的遥感图像检测
基于Faster rcnn pytorch的遥感图像检测
代码：https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0
数据集
使用RSOD遥感数据集，VOC的数据格式如下： RSOD是一个开放的目标检测数据集，用于遥感图像中的目标检测。…
【深度学习】基于PyTorch 迁移学习 实现医学影像识别（详细案例分析 + 源代码） | 附：深度学习在医学影像领域的应用
但是太阳，他每时每刻都是夕阳，也是旭日，当他熄灭着走下山去收尽苍凉残照之际，正是他在另一面燃烧着爬上山巅布散烈烈朝晖之时。 🎯作者主页： 追光者♂🔥 🌸个人简介： 💖[1] 计算机专业硕士研究生💖 🌟[2] 2022年度博客之星人工智能领域TOP4🌟…
统计软件与数据分析Lesson16----pytorch基本知识及模型构建
统计软件与数据分析Lesson16----pytorch基本知识及模型构建 0.上节回顾0.1 一元线性回归数据生成数据处理初始数据可视化 0.2 梯度下降Gradient DescentStep 0: 随机初始化 Random InitializationStep 1: 计算模型预测值 Compute Models PredictionsStep 2: 计算损失 Compute t…
pytorch debug笔记：当训练过程中loss忽然变为 nan
原因有很多，此处给出是 除0 产生的问题。但排查思路是相通的。方法较原始，但有效。
首先在网络的每个步骤后添加一个if，看是否产生 nan
def forward(self, source):source self.blocks(source)if torch.any(torch.isnan(source)):print(1)…
pytorch学习笔记0，gpu测试与torch
本系列大部分代码来自莫烦python的教程，此处只作记录与一些个人补全。
测试gpu代码，网上找的。
import torchimport timeprint(torch.__version__) # 返回pytorch的版本print(torch.cuda.is_available()) # 当CUDA可用时返回True&#x…
NLP实战：中文文本分类-Pytorch实现
目录
一、准备工作
1.任务说明
2.加载数据 二、数据预处理
1.构建词典
2.生成数据批次和迭代器
三、模型构建
1. 搭建模型
2.初始化模型
3. 定义训练与评估函数
四、训练模型
1. 拆分数据集并运行模型 顺便测试指定数据 五、总结 🍨 本文为[🔗…
PSP - AlphaFold2 Multimer 的 Heteromer (异聚体) MSA 逻辑
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/130733737 同源多聚体 (Homomer) 是由相同的蛋白质亚基组成的，而异源多聚体 (Heteromer) 是由不同的蛋白质亚基组成的。同源多聚体的亚基之间通常有对称的相…
延迟at及crontab定时命令，清空临时文件垃圾
邮件mail
使用输入重定向 可以管道 系统延时任务及定时任务 #1.系统延时任务#### [rootlocal host ~]# at 23:37 ##设定任务执行时间 at> rm -fr /mnt/* ##任务动作 at> <<CTRLD ##用ctrlD发起任务 [rootlocal host ~]#at now1min ##延迟1分钟 at> rm -fr …
在树莓派3B+上安装Pytorch1.7
在树莓派3B上安装Pytorch1.7(应该是最简单的方法了)_package libopenblas-dev has no installation cand_Chauncey_Wang的博客-CSDN博客由于项目要求，我需要在树莓派上安装pytorch这就有几个问题，首先吧，咱们和外面之间有一道长城，…
pytorch——其他操作（where、gather）
atorch.full([2,2],0)
btorch.full([2,2],1)
condtorch.rand(2,2)
print(torch.where(cond>0.5,a,b)) # tensor([[0, 1],[0, 0]])
Pytorch入门（四）使用VGG16网络训练CIFAR10数据集
本文使用PytorchVGG16官方CIFAR10数据集完成图像分类。识别效果如下： 文章目录 一、VGG16 神经网络结构二、VGG16 模型训练三、预测CIFAR10中的是个类别 一、VGG16 神经网络结构
VGG，又叫VGG-16，顾名思义就是有16层，包括13个卷…
pytorch容器之nn.Sequential, nn.ModuleList, nn.ModuleDict介绍
目录 前言一. nn.Module1.1. nn.Parameter1.2. nn.functional1.3. nn.Module 二. nn.Sequential三. nn.ModuleList三. nn.ModuleDict 前言 在深度学习模型创建的时候，我们经常会碰到nn.Sequential, nn.ModuleList, nn.ModuleDict这三个东西，尤其是在迁移…
基于深度学习的高精度红外行人车辆检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度红外行人车辆检测识别系统可用于日常生活中或野外来检测与定位红外行人车辆目标，利用深度学习算法可实现图片、视频、摄像头等方式的红外行人车辆目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系…
pytorch笔记：conv2d
来自B站视频，API查阅，TORCH.NN
nn.conv2d 中一般 kernel_size 是小奇数，padding 设置为 k − 1 2 \frac{k-1}{2} 2k−1（实际上padding的是 k − 1 k-1 k−1，因为参数的意义是左右各padding），
小型中文版聊天机器人
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。
目录
一、简单介绍与参考鸣谢
二、数据集介绍
三、数据预处理
1、重复标点符号表达
2、英文标点符号变为中文标点符号
3、繁…
Coggle 30 Days of ML 打卡任务三：苹果病害模型训练与预测
Coggle 30 Days of ML 打卡任务三：苹果病害模型训练与预测
任务三：苹果病害模型训练与预测
难度/分值：中/2
打卡内容：
参赛选手名称：AppleDoctor完成日期：2023.6.11任务完成情况： 使用的编程…
基于深度学习的高精度奶牛检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度奶牛检测识别系统可用于日常生活中或野外来检测与定位奶牛目标，利用深度学习算法可实现图片、视频、摄像头等方式的奶牛目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型…
jupyter notebook在里面写代码，误操作后想撤销上一步怎么办。误删代码返回上一步
**csdn常见的解决方法
：** 一直不明白，为什么csdn上一直找不到这个简单的操作方案，解决的方法基本没法用或者不是关于这个的。常见的csdn撤销删除操作的解决方法（感觉说了，有点力不从心，和自己预期不符&am…
pycharm设置删除一行快捷键方法
ctrlshifta，在“操作”中输入delete 按altenter，就可以分配快捷键了。 我设置的是ctrlx，将剪切换成删除一行。
【一文解决】已安装CUDA与Pytorch但torch.cuda.is_available()为False
目录 问题描述总览：导致问题的原因可能1：CUDA版本与驱动程序不兼容可能2：CUDA库的路径设置存在问题可能3：PyTorch版本与CUDA版本不匹配可能4：编译问题可能5：软件包或库冲突写在最后 问题描述
已经安装CUDA…
行为分析(商用级别)01 - 所有资源链接分享：论文，源码，数据集，预训练模型等
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公…
行为分析(商用级别)03 - 官方数据集，模型训练与测试
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公 众 号 − \color{blue}{公众号 -} 公众号−
语义实例分割1-02：snake(实时实例分割))-官方数据训练测试，环境搭建等
以下链接是个人关于 voxelpose(多视角3D人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓…
语义实例分割1-00：snake(实时实例分割)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析 snake(实时实例分割)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以给出以下…
Win10下pytorch3D安装方法，本人亲测可用
本人的电脑配置如下：
GPU：GTX 1050TiCUDA：11.1python：3.8pytorch：1.9.0pytorch3d：0.7.1NVIDIA CUB：cub-1.9.10-1
目录
1.版本确认
2.下载cub
3.下载pytorch3d 4.下载VSC2019 5.编译pytorch…
python + pytorch 多线程实现级联模型的业务逻辑
文章大纲 背景实现方式1. 消息队列2. 入库模块3. 深度学习 目标跟踪检测+ 图片分类总体实现与代码参考文献背景
如果 目标跟踪 的模型想要和图片分类的业务逻辑进行混合，该怎么实现？
下面，我们来看一个，基于YOLOv8 目标跟踪和 pytorch 图片分类，实现模糊场景下融合 一个…
[transformers]在trainer中使用torch.profiler.profile
今天需要在transformers的trainer的API中使用profile，然后分析模型的性能，但是trainer的封装度比较高，不太好修改，其实可以使用callback的方式完成profile的性能监控。
class MyCallback(TrainerCallback):"A callback that…
姿态估算03-00：mmpose(Associative embedding)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析mmpose(Associative embedding-人体姿态估算)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿&…
行人重识别02-11：fast-reid(BoT)-实用技巧分享（1）-visualize_result，demo
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \…
行人重识别02-07：fast-reid(BoT)-pytorch编程规范(fast-reid为例)4-迭代器构建，数据加载-2
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
行人重识别02-04：fast-reid(BoT)-pytorch编程规范(fast-reid为例)1-hooks机制了解
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
行人重识别01-02：OpenUnReID(SpCL)-官方数据训练测试
以下链接是个人关于OpenUnReID(SpCL-行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
行人重识别01-01：OpenUnReID(SpCL)-资源下载（前奏准备）
以下链接是个人关于OpenUnReID(SpCL-行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-13：mmaction2(SlowFast)-项目实用代码（1）-demo测试，并解决val无打印，
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-10：mmaction2(SlowFast)-源码无死角解析（6）-模型构建总览
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-04：mmaction2(SlowFast)-白话给你讲论文-翻译无死角（2）
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-07：mmaction2(SlowFast)-源码无死角解析（3）-训练架构总览-2
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-09：mmaction2(SlowFast)-源码无死角解析（5）-数据加载，预处理2
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
姿态估计2-09：PVNet(6D姿态估计)-源码无死角解析（5）-visualizers-PnP
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \color{b…
姿态估计2-08：PVNet(6D姿态估计)-源码无死角解析（4）-RANSAC投票机制
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带\c…
姿态估计2-07：PVNet(6D姿态估计)-源码无死角解析（3）-模型总体结构
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带\c…
姿态估计2-02：PVNet(6D姿态估计)-官方模型训练测试-报错解决
v 以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
姿态估计1-08：HR-Net(人体姿态估算)-源码无死角解析（4）-平行分支，信息交流模块构建
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
姿态估计1-06：HR-Net(人体姿态估算)-源码无死角解析（2）-数据读取，预处理
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
风格迁移2-06：MUNIT(多模态无监督)-源码无死角解析（3）-模型框架（前向传播）
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
风格迁移2-04：MUNIT(多模态无监督)-白话给你讲论文-翻译无死角（2）
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
风格迁移2-02：MUNIT(多模态无监督)-源码训练测试-报错解决
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
深度学习环境搭建-史上最全无死角系列
以下的环境搭建，都为本人在实际工作或者学习记录的笔记，有兴趣的朋友可以添加微信a944284742相互交流，有交流群。
（01）Winds10 Python3.6 CUDA10.0 PyTorch 0.4.1 (PyTroch 1.0 branch)：https://blog.c…
detectron2（目标检测框架）无死角玩转-05：源码详解（1）-总体架构分析
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
detectron2（目标检测框架）无死角玩转-03：配置config解析-实时更新
以下链接是个人关于detectron2（目标检测框架），所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞&#…
风格迁移1-05：Liquid Warping GAN(Impersonator)-白话给你讲论文-翻译无死角（2）
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
风格迁移1-04：Liquid Warping GAN(Impersonator)-白话给你讲论文-翻译无死角（1）
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
风格迁移1-01：Liquid Warping GAN(Impersonator)-资源下载（前奏准备）
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
Pytorch安装及GroupSpatialSoftmax报错解决
项目场景：
安装Pytorch，安装中出现的问题
在官网下载pytorch conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorch第一个BUG：Key already registered with the same priority: GroupSpatialSoftmax
安装完进入pytho…
SimSwap复现指引及代码分析【2023有更新】
SimSwap复现指引及代码分析【2023有更新】 0、前言1、复现指引环境配置指引Inference for image or video face swappingInference参数解析Inference用法示例图像视频 2、结果分析3、代码分析 0、前言 论文讲解在：https://blog.csdn.net/qq_45934285/article/detail…
深度学习pytorch实战五：基于ResNet34迁移学习的方法图像分类篇自建花数据集图像分类（5类）超详细代码
1.数据集简介 2.模型相关知识 3.split_data.py——训练集与测试集划分 4.model.py——定义ResNet34网络模型 5.train.py——加载数据集并训练，训练集计算损失值loss，测试集计算accuracy，保存训练好的网络参数 6.predict.py——利用训练好的网…
Pytorch教程：Autograd基础
PyTorch的Autograd特征可以让PyTorch灵活快速的构建机器学习项目。autograd可以实现快速和容易的多重偏微分（梯度）计算。偏微分计算时反向传播神经网络学习的核心。
autograd的可以在运行时动态追踪计算，这意味着如果模型有决策分支、或者有…
Pytorch、Anaconda、PyCharm的详细安装
1.Anaconda的安装
根据自己的电脑版本进行下载，附: 下载地址. （1）进入官网点击Download进行下载。 进入到这个界面，我选择的是Windows平台下面的64位，然后点击进行下载，可以根据自己的选择进行下载。 &am…
Anaconda常用命令合集
1. 查看已安装的环境
conda info --envs 2. 进入虚拟环境
conda activate env_name3. 退出虚拟环境
conda deactivate4. 删除虚拟环境
conda remove -n env_name --all
2-2 A pretrained model that fakes it until it makes it
1.The GAN game Let’s suppose, for a moment, that we’re career criminals who want to move into selling forgeries of “lost” paintings by famous artists. We’re criminals, not painters, so as we paint our fake Rembrandts and Picassos, it quickly becomes a…
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.解决方法
搭建简单的UNet网络，运行predict程序时，突然报错：
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
OMP: Hint This means that multiple copies of the OpenMP runtime have been linked int…
使用自己的数据利用pytorch搭建全连接神经网络进行分类预测
使用自己的数据利用pytorch搭建全连接神经网络进行分类预测 1、导入库2、自定义函数3、定义主函数main()4、执行5、完整代码部分 这段代码实现了一个神经网络模型在数据集上的训练和测试。具体流程如下： 1、导入库
引入必要的库，包括PyTorch、Pandas等。…
Python CV 视觉图像数据标签（xml）在原图的可视化操作
CV离不开数据集，对于拿到公开的数据集抑或是人家整理的数据集时，我们有必要清楚现有的数据集标签质量如何。因此，我们可以用以下脚本去对我们现有的数据标签在原图上进行可视化操作。
本人基于企业实际工程项目，以.xml标签数据可…
【已解决】NameError: name ‘xrange‘ is not defined
Fork人家代码的时候，报错如下： 原因：xrange( )函数时在python 2.x中的一个函数，在Python3中，range()的实现方式与xrange()函数相同，所以就不存在专用的xrange( )。 解决方案：如继续在python 3中…
Pytorch+OpenCV批次将文件夹图片.JPG转换成.png【已解决】
0 导读
对于者日常生活中的图片格式转换，尤其是对于计算机视觉领域的人群，我们往往都需要对图片数据进行预处理。计算机视觉的初学者往往对mnist、fashion-misnt等公开数据集的读/写已有一定的掌握，但面临实验室本地数据集预处理时却容易不知…
《动手学深度学习》Task03：过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶
文章目录1 过拟合、欠拟合及其解决方案1.1 模型选择、过拟合和欠拟合1.2 过拟合和欠拟合1.3 权重衰减1.4 丢弃法2 梯度消失、梯度爆炸2.1 梯度消失和梯度爆炸2.2 考虑环境因素3 循环神经网络进阶3.1 GRU3.2 LSTM3.3 双向循环神经网络文章目录过拟合、欠拟合及其解决方案
梯度消…
简单记录：GAN（对抗生成网络），pytorch + MNIST
目录
NET
多层感知器版：
卷积版
损失函数：
train：
总结： NET
多层感知器版：
##GAN网络，多层感知器版
##判别网络
class discriminator(nn.Module):def __init__(self):super(discriminator, self).…
简单记录ResNet网络，pytorch+ResNet+CIFAR10
引言
ResNet 有效地解决了深度神经网络难以训练的问题，可以训练高达 1000 层的卷积网络。网络之所以难以训练，是因为存在着梯度消失的问题，离 loss 函数越远的层，在反向传播的时候，梯度越小，就越难以更新&…
torch.unsqueeze()和torch.squeeze()
在PyTorch中，torch.zeros是一个函数，用于创建一个指定形状的张量，并将所有元素初始化为零。
在给定的示例中，torch.zeros(1, 1, 2, 1, 3)创建了一个具有以下形状的张量：
第一维度大小为1第二维度大小为1第三维度大小…
人工智能(Pytorch)搭建模型7-改造后的新型RegNet设计空间模型的搭建与训练
大家好，我是微学AI，今天给大家带来人工智能(Pytorch)搭建模型7-新型的卷积神经网络RegNet模型的搭建与训练，RegNet是一种新颖的卷积神经网络架构，它的设计理念是通过稀疏网络结构和精细的正则化来实现高效的计算和更好的泛化能力。…
基于pytorch搭建多特征LSTM时间序列预测代码详细解读（附完整代码）
文章目录 LSTM时间序列预测数据获取与预处理模型构建训练与测试 LSTM时间序列预测
对于LSTM神经网络的概念想必大家也是熟练掌握了，所以本文章不涉及对LSTM概念的解读，仅解释如何使用pytorch使用LSTM进行时间序列预测，复原使用代码实现的全流…
nn_module.py
import torch
from torch import nnclass Tudui(nn.Module):def __init__(self):super().__init__()def forward(self, input):output input 1return outputtudui Tudui()
x torch.tensor(1.0)
output tudui(x)
print(output)
机器学习优化器和SGD和SGDM实验对比（编程实现SGD和SGDM）
机器学习优化器和SGD和SGDM实验对比
博主最近在学习优化器，于是呢，就做了一个SGD和SGDM的实验对比，可谓是不做不知道，一做吓一跳，这两个算法最终对结果的影响还是挺大的，在实验中SGDM明星要比SGD效果好太多…
pytorch中Dataset、Dataloader、Sampler、collate_fn相互关系和使用说明
参考： https://blog.csdn.net/Chinesischguy/article/details/103198921
参考： https://zhuanlan.zhihu.com/p/76893455
参考：https://blog.csdn.net/lilai619/article/details/118784730
参考：https://pytorch.org/docs/stabl…
环境感知算法——4.RandLA-Net基于SemanticKITTI训练
1.前言
RandLA-Net（Random Sampling and Local Feature Aggregator Network）是一种处理点云数据的神经网络结构，采用随机采样（Random Sampling, RS）以降低点云密度并减少计算量。尽管随机采样可能会丢掉一些有用的信息…
人工智能深度学习100种网络模型，精心整理，全网最全，PyTorch框架逐一搭建
大家好，我是微学AI，今天给大家介绍一下人工智能深度学习100种网络模型，这些模型可以用PyTorch深度学习框架搭建。模型按照个人学习顺序进行排序：
深度学习模型
ANN (Artificial Neural Network) - 人工神经网络：基本…
基于卷神经网络VGG16的皮革瑕疵的识别检测（代码篇）
基于卷神经网络VGG16的皮革瑕疵的识别检测（代码篇） 文章目录 基于卷神经网络VGG16的皮革瑕疵的识别检测（代码篇）一、前言二、准备工作1、导入依赖项和数据集2、数据预处理3、可视化训练集中的图像样本三、创建VGG16网络模型四、模型训练1、定义损失函数和优化器2、训练模型…
通过shell脚本执行python程序并进行多次命令行传参
写在前面的话
这个代码功能是通过flownet2提取视频帧的光流信息，代码链接：https://github.com/NVIDIA/flownet2-pytorch，因为该开源工程代码只能指定到 .jpg .png 等视频帧的当前目录，而我们需要提取光流的视频帧在多级目录下&am…
PyTorch 深度学习 || 专题六：PyTorch 数据的准备
PyTorch 数据的准备
1. 生成数据的准备工作
import torch
import torch.utils.data as Data#准备建模数据
x torch.unsqueeze(torch.linspace(-1, 1, 500), dim1) # 生成列向量
y x.pow(3) # yx^3#设置超参数
batch_size 15 # 分块大小
torch.manual_seed(10) # 设置种子点…
分割一切？手把手教你部署SAM+LabelStudio实现自动标注
一，前言
最近Open-mmlab开源了Playground项目，将最近引起CV界轰动的SAM(Segment Anything Model)模型和Open-mmlab多个视觉框架相结合，可实现多种视觉任务的自动标注，本文将采用Open-mmlab的Playground开源项目，使用S…
深度学习——基础知识：PyTorch基础数据操作
文章目录一、张量创建1. 创建连续整数（arrange）2. 访问形状（shape），检查元素总数（numel）3. 改变形状（reshape）4. zeros，ones，标准高斯（…
Nvidia官方实现： 量化感知训练QAT和稀疏化Sparsity
1. Quantization Aware Training(QAT)
1.1 概述
https://developer.nvidia.com/blog/achieving-fp32-accuracy-for-int8-inference-using-quantization-aware-training-with-tensorrt/
https://github.com/NVIDIA/TensorRT/tree/master/tools/pytorch-quantization
TensorR…
NLLLOSS CrossEntropyLoss
今天在看论文的时候，看到了NLLLOSS函数，嗯？这是个啥，然后就查了查，原来是跟CrossEntropyLoss一样的，这里整理一下，方便以后查阅。 NLLLOSS & CrossEntropyLossNLLLOSSCrossEntropyLossLogSo…
yolo3-pytorch头盔检测-可直接运行和自己训练
yolo3-pytorch头盔检测，框架中包括已经训练好的头库模型和可供训练的数据集，可直接运行和自己训练 1.使用环境cuda 10.0，环境装好后使用nvcc -V检测，出现以下说明cuda安装完成 2.下载框架，yolo3-pytorch头盔检测
3.…
tensorrt deeplabv3+ 部署踩坑
deeplabv3模型转onnx模型
一开始我用的paddlepaddle的实现，转换成onnx模型再转trt模型推理需要2s左右 后面我用得pytorch的deeplabv3实现 https://github.com/yassouali/pytorch-segmentation 转换成onnx模型再转trt模型推理也在2s左右
后面参考tensorrtx项目和一…
【python】pytorch包（第二章）API使用与介绍
1> nn.Module （用于构建模型的底层逻辑）
介绍
nn.Module 是 torch.nn 中的一个类，是pytorch中自定义网络的基类
__init__需要调用super方法，继承父类属性和方法forward方法必须实现，用来定义网络的向前计算的过程…
基于传统图像分割算法的整理
基于传统图像分割算法的整理基于区域的分割方法概率统计方法：基于MRF的原理阈值方法双峰直方图迭代阈值分割大津法能量泛函水平集分割研一做了红外可见融合，研二想将红外可见融合用于图像分割中。于是先打算从传统图像处理分割入手开始调研。项目采用多种…
pytorch张量的.item()和.numpy()
pytorch张量的.item()和.numpy() 今天在加载一个pytorch代码时出现了在测试集上的精度计算为0的情况。于是小白我又懵圈了，代码明明是按书上敲的，怎么就是不对呢。代码本身非常简单，是一个MNIST数据集上的hello world代码。但没想到后面在测试…
numpy切片与索引的区别与组合使用
数组索引能办到的，切片都能办到，只不过索引会降维，而切片不回改变维度，代码： 纯切片：
import numpy as npboxes np.array([[1,2,3,4],[5,6,7,8],[9,10,11,10]])a boxes[:,2:3]
print(boxes.shape)
print…
pytorch之Tensor与Variable的区别
首先在变量的操作上： Tensor对象支持在原对象内存区域上修改数据，通过“”或者torch.add()方法 而Variable不支持在原对象内存区域上修改数据 Variable对象可求梯度，并且对Variable对象的操作，操作会被记录,可通过grad_fn属性查看…
pytorch的tensor与numpy数组共享值
网上的很多博客说tensor与numpy数组共享内存，这是错误的 先给结论：tensor与numpy数组共享部分内存，说共享值更严谨，且有条件 看代码： a torch.ones(2,2) b a.numpy() print(id(a)) print(id(b)) 输出： 30…
pytorch张量运算与python的区别
前面文章说的过于凌乱，这里终结一下 pytorch的tensor对象重载了 - * / 运算符，且返回一个tensor对象，也重载了“”运算符，但运算符不返回对象，而是在原对象内存区域修改内容，同样的调用torch.add()函数也可…
pytorch张量初始化问题
看代码： x torch.Tensor(5,3) print(x) print(type(x)) 结果： tensor([[2.7376e20, 6.9997e22, 1.4605e-19], [3.2465e-12, 7.7781e31, 1.8515e28], [9.1041e-12, 6.2609e22, 4.7428e30], [6.1993e22, 1.8759e28, 1.9069e-19], [1.8888e31, 4.9656e28, …
目标追踪00-00：FairMOT(实时追踪)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析fast-reid(BoT-行人重识别)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以给…
【PyTorch】从头搭建并训练一个神经网络模型（图像分类、CNN）
目录0. 前言1. 使用torchvision加载数据集并做预处理2. 定义（搭建）自己的神经网络3. 定义损失函数（Loss Function）和优化器（Optimizer）4. 训练神经网络5. 测试模型结果6. 嫌CPU太慢？换GPU训练并…
【PyTorch常用知识总结(一)】
目录0. 前言1. 常用基本操作1.1 创建tensor1.2 tensor的基本数据类型:torch.dtype1.3 改变tensor的基本数据类型：tensor.type()1.3 改变tensor形状:tensor.view()1.4 获得tensor的某个元素的值 : .item()1.5 tensor和ndarray互相转换1.5.1 tensor ---> ndarray: …
【yolact_edge】训练自己的yolact_edge模型（并部署在Jetson Xavier上）
目录0. 前言1. 整个流程2. 具体过程2.1 部署基本环境2.2 按COCO格式准备自己的数据集2.3 修改yolact_edge/data/config.py文件的配置2.3.1 修改一：增加自己的数据集定义2.3.2 修改二：在DATASET部分增加自己的数据集2.3.3 修改三：增加自己数据…
【资源分享】jetson xavier nx（aarch64）平台上的pytorch1.8.0+torchvision0.9.0（python=3.6）
前言
昨天想在jetson xavier nx上跑下yolov5，就Git了官方的代码然后开始配置环境，一开始直接 pip install -r requirements.txt 倒是可以配置好环境，但跑demo时发现帧率不到1fps，用 sudo jtop 看了下资源使用情况，发现…
目标检测0-03：YOLO V3-损失函数-史上最全
以下链接是个人关于YOLO V3所有见解，如有错误欢迎大家指出，我们第一时间纠正，如有兴趣可以加微信：17575010159 相互讨论技术。 目标检测0-00：YOLO V3目录-史上最全
一：目标边框的预测
YOLOv3网络在三个特…
pytorch的shuffle功能
import torch# 原数据
x torch.arange(0, 10)
print(x)# 生成随机索引
shuffle_indextorch.randperm(10)print(x[shuffle_index])
prometheus配置文件+标签
prometheus配置 通过这些暴露监控的指标 现在是查询不到数据的 配置文件中表示这里是抓取的目标 localhost:9090. 默认是9090/metrics。不用写metrics 表示清空文件 也可以在这里直接查看配置—看看有没有生效 监控目标
配置命令详解 web中api的作用是每次修改配置…
姿态估计1-03：FSA-Net(头部姿态估算)-白话给你讲论文-翻译无死角（1）
以下链接是个人关于FSA-Net(头部姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附…
深度学习之二手手机价格预测
文章目录特征解释代碼分布解析导包构建数据集创建模型模型训练模型预测效果特征解释
battery_power：电池一次可储存的总能量，单位为毫安时
blue ：是否有蓝牙
clock_speed：微处理器执行指令的速度
dual_sim：是否支持双…
《python深度学习》笔记（十二）：动量
1 工作原理
Momentum(动量，冲量)：结合当前梯度与上一次更新信息，用于当前更新。
动量梯度下降法是计算梯度的指数加权平均数，并利用该数值来更新参数值。 指数加权平均： 与原始的梯度下降相比，动量的梯度…
GitHub：ViT-pytorch相关学习-视觉分类方向-1
GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorch
Vision Transformer的实现，在视觉分类中只需要一个transformer就能实现SO…
PyTorch Week 5——学习率变化策略
系列文章目录
PyTorch Week 3——Optimizer优化器 PyTorch Week 3——权值初始化操作 PyTorch Week 3——nn.MaxPool2d、nn.AvgPool2d、nn.Linear、激活层 PyTorch Week 3——卷积 PyTorch Week 3——nn.Module的容器：Sequential、ModuleList、ModuleDice PyTorch …
PyTorch Week 3——权值初始化操作
系列文章目录
PyTorch Week 3——nn.MaxPool2d、nn.AvgPool2d、nn.Linear、激活层 PyTorch Week 3——卷积 PyTorch Week 3——nn.Module的容器：Sequential、ModuleList、ModuleDice PyTorch Week 3——模型创建 PyTorch Week 2——Dataloader与Dataset PyTorch We…
卷积神经网络CNN/Pytorch，如何理解特征图Feature map?
不管是在Vision Transformer还是卷积神经网络，其实，一直想明白网络层层，到底是如何对图像进行了处理？怎么，一波操作就出了特征图？怎么就实现了目标检测？人脸识别？深度估计࿱…
【深度学习笔记】-代码解读5 -pytorch自带分类模型
转载「深度学习一遍过」必修5：从头训练自己的数据无从下手？来看看这10个pytorch自带的分类模型叭_荣仔的博客-CSDN博客 1. Create Dataset & Create Dataloader 生成训练集和测试集，保存在txt文件中；相当于模型的输入…
【深度学习笔记】-代码解读1
代码借鉴-很好的入门资源推荐 (11条消息) 「深度学习一遍过」必修1：Windows10 下 Pytorch 的安装与环境配置_荣仔的博客-CSDN博客 在原博主的代码上，进一步进行注释~
from __future__ import print_function
import argparse
import torc…
pytorch 中 dim 的-1,0,1,2 的意义 详解
对于3维矩阵，dim为-1时 与 dim为2时 的效果是一样的。dim为0时 从0维度，
下图 是三维实例 图的目的是 可以由一个想象的空间。
下面代码 与上图关系不大 >>> ab torch.tensor([[[0,1,2,3],[1,2,3,4]],[[2,3,4,5],[4,5,6,7]],[[5,6,7,8],…
pip install pycuda后import tensorrt 报错ModuleNotFoundError: No module named ‘tensorrt‘
参考https://stackoverflow.com/questions/55557912/importerror-no-module-named-tensorrt
# from TensorRT Tar Package ( TensorRT-5.0.2.6/python/ )
pip3 install tensorrt-5.0.2.6-py2.py3-none-any.whl
# pycuda
pip3 install pycuda
《Pytorch 模型推理及多任务通用范式》第三节作业
1 课程学习
本节课主要对于大白AI课程：https://mp.weixin.qq.com/s/STbdSoI7xLeHrNyLlw9GOg 《Pytorch 模型推理及多任务通用范式》课程中的第三节课进行学习。
2 作业题目
必做题：
（1） 把模型改为resnet18，加载相…
【学习分享】目标检测VOC数据集数据集的处理
目录前言xml文件解析构建Dataset数据增强构建dataloader前言
从voc数据集中的xml中的信息可以看出其中的信息还是很多、很复杂的，为了后续方便使用，再这里首先对xml进行处理。
xml文件解析
如图，对于每一个xml文件，我们将它包含…
图像梯度 CAM 热力图 Pytorch代码
以Pytorch的VGG预训练模型为例，贴一下CAM(Class Activation Map)的核心代码。
img_path relephant.jpgimg Image.open(img_path).convert(RGB)
transforms torchvision.transforms.Compose([torchvision.transforms.ToTensor(),torchvision.transforms.Normaliz…
目标检测中的mAP+PyTorch实现
mAP
mAP，全称为mean Average Precision，在目标检测任务中被用于衡量检测器的好坏。本文第一部分讲解mAP的概念以及计算过程，第二部分专注于用代码实现mAP的计算。
在做目标检测时，每个类别对应有一个AP，全部类别的AP…
PyTorch基础——torch.nn.Conv2d中自定义权重
torch.nn.Conv2d函数调用后会自动初始化weight和bias，本文主要涉及 如何自定义weight和bias为需要的数均分布类型: torch.nn.Conv2d.weight.data以及torch.nn.Conv2d.bias.data为torch.tensor类型，因此只要对这两个属性进行操作即可。
【sample】 以…
目标检测0-02：YOLO V3-网络结构输入输出解析
以下链接是个人关于YOLO V3所有见解，如有错误欢迎大家指出，我会第一时间纠正，如有兴趣可以加微信：17575010159 相互讨论技术。 目标检测0-00：YOLO V3目录-史上最全
一、源码目录总览
tensorflow-yolov3-master-bk├─…
yolov5-loss源码理解
https://blog.csdn.net/xiaoleige0713/article/details/114261794
https://blog.csdn.net/chocv/article/details/117398749
class ComputeLoss:# Compute lossesdef __init__(self, model, autobalanceFalse):super(ComputeLoss, self).__init__()# 获取模型在cpu还是gpu上运…
PyTorch实现用resnet18训练cifar数据集
随便记录一下自己的学习过程 train.py
import torchfrom torch.utils.data import DataLoader
from torchvision import datasets
from torchvision import transforms
from torch import nn, optim
from lenet5 import Lenet5
from resnet import ResNet18def main():batch_s…
目标检测0-00：YOLO V3-tensoeflow论文复现及训练
以下链接是个人关于YOLO V3所有见解，如有错误欢迎大家指出，我们第一时间纠正，如有兴趣可以加微信：17575010159 相互讨论技术。 目标检测0-00：YOLO V3目录-史上最全
一：资源链接
已经有的资源，…
剧本角色情感分析赛后总结
datafountain剧本角色情感分析赛后总结模型的搭建整数与浮点数提交之争上下文的选择以及主语的加入验证集和测试集的划分问题多折模型训练及模型融合的方法融合提升的要点预训练操作对抗训练种子的固定修改代码的注意事项增强数据更换主语一些可能有效没时间尝试的方法以及一些…
模型训练参数（基于Pytorch框架）
优化器
Adam优化器
ADAM原文链接：https://arxiv.org/pdf/1412.6980.pdf Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。它的优点主要在于经过偏置校正后，每一…
NLP-D21-HINTI动手学深度学习代码实践D2
—0600早上4点多就读上论文了，还差一点，先吃个饭。
—0617看了“糖果果的陈同学”关于AI入坑的建议：python和ML和DL快学；在自己的interest上待足够长的时间。我的interest可能就是nlp和图叭，要继续往下挖掘。
–0622…
Mobile NetV2代码及总结
V1地址：https://blog.csdn.net/weixin_44543648/article/details/124417135
MobileNet V2 创新性的提出了具有线性bottleneck 的Inverted 残差块。
The Inverted residual:
Residual：标准的残差块先用1X1卷积降低通道数，再用3X3卷积获取特…
MobileNet V1代码和总结
引入深度可分离卷积代替原有的常规卷积
由于常规卷积会融合通道信息和空间信息，因此要代替常规卷积不仅要考虑轻量化还要考虑是否融合了通道信息和空间信息。 深度可分离卷积由深度卷积和点卷积构成，其中，深度卷积只考虑空间的相关性&#x…
附代码 DeConvNet
代码连接：https://github.com/csgwon/pytorch-deconvnet/blob/master/models/vgg16_deconv.py
主要内容：
该论文主要使用UnPooling层 使用原因：池化方法是为了通过提取具有单一代表性值的接受域中的激活来过滤下层的噪声激活。虽然它通过只…
MAXUNPOOL使用
将包含最大值索引的输出作为输入，MaxPool2d 并计算部分逆，其中所有非最大值都设置为零。
pool nn.MaxPool2d(2, stride2, return_indicesTrue)
unpool nn.MaxUnpool2d(2, stride2)
input torch.tensor([[[[ 1., 2, 3, 4],[ 5, 6, 7, 8],[ 9, 1…
附代码 Deeplab V3
Rethinking Atrous Convolution for Semantic Image Segmentation 论文解读
参考链接：https://zhuanlan.zhihu.com/p/61208558 https://blog.csdn.net/u010451780/article/details/109286262 https://blog.csdn.net/qq_37541097/article/details/121797301?spm100…
附代码 ResNeXt
Aggregated Residual Transformations for Deep Neural Networks论文解读
论文链接：https://github.com/prlz77/ResNeXt.pytorch
摘要：
VGG展示了一个简单而有效的策略来构建非常深的网络：堆叠相同尺寸的block，这一规则的简单性…
PSPNet: Pyramid Scene Parsing Network论文解读
Pyramid Scene Parsing Network论文解读
代码链接：https://github.com/Lextal/pspnet-pytorch
摘要：
通过金字塔池模块和所提出的金字塔场景解析网络(PSPNet)，利用基于不同区域的上下文聚合来开发全局上下文信息的能力。我们的全局先验表示…
Ubuntu16.4中使用anaconda安装TensorFlow-GPU 的简便方法
简单方法是基于anaconda中的conda的
稍微复杂点的方法点击：ubuntu16.04中安装cuda和cudnn
tensorflow、cuda、cudnn的各个版本对应关系
https://www.tensorflow.org/install/source_windows
首先在Ubuntu16.4中下载anaconda Linux版本，进入文件下…
一图看懂TensorFlow2.0系列（一） TensorFlow1.0和TensorFlow2.0究竟有什么区别？
最近集中精力把B站的课程：Google工程师亲授TensorFlow2.0给听完了，是一个大佬讲的课，大佬叫什么正十七来着，我强烈建议大家听一听，可以说是思路清晰，准备充足，代码强悍，深入浅出。。…
model.eval()和loss.backward(retain_graph = True)
1:model.eval()会固定网络的nn.BN层和nn.Dropout层，nn.BN层在train的时候针对每一个batch会计算一次均值方差，然后最后归纳整个训练集的均值方差，所以在test的时候就不能再让BN层的均值方差发生变化了。参考文章：(1条消息) Pytorc…
pytorch的new（）方法
1：创建一个新的Tensor，该Tensor的type和device都和原有Tensor一致，且无内容。
2：可以指定新创建的张量的形状，并且赋予随机值
行人重识别02-13：fast-reid(BoT)-实用技巧分享（3）-精度提升，训练超大数据集randperson
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
目标追踪00-02：FairMOT(实时追踪)-官方数据训练测试
以下链接是个人关FairMOT(多目标实时追踪) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 目标追…
【pytorch记录】自动混合精度训练 torch.cuda.amp
Nvidia 在Volta 架构中引入 Tensor Core 单元，来支持 FP32 和 FP16 混合精度计算。tensor core是一种矩阵乘累加的计算单元，每个tensor core 时执行64个浮点混合精度操作（FP16矩阵相乘和FP32累加）。 同年提出了一个pytorch 扩展ap…
从零学习pytorch 第3课 DataLoader类运行过程
课程目录（在更新，喜欢加个关注点个赞呗）： 从零学习pytorch 第1课 搭建一个超简单的网络 从零学习pytorch 第1.5课 训练集、验证集和测试集的作用 从零学习pytorch 第2课 Dataset类 从零学习pytorch 第3课 DataLoader类运行过程 从…
将KITTI数据集转化为ROS bag包——kitti2bag使用教程
将KITTI数据集转化为ROS bag包——kitti2bag使用教程
kitti2bag是把kitti的数据转换成rosbag的工具。本文主要记录下如何使用该工具，省的以后会忘掉。
1.安装kitti2bag
pip install kitti2bag注意这一步安装如果报错，建议首先尝试关闭代理，…
【pytorch 记录】pytorch的变量parameter、buffer。self.register_buffer()、self.register_parameter()
在pytorch中模型需要保存下来的参数包括： parameter：反向传播需要被 optimizer 更新的，可以被训练。buffer：反向传播不需要被 optimizer 更新，不可被训练。 这两种参数都会分别保存到 一个OrderDict 的变量中&#…
P5 用pytorch实现线性回归
PyTorch 实现的线性回归 准备数据集 用类封装设计一个模型 # 目的是为了前向传播forward，即计算y hat(预测值) 使用pytorch的API来定义 loss 和 optimizer 。 其中，计算loss是为了进行反向传播，optimizer是为了更新梯度。 训练过程 &#…
第一次使用colab的记录
首先要链接谷歌云盘,刚开始要输入验证码的
from google.colab import drive
drive.mount(/content/gdrive)更改运行目录
# 指定当前的工作文件夹
import os
os.chdir("/content/gdrive/My Drive/otto-group-product-classification-challenge")安装Pytorch以及torc…
Pytorch——基本操作、与numpy协同
import torch import numpy as np x torch.empty(5,3)#创建5行3列的0矩阵 y torch.rand(5,3)#创建5行3列的随机数矩阵 a torch.empty(5,3,dtypetorch.double)#创建5行3列的0矩阵 x.size()#打印维度 x y#基本计算一会 b torch.empty(4,4) c b.view(16)#改变形状 d b.view…
win11的ubuntu子系统 WSL2 下配置cuda、cudnn、GPU pytorch环境
1.安装、卸载Ubuntu子系统
安装：https://zhuanlan.zhihu.com/p/76032647 后面的图形化界面，可以不用安装。可以使用ssh： 参考：https://www.jianshu.com/p/79b2a7916cfd 【注意】：在每次用子系统时，用
sud…
《PyTorch深度学习实践》第五讲 用PyTorch实现线性回归
b站刘二大人《PyTorch深度学习实践》课程第五讲用PyTorch实现线性回归笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p5&vd_sourceb17f113d28933824d753a0915d5e3a90 PyTorch官网教程：https://pytorch.org/tutorials/beginner/pytorch_w…
linux中anaconda使用
1.创建环境
conda create -n Pytorch_Env python3.6
2.激活环境
source activate Pytorch_Env
3.安装包
3.1 conda方式
以pytorch为例 conda install pytorch1.5.1 查看包版本 conda search pytorch
3.2 pip方式
conda使用国内镜像安装可能会出现包不存在的情况&#x…
PyTorch安装与Tensor基本语法
2017年1月，由Facebook人工智能研究院(FAIR)基于Torch推出了PyTorch，它是一个开源的Python机器学习库，用于NLP、CV等应用程序。
优点： 1. 相当简洁且高效快速的框架，入门简单； 2. 动态计算图：提…
![安装完torch geometric，import torch_geometric然后报错：OSError: [WinError 127] 找不到指定的模块](https://img-blog.csdnimg.cn/20200715093319619.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkwMTUxOQ==,size_16,color_FFFFFF,t_70#pic_center)
安装完torch geometric，import torch_geometric然后报错：OSError: [WinError 127] 找不到指定的模块
1、出错原因：
对于import torch_geometric，然后报错：OSError: [WinError 127] 找不到指定的模块。
我出错的原因是：pytorch的版本我用的是1.4，但是我在安装scatter、sparse、cluster和spline这四个包的时候ÿ…
PyTorch深度学习实践（四）
文章目录1 pytorch的功能2 构造模型——线性模型3 代码写在前面：学习用pytorch的工具，来重现之前学习的线性模型！
1 pytorch的功能 最后得到的loss应该是一个标量，而不是一个向量。
2 构造模型——线性模型 Linear包含了权重和输…
pytorch网络的模板
目录
训练文件：train.py
引入头部文件 数据转换： 网络的调用：
损失函数和优化函数：
epoch训练： 送入网络：
反向传播更新模型参数： 保存参数：
测试
语义分割的混淆矩阵&#…
pytorch规约计算(累和、累积、均值、方差、标准差、P范数等)
目录一、什么是规约计算？1.累积、累和、所有元素的乘积、所有元素的和2.p-norm距离3.均值、中位数、众数、方差和标准差一、什么是规约计算？
一般是指分组聚合计算，常见的由均值、方差等，该计算的特点是使分组内或所有的元素参与…
一文玩转tensorrt onnx+tensorrtx
文章目录前言一、浅谈tensorrt二、tensorrtx的使用学习轨迹1.tensorrtx-初出茅庐2.崭露头角-tensorrtx3.身手不凡-ONNX4.风云叱咤-ONNX5.功成名就-ONNXtensorrtx总结前言
本文主要是针对onnx部署方式和tensorrtx（通过tensorrt网络定义API实现网络）两种方…
Anaconda下载pytorch时遇到的问题集
准备工作：下载anaconda和搭配Python环境 下载地址如下Anaconda | The Worlds Most Popular Data Science Platformhttps://www.anaconda.com/
或者自己下载自己理想的版本： Index of / 细节操作我就不复述了，网上有很多教程，本人…
kmeasns中的whiten介绍
kmeasns中的whiten介绍
whiten: 基于每个特征对一组观察值进行标准化(Normalize)。
在运行k-means之前，通过观测集的标准偏差重新缩放观测集的每个特征维度是有益的（即“白化”观测集-如在“白噪声”中，每个频率具有相同的功率）…
DL学习6--2D卷积
2D卷积层的实现
import torch
from torch import nn
def corr2d(X,K):"""计算二维互相关运算"""h,w K.shapeY torch.zeros(size(X.shape[0] - h 1 , X.shape[1] - w 1))for i in range(Y.shape[0]):for j in range(Y.shape[1]):Y[i][j] ( …
Pytorch学习之VisionTransformer图片位置编码实现
Pytorch学习之图片位置编码
前提
在VisionTransformer模型中，使用一个二维的卷积核，将图片展开成一个patch序列
patch_embed nn.Conv2d(in_channelsin_chans, out_channelsembed_dim, kernel_sizepatch_size, stridepatch_size)通过训练一个位置编码…
Python中的 关键字 标识符 规范及运用 江阳紫python
在Python中一定要注意保留字标识符应用规范
保留字
是Python语言中已经被赋予特定意义的一些单词，编程时不可以吧这些保留字作为变量，函数，类，模块和其他对象的名称来使用。 andassertbreakclasscontinuedefasdelelifelseexcept…
树莓派4B的ROS，出现missing: PY_EM错误
按照大神文章安装树莓派4B的ROS，出现missing: PY_EM错误
https://blog.csdn.net/weixin_42587961/article/details/102229510
sudo ./src/catkin/bin/catkin_make_isolated --install -DCMAKE_BUILD_TYPERelease --install-space /opt/ros/kinetic
出现错误&…
chatgpt赋能python：归一化在PyTorch中的运用
归一化在PyTorch中的运用
PyTorch是一种广泛使用的深度学习框架，它可以用于训练和预测各种类型的神经网络。在深度学习中，归一化是提高模型性能的一种常用技术。归一化是指将输入数据进行标准化或规范化处理，以确保数据的统一性和一致性。在…
【研一小白的白话理解】pytorch-CycleGAN-and-pix2pix
pytorch-CycleGAN-and-pix2pix博客简述项目整体理解GANCycle GANCGANDCGANPix2pixPix2pix简介Auto-encoderU-netPix2pix结构项目结构文件夹data文件夹models文件夹options文件夹utiltrain.pytest.py博客简述
这是我第一次在csdn上写博客，开学研一，自己开…
【跟着代码读论文】ViT（2021 ICLR）An image is worth 16x16 words: Transformers for image recognition at scale
论文： An image is worth 16x16 words: Transformers for image recognition at scale.
Github code（PyTorch Implementation）：https://github.com/lucidrains/vit-pytorch 目录
Model Overview
Github Code Usage
Procedure …
论文阅读以及复现：Shuffle and learn: Unsupervised learning using temporal order verification
目录
Summary
Details
1、Frame Sampling Strategy
2、Training & Testing
2.1 Training Details
2.1 Testing Details (Details for Action Recognition)
复现过程中遇到的问题 论文名称：Shuffle and learn: Unsupervised learning using tempora…
论文复现：【PyTorch】（C3D）Learning Spatiotemporal Features with 3D Convolutional Networks
目录
写在前面
复现论文 & 代码
遇到的问题
1、学习率的变化 & lr_scheduler 的使用
2、UCF101 Dataloader 的遍历 写在前面
本次复现使用的是 PyTorch 1.7 里对视频的处理方法来进行训练，详情参考：https://blog.csdn.net/qq_36627158/art…
论文学习：（VGG）Very Deep Convolutional Networks for Large-scale Image Recognition
目录
感想
论文链接
文章讲解
网络结构
PyTorch 框架的代码实现
疑问
dense evaluation & multi-crop evaluation
1. dense evaluation
2、 multi-crop evaluation 感想
这篇文章在网络结构上没有太大的创新点。但提出了 “ small filter 同样能提取重要特征” …
【layumi / Person_reID_baseline_pytorch】行人重识别 ReID 学习记录
学习材料：
行人重识别(ReID)概述：https://blog.csdn.net/weixin_41427758/article/details/81188164Market 1501 数据集解析：https://blog.csdn.net/ctwy291314/article/details/83544088Person_reID_baseline_pytorch：https://g…
（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第二天：加载 MNIST 数据集
1. Introduction
今天是尝试用 PyTorch 框架来跑 MNIST 手写数字数据集的第二天，主要学习加载 MNIST 数据集。本 blog 主要记录一个学习的路径以及学习资料的汇总。
注意：这是用 Python 2.7 版本写的代码
第一天（LeNet 网络的搭建…
（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第四天：单例测试
1. Introduction
今天是尝试用 PyTorch 框架来跑 MNIST 手写数字数据集的第四天，主要学习导入模型并进行单例测试。本 blog 主要记录一个学习的路径以及学习资料的汇总。
注意：这是用 Python 2.7 版本写的代码
第一天（LeNet 网络的搭建&am…
（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第三天：训练模型
1. Introduction
今天是尝试用 PyTorch 框架来跑 MNIST 手写数字数据集的第三天，主要学习训练网络。本 blog 主要记录一个学习的路径以及学习资料的汇总。
注意：这是用 Python 2.7 版本写的代码
第一天（LeNet 网络的搭建）&…
（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第一天：LeNet 网络的搭建
1. Introduction
今天是尝试用 PyTorch 框架来跑 MNIST 手写数字数据集的第一天，主要学习 LeNet 网络结构的定义。本 blog 主要记录一个学习的路径以及学习资料的汇总。
注意：这是用 Python 2.7 版本写的代码
第一天（LeNet 网络的搭建&…
基于ResNet残差卷积网络进行验证码图片识别
使用ResNet卷积网络识别验证码图片
备注：验证码训练集可以在有验证码网站获取（但前期标注比较恶心），这里使用captcha自动进行验证码图像生成，验证码为4位数字，范围0~4(范围较小方便训练)，使用p…
no module named ‘apex‘ 的解决方案
背景：部署fast-reid工程环境的时候报出ModuleNotFoundError: No module named apex’的错误
纯粹记录一下 no module named ‘apex’ 的解决方案：
1.官方安装方法（我没能成功）
git clone https://github.com/NVIDIA/apex
cd ap…
计算机视觉 —— 利用python生成OCR手写数据集
最近参加了一个OCR手写数据集识别的比赛，为了对训练数据进行扩充（包括日期和金额两部分），记录一下生成手写图像的方法。
导入库
import time
from random import choice, randint, randrange
from PIL import Image, ImageDraw,…
史上第二简单的WGAN的pytorch实现
文章目录1. GAN的缺点2. WGAN的改进3. 实验效果4. 完整代码1. GAN的缺点
上一篇讲了GAN，其实代码中展示的那种生成器G的表达式，有一个很大的缺点，就是梯度消失严重。其实除了上一篇文章写的那种表达式，还有另一种方法，…
史上第二简单的GAN讲解与pytorch实现
本来是想从网上找个GAN的代码随便看一下的，发现都多少需要点水平才能搞明白，于是我从一个辣鸡的角度出发，写了一个我觉得史上最简单最弱智的GAN（标题不让写最） 文章目录1. GAN是个什么东西2. 库函数3. 定义真实数据4. …
【pytorch】迁移学习
在很多场合中，没有必要从头开始训练整个卷积网络（随机初始化参数），因为没有足够丰富的数据集，而且训练也是非常耗时、耗资源的过程。通常，采用pretrain a ConvNet的方式，然后用ConvNet作为初始化…
深度学习——基础知识：自动求导
文章目录一. 简单例子二. 非标量变量的反向传播三. 分离计算四. 控制流的梯度计算一. 简单例子
假设我们想对函数 y2x⊤x 关于列向量 x 求导。首先，我们创建变量x并为其分配一个初始值。
import torchx torch.arange(4.0)
xtensor([0., 1., 2., 3.])requires_gra…
深度学习——基础知识：线性代数
文章目录一.标量、向量、矩阵1.标量2.向量3. 矩阵二. 张量及其算法性质三. 降维及非降维求和1.降维2.非降维求和四. 矩阵乘法1.点积2. 向量积3.矩阵乘法五. 范数一.标量、向量、矩阵
1.标量
标量由只有一个元素的张量表示。
import torchx torch.tensor([3.0])
y torch.te…
module 'torchvision.datasets' has no attribute 'VOCDetection'
module ‘torchvision.datasets’ has no attribute ‘VOCDetection’
这是因为 VOCDetection 还没有添加到最新的 release 版本的导致的错误, 我们可以通过源码的方式重新安装 torchvision. 方法如下:
首先查看当前虚拟环境的 torchvision 的安装位置:
import torchvision …
YOLOv5 + DeepSORT+Jetson Xiver NX 训练自己的数据
目录1. 配置环境1.1 软硬件环境1.2 获取代码及资源2. 代码测试3. 训练自己的数据1. 配置环境
1.1 软硬件环境
X86 平台: Ubuntu20.04 with CUDA 11.0 and cuDNN 8.6.5 显卡型号：GTX1650 Nvidia驱动：473.15 嵌入式平台：NVIDIA Jetson Xavier…
ubuntu 安装Nvidia驱动、CUDA11.1、Cudnn8.3.0和pytorch并测试YOLOv5
目录1. 硬软件配置1.1 ubuntu16.04 GTX16501.1.1 ubuntu16.04的弊病1.1.1.1 输入法 Bug1.1.1.2 Nvidia 驱动 Bug1.1.1.3 内核 Bug1.1.2 ubuntu16.04的界面丢失1.1.2.1 首次丢失界面后找回1.1.2.2 再次丢失界面后找回1.1.2.3 最后一次丢失界面再也找不回1.2 ubuntu18.04安装失败…
PyTorch官方教程(二)-DataLoadingAndProcessing
对于一个新的机器/深度学习任务, 大量的时间都会花费在数据准备上. PyTorch提供了多种辅助工具来帮助用户更方便的处理和加载数据. 本示例主要会用到以下两个包:
scikit-image: 用于读取和处理图片pandas: 用于解析csv文件
导入下面的包
from __future__ import print_funct…
行为分析(商用级别)00-目录-史上最新无死角讲解
该专栏的一系列博客，主要是对人类行为分析算法的落地（商用），如识别行为：跳舞，跑步，站立，扔垃圾，游泳等。行为分析的项目想要落地，其实还是挺困难的࿰…
6. torchvision中的ResNeXt实现
看resnext的结构图我们就知道，ResNeXt与ResNet没有什么太大的区别。比如，ResNeXt50与ResNet50都可以使用bottleneck结构，只是输出通道变一下，中间的3*3卷积改成分组卷积就行。在设计bootleneck的时候，可以传入相应的参…
实验2：Inception-resnet-v2模型的实现
本来做的实验是：inception-resnet-v2模型实现，并且用它来进行推理，但是推理的部分实在是没必要做笔记。就是《inference汇总》稍微改了一点点而已。这里就只把inception-resnet-v2模型的实现列出来了。完整的inference的代码见：D:…
【Pytorch】一文搞懂nn.Conv2d的groups参数的作用
目录1. 语言描述2. 代码验证：1. 语言描述
在Pytorch1.13的官方文档中，关于nn.Conv2d中的groups的作用是这么描述的： 简单来说就是将输入和输出的通道（channel）进行分组，每一组单独进行卷积操作࿰…
Linux下編譯安裝PyTorch源碼
Linux下編譯安裝PyTorch源碼前言Prerequisite下載PyTorch源碼編譯安裝PyTorch將編譯過程記錄到log檔設定編譯線程數前言
本篇記錄在Linux下編譯安裝PyTorch源碼的流程，以及編譯過程中電腦當機的解決方式。
Prerequisite
conda install astunparse numpy ninja py…
![【目标跟踪】pysot调试运行记录 [linux系统]](https://img-blog.csdnimg.cn/20200407120654996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzUwNDYx,size_16,color_FFFFFF,t_70)
【目标跟踪】pysot调试运行记录 [linux系统]
pysot是商汤科技开源的目标跟踪的系统，项目链接请点击，内容非常丰富，包含了多种孪生网路的跟踪框架。 具体的项目请在官网下载源代码进行查看，这里主要是针对Liunx(Centos7)系统的部署其正常运行的经验。
1 linux 调试经验 这里主…
YOLOv3 spp
github连接：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing
进入之后点pytorch_object_detection然后找到yolov3_spp。readme已经写得很详细了。
注意：
4.2 如果是你自己的数据集 .names文件需要重写。可以先建立一个txt文件 然后…
Python机器学习之游戏自动驾驶（二）
2. 如何训练网络
上一篇我们讲解了如何获取训练数据，这一篇文章讲解如何用Pytorch搭建网络并进行训练。
对了在上一篇文章中有一个重要的内容忘记说了，那就是在获取了原始数据之后我对数据进行了一些处理，那就是把所有三种操作数据的数量进…
Python机器学习之游戏自动驾驶
这个项目去年就做了但是一直没时间写个博客（主要是懒。。），现在开始更新，最终实现效果我已经在B站传了视频，感兴趣的可以去看看，本来想做一个欧卡的自动驾驶，但是电脑配置不太行，就做…
pytorch实现简单GAN
1.什么是GAN(Generative Adversarial Networks)
2014 年，Ian Goodfellow 和他在蒙特利尔大学的同事发表了一篇震撼学界的论文。没错，我说的就是《Generative Adversarial Nets》，这标志着生成对抗网络（GAN）的诞生&…
yolov1的损失函数详解
一、整体框架损失函数如下 二.损失函数具体解释 首先明确一概念，网格就是最终特征图（7*7*30）上的一个预测目标了，v1版本这样的预测结果网格一共有49个，每个维度为1*30.这30的向量含义为【x0，y0，…
目标检测理论基础：RCNN系列架构
目录
模型进化史 区域卷积神经网络R-CNN
模型结构
RCNN:selective search
RCNN:wrap RCNN:微调 RCNN:fine tuning
RCNN:分类部分
RCNN:回归部分 RCNN:测试
RCNN：性能评价
SPP-Net
SPP-Net网络 SPP-Net训练流程
SPP-Net问题
Fast R-CNN
感兴趣区域池化 …
Spconv库安装教程
最近在学习OpenPCDet，需要安装spconv库，这里总结一下安装过程。
github链接：GitHub - traveller59/spconv: Spatial Sparse Convolution in PyTorch
spconv1.0安装步骤
服务器环境
操作系统版本：Ubuntu 18.04 GPU：…
理解Batch Normalization批标准化
torch.nn.BatchNorm2d：对输入batch的每一个特征通道进行normalize
【sample】 以input为2 x 3 x 4 x 5输入为例，其中 2：batch中样本数量 3：每个样本通道数 4：每个样本行数 5：每个样本…
【论文总结】Towards Open World Object Detection（附翻译）
Towards Open World Object Detection 开放世界的目标检测
论文地址：https://arxiv.org/abs/2103.02603
代码地址：GitHub - JosephKJ/OWOD: (CVPR 2021 Oral) Open World Object Detection 新思路：在隐空间中去聚类，把不属于当前…
Similarity-Preserving Knowledge Distillation（2019ICCV）----论文阅读笔记
Similarity-Preserving Knowledge DistillationAbstract1. Introduction贡献：2. Method3. Experiments3.1. CIFAR-103.2. Transfer learning combining distillation with fine-tuning3.3. CINIC-10代码Abstract
在训练网络的过程中，语义相似的输入倾向…
安装Microsoft nni环境
安装Microsoft nni环境
1.打开Anaconda Prompt ,创建nni 环境，激活环境。
conda create -n nni python3.7 //创建环境名称为nni，python 版本为3.7输入y，回车conda activate nni //激活环境nni2.搭建nni环境：找到nni/dependencie…
保姆级python环境配置(anaconda+pycharm+cuda+cudnn+pytorch)
文章目录 前言一、如何下载anaconda1、下载网址2、版本选择3、下载流程4、注意事项 二、如何下载pycharm1、下载网址2、下载流程 三、更新NVIDIA驱动1、下载网址2、选择相应配置进行下载 四、如何下载cuda1、查看可安装的cuda版本号2、下载网址3、下载流程4、注意事项 五、如何…
pytorch模型转keras模型
1. 概述
使用pytorch建立的模型，有时想把pytorch建立好的模型装换为keras，本人使用TensorFlow作为keras的backend
2. 依赖
依赖的标准库：
pytorchkerastensorflowpytorch2keras
3. 安装方式
git clone https://github.com/nerox8664/py…
(Pytorch)基于SSD-MobileNet的安全帽识别
一、问题
女朋友图像处理大作业是要求做安全帽识别、口罩识别、姿态识别、自然场景文字识别等，选口罩识别的人多，就选择安全帽识别吧。 二、分析
利用ssd-mobilenet来做安全帽检测，正好数据集也是voc格式的，只需要配置中更改分类…
torch.randn(),torch.view()
1.torch.randn()
#表示生成10行1列的矩阵
>>> print(torch.randn(10))
tensor([ 0.2404, 0.1553, 0.9415, -1.4893, -0.5702, 0.1510, -1.9383, -1.3285,1.9475, 0.5191])#表示生成3行7列的矩阵
>>> print(torch.randn(3,7))
tensor([[-0.0585, 0.7210…
yolo3目标检测平台
yolo3实现思路
一、预测部分
1、主题网络darknet53介绍 YoloV3所使用的主干特征提取网络为Darknet53，它具有两个重要特点： 1、Darknet53具有一个重要特点是使用了残差网络Residual，Darknet53中的残差卷积就是首先进行一次卷积核大小为3X3、…
Paying More Attention to Attention (ICLR 2017)------阅读笔记
PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFERPaper and CodeSUGGESTIONAbstract1 Introduction2 RELATED WORK3 ATTENTION TRANSFER3.1 ACTIVATION-BASED ATTENTION TRANSFER三种空间注意力映射函…
Pytorch学习系列之矩阵运算
Pytorch矩阵运算
此文章随着博主的学习而持续更新
主要是总结在阅读代码时遇到的tensor计算问题
对角矩阵
获取矩阵对角元素
x torch.randn(3, 3)
y torch.diagonal(x)
print(y)"""
tensor([[ 0.7220, -1.8137, 0.5217],[ 0.5010, -0.0773, 0.4702],[ …
《动手学深度学习》13.2 微调之训练CAFIR-10数据集
导入功能包
import torch
import torchvision
from torch import nn
import MyFunction as MF
import sys
import datetime
import time
from tqdm import tqdm获取CAFIR-10数据
# 定义获取CIFAR-10数据集的函数
num_workers 0 if sys.platform.startswith("win")…
《动手学深度学习》13.2 微调
案例演示微调：热狗识别
导入功能包
import os
import torch
import torchvision
import matplotlib.pyplot as plt获取数据集 我们使用的热狗数据集（已上传博客资源）是从网上抓取的，它含有1400张包含热狗的正类图像，…
【DataWhales】深入浅出Pytorch-第三章/第四章
【DataWhales】深入浅出Pytorch-第三章/第四章第三章： Pytorch 的主要组成模块3.1 神经网络学习机制和深度学习在实现上的特殊性3.1.1 神经网络学习机制3.1.2 深度学习在实现上的特殊性3.2 PyTorch深度学习模块第四章 基础实战——FashionMNIST时装分类4.1 基本配置…
《动手学深度学习》7.4. 含并行连结的网络（GoogLeNet）
《动手学深度学习》7.4. 含并行连结的网络（GoogLeNet）
1.训练部分
导入功能包
import torch
from torch import nn
from torch.nn import functional as F
from torchsummary import summary
import MyFunction as MFInception块的定义
# Inception块…
《动手学深度学习》7.3网络中的网络（NiN）
《动手学深度学习》7.3网络中的网络（NiN）
导入功能包
import torch
from torch import nn
import MyFunction as MF参数设置
lr, num_epochs, batch_size 0.1, 10, 128读取数据
device torch.device("cuda" if torch.cuda.is_available(…
《动手学深度学习》6.6卷积神经网络（LeNet）
《动手学深度学习》6.6卷积神经网络（LeNet）
导入功能包
import torch
from torch import nn
# MyFunction为自己创建的包
import MyFunction as MF参数设置
batch_size 256
lr 0.9
num_epochs 10读取数据
train_iter, test_iter MF.load_data_fa…
![[教学]cyclegan风格迁移_斑马to白马_油画风格_苹果橘子等](https://img-blog.csdnimg.cn/7ded6d1055134fe5b73a57abd8f7666e.jpeg)
[教学]cyclegan风格迁移_斑马to白马_油画风格_苹果橘子等
上效果图： 01train_cyclegan.py的前几行是配置参数，我们可以自行修改
import torch
import sys
from torch.utils.data import DataLoader
import torch.nn as nn
import torch.optim as optim
from tqdm import tqdm
from torchvision.utils import save_image
import ran…
【教程】mask-rcnn pytorch版本训练自己的数据集-猫狗识别
首先是数据集的准备，这里以猫狗识别为例子 使用labelme对图片进行打标签，生成json格式的图片，而且labelme的版本尽量新一点，老版本 比如3.16.7版本 对后面生成SegmentationClassPNG 和 SegmentationObjectPNG会有问题。
直接在命令行输入labelme即可
labelme 在使用label…
运行ObjectDetection-OneStageDet里的make时报错
按照腾讯优图实验室开源的One-Stage目标检测项目里的教程进行复现时，进行到Preparation里的make -j32时报错 raise EnvironmentError(The nvcc binary could not be located in your $PATH. Either add it to your path, or set $CUDAHOME) 看了下应该是环境变量有问…
pytorch-图像分类算法与小程序开发
先上结果图，免得还没看就跑了 这是小程序显示的界面，上半部分通过调用手机摄像头，将图像传给后端算法，算法将识别结果，放回到这个页面黄色框这个部分。那么这个算法是怎么实现的呢。
图像分类算法
图像分类常用的卷积神经网络算是人工智能CV篇的入门
常用的算法比如le…
5003笔记 Statistic Chapter1-Basics of statistical computing and visualization
课程大纲 测评 Population & Sample
Parameters & Statistics Numeric & Graphics R 语言 Classical data type in R
详解PyTorch中的交叉熵！
最近在做交叉熵的魔改，所以需要好好了解下交叉熵，遂有此文。
关于交叉熵的定义请自行百度，相信点进来的你对其基本概念不陌生。
推荐原文链接（排版精美）：https://mp.weixin.qq.com/s/94qCM6Kim0UaqAr6HaG…
用ProGAN生成高清影像，手把手教程！
ProGAN的结构
ProGAN也是用于图像生成的一种生成对抗网络。在原始GAN 以及一些GAN变体中，都是对搭建好的整个网络(包括生成器和判别器)直接进行训练。而ProGAN的独特之处在于采用了逐步增长的方式，如下图所示： 具体来说，生成器…
tensorflow+pytorch安装
想配置一个tensorflowpytorch的环境，辛辛苦苦把tf配置好了结果pytorch又用不了了，真是按下葫芦起了瓢。 安装版本如下：
tensorflow-gpu 2.4.1pytorch 1.7.1torchvision 0.8.2torchaudio 0.7.2cudatoolkit 10.1cudnn 7.6.5
Tensorflow
我用…
Pytorch的一些小问题
1、ValueError: optimizer got an empty parameter list
实质上就是**model.parameters()**为空
2、AttributeError: ‘DRPGAT’ object has no attribute ‘to’
说明模型DRPGAT初始化的时候没有继承module，原来我的初始化是：
class DRPGAT(object)…
ema权重平均深度学习使用
ema权重平均pytorch实现（参照网上大神的代码）
class EMA():def __init__(self, decay):self.decay decayself.shadow {}def register(self, name, val):self.shadow[name] val.clone()def get(self, name):return self.shadow[name]def update(self,…
一文掌握 MobileNetV3 在 TorchVision 中的实现细节
TorchVision v0.9 中新增了一系列移动端友好的模型，可用于处理分类、目标检测、语义分割等任务。
本文将深入探索这些模型的代码，分享值得注意的实现细节，解释这些模型的配置和训练原理，并解读模型优化过程中官方做出的重要权衡。…
pytorch调用fgm对抗过程注意事项
class FGM():def __init__(self, model):self.model modelself.backup {}def attack(self, epsilon0.5, emb_namebertembeddings.word_embeddings_layer.weight):# emb_name这个参数要换成你模型中embedding的参数名for name, param in self.model.named_parameters():if par…
torch.tensor和torch.Tensor的区别
torch.tensor()和torch.Tensor()的区别
一、torch.tensor( )
torch.tensor(data, dtypeNone, deviceNone, requires_gradFalse, pin_memoryFalse) → Tensor
torch.tensor( )是一个function，在pycharm使用的时候会有标志 在使用的时候根据传入的data进行建造一个…
pytorch迁移学习中对模型进行结构上的一些修改
import torchvision
import torch
import torch.nn as nn
import torchvision.models as models
from torchvision.models import resnetmodelmodels.resnet50(pretrainedTrue)
#提取fc层中输入的特征维度
fc_featuresmodel.fc.in_features
#修改最后的分类层的分类数量
model.…
pytorch在定义网络时需要注意的一些
torch.nn仅支持小批量。 整个torch.nn包仅支持作为微型样本而不是单个样本的输入。
例如，nn.Conv2d将采用nSamples x nChannels x Height x Width的 4D 张量。
如果您只有一个样本，只需使用input.unsqueeze(0)添加一个假批量尺寸。
要反向传播误差&am…
用gdb 调试c++程序(pytorch c++源码）
用gdb 调试c程序(pytorch c源码）
ubuntu 上面应该已经有gdb了 如果当前目录下有一个hello.cpp程序
g -g hello.cpp -o hello
gdb hello
(gdb) b 1相当于在第一行打了断点 b is short for breakpoint
(gdb)run
Breakpoint 1, main () at hello.cpp:1接下来我用到的…
学习pytorch中的一些笔记(2)
学习pytorch中的一些笔记(2)
一、torch.expand(*sizes)
torch.expand()用来扩展某张量某维度的值，先看代码示例：
import torch
x torch.tensor([[1, 2, 3]])
print(x.size())
y x.expand(2,3)
print(y)
print(y.size())输出：
torch.Size…
学习pytorch中的一些笔记(1)
学习pytorch中的一些笔记(1)
一、torch.Size
torch.Size() 查看当前Tensor的大小，即维度。 在官方教程还有一句话，我觉得可能有用： torch.Size是个元组，元组的操作都可以用
len(torch.Size([5,3]))输出：
2torch.S…
【深度学习框架体系的学习】pytorch
如何设计一个具有通用性的程序框架？一切都要基于长期的阅读手打思考
1.将繁琐且重复的事情做成高内聚的黑箱 2.将问题模块化：处理数据，构建网络，损失函数，优化函数，模型保存。五大模块 自己从0构建 1).文件…
【研一小白论文精读】《COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction》
基于对比预测的缺失视图聚类方法
多模态的背景
现实生活中的数据大多以多个模态或者多个视图的形式存在，举一个例子：比如不同类型的摄像机拍摄的同一个物体的图片，如rgb，深度图等，或者同一个实体的文本或图片的描述&…
【项目复现和部署】yolov5
目标检测
annie
得先安装scoop，再安装annie。 在github上下载annie 1.：powershell 2.Invoke-Expression (New-Object System.Net.WebClient).DownloadString(‘https://get.scoop.sh’) 3.cmd：scoop install annie 4.在哪个文件夹里使用ann…
Python爬虫第二次学习打卡
参加活动：Datawhale Python爬虫第二次笔记打卡 开源链接
2.1 bs4
2.2 Xpath
2.1 bs4
2.1.1 入门
1.Beautiful Soup ：是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。 2.基于HTML DOM 的，会载入整个文档…
图神经网络：(图像分割)3D人物图像分割
文章说明： 1)参考资料：PYG的文档。超链。斯坦福大学的机器学习课程。超链。(应该要挂梯子)。博客原文。超链。(应该要挂梯子)。原文理论参考文献。超链。提取码8848。 2)我在百度网盘上传这篇文章jupyter notebook和预训练模型。超链。提取码8848. 3)博主…
1. Resnet网络详解
一、ResNet网络介绍
ResNet是2015年有微软实验室提出的，题目： 作者是何凯明等，这四个都是华人。
当年ResNet斩获了当年各种第一名。基本上只要它参加的比赛，全都是第一名。 我们来看一下ResNet 34层网络的结构图（34-…
Windows 10 安装cuda、PyTorch
1、安装cuda
官网链接：https://developer.nvidia.com/cuda-downloads
根据需要进行选择，这里安装11.3，具体选择见下图，选择本地安装。 下载完成后，双击exe文件。 选择精简安装 打开cmd输入nvcc --version，…
torch.nn.functional.pad
参数pad需要输入一个元组，元组中元素个数小于等于input维度的2倍。如：input是2维的，则pad可以最多有4个元素；input是5维的，pad可以最多有10个元素. torch.nn.functional.pad()会依照从后往前的顺序依照pad元祖的值对in…
实践教程｜基于 pytorch 实现模型剪枝
PyTorch剪枝方法详解，附详细代码。 一，剪枝分类 1.1，非结构化剪枝 1.2，结构化剪枝 1.3，本地与全局修剪 二，PyTorch 的剪枝 2.1，pytorch 剪枝工作原理 2.2，局部剪枝 2.3&#…
【已解决】onnx 12 中没有hardswish opt的问题
pytorch转onnx的过程中，模型的卷积层激活函数用的是hardswish，转换时报错：
RuntimeError: Exporting the operator hardswish to ONNX opset version 12 is not supported. Please open a bug to request ONNX export support for the missi…
Pytorch的Dataloader报错：TypeError: batch must contain tensors, numbers, dicts or lists
具体报错：
TypeError: batch must contain tensors, numbers, dicts or lists; found <class PIL.Image.Image>loader的代码：
dataloadertorch.utils.data.DataLoader(dataset,batch_size1,shuffleTrue)
表面上看这个代码没有问题，实…
cv_baseline——Alexnet
cv_baseline——Alexnet 文章目录cv_baseline——Alexnet一、inference二、可视化的代码三、train_alexnet一、inference
下面是比较清晰的一个inference的以及可视化的思路。
函数主要有三个
1、标签下载的处理 load_class_names
2、 图片的下载的处理 process_img
3、模…
【pytorch】cuDNN error: CUDNN_STATUS_INTERNAL_ERROR终终终终于解决了！
这是个曲折的过程，主要解决cuDNN error: CUDNN_STATUS_INTERNAL_ERROR问题。 目录【2021-4-10】以为解决了其实并没有【2021-4-14更新】不行了【2021-4-16更新】又行了【2021-4-21更新】又不行了，最终解决【2021-4-10】以为解决了其实并没有
记录一个困…
Ubuntu20.04快速切换多个版本的Pytorch和CUDA
目录一. 安装CUDA-10.2二. 配置.bashrc文件三. 设置软链接一. 安装CUDA-10.2
首先安装驱动,安装驱动参考上一篇. 接下来进行CUDA-10.2的安装,使用以下命令可以忽略已经安装驱动的问题:
sudo sh cuda_10.2.89_440.33.01_linux.run --override安装成功:
二. 配置.bashrc文件 …
docker 入门教程（pytorch）
1. docker file的编写逻辑
dockerfile 编写 from 的可以直接pull下来
demo
LABEL maintainer"yjm"
FROM pytorch/pytorch:1.8.0-cuda11.1-cudnn8-devel
COPY requirement.txt /tmp/
RUN pip3 install --requirement /tmp/requirements.txtdocker file的逻辑:
2.…
RNN实战之二 -------------------------------------RNN 实现机场流量预测（序列预测）
对序列数据而言，因为它有着时序性，即前面的数据对后面数据 有影响，所以LSTM的记忆性能够适用于这种场景。
数据集链接：link.
代码中有详细的注释，可以帮助大家理解。
import torch
import matplotlib.pyplot as plt…
循环神经网络的PyTorch实现
1.PyTorch的循环网络模块
1 标准RNN
在PyTorch中的调用也非常简单，使用 nn.RNN（）即可调用，下 面依次介绍其中的参数。
input_size 表示输入的特征维度hidden_size 表示输出h的特征维度num_layers 表示网络层数，默认…
基于PyTorch搭建CNN实现视频图片动作分类任务
1 前言
对视频数据的处理是计算机视觉领域非常重要的一部分内容。视频主要是由大量的视频帧图像所构成。相比于单一的图像，视频中多出了时间维度的信息，物体在先后帧中出现的顺序和状态等信息都非常关键。同时视频数据的数据量更大，而且相邻…
观察torchvision自带的alexnet模型
1. pytorch中AlexNet模型的实现与原始论文的不同
pytorch中实现的AlexNet，有些不同的地方。需要注意的事项如下：
(1)论文中图像是224*224*3的RGB图像。但是模型接受的是4D的张量。所以，必须将图像变换为4D的张量，多出来的一维是…
《PyTorch深度学习实践》第十一讲 循环神经网络（基础篇 + 高级篇）
b站刘二大人《PyTorch深度学习实践》课程第十一讲循环神经网络（基础篇 高级篇）笔记与代码： https://www.bilibili.com/video/BV1Y7411d7Ys?p12&vd_sourceb17f113d28933824d753a0915d5e3a90 https://www.bilibili.com/video/BV1Y7411d7Y…
第二十三章 原理篇：Pix2Seq
大夏天我好像二阳了真是要命啊。 现在找到工作了，感觉很快乐，但是也有了压力。 《论你靠吹牛混进公司后该怎么熬过试用期》 希望自己能保持学习的习惯！加油！ 参考教程： https://arxiv.org/pdf/2109.10852.pdf https://…
【torch.nn.Fold】和【torch.nn.Unfold】
文章目录 torch.nn.Unfold直观理解官方文档 toch.nn.Fold直观理解官方文档 torch.nn.Unfold
直观理解
torhc.nn.Unfold的功能： 从一个batch的样本中，提取出滑动的局部区域块patch（也就是卷积操作中的提取kernel filter对应的滑动窗口&#…
PyTorch翻译官网教程-FAST TRANSFORMER INFERENCE WITH BETTER TRANSFORMER
官网链接
Fast Transformer Inference with Better Transformer — PyTorch Tutorials 2.0.1cu117 documentation
使用 BETTER TRANSFORMER 快速的推理TRANSFORMER
本教程介绍了作为PyTorch 1.12版本的一部分的Better Transformer (BT)。在本教程中，我们将展示如…
Ubuntu下跑Aplaca报错：torch.cuda.0utofMemoryError: CUDA out of memory.解决办法（查看CUDA占用情况清除GPU缓存）
缓存不够！！！！并非内存容量不够
错误提示： torch.cuda.0utofMemoryError: CUDA out of memory.Tried to allocate 2.00 MiB (PU 0; 23.69 GiB total capacity; 237 BiB already allocated; 18.38 MiB fre; 2.50 GiB re…
Pytorch学习率更新
如需了解示例完整代码及其后续内容请访问: https://www.emperinter.info/2020/08/01/learning-rate-in-pytorch/ 缘由 自己在尝试了官方的代码后就想提高训练的精度就想到了调整学习率，但固定的学习率肯定不适合训练就尝试了几个更改学习率的方法，但没想…
图像分类模型批量预测图像到对应分类标签文件夹代码
import jsonimport torch
from PIL import Imagefrom model_v3 import mobilenet_v3_largefrom torchvision import transformsdef main():device = torch.device("cuda:0" if torch.cuda.is_available
机器学习深度学习——常见循环神经网络结构（RNN、LSTM、GRU）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——RNN的从零开始实现与简洁实现 📚订阅专栏：机器学习&&深度学习 希望文章…
什么是分支模式 ? 各(类)分支正确的使用方式
什么是分支模式 ? 本节内容详细介绍分支模式下，各(类)分支的使用方式。在使用分支模式过程中用户可以只需要关心集成和发布哪些 feature 分支，而对 release 分支创建和管理、分支合并等一系列工作，可以托付给云效 Flow来 完成。能够很好的节…
计算机视觉：2.2、第一个图像分类器
一、第一个图像分类器
机器学习算法例如K-NN、SVM等，即便是卷积神经网络也需要使数据集中的数据有固定的向量大小，对于图像来说就是要求图像的尺寸一致。
有许多改变图像大小的方法，从保持图像适应比的高级方法 到 压缩\拉伸图像的简…
Lnton羚通关于【PyTorch】教程：torchvision 目标检测微调
torchvision 目标检测微调 本教程将使用Penn-Fudan Database for Pedestrian Detection and Segmentation 微调 预训练的Mask R-CNN 模型。 它包含 170 张图片，345 个行人实例。
定义数据集 用于训练目标检测、实例分割和人物关键点检测的参考脚本允许轻松支持添加…
计算机视觉：1.3、图像基础
计算机视觉：三、图像基础
本文我们将回顾构建图像的基础元素：像素。 什么是像素？ 每个图像都由一组像素构成，像素是图像原生的基础构件，没有比像素更好的粒度(granularity)了。 一般来说，我们认为像素是图…
分析您的 PyTorch 模块
分析您的 PyTorch 模块
PyTorch 包含一个探查器 API，可用于识别代码中各种 PyTorch 操作的时间和内存成本。 Profiler 可以轻松集成到您的代码中，结果可以打印为表格或在 JSON 跟踪文件中显示。
注意
Profiler 支持多线程模型。 Profiler 与该操作在同…
pytorch中的dataloader 、iterationloader、num_works、dp、ddp
Dataloader 参数设置示例：
Dataloader(dataset, num_workers8, pin_memoryTrue)Dataloader的num_worker设置多少才合适，这个问题是很难有一个推荐的值。有以下几个建议：
num_workers0表示只有主进程去加载batch数据，这个可能会是…
yolov5_deepsort目标跟踪
前面写了yolov5_deepsort的人流量计数，还没介绍目标跟踪，就先计数了，感觉有些人会吃不消，所以这篇来介绍下yolov5_deepsort目标跟踪
先是安装pytorch
我前面的博客有详细介绍如何安装
在win10上安装pytorch-gpu版本
然后在代码里面安装配套
pip install -r requiremen…
在win10上安装pytorch-gpu版本
目录 1.1 anaconda安装 1.2 pytorch-gpu安装 1.1 Anaconda安装
anaconda的安装请看我之前发的tensoflow-gpu安装，里面有详细的安装过程，这里不做重复描述，传送门
1.2 pytorch-gpu安装
anconda下载完成后，打开anaconda prompt,输入
conda create -n pytorch-gpu pyt…
过拟合，欠拟合，梯度消失，梯度爆炸
过拟合和欠拟合
我们将探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称…
深度学习softmax与多层感知机分类模型
softmax
简单的分类问题
一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为x1,x2,x3,x4x_1,x_2,x_3,x_4x1,x2,x3,x4。真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3y_1,y_2,y_3y1,…
Q-learning实战
Q-learning
Q-learning是强化学习中一种入门级的经典算法。基本思想是对所有状态下的对应动作进行打分，依据最高的分值选择动作。打分的依据是Q表，其中存储了所有状态下动作的分值，Q表通过数据训练而来。Q-learning的优势在于融合了动态规划…
MNIST手写数字识别（pytorch）
介绍
MNIST手写数据集共包含70000张手写数字图片以及对应标签，测试集部分为60000张，剩余10000张为测试集，在pytorch中可直接进行下载。 输入图片大小为64x1x28x28，首先经过一次卷积图片大小变为64x6x30x30，最大池化后…
告别代码复制粘贴，傻瓜式提取 PyTorch 中间层特征
内容导读：特征提取是图像处理过程中常需要用到的一种方法，其效果好坏对模型的泛化能力有至关重要的影响。 特征提取（Feature extraction）在机器学习、模式识别和图像处理中应用广泛。
它从初始的一组测量数据开始，建构…
PyTorch 1.8 发布，支持 AMD，优化大规模训练
内容导读 北京时间 3 月 4 日，PyTorch 官方博客发布 1.8 版本。据官方介绍，新版本主要包括编译器和分布式训练更新，同时新增了部分移动端教程。 本文首发自微信公众号：PyTorch 开发者社区
整体来看，本次版本更新涵盖 …
torch.bmm()验证
官网的说明
torch.bmm(input, mat2, outNone) → Tensorbmm的输入必须是3维的。其他维度会出错:
import torch
a torch.Tensor(4,2,2,3)
b torch.Tensor(4,2,3,5)
c torch.bmm(a,b)Traceback (most recent call last):File "/Users/XXX/Desktop/MyCode/xxx.py",…
【深度学习注意力机制系列】—— CBAM注意力机制（附pytorch实现）
CBAM（Convolutional Block Attention Module）是一种用于增强卷积神经网络（CNN）性能的注意力机制模块。它由Sanghyun Woo等人在2018年的论文[1807.06521] CBAM: Convolutional Block Attention Module (arxiv.org)中提出。CBAM的主…
【深度学习注意力机制系列】—— SCSE注意力机制（附pytorch实现）
SCSE注意力模块（来自论文[1803.02579] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks (arxiv.org)）。其对SE注意力模块进行了改进，提出了cSE、sSE、scSE三个模块变体，这些模块可以增…
【深入了解pytorch】PyTorch扩展：如何使用PyTorch的扩展功能
【深入了解pytorch】PyTorch扩展：如何使用PyTorch的扩展功能 PyTorch扩展：展示如何使用PyTorch的扩展功能1. 自定义损失函数2. 自定义数据加载器3. 自定义优化器总结PyTorch扩展：展示如何使用PyTorch的扩展功能
PyTorch作为一个开源的深度学习框架，在研究和应用领域广受欢…
卷积神经网络模型中的数据尺寸变换
卷积神经网络模型中的数据尺寸变换
DateAuthorVersionNote2023.08.16Dog TaoV1.0完成文档初稿（英文） 文章目录 卷积神经网络模型中的数据尺寸变换张量类型数据Brief introductionMeanings of the dimension 张量的维度变换方法tensor.squeeze()tensor.u…
深度学习技巧应用25-深度学习在的常见问题与使用技巧，让大家更容易理解深度学习，通过面试
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用25-深度学习在的常见问题与使用技巧，让大家更容易理解深度学习。在面对AI领域公司面试的过程中，往往面试官会针对AI领域或者算法实践进行提问，这些问题可能大家知…
pytorch 线性层Linear详解
线性层就是全连接层，以一个输入特征数为2，输出特征数为3的线性层为例，其网络结构如下图所示： 输入输出数据的关系如下： 写成矩阵的形式就是： 下面通过代码进行验证：
import torch.nn as nn
…
时序预测-Informer简介
文章目录 Informer介绍1. Transformer存在的问题2. Informer研究背景3. Informer 整体架构3.1 ProbSparse Self-attention3.2 Self-attention Distilling3.3 Generative Style Decoder 4. Informer的实验性能5. 相关资料 Informer介绍
1. Transformer存在的问题
Informer实质…
win10 anaconda pytorch avalanche-lib 实验步骤记录
conda create --name test_python3.10
conda activate test_python3.10
配置conda国内源(北外)
conda install pytorch torchvision torchaudio cpuonly -c pytorch
pip3 install avalanche-lib -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install jupyter
jupyte…
【环境配置】Windows 10 安装 PyTorch 开发环境，以及验证 YOLOv8
Windows 10 安装 PyTorch 开发环境，以及验证 YOLOv8
最近搞了一台Windows机器，准备在上面安装深度学习的开发环境，并搭建部署YOLOv8做训练和测试使用； 环境： OS： Windows 10 显卡： RTX 3090 安…
利用文本探测（text-detection)手写一个文本区域mask的生成
今天遇到这样一个需求：需要针对用户输入的图片生成对应文本区域的mask，按理说这应该是一个很容易实现的问题。 初步设想 要生成对应区域的mask，首先要找到文本所在的位置，针对不同的图片，文本位置自然是不同的…
pytorch DataLoader实现miniBatch（未完成）
书接上回《pytorch 搭建神经网络最简版》上次并未用到miniBatch，一次性将全部的数据输入进行训练。
这次通过DataLoader实现miniBatch
import torch
import numpy as np
from torch.utils.data import Dataset, DataLoaderclass DiabetesDataset(Dataset):def __i…
无脑入门pytorch系列（五）—— nn.Dropout
本系列教程适用于没有任何pytorch的同学（简单的python语法还是要的），从代码的表层出发挖掘代码的深层含义，理解具体的意思和内涵。pytorch的很多函数看着非常简单，但是其中包含了很多内容，不了解其中的意思…
pytorch的模块使用：线性模型（未完成）
首先上代码，注意代码里的注释，一般的在注释里说明：
import torch# 注意这里必须写成两维的矩阵
x_data torch.Tensor([[1.0], [2.0], [3.0]])
y_data torch.Tensor([[2.0], [4.0], [6.0]])class LinearModel(torch.nn.Module):def __init_…
解决报错 return _legacy_load(opened_file, map_loca result = unpickler.load() ModuleNotFoundError: No mo
报错
File "app.py", line 10, in <module>model inferences()File "/home/michael/Program/Github-chl/Flask_USCV/inference.py", line 15, in __init__self.bsuvnet torch.load(model_path)File "/home/michael/anaconda3/envs/pytorch1.…
openpose姿态估计【学习笔记】
文章目录 1、人体需要检测的关键点2、Top-down方法3、Openpose3.1 姿态估计的步骤3.2 PAF（Part Affinity Fields）部分亲和场3.3 制作PAF标签3.4 PAF权值计算3.5 匹配方法 4、CPM（Convolutional Pose Machines）模型5、Openpose5.1 …
最新版本的Anaconda环境配置、Cuda、cuDNN以及pytorch环境一键式配置流程
本教程是最新的深度学习入门环境配置教程，跟着本教程可以帮你解决入门深度学习之前的环境配置问题。同时，本教程拒绝琐碎，大部分以图例形式进行教程。这里我们安装的都是最新版本~ 文章目录 一、Anaconda的安装1.1 下载1.2 安装1.3 环境配置…
pytorch框架下训练自己的数据集【二】
语义分割代码源码路径：https://github.com/yassouali/pytorch_segmentation
此文为记录训练自己的模型的过程以及过程中遇到的一些问题，目前由于pytorch框架所训练的模型在平台移植上兼容性不是很好，后续还会带大家一起做模型转换和c代码调用…
pytorch框架下语义分割训练实践（一）
源码地址：
https://github.com/yassouali/pytorch_segmentation
目录
环境准备
数据库下载
开始训练 环境准备
torch1.1.0 torchvision0.3.0 tqdm4.32.2 tensorboard1.14.0 Pillow6.2.0 opencv-python4.1.0.25
这里面几个只有torch比较大ÿ…
中文生成模型T5-Pegasus详解与实践
我们在前一篇文章《生成式摘要的四篇经典论文》中介绍了Seq2seq在生成式研究中的早期应用，以及针对摘要任务本质的讨论。
如今，以T5为首的预训练模型在生成任务上表现出超出前人的效果，这些早期应用也就逐渐地淡出了我们的视野。本文将介绍T…
pytorch3d成功安装
一、pytorch3d是什么？ PyTorch3D的目标是帮助加速深度学习和3D交叉点的研究。3D数据比2D图像更复杂，在从事Mesh R-CNN和C3DPO等项目时，我们遇到了一些挑战，包括3D数据表示、批处理和速度。我们开发了许多有用的算子和抽象…
Pytorch模型存储心得小记
本文持续更新使用Pytorch存储模型的心得小记。 概览1. 推荐torch.save(model.state_dict(), ‘dir’)而不是torch.save(model, ‘dir’)2. model.state_dict()和model.named_parameters()并不仅仅是数据类型不同1. 推荐torch.save(model.state_dict(), ‘dir’)而不是torch.sav…
PyTorch从零开始实现ResNet
文章目录 代码实现参考 代码实现
本文实现 ResNet原论文 Deep Residual Learning for Image Recognition 中的50层，101层和152层残差连接。 代码中使用基础残差块这个概念，这里的基础残差块指的是上图中红色矩形圈出的内容：从上到下分别使用…
CoordAtt注意力网络结构
源码：
import torch
import torch.nn as nn
import math
import torch.nn.functional as Fclass h_sigmoid(nn.Module):def __init__(self, inplaceTrue):super(h_sigmoid, self).__init__()self.relu nn.ReLU6(inplaceinplace)def forward(self, x):return self.…
PINN神经网络源代码解析(pyTorch)
参考文献
PINN(Physics-informed Neural Networks)的原理部分可参见https://maziarraissi.github.io/PINNs/
考虑Burgers方程，如下图所示，初始时刻u符合sin分布，随着时间推移在x0处发生间断. 这是一个经典问题，可使用pytorch通过…
PyTorch基础（16）-- torch.gather()方法
一、前言
在实现DQN的过程中，torch.gather()这个方法引起了我的注意，原因有二：1）这个函数在我硕士期间很少遇见，用到的次数更是少之又少；2）torch.gather()这个方法是如何使用的呢，以…
MMCV+pytorch1.10+cu11.x离线安装踩坑记录
MMCVubuntu20.04pytorch1.10cu11.3/cu11.4安装踩坑记录 环境配置1. pytorch1.10.x 安装2. MMCV 安装3. MMPose相关安装、配置4. 问题记录1. AssertionError: MMCV1.7.1 is used but incompatible. Please install mmcv>2.0.0rc4, <2.1.0.2. NameError: name init_detecto…
PyTorch的安装（ANACONDA+PyCharm）
文章目录 一、概念1.什么是PyTorch2.什么是ANACONDA3.什么是PyCharm 二、PyTorch的安装1.安装ANACONDA和PyCharm（一路Next即可）2.将ANACONDA与pycharm进行配置3.安装pytorch环境 一、概念
1.什么是PyTorch
PyTorch是一个开源的机器学习框架，…
vscode+anaconda+pytorch报错ModuleNotFoundError: No module named ‘torch‘
问题描述
在搭建pytorch环境时，已经在终端、pycharm中正常运行torch。但是在vscode中配置python path依然无法正常运行，提示vscode ModuleNotFoundError: No module named ‘torch’ 在这里插入图片描述 解决
先禁用扩展code runner看看是否能正常运行…
Pytorch搭建ResNet（附完整代码）
Pytorch搭建ResNet
1. 问题描述
1.1 ResNet
卷积神经网络逐渐取代传统算法，成为处理计算机视觉任务的核心，ResNet[1]的提出更是CNN图像史上一件里程碑事件。当网络深度增加时，网络准确度出现饱和甚至下降，残差学习的提出解决了…
可插拔训练加速trick-Scaling PyTorch Model Training With Minimal Code Changes
依赖：
pip install lightning插拔改动：
from lightning.fabric import Fabric#...# 实例化
fabric Fabric(acceleratorcuda)
# 混精度用这个，加速明显
#fabric Fabric(accelerator"cuda", precision"bf16-mixed")
…
学习pytorch7 神经网络的基本骨架--nn,module的使用
神经网络的基本骨架--nn,module的使用 官网Module介绍Python父类子类继承关系前向神经网络pycharm快捷键重写类方法codedebug B站小土堆视频学习笔记
官网Module介绍 https://pytorch.org/docs/stable/generated/torch.nn.Module.html#torch.nn.Module Python父类子类继承关系…
使用虚拟环境conda安装不同版本的cuda，cudnn，pytorch
背景：在学习深度学习时，我们不可避免的需要跑多个神经网络，而不同的神经网络环境都不一样，所以必须要使用到虚拟环境(如conda)去做环境隔离，安装属于自己的环境。在这环境中，大多神经网络都必须要用到cuda&…
PyTorch: clamp函数与梯度的关系
本文主要以下探究这一点：梯度反向传播过程中，测试强行修改后的预测结果是否还会传递loss？
clamp应用场景：在深度学习计算损失函数的过程中，会有这样一个问题，如果Label是1.0，而预测结果是0.0&a…
PyTorch训练简单的生成对抗网络GAN
文章目录 原理代码结果参考 原理
同时训练两个网络：辨别器Discriminator 和 生成器Generator Generator是 造假者，用来生成假数据。 Discriminator 是警察，尽可能的分辨出来哪些是造假的，哪些是真实的数据。
目的：使…
Python typing函式庫和torch.types
Python typing函式庫和torch.types 前言typingSequence vs IterableCallableUnionOptionalFunctionsCallableIterator/generator位置參數 ＆ 關鍵字參數 Classesself自定義類別ClassVar\_\_setattr\_\_ 與 \__getattr\_\_ torch.typesbuiltins 參數前的＊ …
基于Pytorch构建ResNet网络对cifar-10进行分类
何凯明等人在2015年提出的ResNet，在ImageNet比赛classification任务上获得第一名，获评CVPR2016最佳论文。 自从深度神经网络在ImageNet大放异彩之后，后来问世的深度神经网络就朝着网络层数越来越深的方向发展，从LeNet、AlexNet、V…
【Python机器学习】实验15 将Lenet5应用于Cifar10数据集（PyTorch实现）
文章目录 CIFAR10数据集介绍1. 数据的下载2.修改模型与前面的参数设置保持一致3. 新建模型4. 从数据集中分批量读取数据5. 定义损失函数6. 定义优化器7. 开始训练8.测试模型 9. 手写体图片的可视化10. 多幅图片的可视化 思考题11. 读取测试集的图片预测值（神经网络的…
基于YOLOv8模型的人体摔倒行为检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的人体摔倒行为检测系统可用于日常生活中检测与定位摔倒行人，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数…
YOLOv5、YOLOv8改进：S2注意力机制
目录
1.简介
2.YOLOv5改进
2.1增加以下S2-MLPv2.yaml文件
2.2common.py配置
2.3yolo.py配置 1.简介 S2-MLPv2注意力机制 最近，出现了基于 MLP 的视觉主干。与 CNN 和视觉Transformer相比，基于 MLP 的视觉架构具有较少的归纳偏差，在图像识…
无脑入门pytorch系列（四）—— scatter_
本系列教程适用于没有任何pytorch的同学（简单的python语法还是要的），从代码的表层出发挖掘代码的深层含义，理解具体的意思和内涵。pytorch的很多函数看着非常简单，但是其中包含了很多内容，不了解其中的意思…
pytorch 实现VGG
VGG全称是Visual Geometry Group，因为是由Oxford的Visual Geometry Group提出的。AlexNet问世之后，很多学者通过改进AlexNet的网络结构来提高自己的准确率，主要有两个方向：小卷积核和多尺度。而VGG的作者们则选择了另外一个方向&a…
深入浅出Pytorch函数——torch.nn.init.calculate_gain
分类目录：《深入浅出Pytorch函数》总目录 torch.nn.init模块中的所有函数都用于初始化神经网络参数，因此它们都在torc.no_grad()模式下运行，autograd不会将其考虑在内。
该函数对于给定的非线性函数，返回推荐的增益值。这些值如下…
PyTorch翻译官网教程-TEXT CLASSIFICATION WITH THE TORCHTEXT LIBRARY
官网链接
Text classification with the torchtext library — PyTorch Tutorials 2.0.1cu117 documentation
使用torchtext库进行文本分类
在本教程中，我们将展示如何使用torchtext库来构建用于文本分类分析的数据集。
使用迭代器访问原始数据构建数据处理管道…
深入浅出Pytorch函数——torch.nn.init.xavier_normal_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
深度解析BERT：从理论到Pytorch实战
本文从BERT的基本概念和架构开始，详细讲解了其预训练和微调机制，并通过Python和PyTorch代码示例展示了如何在实际应用中使用这一模型。我们探讨了BERT的核心特点，包括其强大的注意力机制和与其他Transformer架构的差异。 关注TechLead&#x…
【带着学Pytorch】2、张量(Tensor)的介绍与创建
一、Tensor介绍 1.1、 张量是什么？ 最开始在出现CPU和GPU， GPU出现主要解决的问题时并行计算，在此基础上的软件层面的工作基本上围绕着并行计算进行的，张量也不例外。
首先，我们先来聊聊 编程语言，python，java ，C，C++等，他们都有的共同特点是什么？在大学中计算机类…
pytorch 42 C#使用onnxruntime部署内置nms的yolov8模型
在进行目标检测部署时，通常需要自行编码实现对模型预测结果的解码及与预测结果的nms操作。所幸现在的各种部署框架对算子的支持更为灵活，可以在模型内实现预测结果的解码，但仍然需要自行编码实现对预测结果的nms操作。其实在onnx opset===11版本以后，其已支持将nms操作嵌入…
深入浅出Pytorch函数——torch.nn.init.xavier_uniform_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
【AI】《动手学-深度学习-PyTorch版》笔记（二十二）：单发多框检测（SSD）
AI学习目录汇总
1、介绍
SSD（Single Shot MultiBox Detector）单发多框检测。“Single shot”说明SSD算法属于one-stage（一段式）方法，“MultiBox”说明SSD是多框预测（多尺度锚框/特征图）。
SSD和YOLO一样都是采用CNN网络执行one-stage（一段式）检测，区别是： YOLO速…
计算机视觉的应用11-基于pytorch框架的卷积神经网络与注意力机制对街道房屋号码的识别应用
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用11-基于pytorch框架的卷积神经网络与注意力机制对街道房屋号码的识别应用，本文我们借助PyTorch，快速构建和训练卷积神经网络（CNN）等模型，…
深入浅出Pytorch函数——torch.nn.init.trunc_normal_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
PyTorch安装教程：从头开始配置PyTorch环境
PyTorch是一个开源的机器学习框架，广泛用于深度学习任务。要开始使用PyTorch，您需要在计算机上正确配置PyTorch环境。本文将为您提供一步步的指南，帮助您成功安装和配置PyTorch。
第一部分：安装Python和相关工具
第一步…
PyTorch Lightning：通过分布式训练扩展深度学习工作流
一、介绍 欢迎来到我们关于 PyTorch Lightning 系列的第二篇文章！在上一篇文章中，我们向您介绍了 PyTorch Lightning，并探讨了它在简化深度学习模型开发方面的主要功能和优势。我们了解了 PyTorch Lightning 如何为组织和构建 PyTorch 代码提…
机器学习笔记 - PyTorch Image Models图像模型概览 (timm)
一、简述 PyTorch Image Models (timm)是一个用于最先进的图像分类的库，包含图像模型、优化器、调度器、增强等的集合；是比较热门的论文及代码库。 虽然越来越多的低代码和无代码解决方案可以轻松开始将深度学习应用于计算机视觉问题，但我们经常与希望寻求定制解决方案的客户…
PyTorch Geometric基本教程
PyG官方文档 # Install torch geometric
!pip install -q torch-scatter -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
!pip install -q torch-sparse -f https://pytorch-geometric.com/whl/torch-1.10.2cu102.html
!pip install -q torch-geometricimport t…
深入浅出Pytorch函数——torch.nn.init.normal_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
深入浅出Pytorch函数——torch.nn.init.zeros_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
EMO实战：使用EMO实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看关于EMA设置为True时…
![[PyTorch][chapter 52][迁移学习]](https://img-blog.csdnimg.cn/13af96d4eb06494db8b249f0f5a4c63b.png)
[PyTorch][chapter 52][迁移学习]
前言： 迁移学习（Transfer Learning）是一种机器学习方法，它通过将一个领域中的知识和经验迁移到另一个相关领域中，来加速和改进新领域的学习和解决问题的能力。 这里面主要结合前面ResNet18 例子，详细讲解一…
FFDNet-pytorch版本代码训练教程
一、FFDNet-pytorch版本代码下载
（1）FFDNet-pytorch下载 https://download.csdn.net/download/qq_41104871/88233742
（2）FFDNet-pytorch版本代码运行环境配置 https://blog.csdn.net/qq_41104871/article/details/132497008
二、FFDNet-pytorch版本代码训练教程
（1）按…
【pytorch】tensorboard + transforms的使用
一、tensorboard的使用
1. 加载一张图片转化为tensor类型，并通过tenboard可视化
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transformsimg_path "dataset/train/ants_image/0013035.jpg"img …
PyTorch檔案生成機制中的FileManager.write_with_template
PyTorch檔案生成機制中的FileManager.write_with_template 前言FileManager.write_with_template調用gen_pyigen_nn_functionalwrite_sharded FileManager.write_with_template實現torchgen/utils.pyFileManager.write_with_templateFileManager.substitute_with_template_read…
本地部署体验LISA模型（LISA≈图像分割基础模型SAM+多模态大语言模型LLaVA）
GitHub地址：https://github.com/dvlab-research/LISA 该项目论文paper reading：https://blog.csdn.net/Transfattyacids/article/details/132254770 在GitHub上下载源文件，进入下载的文件夹，打开该地址下的命令控制台，…
pytorch内存泄漏
问题描述：
内存泄漏积累过多最终会导致内存溢出，当内存占用过大，进程会被killed掉。
解决过程：
在代码的运行阶段输出内存占用量，观察在哪一块存在内存剧烈增加或者显存异常变化的情况。但是在这个过程中要分级确认…
Pytorch-day09-模型微调-checkpoint
模型微调（fine-tune)-迁移学习
torchvision微调timm微调半精度训练
起源：
1、随着深度学习的发展，模型的参数越来越大，许多开源模型都是在较大数据集上进行训练的，比如Imagenet-1k，Imagenet-11k等2、如果…
PyTorch中，卷积层、池化层、转置卷积层输出特征图形状计算公式总结
在PyTorch中，卷积层（Convolutional Layer）、池化层（Pooling Layer，例如最大池化层）、以及转置卷积层（Transpose Convolutional Layer，也称为反卷积层或上采样层）的输出特…
ChatGLM2 源码分析：`ChatGLMForConditionalGeneration.chat, .stream_chat`
.chat
调用分析：
In [1]: q 你好In [2]: r, his model.chat(tokenizer, q)In [3]: r
Out[3]: 你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。In [4]: his
Out[4]: [(你好, 你好ὄ…
pytorch代码实现之动态卷积模块ODConv
ODConv动态卷积模块
ODConv可以视作CondConv的延续，将CondConv中一个维度上的动态特性进行了扩展，同时了考虑了空域、输入通道、输出通道等维度上的动态性，故称之为全维度动态卷积。ODConv通过并行策略采用多维注意力机制沿核空间的四个维度…
PyTorch实战-实现神经网络图像分类基础Tensor最全操作详解(二)
前言
PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们…
5基于pytorch的多目标粒子群算法，MOPSO,引导种群逼近真实Pareto前沿，算法运行结束后将外部存档中粒子作为获得的Pareto最优解近似。
基于pytorch的多目标粒子群算法，MOPSO,引导种群逼近真实Pareto前沿，算法运行结束后将外部存档中粒子作为获得的Pareto最优解近似。程序已调通，可以直接运行。 5pytorch多目标粒子群算法最优解5pytorch多目标粒子群算法最优解 (xiaohongshu.co…
（十九）mmdetection源码解读：Hook子类之一OptimizerHook
目录 一、OptimizerHook类解析二、优化器介绍 一、OptimizerHook类解析
这是一个包含关于optimizer自定义操作的hook 初始化函数参数： grad_clip：梯度裁减 detect_anomalous_params：检测计算图中未包含的异常参数
HOOKS.register_module()
…
Pytorch实现RNN预测模型并使用C++相应的ONNX模型推理
Pytorch实现RNN模型
代码
import torch
import torch.nn as nnclass RNN(nn.Module):def __init__(self, seq_len, input_size, hidden_size, output_size, num_layers, device):super(RNN, self).__init__()self._seq_len seq_lenself._input_size input_sizeself._output…
Pytorch从零开始实战02
Pytorch从零开始实战——彩色图像识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——彩色图像识别环境准备数据集模型选择模型训练数据可视化 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.0.1cu118…
Pytorch实现LSTM预测模型并使用C++相应的ONNX模型推理
Pytorch实现RNN模型
代码
import torch
import torch.nn as nnclass LSTM(nn.Module):def __init__(self, input_size, output_size, out_channels, num_layers, device):super(LSTM, self).__init__()self.device deviceself.input_size input_sizeself.hidden_size inpu…
pytorch基本流程
torch.Tensor() torchFloatTensor()
生成单精度浮点类型张量torch.tensor() 普通函数PyTorch Fashion
1、prepare dataset
2、design model using Class # 目的是为了前向传播forward，即计算y hat(预测值)
3、Construct loss and optimizer (using PyTorch API) …
深度解析NLP文本摘要技术：定义、应用与PyTorch实战
目录 1. 概述1.1 什么是文本摘要？1.2 为什么需要文本摘要？ 2. 发展历程2.1 早期技术2.2 统计方法的崛起2.3 深度学习的应用2.4 文本摘要的演变趋势 3. 主要任务3.1 单文档摘要3.2 多文档摘要3.3 信息性摘要 vs. 背景摘要3.4 实时摘要 4. 主要类型4.1 抽取…
ubuntu18.04复现yolo v8之CUDA与pytorch版本问题以及多CUDA版本安装及切换
最近在复现yolo v8的程序，特记录一下过程
环境：ubuntu18.04ros melodic
小知识：GPU并行计算能力高于CPU—B站UP主说的
Ubuntu可以安装多个版本的CUDA。如果某个程序的Pyorch需要不同版本的CUDA，不必删除之前的CUDA，…
【实例分割】（一）Mask R-CNN详细介绍带python代码
目录
1.🍀🍀实例分割定义
2.🍀🍀Mask R-CNN
3.🍀🍀经典的实例分割算法
4.🍀🍀Mask R-CNN python代码
整理不易，欢迎一键三连！！！…
ubuntu18.04复现yolo v8环境配置之CUDA与pytorch版本问题以及多CUDA版本安装及切换
最近在复现yolo v8的程序，特记录一下过程
环境：ubuntu18.04ros melodic
小知识：GPU并行计算能力高于CPU—B站UP主说的
Ubuntu可以安装多个版本的CUDA。如果某个程序的Pyorch需要不同版本的CUDA，不必删除之前的CUDA，…
transforms——PILImage-＞tensor
数据加载 数据加载：将RGB的图像数据变成可以计算的tensor。需要的步骤有：
定义一个图片转tensor的转换器（transform）定义一个继承自Dataset的myDataSet类，在此类的__getitem__(self, index)中完成一张图片变成一个ten…
【图像分割】理论篇（2）经典图像分割网络基于vgg16的Unet
UNet 是一种用于图像分割任务的深度学习架构，最早由 Olaf Ronneberger、Philipp Fischer 和 Thomas Brox 在2015年的论文 "U-Net: Convolutional Networks for Biomedical Image Segmentation" 中提出。UNet 在医学图像分割等领域取得了显著的成功&#x…
LLaMA中ROPE位置编码实现源码解析
1、Attention中q，经下式，生成新的q。m为句长length，d为embedding_dim/head θ i 1 1000 0 2 i d \theta_i\frac{1}{10000^\frac{2i}{d}} θi10000d2i1
2、LLaMA中RoPE源码
import torchdef precompute_freqs_cis(dim: int, end: i…
【Python机器学习】实验15 将Lenet5应用于Cifar10数据集
文章目录 CIFAR10数据集介绍1. 数据的下载2.修改模型与前面的参数设置保持一致3. 新建模型4. 从数据集中分批量读取数据5. 定义损失函数6. 定义优化器7. 开始训练8.测试模型 9. 手写体图片的可视化10. 多幅图片的可视化 思考题11. 读取测试集的图片预测值（神经网络的…
【pytorch】Unfold和Fold的互逆操作
1. 参数定义
Unfold https://pytorch.org/docs/stable/generated/torch.nn.Unfold.html#torch.nn.Unfold
Fold https://pytorch.org/docs/stable/generated/torch.nn.Fold.html#torch.nn.Fold 注意：参数当中的padding是在四周边补零，而当fold后的尺寸…
pytorch学习（7）——神经网络优化器torch.optim
1 optim 优化器
PyTorch神经网络优化器（optimizer）通过调整神经网络的参数（weight和bias）来最小化损失函数（Loss）。 学习链接： https://pytorch.org/docs/stable/optim.html 1.1 优化器基类
使…
Introduction to Data-Centric AI 以数据为中心的人工智能导论
文章目录 前言一、Data-Centric AI vs. Model-Centric AI二、Label Errors and Confident Learning1.引入库2.读入数据 总结 前言
本博客笔记来源于MIT的课程，Introduction to Data-Centric AI
传统的机器学习流程都是基于给定的数据集，通过选择不同的…
基于XGBoots预测A股大盘《上证指数》（代码+数据+一键可运行）
对AI炒股感兴趣的小伙伴可加WX：caihaihua057200（备注：学校/公司名字方向）
另外我还有些AI的应用可以一起研究（我一直开源代码）
1、引言
在这期内容中，我们回到AI预测股票，转而探索…
VAE原理 代码详解 pin_memory
VAE代码
import torch
from torch import nn
import torch.nn.functional as F
class VAE(nn.Module):def __init__(self, input_dim784, h_dim400, z_dim20): # 28x28784,20可能是这个手写体一共有20类？super(VAE, self).__init__()self.input_dim input_dimsel…
第62步 深度学习图像识别：多分类建模（Pytorch）
基于WIN10的64位系统演示
一、写在前面
上期我们基于TensorFlow环境做了图像识别的多分类任务建模。
本期以健康组、肺结核组、COVID-19组、细菌性（病毒性）肺炎组为数据集，基于Pytorch环境，构建SqueezeNet多分类模型࿰…
Pytorch.tensor 相关用法
Torch.tensor.backward()方法的使用举例
理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理
Autograd: 自动求导
import torchatorch.randn(2,2) # tensor默认requires_gradFalse
a((a*3)/(a-1))
print(a.requires_grad)
print(a.grad_fn) # leaf …
【AI】《动手学-深度学习-PyTorch版》笔记（二十）：图像增强、微调
AI学习目录汇总
1、图像增强
图像增强可以扩展训练样本数量、减小对某个属性的依赖。比如，裁剪图像，可以减少模型对对象出现位置的依赖；调整亮度、颜色等因素来降低模型对颜色的敏感度等
1.1、准备工作
头文件 %matplotlib inline：图表直接嵌入到Notebook中，本人使用的…
pytorch 基于masking对元素进行替换
描述
pytorch 基于masking对元素进行替换. 代码如下. 先展平再赋值.
代码
# map.shape [64,60,128]
# infill.shape [64,17,128]
# mask_indices.shape [64,60]map map.reshape(map.shape[0] * map.shape[1],map.shape[2]) [mask_indices.reshape(mask_indices.shape[0]*ma…
PyTorch 深度学习实践 第10讲刘二大人
总结：
1.输入通道个数 等于 卷积核通道个数
2.卷积核个数 等于 输出通道个数
1.单通道卷积
以单通道卷积为例，输入为（1,5,5），分别表示1个通道，宽为5，高为5。假设卷积核大小为3x3，…
使用卷积操作实现因子分解机
本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。 …
pytorch无法使用cuda
import torch # 如果pytorch安装成功即可导入
print(torch.cuda.is_available()) # 查看CUDA是否可用
print(torch.cuda.device_count()) # 查看可用的CUDA数量
print(torch.version.cuda) # 查看CUDA的版本号#False
#0
#None
表明安装失败！查看安装包：…
TensorFlow与pytorch特定版本虚拟环境的安装
TensorFlow与Python的版本对应，注意，一定要选择对应的版本，否则会让你非常痛苦，折腾很久搞不清楚原因。 建议使用国内镜像源安装 没有GPU后缀的就表示是CPU版本的，不加版本就是最新
pip install tensorflow -i https:…
Pytorch Advanced(三) Neural Style Transfer
神经风格迁移在之前的博客中已经用keras实现过了，比较复杂，keras版本。
这里用pytorch重新实现一次，原理图如下： from __future__ import division
from torchvision import models
from torchvision import transforms
from PIL…
第64步 深度学习图像识别：多分类建模误判病例分析（Pytorch）
基于WIN10的64位系统演示
一、写在前面
上期我们基于TensorFlow环境介绍了多分类建模的误判病例分析。
本期以健康组、肺结核组、COVID-19组、细菌性（病毒性）肺炎组为数据集，基于Pytorch环境，构建SqueezeNet多分类模型…
动手学深度学习（四）多层感知机
经过了多层感知机后，相当于将原始的特征转化成了新的特征，或者说提炼出更合适的特征，这就是隐藏层的作用。 from：清晰理解多层感知机和反向传播 - 知乎 一、多层感知机的从零开始实现
import torch
from torch import nn
from d2…
Pytorch 的基本概念和使用场景介绍
文章目录 一、基本概念1. 张量（Tensor）2. 自动微分（Autograd）3. 计算图（Computation Graph）4. 动态计算图（Dynamic Computation Graph）5. 变量（Variable） 二、…
【目标检测】理论篇（3）YOLOv5实现
Yolov5网络构架实现 import torch
import torch.nn as nnclass SiLU(nn.Module):staticmethoddef forward(x):return x * torch.sigmoid(x)def autopad(k, pNone):if p is None:p k // 2 if isinstance(k, int) else [x // 2 for x in k] return pclass Focus(nn.Module):def …
pytorch中nn.Conv1d功能介绍
在使用Conv1d函数时，pytorch默认你的数据是一维的，比如一句话“深度学习”可以用一个一维数组 [深, 度, 学, 习] 表示，这个数据就是一维的。图片是二维数据，它有长宽两个维度。 因此在使用 Conv1d 函数时，输入是一个三…
Hugging Face实战-系列教程3：文本2分类
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在notebook中进行 本篇文章配套的代码资源已经上传 下篇内容： Hugging Face实战-系列教程4：padding与attention_mask
输出我…
PyTorch深度学习实战——猫狗分类
PyTorch深度学习实战——猫狗分类 0. 前言1. 猫狗分类数据集2. 使用 PyTorch 实现猫狗分类3. 训练数据数量对模型性能的影响相关链接 0. 前言
我们已经学习了如何构建卷积神经网络，并且在 Fashion-MNIST 数据集上执行图像分类。在本节中，我们使用更复杂…
pytorch-v2.0.1 cuda arm64 aarch64 torch 2.0.1+cu118 源码编译笔记
之前的记录
Kylin Linux Advanced Server V10 (Tercel) aarch64安装NVIDIA-Linux-aarch64-520.61.05.run驱动Tesla T4 16G笔记_hkNaruto的博客-CSDN博客
Ubuntu 22.04 x86_64 源码编译 pytorch-v2.0.1 笔记_hkNaruto的博客-CSDN博客
Ubuntu 22.04 x86_64 源码编译 pytorch-v…
P2PNet-Soy原理梳理
前文总结了P2PNet源码以及P2PNet-Soy源码实现方法，相关链接如下：
人群计数P2PNet论文：[2107.12746] Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework (arxiv.org)
p2p人群计数源码：GitHub - Te…
学习pytorch9 神经网络-卷积层
神经网络-卷积层 官网卷积数据公式参数说明卷积运算演示输入输出channel代码**注意点：**code 执行结果 官网 https://pytorch.org/docs/stable/nn.html#convolution-layers 图像识别常用conv2d 二维卷积 nn.Conv2d https://pytorch.org/docs/stable/generated/torch…
（十五）mmdetection源码解读：runner
目录 一、runner构建过程二、runner包含的功能 一、runner构建过程
Runner是MMdetection中的一种深度学习算法“工厂”，是对深度学习算法各个组件的“容器”。简单来说，所有的机器学习算法所包含的无非就是数据、模型、训练策略、评估、推理这五个部分。…
【Linux】Ubuntu20.04版本配置pytorch环境2023.09.05【教程】
【Linux】Ubuntu20.04版本配置pytorch环境2023.09.05【教程】 文章目录 【Linux】Ubuntu20.04版本配置pytorch环境2023.09.05【教程】一、安装Anaconda虚拟环境管理器二、创建虚拟环境并激活三、安装Pytorch四、测试pytorchReference 一、安装Anaconda虚拟环境管理器
首先进入…
搭建PyTorch神经网络进行气温预测
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import torch
import torch.optim as optim
import warnings
warnings.filterwarnings("ignore")
%matplotlib inline
features pd.read_csv(temps.csv)#看看数据长什么样子
features.he…
报错解决：RuntimeError: expected scalar type Long but found Float
文章目录 报错信息原因代码示例错误版改正 报错信息
RuntimeError: expected scalar type Long but found Float原因
nn.Linear需要作用于浮点数，这里可能输入了整数类型的张量作为参数。
代码示例
错误版
import torch
import torch.nn as nn
a torch.tensor…
基于YOLOV8模型的海上船只目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型的海上船只目标检测系统用于日常生活中检测与定位海上船只目标（散装货船（bulk cargo carrier）、集装箱船（container ship）、渔船（fishing boat）、普通货船&#…
深入浅出PyTorch函数torch.rand与torch.randn
torch.rand 和 torch.randn 都是PyTorch中用于生成随机张量的函数，但它们生成随机数的方式有所不同。 一、torch.rand torch.rand 生成在区间 [0, 1) 内均匀分布的随机数。 size 参数是一个表示所需张量形状的元组或整数。可以生成任何形状的随机张量。
二、torch.…
【pytorch】数据加载dataset和dataloader的使用
1、dataset加载数据集
dataset_tranform torchvision.transforms.Compose([torchvision.transforms.ToTensor(),])train_set torchvision.datasets.CIFAR10(root"./train_dataset",trainTrue,transformdataset_tranform,downloadTrue)
test_set torchvision.data…
SegNetr: 重新思考 U 形网络中的局部-全局交互和跳过连接
SegNetr 会议分析摘要贡献方法整体框架1. SegNetr Block2.Information Retention Skip Connection 实验1.对比实验2.消融实验2.1 Effect of local-global interactions.2.2 Effect of patch size2.3 Effect of IRSC 可借鉴参考 会议分析
论文出处： arXiv预印版 除了…
PyTorch中的python_torch_functions_i.cpp檔案生成機制
PyTorch中的python_torch_functions_i.cpp檔案生成機制 前言setup.pymainbuild_deps tools/build_pytorch_libs.pybuild_caffe2 caffe2/CMakeLists.txttools/setup_helpers/generate_code.pymaingenerate_code tools/autograd/gen_autograd.pygen_autograd_python tools/autogr…
pytorch：debug dataLoader for循环的时候，很卡顿，进不去transform里面断点
推荐解决方案：
前一进程还未处理完，又进入下一个导致互锁，在一个Epoch完了后，或者每次获取一个batch数据后停顿一下： time.sleep(0.003)内存问题，使用开关：pin_memoryTrue/False多进程导致互锁…
深度解析自然语言处理之篇章分析
在本文中，我们深入探讨了篇章分析的概念及其在自然语言处理（NLP）领域中的研究主题，以及两种先进的话语分割方法：基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。 关注TechLead，分享AI全维度知识…
Pytorch intermediate(四) Language Model (RNN-LM)
前一篇中介绍了一种双向的递归神经网络，将数据进行正序输入和倒序输入，兼顾向前的语义以及向后的语义，从而达到更好的分类效果。 之前的两篇使用递归神经网络做的是分类，可以发现做分类时我们不需要使用时序输入过程中产生的输出&…
Pytorch intermediate(一) CNN
使用pytorch实现了2层卷积神经网络，包含有batchnorm层。
在测试阶段需要model.eval()，使用移动平均值和方差代替训练过程中的均值和方差。
import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms# Dev…
深度学习：pytorch nn.Embedding详解
目录 1 nn.Embedding介绍
1.1 nn.Embedding作用
1.2 nn.Embedding函数描述
1.3 nn.Embedding词向量转化
2 nn.Embedding实战
2.1 embedding如何处理文本
2.2 embedding使用示例
2.3 nn.Embedding的可学习性 1 nn.Embedding介绍
1.1 nn.Embedding作用
nn.Embedding是Py…
安装Anaconda与pytorch，在IDEA中配置环境进行编程
1.官网下载与自己python版本匹配的Anaconda(注意，要想成功安装pytorch，python版本也要对应pytorch的相关版本)
Anaconda官网最新版本 与自己python版本不否请查找自己版本anaconda版本对应 清华大学镜像下载
2.安装时勾选添加环境变量或者手动添加&am…
安装MMRotate流程
一、介绍
MMRotate的github网站已经给出了非常详细的安装步骤 所有的安装步骤已经在安装文档里，并且非常详细， 本文主要记录一些踩坑的地方。
二、流程
1.配置conda环境
假设你的Anaconda已经安装好了，并且之前自己创建过环境。使用 nvid…
用于图像分类的预训练模型（PyTorch实现）
用于图像分类的预训练模型（PyTorch实现）
在本文中，我们将介绍一些使用 TorchVision 模块中存在的预训练网络的实践示例——用于图像分类的预训练模型。
1. 基于预训练模型进行图像分类
预训练模型是在 ImageNet 等大型基准数据集上训练的神…
在PyTorch里面利用transformers的Trainer微调预训练大模型
背景
transformers提供了非常便捷的api来进行大模型的微调，下面就讲一讲利用Trainer来微调大模型的步骤
第一步：加载预训练的大模型
from transformers import AutoModelForSequenceClassificationmodel AutoModelForSequenceClassification.from_pr…
Pytorch框架学习笔记-数据处理-菜鸟进阶艰难之路
python学习笔记 [TOC](python学习笔记) 笔记1.解决的是Matplotlib 绘图时可能出现的中文字符和负号 乱码的问题2.dataset.values---- 从DataFrame类型转换为Numpy数组3.使用 Matplotlib 库中的 plot 函数，绘制了一个散点图。4.if __name__ "__main__": 用…
【PyTorch 攻略 （4/7）】张量和梯度函数
一、说明 W在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。损失函数计算神经网络产生的预期输出和实际输出之间的差异。 目标是获得尽可能接近零的损失函…
TorchLens--可视化任何PyTorch模型
0. 简介
PyTorch是一个深度学习框架，它使用张量（tensor）作为核心数据结构。在可视化PyTorch模型时，了解每个张量运算的意义非常重要。张量运算作为神经网络模型中的基本操作。它们用于处理输入数据、执行权重更新和生成预测结果。…
pytorch学习3（pytorch手写数字识别练习）
网络模型
设置三层网络，一般最后一层激活函数不选择relu
任务步骤
手写数字识别任务共有四个步骤：
1、数据加载--Load Data
2、构建网络--Build Model
3、训练--Train
4、测试--Test实战
1、导入各种需要的包
import torch
from torch import nn
f…
使用 PyTorch 的计算机视觉简介 （3/6）
一、说明 在本单元中，我们将了解卷积神经网络（CNN），它是专门为计算机视觉设计的。 卷积层允许我们从图像中提取某些图像模式，以便最终分类器基于这些特征。 二、卷积神经网络 计算机视觉不同于通用分类，因…
Windows下conda安装pytorch GPU版
1.安装miniconda,不细讲了，自己去百度，miniconda自带python，可以通过conda创建虚拟python环境，安装Pytorch的话建议python版本大于3.8，完成后注意配置环境变量。
2.安装CUDA：
查看自己CUDA版本，Nvidia控制面板中找，不再赘述。根据查看的版本，下载 CUDA Toolkit并安装…
《动手学深度学习 Pytorch版》 5.1 层和块
层：
接收一组输入生成相应输出由一组可调整参数描述
块：
可以描述单个层、由多个层组成的组件或整个模型本身讨论“比单个层大”但是“比整个模型小”的组件“块”更有价值从编程的角度看，块由类表示块必须具有反向传播函数
# 以前章多层…
Pytorch训练模型模型转Onnx推理模型及推理测试（通用全流程）
Onnx推理部署 环境依赖模型转化附代码 onnx模型可视化使用onnx推理 环境依赖
Python环境依赖
CPU版本推理：onnxruntime
GPU版本推理：onnxruntime-gpu
torchvision
PIL
torch
netron模型转化
把 PyTorch 模型转换成 ONNX 模型时，我们往往只…
Transformer模型 | Python实现TransformerCPI模型（pytorch）
文章目录 效果一览文章概述程序设计参考资料效果一览 文章概述 Python实现TransformerCPI模型（tensorflow） Dependencies:
python 3.6 pytorch >= 1.2.0 numpy RDkit = 2019.03.3.0 pandas Gensim >=3.4.0
程序设计
import torch
import numpy as np
import random
…
现代卷积网络实战系列3：PyTorch从零构建AlexNet训练MNIST数据集
1、AlexNet
AlexNet提出了一下5点改进：
使用了Dropout，防止过拟合使用Relu作为激活函数，极大提高了特征提取效果使用MaxPooling池化进行特征降维，极大提高了特征提取效果首次使用GPU进行训练使用了LRN局部响应归一化（…
pytorch学习------常见的优化算法
优化算法
优化算法就是一种调整模型参数更新的策略，在深度学习和机器学习中，我们常常通过修改参数使得损失函数最小化或最大化。
优化算法介绍
1、梯度下降算法（batch gradient descent BGD）
每次迭代都需要把所有样本都送入&…
（二十八）mmdetection实用工具： Visualization
目录 一、基础绘制接口二、基础存储接口三、任意点位进行可视化 一、基础绘制接口
可视化器（Visualizer）：可视化器负责对模型的特征图、预测结果和训练过程中产生的结构化日志进行可视化，支持 Tensorboard 和 WanDB 等多种可视化…
PyTorch学习：使用pytorch进行数据预处理
本文基于jupiter，将从如何读取数据集、对数据集处理缺失值、将数据转为张量形式来完成对数据的预处理。 其中用到的数据集有：house_tiny.csv、boston_house_prices.csv、Iris.txt 数据集： https://pan.baidu.com/s/17-xn66iShCXQCqZREo51Zw?…
指定程序在哪个GPU上运行
摘要： 当本地（或服务器）有个多个GPU时，需要指定程序在指定GPU上运行，需要做以下设置。 目录 一、在终端上指定GPU二、在程序中指定GPU三、系统变量指定GPU四、pytorch中指定GPU 一、在终端上指定GPU
在终端运行程序时…
现代卷积网络实战系列5：PyTorch从零构建GoogLeNet训练MNIST数据集
🌈🌈🌈现代卷积网络实战系列 总目录 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 1、MNIST数据集处理、加载、网络初始化、测试函数 2、训练函数、PyTorch构建LeNet网络 3、PyTorch从零构建AlexNet训练MNIST数据…
LLM-TAP随笔——大语言模型基础【深度学习】【PyTorch】【LLM】
文章目录 2.大语言模型基础2.1、编码器和解码器架构2.2、注意力机制2.2.1、注意力机制（Attention）2.2.2、自注意力机制（Self-attention）2.2.3、多头自注意力（Multi-headed Self-attention） 2.3、transforme…
PyTorch实战：常用卷积神经网络搭建结构速览
目录
前言
常用卷积神经网络
1.AlexNet
2.VGGNet
3.GoogLeNet
4.ResNet
总览 前言
PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架…
《动手学深度学习 Pytorch版》 7.6 残差网络(ResNet)
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l7.6.1 函数类
如果把模型看作一个函数，我们设计的更强大的模型则可以看作范围更大的函数。为了使函数能逐渐靠拢到最优解，应尽量使函数嵌套&…
Windows10 python3.11+pytorch2.01+cuda11.8安装与配置
Windows10 python3.11pytorch2.01cuda11.8安装与配置 1. 准备工作2. 安装过程2.1 Anaconda安装以及python环境配置2.2 Cuda 安装2.3 cuDNN的安装2.4 环境变量配置2.5 离线安装pytorch 1. 准备工作
本文提及的各软件下载版本仅供参考，大家根据自己需要去下载想要的版…
使用Pytorch从零实现Vision Transformer
在这篇文章中，我们将基于Pytorch框架从头实现Vision Transformer模型，并附录完整代码。
Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于处理计算机视觉任务。它将图像分割成小的图像块（patches），然后使用Transformer编码器来处理这些图像块。V…
基于YOLOv8模型的蜜蜂目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的蜜蜂目标检测系统可用于日常生活中检测与定位蜜蜂目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
Pytorch深度学习—FashionMNIST数据集训练
文章目录 FashionMNIST数据集需求库导入、数据迭代器生成设备选择样例图片展示日志写入评估—计数器模型构建训练函数整体代码训练过程日志 FashionMNIST数据集
FashionMNIST（时尚 MNIST）是一个用于图像分类的数据集，旨在替代传统的手写数字…
【PyTorch 攻略】（6-7/7）
一、说明
本篇介绍模型模型的参数，模型推理和使用，保存加载。
二、训练参数和模型 在本单元中，我们将了解如何加载模型及其持久参数状态和推理模型预测。为了加载模型，我们将定义模型类，其中包含用于训练模型的神经网…
docker 配置 gpu版pytorch环境--部署缺陷检测--Anomalib
目录 一、docker 配置 gpu版pyhorch环境1、显卡驱动、cuda版本、pytorch cuda版本三者对应2、拉取镜像 二、部署Anomalib1、下载Anomalib2、创建容器并且运行3、安装Anomalib进入项目路径安装依赖测试： 一、docker 配置 gpu版pyhorch环境
1、显卡驱动、cuda版本、p…
目标检测算法改进系列之Backbone替换为EfficientFormerV2
EfficientFormerV2
随着视觉Transformers（ViTs）在计算机视觉任务中的成功，最近的技术试图优化ViT的性能和复杂性，以实现在移动设备上的高效部署。研究人员提出了多种方法来加速注意力机制，改进低效设计，或…
PyTorch 深度学习之多分类问题Softmax Classifier(八)
1. Revision: Diabetes dataset 2. Design 10 outputs using Sigmoid? 2.1 Output a Distribution of prediction with Softmax 2.2 Softmax Layer Example, 2.3 Loss Function-Cross Entropy Cross Entropy in Numpy Cross Entropy in PyTorch
注意交叉熵损失，最…
pytorch函数reshape()和view()的区别及张量连续性
目录
1.view()
2.reshape()
3.引用和副本：
4.区别
5.总结 在PyTorch中，tensor可以使用两种方法来改变其形状：view()和reshape()。这两种方法的作用是相当类似的，但是它们在实现上有一些细微的区别。
1.view()
view()方法是…
pytorch冻结参数训练的坑
由于项目需要训练一个主干网络接多个分支的模型，所以先训练一个主干网络加第一个分支，再用另外的数据训练第二个分支，训练的过程中需要冻结主干网络部分，后面的分支训练过程也一样需要冻结主干网络部分。 冻结模型的方式
for nam…
【加载数据--自定义自己的Dataset类】
【加载数据自定义自己的Dataset类】 1 加载数据2 数据转换3 自定义Dataset类4 划分训练集和测试集5 提取一批次数据并绘制样例图 假设有四种天气图片数据全部存放与一个文件夹中，如下图所示： ├─dataset2
│ cloudy1.jpg
│ cloudy10.jpg
│ …
如何在PIL图像和PyTorch Tensor之间进行相互转换,使用pytorch进行PIL和tensor之间的数据转换
目录
引言PIL简介PyTorch和Torchvision简介PIL转换为TensorTensor转换为PIL实例代码和解释结论参考文献
📝 引言 在计算机视觉领域，使用图像处理库对图像进行预处理是非常常见的。其中，Python Imaging Library（PIL）以…
Pytorch之ResNet图像分类
💂 个人主页:风间琉璃🤟 版权: 本文由【风间琉璃】原创、在CSDN首发、需要转载请联系博主💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦 目录
前言
一、ResNet网络结构
1.residual结构
2.BN(Batch Normalization)层…
如何使用PyTorch训练LLM
推荐：使用 NSDT场景编辑器 快速搭建3D应用场景 像LangChain这样的库促进了上述端到端AI应用程序的实现。我们的教程介绍 LangChain for Data Engineering & Data Applications 概述了您可以使用 Langchain 做什么，包括 LangChain 解决的问题…
bert ranking pairwise demo
下面是用bert 训练pairwise rank 的 demo
import torch
from torch.utils.data import DataLoader, Dataset
from transformers import BertModel, BertTokenizer
from sklearn.metrics import pairwise_distances_argmin_minclass PairwiseRankingDataset(Dataset):def __ini…
PyG-GAT-Cora(在Cora数据集上应用GAT做节点分类)
文章目录 model.pymain.py参数设置运行图 model.py
import torch.nn as nn
from torch_geometric.nn import GATConv
import torch.nn.functional as F
class gat_cls(nn.Module):def __init__(self,in_dim,hid_dim,out_dim,dropout_size0.5):super(gat_cls,self).__init__()s…
IoU、GIoU、DIoU、CIoU、EIoU
文章目录 1. IoU (Intersection over Union)2. GIoU (Generalized IoU)3. DIoU(Distance-IoU)4. CIoU(Complete-IoU)5. EIoU(Efficient-IoU) 1. IoU (Intersection over Union) 另一种IoU损失计算：LIoU 1 - IoU 优点 IoU具有尺度不变性结果非负，且范围是…
【成功解决】ERROR: cuda failure (unknow error) in error_util.h:91
点击目录可跳转 起因原因解决办法 起因 安装cudnn时，想进行验证操作，进入官方提供的$HOME/cudnn_samples_v8/mnistCUDNN/后，运行./mnistCUDNN时，报了标题的错误。如下图： 顺便提一下，我是不知道为什么报错…
单目标分割标签图叠加代码
本代码只适合两个图片合并，如果出现三个图片合并，就将第三个图删除，先合并一次，然后再将图片加入，再合并一次
1. 问题背景 有的时候标签有多个，需要将两张或者是多张图象叠加在一起，成为以下情…
【深度学习实验】前馈神经网络（一）：使用PyTorch构建神经网络的基本步骤
目录
一、实验介绍 二、实验环境
1. 配置虚拟环境
2. 库版本介绍
三、实验内容
0. 导入库
1. 定义x,w,b
2. 计算净活性值z
3. 实例化线性层并进行前向传播
4. 打印结果
5. 代码整合 一、实验介绍 本实验使用了PyTorch库来构建和操作神经网络模型，主要是关…
《动手学深度学习 Pytorch版》 5.4 自定义层
5.4.1 不带参数的层
import torch
import torch.nn.functional as F
from torch import nnclass CenteredLayer(nn.Module):def __init__(self):super().__init__()def forward(self, X):return X - X.mean() # 仅作减去均值的操作layer CenteredLayer()
layer(torch.FloatT…
【pytorch RuntimeError: expected scalar type Double but found Float】深度学习模型踩坑
错误： RuntimeError: expected scalar type Double but found Float 解决： pytorch使用gpu加速时，数据类型不支持double，也就是float64,需要将其数据类型变为float.32
关键点检测 HRNet网络详解笔记
关键点检测 HRNet网络详解笔记 0、COCO数据集百度云下载地址1、背景介绍2、HRNet网络结构3、预测结果（heatmap）的可视化3、COCO数据集中标注的17个关键点4、损失的计算5、评价准则6、数据增强7、模型训练 论文名称： Deep High-Resolution Rep…
PyTorch 模型性能分析与优化--第1部分
一、说明 这篇文章的重点将是GPU上的PyTorch培训。更具体地说，我们将专注于 PyTorch 的内置性能分析器 PyTorch Profiler，以及查看其结果的方法之一，即 PyTorch Profiler TensorBoard 插件。 二、深度框架 训练深度学习模型，尤其是…
Pytorch编程基础
文章目录 前言一、导入库二、张量1.创建张量2.属性与方法3.numpy转换4.维度变换5.运算操作 三、自动求导四、模型保存五、模型定义1.层连接2.损失函数3.优化器 总结 前言
记录一些pytorch的基本使用方法。 一、导入库
import torch
from torch.autograd import Variable # 自…
Ubuntu 22.04 安装Nvidia显卡驱动、CUDA、cudnn
GPU做深度学习比CPU要快很多倍，用Ubuntu跑也有一定的优势，但是安装Nvidia驱动有很多坑
Ubuntu版本：22.04.3 LTS 分区： /boot分配 1G ，剩下都分给根目录/ 显卡：GTX 1050 Ti 坑1：用Ubuntu自带的 …
使用 PyTorch 的计算机视觉简介 （6/6）
一、说明 本文主要介绍CNN中在pytorch的实现，其中MobileNet 网络，数据集来源，以及训练过程，模型生成和存储，模型调入等。 二、轻量级网络和移动网络 我们已经看到，复杂的网络需要大量的计算资源，…
![[Machine Learning]pytorch手搓一个神经网络模型](https://img-blog.csdnimg.cn/10a66ad06f04418b984833e59194d5e5.png)
[Machine Learning]pytorch手搓一个神经网络模型
因为之前虽然写过一点点关于pytorch的东西，但是用的还是他太少了。
这次从头开始，尝试着搓出一个神经网络模型
（因为没有什么训练数据，所以最后的训练部分使用可能不太好跑起来的代码作为演示，如果有需要自己连上数据…
目标检测算法改进系列之Backbone替换为PoolFormer
PoolFormer
MetaFormer是颜水成大佬的一篇Transformer的论文，该篇论文的贡献主要有两点：第一、将Transformer抽象为一个通用架构的MetaFormer，并通过经验证明MetaFormer架构在Transformer/ mlp类模型取得了极大的成功。 第二、通过仅采用简单…
PyTorch入门之【CNN】
参考：https://www.bilibili.com/video/BV1114y1d79e/?spm_id_from333.999.0.0&vd_source98d31d5c9db8c0021988f2c2c25a9620 书接上回的MLP故本章就不详细解释了 目录 traintest train
import torch
from torchvision.transforms import ToTensor
from torchvi…
pytorch 如何训练一个模型
定义网络结构：
确定深度学习网络的架构，包括卷积层、池化层、全连接层等组件的设计。 准备数据集：
使用 DataLoader 从数据集中读取数据，也可使用现有的数据集。 定义损失函数和优化器：
选择合适的损失函数来衡量模…
【Pytorch笔记】6.Transforms
pytorch官方文档 - transforms
transforms需要使用计算机视觉工具包：torchvision。 torchvision.transforms：常用的图像预处理方法； torchvision.datasets：常用数据集的dataset实现，如MNIST、CIFAR-10、ImageNet等&am…
Pytorch API
torch.squeeze(input, dimNone) 将给定的 input 这个 tensor 中，大小为 1 的 dim 全部压缩。 如下例子： import torch
t torch.tensor([[1], [2], [3]])
print(t) # tensor([[1], [2], [3]]) shape(3,1)t torch.squeeze(t)
print(t) # tensor([1, 2, 3…
Pytorch-学习记录-1-Tensor
1. 张量 (Tensor):
数学中指的是多维数组；
torch.Tensor
data: 被封装的 Tensor
dtype: 张量的数据类型
shape: 张量的形状
device: 张量所在的设备，GPU/CPU
requires_grad: 指示是否需要计算梯度
grad: data 的梯度
grad_fn: 创建 Tensor 的 Functio…
Pytorch因nn.Parameter导致实验不可复现的一种情况
文章首发见博客：https://mwhls.top/4871.html。 无图/格式错误/后续更新请见首发页。 更多更新请到mwhls.top查看 欢迎留言提问或批评建议，私信不回。 没解决，只是记录这种情况。 也可以多次实验取均值以避免结果复现。 场景
自己的模块中&a…
Conv1d与Conv2d函数用法
Conv1d 和 Conv2d 分别是卷积神经网络（CNN）中的两种卷积层操作，它们在处理不同维度的数据上有联系和区别，本文是一篇学习笔记。 本文主要包括以下内容： 1.联系2.区别3.Conv1d卷积4.Conv2d卷积5.图解Conv1d卷积&#x…
pytorch学习------TensorBoard的使用
目录 简介使用方式1、单条曲线(scalar)2、多条曲线(scalars)3、直方图(histogram)4、图片(image)5、渲染(figure)6、网络(graph) 简介
建好一个神经网络，其实我们也不知道神经网络里头具体细节到底做了什么，要人工调试十分困难(就好比你无法想象出递归的…
Pytorch代码入门学习之分类任务（一）：搭建网络框架
目录 一、网络框架介绍
二、导包
三、定义卷积神经网络
3.1 代码展示
3.2 定义网络的目的
3.3 Pytorch搭建网络
四、测试网络效果 一、网络框架介绍 网络理解： 将32*32大小的灰度图片（下述的代码中输入为32*32大小的RGB彩色图片）&…
【ComfyUI】Pytorch预训练模型(torch.hub)缓存地址修改
序言
最近玩ComfyUI时，每次生成图片，总是会下载一些东西，时间长了，C盘就不够用了，今天清理C盘发现，总是会在C:\Users\yutao\.cache\torch\hub\checkpoints这个路径下，下载大模型文件࿰…
pytorch实现经典神经网络：VGG16模型之初探
文章链接 https://blog.csdn.net/weixin_44791964/article/details/102585038?ops_request_misc%257B%2522request%255Fid%2522%253A%2522169675238616800211588158%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id16967523861680…
PyTorch 深度学习之逻辑斯蒂回归Logistic Regression(五)
Revision-Linear Regression
Classfication
The MNIST dataset train: 训练集还是测试集
The CIFAR-10 dataset 1. Regression VS Classfication
输出概率 1.1 How to map [0,1] 导数: 正态分布 1.2 Sigmoid functions 2. Logistic Regression model loss function for Bin…
torch.sum()——dim参数
dim指在dim的这个维度上，对tesnor 进行求和，如果keepdim（保持维度）False，返回结果会删去dim所指的这个维度。以下面的例子分析dim的参数~ torch.tensor([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])
print(…
VGG卷积神经网络实现Cifar10图片分类-Pytorch实战
前言
当涉足深度学习，选择合适的框架是至关重要的一步。PyTorch作为三大主流框架之一，以其简单易用的特点，成为初学者们的首选。相比其他框架，PyTorch更像是一门易学的编程语言，让我们专注于实现项目的功能࿰…
![[ValueError: not enough values to unpack (expected 3, got 2)]](https://img-blog.csdnimg.cn/edd0002b40e2424b920816c0fbce5dd0.png)
[ValueError: not enough values to unpack (expected 3, got 2)]
项目场景：
在使用opencv进行关键点识别、边缘轮廓提取的时候，提示以上错误。 import cv2
import numpy as npdef preprocess(image):# 进行图像预处理（例如灰度化、高斯模糊等）gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)blu…
本地vscode安装GPU版本PyTorch
操作系统 windows, IDE环境vscode，本地GPU 可以新建一个jupyter文件，运行一些测试代码
确保装好显卡驱动
在底下调出终端窗口，默认是power shell，我喜欢用cmd窗口 激活自己的虚拟环境，输入命令 nvidia-smi
确保自己…
《动手学深度学习 Pytorch版》 8.2 文本预处理
import collections
import re
from d2l import torch as d2l解析文本的常见预处理步骤： 将文本作为字符串加载到内存中。 将字符串拆分为词元（如单词和字符）。 建立一个词表，将拆分的词元映射到数字索引。 将文本转换为数字索…
如何在 PyTorch 中冻结模型权重以进行迁移学习：分步教程
一、说明 迁移学习是一种机器学习技术，其中预先训练的模型适用于新的但类似的问题。迁移学习的关键步骤之一是能够冻结预训练模型的层，以便在训练期间仅更新网络的某些部分。当您想要保留预训练模型已经学习的特征时，冻结至关重要。在本教程中…
《动手学深度学习 Pytorch版》 8.3 语言模型和数据集
8.3.1 学习语言模型
依靠在 8.1 节中对序列模型的分析，可以在单词级别对文本数据进行词元化。基本概率规则如下： P ( x 1 , x 2 , … , x T ) ∏ t 1 T P ( x t ∣ x 1 , … , x t − 1 ) P(x_1,x_2,\dots,x_T)\prod^T_{t1}P(x_t|x_1,\dots,x_{t-1}) …
【Python语义分割】Segment Anything（SAM）模型全局语义分割代码+掩膜保存（二）
我上篇博文分享了Segment Anything（SAM）模型的基本操作，这篇给大家分享下官方的整张图片的语义分割代码（全局），同时我还修改了一部分支持掩膜和叠加影像的保存。
1 Segment Anything介绍
1.1 概况 Meta A…
pytorch的安装【全官网流程】
1.准备python环境
python环境需要看pytorch上说明的版本本文用的是python3.9
conda create -n pytorch39 python3.92.安装pytorch【要使用GPU的先安装步骤3的CUDA在安装这个】
pytorch官方地址
（1）官方指出了python版本：
（2…
BN体系理解——类封装复现
from pathlib import Path
from typing import Optionalimport torch
import torch.nn as nn
from torch import Tensorclass BN(nn.Module):def __init__(self,num_features,momentum0.1,eps1e-8):##num_features是通道数"""初始化方法:param num_features:特征…
VAE模型（详细推导+实例代码）
文章目录 EM算法思路E步M步直观感觉 GMM模型VAEVAE思想从GMM到VAE公式推导重参数VAE神经网络另一个视角的VAE思想为什么引入encoder为什么要重参数噪声与重建 Discrete VAE 本文会从EM算法，GMM模型一步一步的的推导，在过渡到VAE模型，如果有熟…
pytorch 模型部署之Libtorch
Python端生成pt模型文件
net.load(model_path)
net.eval()
net.to("cuda")example_input torch.rand(1, 3, 240, 320).to("cuda")
traced_model torch.jit.trace(net, example_input)
traced_model.save("model.pt")output traced_model(exa…
【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集
本小节的主要任务即是将wiki数据集转成BERT输入序列，具体的任务包括：
读取wiki数据集生成下一句预测任务的数据—>主要用于_get_nsp_data_from_paragraph函数从输入paragraph生成用于下一句预测的训练样本：_get_nsp_data_from_paragraph生…
【RKNN】YOLO V5中pytorch2onnx，pytorch和onnx模型输出不一致，精度降低
在yolo v5训练的模型，转onnx，再转rknn后，测试发现：
rknn模型，量化与非量化，相较于pytorch模型，测试精度都有降低onnx模型，相较于pytorch模型，测试精度也有降低ÿ…
【动手学深度学习-Pytorch版】BERT预测系列——BERTModel
本小节主要实现了以下几部分内容：
从一个句子中提取BERT输入序列以及相对的segments段落索引（因为BERT支持输入两个句子）BERT使用的是Transformer的Encoder部分，所以需要需要使用Encoder进行前向传播：输出的特征等于词…
学习pytorch13 神经网络-搭建小实战Sequential的使用
神经网络-搭建小实战&Sequential的使用 官网模型结构根据模型结构和数据的输入shape，计算用在模型中的超参数coderunning log网络结构可视化 B站小土堆pytorch视频学习
官网
https://pytorch.org/docs/stable/generated/torch.nn.Sequential.html#torch.nn.Se…
pytorch中的归一化函数
在 PyTorch 的 nn 模块中，有一些常见的归一化函数，用于在深度学习模型中进行数据的标准化和归一化。以下是一些常见的归一化函数： nn.BatchNorm1d, nn.BatchNorm2d, nn.BatchNorm3d： 这些函数用于批量归一化 (Batch Normalization…
pytorch中的池化函数
PyTorch 提供了多种池化函数，用于对输入数据进行不同类型的池化操作。以下是一些常用的 PyTorch 池化函数： 平均池化（Average Pooling）: nn.AvgPool1d: 一维平均池化。nn.AvgPool2d: 二维平均池化。nn.AvgPool3d: 三维平均池化。 …
《PyTorch深度学习实践》第二讲 线性模型 课后练习
《PyTorch深度学习实践》第二讲 线性模型 课后练习 问题描述代码实现实现效果 问题描述 代码实现
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D# 假设函数为 y 2x 1
x_data [1.0, 2.0, 3.0]
y_data [3.0, 5.0, 7.0]# 定义…
pytorch_quantization安装
官方安装步骤：
pip install nvidia-pyindex
pip install pytorch-quantization直接安装pytorch-quantization会找不到，需要首先安装 nvidia-pyindex 包， nvidia-pyindex是一个 pip 源，用来连接英伟达的服务器下载需要的包。 如果…
softmax激活函数
Softmax激活函数是一种用于多类别分类问题的激活函数，通常用于神经网络的输出层。它将原始分数（也称为logits）转换为表示概率分布的数值，使得每个类别的概率值都在0和1之间，并且所有类别的概率之和等于1。这使得它适用…
PyTorch入门教学——在虚拟环境中安装Jupyter
1、简介
Jupyter Notebook是一个开源的web应用程序，可以使用它来创建和共享包含实时代码、方程、可视化和文本的文档。Jupyter Notebook是一个交互式笔记本，可以当作python编译器来使用。
2、安装
在安装Anaconda时是自带了Jupyter Notebook的&#x…
关于python pytorch 与CUDA版本相关问题
首先在终端中输入python进入python交互式环境 import torch
print(torch.__version__) #注意是双下划线官网：https://pytorch.org/get-started/previous-versions/ CUDA Toolkit版本及可用PyTorch对应关系总结（参考官网）
cuda版本确定后&a…
全局平均池化 - 从特征图到全局信息
目录
引言全局平均池化的概念实现全局平均池化全局平均池化的优点结论代码示例
1. 引言
卷积神经网络的池化层是提取特征的重要组成部分。其中，全局平均池化是一种简洁而有效的方法，可以将整个特征图的信息进行汇聚。本博客将介绍全局平均池化的概念、…
《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）
我们可能会遇到这样的情况： 早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和，目标是在序列的末尾辨别校验和是否正确。在这种情况下，第一个词元的影响至关重要。我们希望有…
时间序列预测 Graph-WaveNet：Graph WaveNet for Deep Spatial-Temporal Graph Modeling
Graph-WaveNet Graph WaveNet for Deep Spatial-Temporal Graph Modeling1.概述2.提出问题 & 解决策略 & 模型结构3.实验结果 ** Graph WaveNet for Deep Spatial-Temporal Graph Modeling
**
1.概述
时空图建模是分析系统中各组成部分的空间关系和时间趋势的一项重…
基于YOLOv8模型的水下目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的水下目标检测系统可用于日常生活中检测与定位鱼、水母、企鹅、海鹦、鲨鱼、海星、黄貂鱼，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统…
程序员接单都在用这六大平台，你呢？
你还在一边熬夜敲代码，一边为自己的健康担忧吗？ 你有被工位束缚，为缺乏自由闲暇的时间苦恼吗？ 你有因工作交接不顺，给自己的“码农”生活雪上加霜吗？ 你是否也在为自己这份“青春饭”，还能吃多久…
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。后来用memory_p…
基于Pytorch的CNN手写数字识别
作为深度学习小白，我想把自己学习的过程记录下来，作为实践部分，我会写一个通用框架，并会不断完善这个框架，作为自己的入门学习。因此略过环境搭建和基础知识的步骤，直接从代码实战开始。
一.下载数据集并加…
【快捷测试模型是否可以跑通】设置一张图片的张量形式，送入自己写的模型进行测试
文章目录 1. 1.
import torch.nn as nn
import torch
from einops import rearrange, repeat
from einops.layers.torch import Rearrange
import torch.nn.functional as Fclass PreNorm(nn.Module):def __init__(self, dim, fn):super().__init__()self.norm nn.LayerNorm(…
pytorch-fastrcnn识别王者荣耀敌方英雄血条
文章目录 前言效果如下实现训练数据获得训练数据和测试数据yaml文件训练py画框文件的修改py测试py 前言
最近看王者荣耀视频看到了一个别人提供的一个百里自动设计解决方案,使用一个外设放在百里的二技能上,然后拖动外设在屏幕上滑动,当外设检测到有敌方英雄时外设自动松开百里…
学习pytorch14 损失函数与反向传播
神经网络-损失函数与反向传播 官网损失函数L1Loss MAE 平均MSELoss 平方差CROSSENTROPYLOSS 交叉熵损失注意code 反向传播在debug中的显示code B站小土堆pytorch视频学习
官网
https://pytorch.org/docs/stable/nn.html#loss-functions
损失函数 L1Loss MAE 平均 import to…
《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集
机器翻译（machine translation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neural machine translation）。
import os
import torch
from d2l import torch as d2l9.5.1 …
《动手学深度学习 Pytorch版》 9.2 长短期记忆网络（LSTM）
解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器（long short-term memory，LSTM）。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近 2…
《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构
为了处理这种长度可变的输入和输出， 可以设计一个包含两个主要组件的编码器-解码器（encoder-decoder）架构： 编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定…
YOLOv8官方教程：如何训练模型
文章目录 一、简介二、YOLOv8的优点train模式特点 三、训练3.1 单 GPU 和 CPU 训练示例3.2 多GPU训练3.3 Apple M1 和 M2 MPS 训练3.4 恢复中断的训练 四、其他参数五、训练Log5.1 TensorBoard5.2 Comet5.3 ClearML 一、简介
本文介绍YOLOv8如何在单GPU、多GPU和Apple设备上训…
pytorch,tf维度理解RNN
input_t input_t.squeeze(1) 这行代码用于从 input_t 中去除尺寸为1的维度。在深度学习中，经常会出现具有额外尺寸为1的维度，这些维度通常是为了匹配模型的期望输入维度而添加的。
在这里，input_t可能具有形状 (batch_size, 1, feature_dim…
5_torch.max的用法举例
1. 求一维的Array的max
x = torch.tensor([1, 5, 3, 9, 2])
max_value = torch.max(x)
print(max_value
torch张量的降维与升维
文章目录 一、降维和升维未完待续....一、降维和升维
squeeze和unsqueeze是torch张量常用的降维与升维的一种方式，但这种方式只能增添或减少大小为1的维度，如下：
x1 = torch.randn(1, 8, 256, 256)
x1 = torch.squeeze(x1,dim=
基于YOLOv8模型的烟雾目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的烟雾目标检测系统可用于日常生活中检测与定位烟雾目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
Windows下安装PyTorch（GPU版本）
PyTorch环境配置及安装
初步机器学习，这里记录下一些学习经过，之后以便于自己查看，同时欢迎各位大佬点评，本节是机器计算的一个包的安装和简单验证。
1.流程
确定自己的硬件信息-确定电脑有英伟达（NVIDIAÿ…
《动手学深度学习 Pytorch版》 9.8 束搜索
本节将介绍几大： 贪心搜索（greedy search）策略 穷举搜索（exhaustive search） 束搜索（beam search）
9.8.1 贪心搜索
贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步 t ′ t t′…
《动手学深度学习 Pytorch版》 10.1 注意力提示
10.1.1 生物学中的注意力提示
“美国心理学之父” 威廉詹姆斯提出的双组件（two-component）框架： 非自主性提示：基于环境中物体的突出性和易见性 自主性提示：受到了认知和意识的控制
10.1.2 查询、键和值 注意力机制…
pytorch C++ 移植
文章目录 前言安装 libtorch安装 opencv（C）模型转换通过跟踪转换为 Torch Script通过注解转换为 Torch Script 编写 C 代码编译环境搭建C 库管理方法一：手动配置 visual studio 环境方法二：cmake 配置环境 python 调用 C 程序 前言…
【wespeaker】模型ECAPA_TDNN介绍
本次主要介绍开源项目wespeaker模型介绍
1. 模型超参数
model_args: feat_dim: 80 embed_dim: 192 pooling_func: “ASTP” projection_args: project_type: “softmax” # add_margin, arc_margin, sphere, softmax scale: 32.0 easy_margin: False
2. 模型结构
2.1 Layer…
pytorch 入门 （四）案例二：人脸表情识别-VGG16实现
实战教案二：人脸表情识别-VGG16实现
本文为🔗小白入门Pytorch内部限免文章 参考本文所写记录性文章，请在文章开头注明以下内容，复制粘贴即可 🍨 本文为🔗小白入门Pytorch中的学习记录博客🍦 参…
【分布式】大模型分布式训练入门与实践 - 04
大模型分布式训练 数据并行-Distributed Data Parallel1.1 背景1.2 PyTorch DDP1） DDP训练流程2）DistributedSampler3）DataLoader: Parallelizing data loading4）Data-parallel（DP）5）DDP原理解析…
Prompt-Tuning源码分析
Prompt-Tuning源码分析
源码
我们这里的代码解析以huggingface peft源码为主 从模型类结构可以看到，Prompt Tuning 只在输入层加入 prompt virtual tokens，其他地方均没有变化，具体可查看 PromptEmbedding 的源码。
伪代码示例
soft_prom…
基于PyTorch的MNIST手写体分类实战
第2章对MNIST数据做了介绍，描述了其构成方式及其数据的特征和标签的含义等。了解这些有助于编写合适的程序来对MNIST数据集进行分析和识别。本节将使用同样的数据集完成对其进行分类的任务。
3.1.1 数据图像的获取与标签的说明
MNIST数据集的详细介绍在第2章中已…
Pytorch整体工作流程代码详解（新手入门）
一、前言
本文详细介绍Pytorch的基本工作流程及代码，以及如何在GPU上训练模型（如下图所示）包括数据准备、模型搭建、模型训练、评估及模型的保存和载入。 适用读者：有一定的Python和机器学习基础的深度学习/Pytorch初学者。 本文…
《动手学深度学习 Pytorch版》 10.5 多头注意力
多头注意力（multihead attention）:用独立学习得到的 h 组不同的线性投影（linear projections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这 h 个注意力汇聚的输出拼接在一起，并且…
【pytorch】pytorch中的高级索引
这里只介绍pytorch的高级索引，是一些奇怪的切片索引
基本版
a[[0, 2], [1, 2]] 等价 a[0, 1] 和 a[2, 2]，相当于索引张量的第一行的第二列和第三行的第三列元素； a[[1, 0, 2], [0]] 等价 a[1, 0] 和 a[0, 0] 和 a[2, 0]，相当于索…
Pytorch指定数据加载器使用子进程
torch.utils.data.DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue,num_workers4, pin_memoryTrue)
num_workers 参数是 DataLoader 类的一个参数，它指定了数据加载器使用的子进程数量。通过增加 num_workers 的数量，可以并行地读取和预处…
Pytorch里面参数更新前为什么要梯度手动置为0？
因为在一般情况下，每次minibatch之后，都会计算得到一个loss，进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型，计算得到相应的loss和梯度之前，不对优化器的梯度进行置0操作，那么几次batc…
PyTorch卷积神经网络各层实现与介绍
本文将讲解，PyTorch卷积神经网络各层实现与介绍，包括：基本骨架–nn.Module的使用、卷积操作、卷积层、池化层、激活函数、全连接层的介绍。 😜 对于相关原理，可以跳转👉卷积神经网络CNN各层基本知识
&…
pytorch代码复现1（基础知识）
创建矩阵 全零矩阵 In [4]:
import torch
torch.__version__
xtorch.empty(5,3)
xOut[4]: tensor([[0.0000e00, 0.0000e00, 4.6430e-23],[1.4013e-45, 1.2612e-44, 0.0000e00],[3.5733e-43, 0.0000e00, 0.0000e00],[0.0000e00, 0.0000e00, 0.0000e00],[0.0000e00, 0.0000e00, 0…
LibTorch实战一：MNIST的python代码
目录
一、下载MNIST-demo的cpp、python版本代码 二、五分钟读懂pytorch代码
三、下载MNIST数据集、训练模型
四、模型序列化、可视化分析 本文借用mnist这个相对简易深度学习任务来开始讲解libtorch如何部署模型。因此，这是一个如何编写libtorch代码的实战教程。…
【问题】在安装torchvision的时候，会自动安装torch？
1 背景👇🏻👇🏻👇🏻
在使用如下命令安装torchvision的时候，发现之前已安装的torch被卸载了。
pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
2 分析🐰&a…
【漏洞复现】广联达 Linkworks办公OA SQL注入
广联达OA介绍
广联达办公OA是一款综合办公自动化解决方案，旨在提高组织内部的工作效率和协作能力。它提供了一系列功能和工具，帮助企业管理和处理日常办公任务、流程和文档。 资产收集
fofa：fid”/yV4r5PdARKT4jaqLjJYqw”或者body”/Servi…
《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码
在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为 自注意力（self-attention），也被称为内部注意力（intra-attention）…
torch.gather函数用法
torch.gather 函数用于从输入张量中收集（或选择）指定位置的元素，然后将它们放入一个新的张量中。这对于根据索引从输入张量中检索值非常有用。torch.gather 的用法如下： torch.gather(input, dim, index, outNone)
参数说明&…
PyG edge index 转换回 邻接矩阵
PyG的edge index形式是 [ ( n o d e 1 , n o d e 2 ) , ( n o d e 1 , n o d e 3 ) . . . ] [(node_1,node_2), (node_1, node_3)...] [(node1,node2),(node1,node3)...]这种edge pair。
naive
直接for循环，吧edge index里面的位置填充1：
imp…
笔记47：FCN网络的Pytorch实现
本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\1.语义分割任务\Pytorch中FCN的实现
a
a
a
【图像分割】【深度学习】Windows10下PFNet官方代码Pytorch实现与源码讲解
【图像分割】【深度学习】Windows10下PFNet官方代码Pytorch实现与源码讲解 提示:最近开始在【图像分割】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。 文章目录 【图像分割】【深度学习】Windows10下PFNet官方代码Pytorch实现与源码讲解前言PFNet模型运行…
python的pytorch和torchvision利用wheel文件安装
python的pytorch和torchvision利用wheel文件安装
在做人工智能的时候，我们需要下载pytorch和torchvision，那么如何下载呢。利用wheel文件pip安装
下载
首先要看你的python版本，打开命令行，输入：
python -V就可以看…
PyTorch技术和深度学习——二、PyTorch基础编程
文章目录 1.张量数据操作和数据类型1）创建张量2）数据类型3）综合实现 2.张量索引、切片、拼接及形状变换1）索引2）切片3）拼接4）形状变换5）综合实现 3.张量存储1）使用索引访…
怎么用python代码查看可用的gpu，然后指定可用的gpu运行
查看gpu
import torch# 检查CUDA是否可用
if torch.cuda.is_available():# 获取GPU设备数量device_count torch.cuda.device_count()# 列出可用的GPU设备for i in range(device_count):print(f"GPU {i}: {torch.cuda.get_device_name(i)}")
else:print("CUDA …
【深度学习】pytorch——快速入门
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ pytorch快速入门 简介张量（Tensor）操作创建张量向量拷贝张量维度张量加法函数名后面带下划线 _ 的函数索引和切片Tensor和Numpy的数组之间的转换张量（tensor）与标量…
pytorch：Model模块专题
一、说明 关于pytorch使用中，模块扮演重要校色，大部分功能不能密集展现，因此，我们这个文章中，将模块的种种功能详细演示一遍。
二、模块
PyTorch使用模块来表示神经网络。模块包括： 有状态计算的构建块。…
【pytorch】torch.gather()函数
dim0时
index[ [x1,x2,x2],[y1,y2,y2],[z1,z2,z3] ]如果dim0
填入方式为：
index[ [(x1,0),(x2,1),(x3,2)][(y1,0),(y2,1),(y3,2)][(z1,0),(z2,1),(z3,2)] ]input [[1, 2, 3, 4],[5, 6, 7, 8],[9, 10, 11, 12]
] # shape（3,4）
input torch.…
tensor的不同维度种类
几种形状的tensor
0维标量（scalar)，1维向量（vector),二维矩阵（matrix),3维以上n维张量
scalar
import torch
torch.__version__
from torch import tensorxtensor(42)
xtensor(42)x.dim()0x.item()42vector
ytensor([1.5,-0.5…
PyTorch入门学习（七）：卷积操作
卷积操作在深度学习中扮演着重要的角色，特别是在图像处理任务中。下面将介绍如何在PyTorch中执行二维卷积操作以及卷积操作的核心概念。
什么是二维卷积？
二维卷积是一种用于处理图像数据的操作。它通过卷积核（也称为过滤器）在输…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割6（数据预处理）
由于之前哔站作者整理的LUNA16数据处理方式过于的繁琐，于是，本文就对LUNA16数据做一个新的整理，最终得到的数据和形式是差不多的。但是，主要不同的是代码逻辑比较的简单，便于理解。
对于数据集的学习，可以…
PyTorch入门学习（九）：神经网络-最大池化使用
目录
一、数据准备
二、创建神经网络模型
三、可视化最大池化效果 一、数据准备
首先，需要准备一个数据集来演示最大池化层的应用。在本例中，使用了CIFAR-10数据集，这是一个包含10个不同类别图像的数据集，用于分类任务。我们使…
目标检测算法改进系列之嵌入Deformable ConvNets v2 (DCNv2)
Deformable ConvNets v2
简介：由于构造卷积神经网络所用的模块中几何结构是固定的，其几何变换建模的能力本质上是有限的。在DCN v1中引入了两种新的模块来提高卷积神经网络对变换的建模能力，即可变形卷积 (deformable convolution) 和可变形…
使用pytorch解析mnist数据集
当解析MNIST数据集时，以下是代码的详细介绍：
1. **导入必要的库**：
import torch
import torchvision
from torchvision import transforms
from torchvision.datasets import MNIST
import matplotlib.pyplot as plt 这些库是用于处理数…
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
目录 前言1. 课程介绍2. pytorch_quantization2.1 initialize函数2.2 tensor_quant模块2.3 TensorQuantizer类2.4 QuantDescriptor类2.5 calib模块 总结 前言 手写 AI 推出的全新 TensorRT 模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。 该…
目标检测算法改进系列之添加EIOU,SIOU,AlphaIOU,FocalEIOU等
YOLOv8添加EIoU,SIoU,AlphaIoU,FocalEIoU,Wise-IoU等
yolov8中box_iou其默认用的是CIoU，其中代码还带有GIoU，DIoU，文件路径：ultralytics/yolo/utils/metrics.py，函数名为：bbox_iou
原始代码
def bbox_i…
pytorch复现2_AlexNet
不涉及原理 AlexNet网络结构 代码： model：
import torch.nn as nn
import torchclass AlexNet(nn.Module):def __init__(self, num_classes1000, init_weightsFalse):super(AlexNet, self).__init__()self.features nn.Sequential(nn.Conv2d(3, 48, k…
ECA-Net（Efficient Channel Attention Network）
ECA-Net（Efficient Channel Attention Network）是一种用于计算机视觉任务的注意力模型，旨在增强神经网络对图像特征的建模能力。本文详细介绍ECA-Net注意力模型的结构设计，包括其背景、动机、组成部分以及工作原理。ECA-Net模块的…
pytorch复现_NMS
NMS（非极大值抑制）阈值是用于控制在一组重叠的边界框中保留哪些边界框的参数。当检测或识别算法生成多个边界框可能涵盖相同物体时，NMS用于筛选出最相关的边界框，通常是根据它们的置信度分数。 具体来说，NMS的工作原理…
So-vits-SVC4.1
So-vits-SVC官方项目地址：https://github.com/svc-develop-team/so-vits-svc
中文版：https://github.com/SUC-DriverOld/so-vits-svc-Chinese-Detaild-Documents
教程：https://www.bilibili.com/video/BV1Hr4y197Cy/
音频处理
1.转mp4/mp…
深度学习之基于Pytorch卷积神经网络的图像分类系统
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介二、功能三、图像分类系统四. 总结 一项目简介 基于PyTorch卷积神经网络的图像分类系统是一种应用深度学习技术来实现图像分类任务的系统。本摘要将对该系统…
手写数字识别--神经网络实验
实验源码自取：
神经网络实验报告源码.zip - 蓝奏云
上深度学习的课程，老师布置了一个经典的实验报告，我做了好久才搞懂，所以把实验报告放到CSDN保存，自己忘了方便查阅，也为其他人提供借鉴
由于本人是小白…
【tensorboard打开失败】No dashboards are active for the current data set.
这里我再跟视频学的时候，找了很多的指令，说是对应版本不一样，但是发现用了很多指令都可以弹出来跳转的url，那应该就不是输入指令的问题 直到我想把logs里面的文件删掉重新跑的时候，我突然注意到这里有中文字符…
pytorch-＞onnx踩坑总结 和 加速推理
最近用 https://github.com/Fafa-DL/Awesome-Backbones/tree/main 这个 up主 的 深度学习图像分类 ，里面囊括了 各种 图像分类模型，写的很好，但是 缺一个 训练出来的模型 转成 onnx 模型的文章，爬坑了一上午，没解决&am…
PyTorch入门学习（十三）：损失函数与反向传播
一、引言
深度学习的核心目标之一是最小化损失函数，以使模型能够更好地适应训练数据。本文将介绍如何在PyTorch中使用损失函数和反向传播来训练深度学习模型。接下来将详细解释提供的代码，并深入探讨交叉熵损失函数、均方误差损失函数以及它们在模型训练…
【3D图像分割】基于Pytorch的VNet 3D图像分割5（改写数据流篇）
在这篇文章：【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割2（基础数据流篇） 的最后，我们提到了：
在采用vent模型进行3d数据的分割训练任务中，输入大小是16*96*96，这个的裁剪是放到Dataset类…
pix2tex - LaTeX OCR 安装使用记录
系列文章目录 文章目录 系列文章目录前言一、安装二、使用三、如果觉得内容不错，请点赞、收藏、关注 前言
项目地址：这儿 一、安装
版本要求 Python: 3.7 PyTorch: >1.7.1
安装：pip install "pix2tex[gui]"
注意：…
动手学深度学习：1.线性回归从0开始实现
动手学深度学习：1.线性回归从0开始实现 1.手动构造数据集2.小批量读取数据集3.初始化模型参数4.定义模型和损失函数5.小批量随机梯度下降更新6.训练完整代码 1.手动构造数据集
根据带有噪声的线性模型构造一个人造数据集，任务是使用这个有限样本的数据集…
PyTorch入门学习（十四）：优化器
目录
一、优化器的重要性
二、PyTorch 中的深度学习
三、优化器的选择 一、优化器的重要性
深度学习模型通常包含大量的参数，因此训练过程涉及到优化这些参数以减小损失函数的值。这个过程类似于找到函数的最小值，但由于模型通常非常复杂，…
动手学深度学习：2.线性回归pytorch实现
动手学深度学习：2.线性回归pytorch实现 1.手动构造数据集2.小批量读取数据集3.定义模型和损失函数4.初始化模型参数5.小批量随机梯度下降优化算法6.训练完整代码Q&A 1.手动构造数据集
import torch
from torch.utils import data
from d2l import torch as d2l…
pytorh模型训练、测试
目录 1 导入数据集 2 使用tensorboard展示经过各个层的图片数据 3 完整的模型训练测试流程 使用Gpu训练的两种方式 使用tensorboard显示模型 模型训练测试 L1Loss函数 保存未训练模型或者已经训练完的模型 4 加载训练好的模型进行测试 1 导入数据集
import torch
from torch.u…
【深度学习基础】Pytorch框架CV开发（2）实战篇
📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨ 📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 📢：文章若有幸对你有帮助，可点赞 👍…
PyTorch深度学习原理与实现
PyTorch深度学习原理与实现
1. 引言
深度学习发展历程 感知机网络（解决线性可分问题，20世纪40年代） BP神经网络（解决线性不可分问题，20世纪80年代） 深度神经网络（海量图片分类，2…
(景行锐创) 高性能计算平台 Pytorch 深度学习环境超详细教程
文章目录 前言1. 账号申请2. 登录高算平台网站3. 安装 Xshell，Xftp 软件4. 连接高算平台5. 安装 Anaconda6. 安装 CUDA7. 配置 cuDNN8. 安装 torch 和 torchvision9. 提交作业测试10. 解压与压缩文件11. 其他结语 前言
目前一些学校为了便于师生进行大规模的计算任…
【Transformer从零开始代码实现】（一）输入部件：embedding+positionalEncoding
Transformer总架构图 输入相关组件
输入部分：
源文本嵌入层位置编码器目标文本嵌入层位置编码器
（1）Embedding
首先，需要对输入的内容进行向量化。
1）先导示例
nn.Embedding示例：
# 10代表嵌入的数…
学习pytorch15 优化器
优化器 官网如何构造一个优化器优化器的step方法coderunning log出现下面问题如何做反向优化？ 官网
https://pytorch.org/docs/stable/optim.html 提问：优化器是什么 要优化什么 优化能干什么 优化是为了解决什么问题 优化模型参数
如何构造一个优化器…
pytorch collate_fn测试用例
collate_fn 函数用于处理数据加载器(DataLoader)中的一批数据。在PyTorch中使用 DataLoader 时，通过设置collate_fn，我们可以决定如何将多个样本数据整合到一起成为一个 batch。在某些情况下，该函数需要由用户自定义以满足特定需求。 import …
PyTorch入门学习（十五）：现有网络模型的使用及修改
目录
一、使用现有的深度学习模型
二、修改深度学习模型结构
三、直接修改深度学习模型的结构 一、使用现有的深度学习模型
在深度学习中，许多流行的深度学习框架（如PyTorch和TensorFlow）提供了一系列现成的深度学习模型，这些…
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练（附代码）
目录 0. 前言
1. Cifar10数据集
2. AlexNet网络模型
2.1 AlexNet的网络结构
2.2 激活函数ReLu
2.3 Dropout方法
2.4 数据增强
3. 使用GPU加速进行批量训练
4. 网络模型构建
5. 训练过程
6. 完整代码 0. 前言 按照国际惯例，首先声明：本文只是我…
torch.cumprod实现累乘计算
cumprod取自“cumulative product”的缩写，即“累计乘法”。 数学公式为： y i x 1 x 2 x 3 . . . x i y_ix_1\times{x_2}\times{x_3}\times{...}\times{x_i} yix1x2x3...xi 官方链接：torch.cumprod
用法：
impo…
文本生成评估指标简单介绍BLEU+ROUGE+Perplexity+Meteor 代码实现
以下指标主要针对两种：机器翻译和文本生成（文章生成），这里的文本生成并非是总结摘要那类文本生成，仅仅是针对生成句子/词的评价。 首先介绍BLEU，ROUGE, 以及BLEU的改进版本METEOR；后半部分介绍P…
self.register_buffer方法使用解析(pytorch)
self.register_buffer就是pytorch框架用来保存不更新参数的方法。
列子如下：
self.register_buffer("position_emb", torch.randn((5, 3)))第一个参数position_emb传入一个字符串，表示这组参数的名字，第二个就是tensor形式的参数…
【3D图像分割】基于Pytorch的VNet 3D 图像分割5（改写数据流篇）
在这篇文章：【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割2（基础数据流篇） 的最后，我们提到了：
在采用vent模型进行3d数据的分割训练任务中，输入大小是16*96*96，这个的裁剪是放到Dataset类…
[BROADCASTING]tensor的扩散机制
区别于单个数值运算的小打小闹，矩阵里喜欢用扩散机制，这里讨论一下tensor的扩散机制，其实和numpy里面的是一样的；
扩散机制成立条件
1. 每一个Tensor至少有1维；
2. 从尾部维度开始遍历维度大小时，维度大…
杂记(3)：在Pytorch中如何操作将数据集分为训练集和测试集？
在Pytorch中如何操作将数据集分为训练集和测试集？ 0. 前言1. 手动切分2. train_test_split方法3. Pytorch自带方法4. 总结 0. 前言
数据集需要分为训练集和测试集！ 其中，训练集单纯用来训练，优化模型参数；测试集单纯用…
PyTorch入门学习（十七）：完整的模型训练套路
目录
一、构建神经网络
二、数据准备
三、损失函数和优化器
四、训练模型
五、保存模型 一、构建神经网络
首先，需要构建一个神经网络模型。在示例代码中，构建了一个名为Tudui的卷积神经网络（CNN）模型。这个模型包括卷积层、…
ubuntu下Anaconda环境安装GPU的pytorch(docker镜像)
实验室需要给每个人分配docker的container环境，为了节省系统的空间，打算把anaconda和深度学习的开发环境配置好拉取镜像以省时间。
基础环境配置
apt更新了清华源 安装了基础环境 gcc vim Linux文本编辑库 openssh-server ssh远程连接库 net-tools 包含…
获取深度学习模型权重或者某一层特征图输出的方法：基于pytorch
获取深度学习模型权重或者某一层特征图输出的方法 文章目录 前言一、获取深度学习模型权重二、获取某一层特征图输出方法一：使用IntermediateLayerGetter类方法二：使用hook机制（推荐） 总结 前言
提示：这里可以添加本文…
定义无向加权图，并使用Pytorch_geometric实现图卷积
首先定义无向边并定义边的权重
import torch
import torch.nn as nn
from torch_geometric.nn import GCNConv
import torch.nn.functional as F
from torch_geometric.data import Dataa torch.LongTensor([0, 0, 1, 1, 2, 2, 3, 4])
b torch.LongTensor([0, 1, 2, 3, 1, 5,…
Pytorch实战教程（二）-PyTorch基础
0. 前言 PyTorch 是广泛应用于机器学习领域中的强大开源框架，因其易用性和高效性备受青睐。在本节中，将介绍使用 PyTorch 构建神经网络的基础知识。首先了解 PyTorch 的核心数据类型——张量对象。然后，我们将深入研究用于张量对象的各种操作。PyTorch 提供了许多帮助构建神…
Windows10配置深度学习环境
一、Anaconda安装与虚拟环境创建 Anaconda的出现极大的方便了研究人员的Python开发工作，anaconda可以创建多个虚拟环境，这些虚拟环境就像一间间教室一样，虚拟环境彼此之间、虚拟环境与基础环境（base）之间互不影响&…
使用model.module保存模型参数
问题再现
之前训练的很好的model（mAP80）保存之后，在另一个文件里加载，结果效果很差劲（mAP3）；
def save_checkpoint(state, is_best, filenamecheckpoint.pth.tar):if is_best:torch.save(stat…
PyTorch技术和深度学习——三、深度学习快速入门
文章目录 1.线性回归1）介绍2）加载自由泳冠军数据集3）从0开始实现线性回归模型4）使用自动求导训练线性回归模型5）使用优化器训练线性回归模型 2.使用torch.nn模块构建线性回归模型1）使用torch.nn.Linear训练…
YOLO改进系列之SKNet注意力机制
摘要
视皮层神经元的感受野大小受刺激的调节即对于不同的刺激，卷积核的大小应该不同，但在构建CNN时一般在同一层只采用一种卷积核，很少考虑因采用不同卷积核。于是SKNet被提出，在SKNet中，不同大小的感受视野ÿ…
pytorch DistributedDataParallel 分布式训练踩坑记录
目录 一、几个比较常见的概念：二、踩坑记录2.1 dist.init_process_group初始化2.2 spawn启动（rank怎么来的）2.3 loss backward2.4 model cuda设置2.5 数据加载 一、几个比较常见的概念：
rank: 多机多卡时代表某一台机器ÿ…
Pytorch从零开始实战09
Pytorch从零开始实战——YOLOv5-Backbone模块实现
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——YOLOv5-Backbone模块实现环境准备数据集模型选择开始训练可视化模型预测总结 环境准备
本文基于Jupyter notebook，使用Python3.…
时间序列预测实战(十二)DLinear模型实现滚动长期预测并可视化预测结果
官方论文地址->官方论文地址
官方代码地址->官方代码地址
个人修改代码->个人修改的代码已经上传CSDN免费下载
一、本文介绍
本文给大家带来是DLinear模型，DLinear是一种用于时间序列预测（TSF）的简单架构，DLinear的核…
pytorch学习之第二课之预测温度
主要有以下几个步骤
第一：导入相应的工具包
第二：导入需要使用的数据集
第三：对导入的数据集输入进行预处理，找出特征与标签，查看数据特征的类型，判断是否需要标准化或者归一化处理
第四：构建神…
【Pytorch和深度学习】栏目导读
一、栏目说明 本栏目《pytorch实践》是为初学者入门深度学习准备的。本文是该栏目的导读部分，因为计划本栏目在明年完成，因此，导读部分，即本文也在持续更新中。 本栏目设计目标是将深度学习全面用pytorch实践一遍，由浅…
时间序列预测实战(十三)定制化数据集FNet模型实现滚动长期预测并可视化结果
论文地址->官方论文代码地址
官方代码地址->官方下载地址Github
个人修改代码地址-> 个人修改版本呢的下载地址CSDN
一、本文介绍
本博客将介绍一种新的时间序列预测模型——FNet，它通过使用傅里叶变换代替自注意力机制，旨在解决传统Transf…
Win Docker Desktop + WSL2 部署PyTorch-CUDA服务至k8s算力集群
Win Docker Desktop WSL2 部署PyTorch-CUDA服务至k8s算力集群 Win Docker Desktop WSL2 安装安装WSL-Ubuntu拉取镜像并测试挂载数据并开放端口导出镜像或导入镜像在k8s集群部署 Win Docker Desktop WSL2 安装
首先根据你的操作系统版本 安装WSL ，记得切换WSL2&a…
Scikit-LLM：一款大模型与 scikit-learn 完美结合的工具！
Scikit-LLM 是文本分析领域的一项重大变革，它将像 ChatGPT 这样强大的语言模型与 scikit-learn 相结合，提供了一套无与伦比的工具包，用于理解和分析文本。
有了 scikit-LLM，你可以发现各种类型的文本数据中的隐藏模式、情感和上下…
torch.norm求范数
pytorch在数学计算上下足了功夫，在支持海量数学公式的同时还将速度优化到超过大部分用户DIY的水平。所以，pytorch中的每个常见的数学计算函数都需要我们有一定了解。 今天介绍的是torch.norm，一个pytorch用来求范数的函数。我们先看求范数的数…
时间序列预测实战(十五)PyTorch实现GRU模型长期预测并可视化结果
往期回顾：时间序列预测专栏——包含上百种时间序列模型带你从入门到精通时间序列预测 一、本文介绍
本文讲解的实战内容是GRU(门控循环单元)，本文的实战内容通过时间序列领域最经典的数据集——电力负荷数据集为例，深入的了解GRU的基本原理和…
Pytorch：view()、permute()和contiguous()
pytorch contiguous
1 官方中英文doc：
torch.Tensor.contiguous (Python method, in torch.Tensor)
torch.Tensor.is_contiguous (Python method, in torch.Tensor)1.1 contiguous() → Tensor
Returns a contiguous tensor containing the same data as self te…
第十七章 解读PyTorch断点训练(工具)
主要有以下几方面的内容：
对于多步长训练需要保存lr_schedule初始化随机数种子保存每一代最好的结果 简单详细介绍
最近在尝试用CIFAR10训练分类问题的时候，由于数据集体量比较大，训练的过程中时间比较长，有时候想给停下来&…
第二十五章 解析cfg文件及读取获得网络结构
网络结构
以YOLOv3_SPP为例
cfg文件
部分，只是用来展示，全部的代码在文章最后
[net]
# Testing
# batch1
# subdivisions1
# Training
batch64
subdivisions16
width608
height608
channels3
momentum0.9
de…
用于图像分类任务的经典神经网络综述
🎀个人主页： https://zhangxiaoshu.blog.csdn.net 📢欢迎大家：关注🔍点赞👍评论📝收藏⭐️，如有错误敬请指正! 💕未来很长，值得我们全力奔赴更美好的生活&…
pytorch tensor数据类型转换为python数据
一、item() input:
x torch.tensor([1.0])
x.item()output:
1.0二、tolist() input:
a torch.randn(2, 2)
a.tolist()
a[0,0].tolist()output:
[[0.012766935862600803, 0.5415473580360413],[-0.08909505605697632, 0.7729271650314331]]0.012766935862600803
复现YOLO v1 PyTorch
复现YOLO v1 PyTorch
Paper: [1506.02640] You Only Look Once: Unified, Real-Time Object Detection (arxiv.org)
Github: EclipseR33/yolo_v1_pytorch (github.com)
数据集
VOC2007：The PASCAL Visual Object Classes Challenge 2007 (VOC2007)
VOC2012&…
【深度学习实验】网络优化与正则化（五）：数据预处理详解——标准化、归一化、白化、去除异常值、处理缺失值
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、优化算法0. 导入必要的库1. 随机梯度下降SGD算法a. PyTorch中的SGD优化器b. 使用SGD优化器的前馈神经网络 2.随机梯度下降的改进方法a. 学习率调整b. 梯度估计修正 3. 梯度估计修正：动量法Momen…
nvidia-docker部署pytorch服务【GPU工作站】
文章目录 一、安装 Docker二、安装 NVIDIA Container Toolkit三、宿主机安装 cuda 和 nvidia-driver四、测试一、安装 Docker
可以参考这篇文章 https://blog.csdn.net/weixin_43721000/article/details/124237932 二、安装 NVIDIA Container Toolkit
参考nvidia官方 https:/…
RobustVideoMatting 预测图片
改为了推理图片，文件夹的图片尺寸必须一样，否则会报错
针对复杂场景，效果也不好，比如被另一个人遮挡，前面还挂了围脖，背了包包，抱着小孩
。
"""
python inference.py \--vari…
【Pytorch笔记】7.torch.nn (Convolution Layers)
我们常用torch.nn来封装网络，torch.nn为我们封装好了很多神经网络中不同的层，如卷积层、池化层、归一化层等。我们会把这些层像是串成一个牛肉串一样串起来，形成网络。
先从最简单的，都有哪些层开始学起。
Convolution Layers -…
pytorch 深度学习之余弦相似度
文章目录 用处定理代码F.normalize() 和 F.norm() 的区别 用处
此方法特别重要，经常可以用来修改论文，提出创新点.
定理
余弦相似度是通过计算两个向量之间的夹角余弦值来衡量它们的相似性。给定两个非零向量 x 和 y，它们之间的余弦相似度…
pytorch 手写数字识别例子
作为记录用，如代码有不当的地方欢迎大家交流from re import M
import torch
import os
import cv2
from torch.nn.modules.activation import ReLU
from torch.nn.modules.conv import LazyConv1d
from torch.nn.modules.loss import CrossEntropyLoss
from torch.o…
pytorch文本分类（一）：文本预处理
pytorch文本分类（一）：文本预处理 本文为自己在鲸训练营答题总结，作业练习都在和鲸社区数据分析协作平台 ModelWhale 上。 🚩学习任务原链接在这里
相关数据链接：https://pan.baidu.com/s/1iwE3LdRv3uAkGGI…
PyTorch：计算图
在深度学习和神经网络领域，计算图是一种重要的概念，它在理解和实现神经网络模型的训练过程中起着至关重要的作用。PyTorch作为一款优秀的深度学习框架，自然也包含了计算图的概念和实现。本文将深入探讨PyTorch中计算图的原理、应用以及对深度…
YOLO改进系列之注意力机制（CoTAttention模型介绍）
简介
CoTAttention网络是一种用于多模态场景下的视觉问答（Visual Question Answering，VQA）任务的神经网络模型。它是在经典的注意力机制（Attention Mechanism）上进行了改进，能够自适应地对不同的视觉和语言…
Python装饰器的用途和实例
说明 装饰器是Python中非常有用的工具，它们可以用于修改或扩展函数或类的行为，而无需修改其原始定义。装饰器通常是一个函数，它接受一个函数作为参数，并返回一个新的函数或类。下面我们将介绍一些常见的装饰器用途和示例。 记录日…
【笔记 Pytorch】稀疏矩阵、scipy.sparse模块的使用
安装：pip install scipy 描述：就是专门为了解决稀疏矩阵而生。导入模块：from scipy import sparse
优缺点总结
七种矩阵类型描述coo_matrix ★【名称】coordinate format 【优点】 ① 不同稀疏格式间转换效率高(特别是CSR和CSC) …
torch 的数据加载 Datasets DataLoaders
点赞收藏关注！ 如需要转载，请注明出处！ torch的模型加载有两种方式： Datasets & DataLoaders
torch本身可以提供两数据加载函数： torch.utils.data.DataLoader（）和torch.utils.data.Datase…
pytorch下载离线包的网址
下载地址：https://download.pytorch.org/whl/torch_stable.html
安装GPU版本需要安装：torch、torchvision、 注意版本需要对应上
格式：适用cuda版本，torch版本 或者 orchvision版本，cp38就是适用python 3.8版本
下…
Pytorch中的tensor维度理解
Pytorch中的tensor维度理解 文章目录 Pytorch中的tensor维度理解摘要打消心理恐惧，从三维学起三维tensor参考文献 摘要
面对pytorch编程中的tensor时，我不时会感到恐惧。对里面数据是怎么排布的，一直没有一个直观的理解。今天我想把这个事情…
RevCol实战：使用RevCol实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…
PyTorch-ReID重识别算法库与数据集资料汇总
Torchreid 是一个用于深度学习人员重新识别的库，用 PyTorch 编写，为我们的 ICCV’19 项目 Omni-Scale Feature Learning for Person Re-Identification 开发。
PyTorch-ReID的特点是
多GPU训练支持图像和视频 REID端到端培训和评估极其轻松地准备 Rei…
YOLOv8改进 | 2023 | FocusedLinearAttention实现有效涨点
论文地址：官方论文地址
代码地址：官方代码地址 一、本文介绍
本文给大家带来的改进机制是Focused Linear Attention（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测…
ERROR: Could not find a version that satisfies the requirement torch
在windows 上安装pip install torch torchvision torchaudio 报错： ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
ERROR: No matching distribution found for torch 解决办法：
将python版本降到3.11…
关于pytorch以及相关包的安装教程
一.查看自己电脑的配置
首先查看自己电脑的cuda的版本，WinR,敲入cmd打开终端 输入nvidia-smi，查看自己电脑的显卡等配置 这里要说明一下关于这个CUDA,它具有向后兼容性，这意味着支持较低版本的 CUDA 的应用程序通常也可以在较高版本的 CUD…
全面(16万字)深入探索深度学习：基础原理到经典模型网络的全面解析
前言
Stacking(堆叠) 网页调试 学习率：它决定了模型在每一次迭代中更新参数的幅度激活函数-更加详细 激活函数的意义: 激活函数主要是让模型具有非线性数据拟合的能力，也就是能够对非线性数据进行分割/建模 如果没有激活函数： 第一个隐层:
l…
基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境
基于WSL2DockerVScode搭建机器学习(深度学习)开发环境 内容概述：由于最近配发了新的工作电脑但不想装双系统，因此通过本博文来记录基于Windows子系统WSLDocker搭建机器学习与深度学习开发环境的流程步骤，同时记录该过程中所遇到的相关问题及解…
tensorflow和pytorch的联系与区别
TensorFlow和PyTorch是两个流行的深度学习框架，它们在很多方面都有相似之处，因为它们都旨在解决相同的问题，即构建和训练神经网络。
以下是它们之间的一些联系：
1.深度学习框架： TensorFlow和PyTorch都是开源的深度学…
tensorflow和pytorch都分别存在CPU和GPU版本
TensorFlow和PyTorch都有专门为CPU和GPU优化的版本。它们之间的代码在某些方面有一些不同，但通常可以相对容易地进行转换。以下是一些主要的区别和转换规则：
特性/操作TensorFlowPyTorch转换规则张量创建tf.constant()torch.tensor()创建张量时…
深度解析NLP定义、应用与PyTorch实战
1. 概述 文本摘要是自然语言处理（NLP）的一个重要分支，其核心目的是提取文本中的关键信息，生成简短、凝练的内容摘要。这不仅有助于用户快速获取信息，还能有效地组织和归纳大量的文本数据。
1.1 什么是文本摘要&#x…
pytorch中的loss.backward()和optimizer.step()中的使用的梯度方向问题
# 举例：梯度下降更新模型参数
optimizer torch.optim.SGD(model.parameters(), lrlearning_rate)# 在每个训练步骤中
optimizer.zero_grad() # 清零梯度
output model(input)
loss loss_function(output, target)
loss.backward() # 计算梯度
optimizer.s…
深度学习之基于Pytorch服装图像分类识别系统
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介系统组成1. 数据集准备2. 数据预处理3. 模型构建4. 模型训练5. 模型评估 PyTorch的优势 二、功能三、系统四. 总结 一项目简介 深度学习在计算机视觉领域的…
查看电脑cuda版本
1.找到NVODIA控制面板 输入NVIDIA搜索即可 出现NVIDIA控制面板 点击系统信息
2.WINR 输入nvidia-smi 检查了一下，电脑没用过GPU，连驱动都没有 所以，装驱动……
选版本，下载 下载后双击打开安装 重新输入nvidia-smi 显示如下…
手写数字识别加法器--深度学习实验
上次老师布置了一个实验：
手写数字识别--深度学习实验-CSDN博客
这次在上次的基础上又布置了一个实验，也是做了好久才做出，所以把实验报告放到CSDN保存，自己忘了方便查阅，也为其他人提供借鉴。
实验源码自取&#x…
YOLOv8改进 | 2023 | SCConv空间和通道重构卷积（精细化检测，又轻量又提点）
一、本文介绍
本文给大家带来的改进内容是SCConv，即空间和通道重构卷积，是一种发布于2023.9月份的一个新的改进机制。它的核心创新在于能够同时处理图像的空间（形状、结构）和通道（色彩、深度）信息…
PyTorch：模型加载方法详解
PyTorch模型加载方法汇总 随着深度学习的快速发展，PyTorch作为一种流行的深度学习框架，其模型加载方法也备受关注。本文将介绍常用的PyTorch模型加载方法，并汇总不同方法的关键点，帮助读者更好地理解和应用。 一、PyTorch模型加载…
入门 PyTorch
要入门 PyTorch，可以按照以下步骤： 安装 PyTorch：在 PyTorch 的官方网站 PyTorch 上可以找到对应的安装方式和教程，选择适合自己的版本进行安装。 学习 PyTorch 基础知识：可以从官方文档中的入门教程开始学习…
![[PyTorch][chapter 2][李宏毅深度学习-Regression]](https://img-blog.csdnimg.cn/87e50def98ca4682956960449abb0c92.png)
[PyTorch][chapter 2][李宏毅深度学习-Regression]
前言： Regression 模型主要用于股票预测,自动驾驶,推荐系统等领域.
这个模型的输出是一个scalar。这里主要以下一个线性模型为基础
它是神经网络的基础模块， 目录： 总体流程 常见问题 Numpy 例子 PyTorch 例子 一 总体流程 1 : 建…
单张图像3D重建：原理与PyTorch实现
近年来，深度学习（DL）在解决图像分类、目标检测、语义分割等 2D 图像任务方面表现出了出色的能力。DL 也不例外，在将其应用于 3D 图形问题方面也取得了巨大进展。 在这篇文章中，我们将探讨最近将深度学习扩展到单图像 3…
TensorRT量化实战课YOLOv7量化：YOLOv7-QAT量化
目录 前言1. YOLOv7-QAT流程2. QAT训练流程 前言 手写 AI 推出的全新 TensorRT 模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。 该实战课程主要基于手写 AI 的 Latte 老师所出的 TensorRT下的模型量化，在其课程的基础上ÿ…
pytorch 多卡并行训练
目录
设置参数：
训练时参数：
调用命令： 设置参数： import argparseparser argparse.ArgumentParser()parser.add_argument(--batch_size, typeint, default64, helpBatch size for training)parser.add_argument(--local_rank…
人工智能(pytorch)搭建模型21-基于pytorch搭建卷积神经网络VoVNetV2模型，并利用简单数据进行快速训练
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型21-基于pytorch搭建卷积神经网络VoVNetV2模型，并利用简单数据进行快速训练。VoVNetV2模型是计算机视觉领域的一个重要研究成果，它采用了Voice of Visual Residual&…
pip安装python包（pytorch）时遇到超时现象的通用解决方案
最近在使用服务器配置pytorch环境的时候，遇到了极为恼火的事情，使用pytorch官方的命令来下载GPU版本的pytorch总会是不是下载到一半就会崩溃，然而pip下载并不会断点续传（什么时候能出这个功能啊喂！）。每次下…
使用Pytorch从零开始实现CLIP
生成式建模知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II…
在Pycharm中创建项目新环境，安装Pytorch
在python项目中，很多项目使用的各类包的版本是不一致的。所以我们可以对每个项目有专属于它的环境。所以这个文章就是教你如何创建新环境。
一、创建新环境
首先我们需要去官网下载conda。然后在Pycharm下面添加conda的可执行文件。
用conda创建新环境。
二、…
PyTorch Models
Overview
pth模型保存时是按照“整个模型保存”和“只保存模型参数”会影响模型的加载和访问方式
torch.save(vgg16, "vgg16.pt")
torch.save(vgg16,"vgg16.ckpt")
torch.save(vgg16,"vgg16.pth")
torch.save(vgg16,"vgg16.pkl")…
Pytorch---实现神经网络模型在GPU上进行训练
采用GPU训练
以上一篇完整的模型训练套路中的代码为例，采用GPU训练
判断电脑GPU可不可用
如果可用的话device就采用cuda()即调用GPU，不可用的话就采用cpu()即调用CPU。
device torch.device(cuda if torch.cuda.is_available() else cpu)
import t…
『PyTorch学习笔记』分布式深度学习训练中的数据并行(DP/DDP) VS 模型并行
分布式深度学习训练中的数据并行(DP/DDP) VS 模型并行 文章目录 一. 介绍二. 并行数据加载2.1. 加载数据步骤2.2. PyTorch 1.0 中的数据加载器(Dataloader) 二. 数据并行2.1. DP(DataParallel)的基本原理2.1.1. 从流程上理解2.1.2. 从模式角度理解2.1.3. 从操作系统角度看2.1.…
Kaggle-水果图像分类银奖项目 pytorch Densenet GoogleNet ResNet101 VGG19
一些原理文章
卷积神经网络基础（卷积，池化，激活，全连接） - 知乎
PyTorch 入门与实践（六）卷积神经网络进阶（DenseNet）_pytorch conv1x1_Skr.B的博客-CSDN博客GoogLeNet网…
Pytorch——多卡GPU训练与单卡GPU训练相互切换
部分深度学习网络默认是多卡并行训练的，由于某些原因，有时需要指定在某单卡上训练，最近遇到一个，这里总结如下。 目录 一、多卡训练1.1 修改配置文件1.2 修改主训练文件1.3 显卡使用情况 二、单卡训练2.1 修改配置文件2.2 显卡使…
使用pytorch查看中间层特征矩阵以及卷积核参数
这篇是我对哔哩哔哩up主 霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享 1和4是之前讲过的alexnet和resnet模型 2是分析中间层特征矩阵的脚本 3是查看卷积核参数的脚本 1设置预处理方法 和图像训练的时候用的预处理方法保持一致 2实例化模型 3载入之前的模型参数 4载入…
PyTorch中定义可学习参数时的坑
当需要在模型运行时定义可学习参数时（常见场景：参数的维度由每一层的维度定），我们就需要用这样的写法来实现：
class model(torch.nn.Module):def __init__(self):super().__init__()self.alpha Nonedef forward(self…
PyTorch入门之Tensor综合-含操作/运算、机器学习的关系、稠密张量与稀疏张量的定义等
PyTorch入门之Tensor综合-含操作/运算、机器学习的关系、稠密张量与稀疏张量的定义等
Tensor的理解
数学中有标量、向量和矩阵的概念，它们的维度分别是0、1、2。其中：
标量可以看成的一个数字，1，标量中元素的位置固定。向量可以…
【PyTorch】PyTorch之Tensors属性篇
文章目录 前言一、Tensors1、is_tensor2、is_storage3、is_complex4、is_conj5、is_floating_point6、is_nonzero7、set_default_dtype8、get_default_dtype9、set_default_device10、set_default_tensor_type11、torch.numel12、set_printoptions13、set_flush_denormal 前言 …
【jupyter添加虚拟环境内核（pytorch、tensorflow）- 实操可行】
jupyter添加虚拟环境内核（pytorch、tensorflow）- 实操可行 1、查看当前状态(winR，cmd进入之后)2、激活虚拟环境并进入3、安装ipykernel5、完整步骤代码总结6、进入jupyter 添加pytorch、tensorflow内核操作相同，以下内容默认已经安…
【RT-DETR有效改进】华为 | Ghostnetv1一种专为移动端设计的特征提取网络
前言
大家好，这里是RT-DETR有效涨点专栏。
本专栏的内容为根据ultralytics版本的RT-DETR进行改进，内容持续更新，每周更新文章数量3-10篇。
专栏以ResNet18、ResNet50为基础修改版本，同时修改内容也支持ResNet32、ResNet101和PP…
【PyTorch深度学习项目实战100例】—— 基于AnimeGAN模型生成宫崎骏风格动漫照片 | 第34例
前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境： 平台：Windows10语言环境：python3.7编译器：PyCharmPy…
Pytorch 和 TensorFlow 对比学习笔记,第4周：综合应用和实战项目 Day 21-24: 实战项目
第4周：综合应用和实战项目 Day 21-24: 实战项目
项目目标：
开始一个小型项目，如图像分类、文本生成或其他您感兴趣的任务。 应用到目前为止所学的知识。 项目选择：
**图像分类：**使用Pytorch或TensorFlow构建一个能…
第4周：综合应用和实战项目 Day 25-27: 模型调优和优化学习高级技巧
第4周：综合应用和实战项目 Day 25-27: 模型调优和优化学习高级技巧 在这个阶段，我们将专注于提高模型的性能，通过使用高级技巧如正则化、dropout、批标准化等。这些技术对于防止过拟合和提高模型的泛化能力非常重要。
重点学习内容ÿ…
李沐《动手学深度学习》多层感知机 深度学习相关概念
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 李沐《动手学深度学习》线性神经网络 softmax回归 李沐《动手学深度学习》多层感知机 模型概念和代码实现 目录 …
pytorch集智-6手写数字加法机-迁移学习
1 概述
迁移学习概念：将已经训练好的识别某些信息的网络拿去经过训练识别另外不同类别的信息
优越性：提高了训练模型利用率，解决了数据缺失的问题（对于新的预测场景，不需要大量的数据，只需要少量数据即可…
pytorch基础 神经网络构建
www.ai-xlab.com AI MOOC Torch介绍 Torch是一个开源的机器学习的框架，早在2002年就发 布了Torch的初版，Torch的编程语言为C和Lua。如今 的Torch7依旧是热门的深度学习框架之一。 www.ai-xlab.com AI MOOC PyTorch介绍 PyTorch是在2017年1月由Fa…
深度学习技术栈 —— 用Pytorch搭建神经网络识别数字(Kaggle实战)
深度学习技术栈 —— 用Pytorch搭建神经网络识别数字 （Kaggle实战） 一、项目信息1.1 参考文章 二、搭建过程2.1 逻辑回归2.2 Artificial Neural Network (ANN)2.3 Convolutional Neural Network (CNN)2.4 训练过程总结 一、项目信息 Kaggle比赛地址&…
SqlAlchemy使用教程(六) -- ORM 表间关系的定义与CRUD操作
SqlAlchemy使用教程(一) 原理与环境搭建SqlAlchemy使用教程(二) 入门示例及编程步骤SqlAlchemy使用教程(三) CoreAPI访问与操作数据库详解SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用SqlAlchemy使用教程(五) ORM API 编程入门 本章内容，稍微有…
PyTorch 内 LibTorch/TorchScript 的使用
PyTorch 内 LibTorch/TorchScript 的使用 1. .pt .pth .bin .onnx 格式1.1 模型的保存与加载到底在做什么？1.2 为什么要约定格式？1.3 格式汇总1.3.1 .pt .pth 格式1.3.2 .bin 格式1.3.3 直接保存完整模型1.3.4 .onnx 格式1.3.5 jit.trace1.3.6 jit.scrip…
【PyTorch】记一次卷积神经网络优化过程
记一次卷积神经网络优化过程
前言
在深度学习的世界中，图像分类任务是一个经典的问题，它涉及到识别给定图像中的对象类别。CIFAR-10数据集是一个常用的基准数据集，包含了10个类别的60000张32x32彩色图像。在上一篇博客中，我们已…
如何测试python 版本与 torch 、 torchvision 版本是否对应？
python 版本与 torch 、 torchvision 版本的对应关系如下图所示： 打开 anaconda powershell prompt，输入如下命令：
>python>>>import torch>>>c torch.ones((3,1)) //创建矩阵>>>c c.cuda(0) …
复现NAS with RL时pytorch的相关问题
optimizer.zero_grad()是什么？
optimizer.zero_grad()是PyTorch中的一个操作，它用于清零所有被优化变量（通常是模型的参数）的梯度。
在PyTorch中，当你计算某个张量的梯度时（比如通过调用.backward()函数&…
pytorch中BCELoss 和 binary_cross_entropy_with_logits之间的区别
在PyTorch中，binary_cross_entropy_with_logits是一个函数，而BCELoss是一个类。它们都是用于二分类任务的损失函数。它们之间存在一些区别如下。
torch.nn.functional.binary_cross_entropy_with_logits：
binary_cross_entropy_with_logits…
RAG排序策略探索——基于GPT2的PPL的方案
0.背景
微软发表了一篇论文《LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression》，里面论述了利用PPL来进行RAG的检索排序，十分有趣。于是在自己业务数据上测试了下，虽然最终效果不敌bge r…
PyTorch内置损失函数汇总 ！！
文章目录 一、损失函数的概念 二、Pytorch内置损失函数 1. nn.CrossEntropyLoss 2. nn.NLLLoss 3. nn.NLLLoss2d 4. nn.BCELoss 5. nn.BCEWithLogitsLoss 6. nn.L1Loss 7. nn.MSELoss 8. nn.SmoothL1Loss 9. nn.PoissonNLLLoss 10. nn.KLDivLoss 11. nn.MarginRankingLoss 12. …
PyTorch 中的nn.Conv2d 类
nn.Conv2d 是 PyTorch 中的一个类，代表二维卷积层（2D Convolution Layer）。这个类广泛用于构建卷积神经网络（CNN），特别是在处理图像数据时。
基本概念 卷积: 在神经网络的上下文中，卷积是一种特…
多智能体强化学习--MAPPO(pytorch代码详解)
标题 代码详解Actor和Critic网络的设置 代码详解
代码链接（点击跳转）
Actor和Critic网络的设置
基本设置：3个智能体、每个智能体观测空间18维。Actor网络：实例化一个actor对象，input-size是18Critic网络࿱…
【一次性解决】CUDA和PyTorch的安装与多版本管理问题
很多人配置环境就是直接安装三件套，而对于版本管理不是很清楚。在开发初期，这样做没什么问题。但是如果服务器多人使用，或者复现代码多（pytorch版本和cuda版本是互相依赖的），就需要更进一步的版本管理方法。…
《动手学深度学习(PyTorch版)》笔记3.7
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
《动手学深度学习(PyTorch版)》笔记4.2 4.3
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
NeRF：神经辐射场复杂场景的新视图合成技术
NeRF：神经辐射场复杂场景的新视图合成技术 NeRF：神经辐射场复杂场景的新视图合成技术项目背景与意义如何运行？快速开始更多数据集 预训练模型方法与实现结语服务 NeRF：神经辐射场复杂场景的新视图合成技术
在计算机视觉领域&…
《动手学深度学习(PyTorch版)》笔记4.7
Chapter4 Multilayer Perceptron
4.7 Forward/Backward Propagation and Computational Graphs
本节将通过一些基本的数学和计算图，深入探讨反向传播的细节。首先，我们将重点放在带权重衰减（ L 2 L_2 L2正则化）的单隐藏层多层…
Pytorch 基础之张量数据类型
学习之前：先了解 Tensor（张量）
官方文档的解释是：
张量如同数组和矩阵一样, 是一种特殊的数据结构。在PyTorch中, 神经网络的输入、输出以及网络的参数等数据, 都是使用张量来进行描述。
说白了就是一种数据结构
基本数据类型…
在 PyTorch 中动态构建和更新模型
1. PyTorch 中动态构建和更新模型 在 PyTorch 中，动态构建和更新模型是其核心特性之一。这意味着开发者无需预先定义完整的计算图，而是在运行时根据需要构建神经网络结构，并可以随时修改模型参数、添加或删除网络层等。这种动态图机制为研…
【自然语言处理】P2 PyTorch 基础 - 张量
目录 安装 PyTorch张量创建张量操作张量索引、切片、联合操作 CUDA张量 本系列博文我们将使用 PyTorch 来实现深度学习模型等。PyTorch 是一个开源的、社区驱动的深度学习框架。拥有强大的工具和库生态系统，包含 TorchVision（用于图像处理）、…
PyTorch 2.2 中文官方教程（九）
在生产环境中部署 PyTorch 模型
通过 Flask 在 Python 中部署 PyTorch 的 REST API 原文：pytorch.org/tutorials/intermediate/flask_rest_api_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 注意
点击这里下载完整的示例代码
作者&#…
《动手学深度学习(PyTorch版)》笔记7.3
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
pytorch集智-5手写数字识别器-卷积神经网络
1 简介
简称：CNN，convolutional neural network
应用场景：图像识别与分类（CNN），看图说话（CNNRNN）等
优越性：和多层感知机相比，cnn可以识别独特的模式&…
YOLOv8改进 | 检测头篇 | 独创RFAHead检测头超分辨率重构检测头（适用Pose、分割、目标检测）
一、本文介绍
本文给大家带来的改进机制是RFAHead，该检测头为我独家全网首发，本文主要利用将空间注意力机制与卷积操作相结合的卷积RFAConv来优化检测头，其核心在于优化卷积核的工作方式，特别是在处理感受野内的空间特征时。RFAConv主要的优点就是增加模型的特征提取能力，…
成功解决RuntimeError: batch2 must be a 3D tensor
成功解决RuntimeError: batch2 must be a 3D tensor。 🌵文章目录🌵 🌳引言🌳🌳问题初探：为什么会出现这个错误？🌳🌳解决方案：如何避免和修复这个错误&#x…
ubuntu18.04配置cuda+cudnn+anconda+pytorch-gpu+pycharm
一、显卡驱动安装 执行nvidia-smi查看安装情况 二、cuda安装 cuda官网下载cuda_11.6.2_510.47.03_linux.run，安装执行
sudo sh cuda_11.6.2_510.47.03_linux.run提升安装项，驱动不用安装，即第一项（Driver）ÿ…
【Pytorch入门】Day3 神经网络
基础 Containers 神经网络的骨架，往里面添加不同的内容，组成神经网络 import torch
from torch import nnclass Felix(nn.Module):def __init__(self):super().__init__()def forward(self,input):outputinput1return outputfelixFelix()
xtorch.tensor(…
PyTorch分布式overview
PyTorch分布式overview 文章目录 PyTorch分布式overviewtorch.nn.DataParallel分布式数据并行训练(DistributedDataParallel)接触DDP, 从这个例子开始分布式数据并行(DistributedDataParallel)基本用例(Basic Use Case)Setup 单机的模型并行最好的实践DataParallel和Distribute…
3090微调多模态模型Qwen-VL踩坑
本人使用记录一下训练过程中的心得和bug
1.数据集准备
数据集的标签形式见官方readme,如下:
[{"id": "identity_0","conversations": [{"from": "user","value": "你好"},{"from": "…
PyTorch入门教学——加载数据（Dataloader）
1、简介
PyTorch中如何读取数据主要涉及到两个类，分别为Dataset和Dataloader。 Dataset：创建可被Pytorch使用的数据集Dataloader：向模型传递数据本文主要讲解Dataloader的使用方法。
2、Dataloader
2.1、查看使用方法
查看官网文档&#…
Pytorch：torch.optim详解
本篇笔记主要介绍torch.optim模块，记录学习过程
在深度学习中，我们通常会使用优化算法来调整神经网络的权重和偏差，以便模型能够更好地拟合训练数据。torch.optim是PyTorch中的一个模块，它提供了各种优化算法的实现，用…
【Pytorch 入门】DAY5 完整的模型训练套路与模型验证
完整的模型训练套路
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model import *#准备数据集
train_datatorchvision.datasets.CIFAR10(dataset,trainTrue,transf…
pytorch+huggingface+bert实现一个文本分类
pytorchhuggingfacebert实现一个文本分类
1，下载模型
bert模型的目前方便的有两种：一种是huggingface_hub以及/AutoModel.load, 一种torch.hub。
(1) 使用huggingface_hub或者下载模型。
# repo_id:模型名称or用户名/模型名称from huggingface_hub i…
深度学习（四）：pytorch搭建GAN（对抗网络）
1.GAN
生成对抗网络（GAN）是一种深度学习模型，由两个网络组成：生成器（Generator）和判别器（Discriminator）。生成器负责生成假数据，而判别器则负责判断数据是真实的还是 f…
从线性回归到神经网络
一、线性回归关键思想
1、线性模型 2、基础优化算法 二、线性回归的从零开始实现 在了解线性回归的关键思想之后，我们可以开始通过代码来动手实现线性回归了。在这一节中，我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量…
【PyTorch】线性回归
文章目录 1. 代码实现1.1 一元线性回归模型的训练 2. 代码解读2.1. tensorboardX2.1.1. tensorboardX的安装2.1.2. tensorboardX的使用 1. 代码实现
波士顿房价数据集下载
1.1 一元线性回归模型的训练
import numpy as np
import torch
import torch.nn as nn
from torch.ut…
计算机视觉的应用21-基于含有注意力机制的CoAtNet模型的图像分类任务实现，利用pytorch搭建模型
大家好，我是微学AI，今天我给大家介绍一下计算机视觉的应用21-基于注意力机制CoAtNet模型的图像分类任务实现，加载数据进行模型训练。本文我们将详细介绍CoAtNet模型的原理，并通过一个基于PyTorch框架的实例，展示如何加…
【Pytorch 入门】DAY 4 损失函数 模型的保存与下载
损失函数
通俗理解，如下图所示，为理想与现实的差距
计算实际输出和目标之间的差距为我们更新输出提供一定的依据（反向传播）grad 官方文档 L1lOSS import torch
from torch.nn import L1Lossinputstorch.tensor([1,2,3],dtypeto…
Pytorch在二进制层面比较张量中的各行是否相同，并返回不相同的各行
代码实例：
def unique(arr):# Finds unique rows in arr and return their indicesarr arr.cpu().numpy()arr_ np.ascontiguousarray(arr).view(np.dtype((np.void, arr.dtype.itemsize * arr.shape[1])))_, idxs np.unique(arr_, return_indexTrue)if torch.cu…
Pytorch模型编译报错 UserWarning: (Resize(), RandomResizedCrop(), etc.)——解决办法
1、问题描述
使用Pytorch训练模型时，编译报错： UserWarning: The default value of the antialias parameter of all the resizing transforms (Resize(), RandomResizedCrop(), etc.) will change from None to True in v0.17, in order to be consis…
Pytorch CIFAR10图像分类 ShuffleNetv2篇
Pytorch CIFAR10图像分类 ShuffleNetv2篇 文章目录 Pytorch CIFAR10图像分类 ShuffleNetv2篇4. 定义网络（ShuffleNetv2）高效网络设计实用指南指南一：同等通道大小最小化内存访问量指南二：过量使用组卷积会增加MAC指南三：网络碎片化会降低并行度指南四：不能忽略元素级操作…
Grad-CAM（Gradient-weighted Class Activation Mapping）热力图（内含示例代码）
Grad-CAM（Gradient-weighted Class Activation Mapping）是一种用于可视化卷积神经网络（CNN）中特定类别的激活区域的技术。Grad-CAM帮助我们理解神经网络在分类任务中的决策过程，特别是它关注哪些图像区域以及这些区域对…
【PyTorch】数据集
文章目录 1. 创建数据集1.1. 直接继承Dataset类1.2. 使用TensorDataset类 2. 数据集的划分3. 加载数据集4. 将数据转移到GPU 1. 创建数据集
主要是将数据集读入内存，并用Dataset类封装。
1.1. 直接继承Dataset类
必须要重写__getitem__方法，用于根据索…
模型量化相关知识汇总
量化&反量化
量化操作可以将浮点数转换为低比特位数据表示,比如int8和 uint8.
Q(x_fp32, scale, zero_point) round(x_fp32/scale) zero_point,量化后的数据可以经过反量化操作来获取浮点数
x_fp32 (Q - zero_point)* scale pytorch中 quantize_per_tensor的解释
py…
TensorRT之LeNet5部署(onnx方式)
文章目录 前言LeNet-5部署1.ONNX文件导出2.TensorRT构建阶段(TensorRT模型文件)🧁创建Builder🍧创建Network🍭使用onnxparser构建网络🍬优化网络🍡序列化模型🍩释放资源 3.TensorRT运行时阶段(推理)&#x…
3D Gaussian Splatting for Real-Time Radiance Field Rendering论文中代码复现及排错过程
项目网址
graphdeco-inria/gaussian-splatting: Original reference implementation of “3D Gaussian Splatting for Real-Time Radiance Field Rendering” (github.com)
第一次在自己电脑上配环境（MX350显卡）
环境配置
以下是最初电脑所安装的内容…
关于在PyTorch中使用cudnn.benchmark= True
关于在PyTorch中使用cudnn.benchmark True 在PyTorch中，cudnn.benchmark True是一个参数，用于启用或禁用cuDNN的基准测试模式。cuDNN是一个由NVIDIA开发的深度神经网络库，它为GPU提供了一个优化的计算接口。
基准测试模式是cuDNN的一个特性…
【PyTorch】模型
文章目录 1. 模型的创建1.1. 创建方法1.1.1. 通过使用模型组件1.1.2. 通过继承nn.Module类 1.2. 将模型转移到GPU 2. 模型参数初始化3. 模型的保存与加载3.1. 只保存参数3.2. 保存模型和参数 1. 模型的创建
1.1. 创建方法
1.1.1. 通过使用模型组件
可以直接使用模型组件快速…
Pytorch中的Net.train()和 Net.eval()函数讲解
目录 前言1. Net.train()2. Net.eval()3. 总结 前言
这两个方法通常用于训练和测试阶段
1. Net.train() 该代码用在训练模式中 主要作用： 模型启用了训练时特定的功能（Batch Normalization 和 Dropout）。 在这种模式下，模型会根…
Pytorch CIFAR10图像分类 Swin Transformer篇
Pytorch CIFAR10图像分类 Swin Transformer篇 文章目录 Pytorch CIFAR10图像分类 Swin Transformer篇4. 定义网络（Swin Transformer）Swin Transformer整体架构Patch MergingW-MSASW-MSARelative position biasSwin Transformer 网络结构Patch EmbeddingP…
pytorch 常用api笔记
view_as()函数
函数定义：view_as(tensor) [参数为一个Tensor张量]
该函数的作用是将调用函数的变量，转变为同参数tensor同样的形状。
例子
data1 [[[1, 2], [3, 4], [5, 6]], [[7, 8], [9, 0], [10, 11]]]
t1 torch.Tensor(data1).long() # size2…
![[PyTorch][chapter 4][李宏毅深度学习][Gradient Descent]](https://img-blog.csdnimg.cn/direct/a50ed5ec9785491aab30cce430acf38f.png)
[PyTorch][chapter 4][李宏毅深度学习][Gradient Descent]
前言： 目录: 1: 梯度下降原理 2: 常见问题 3： 梯度更新方案 4： 梯度下降限制 一 梯度下降原理 机器学习的目标找到最优的参数,使得Loss 最小 为什么顺着梯度方向loss 就能下降了。主要原理是泰勒公式。 假设损失函数为 忽略二阶导数, 当 …
Pytorch指定device(cuda or cpu)
torch.device() 在PyTorch中，你可以使用torch.device函数来设置设备（device）。这个函数接受一个字符串作为参数，该字符串可以是 "cpu" 或 "cuda"，它指定了要在哪个设备上运行张量计算。
# 使用CP…
【教程】Conda更换镜像源安装pytorch
Windows下Conda安装pytorch换源
我们直接从conda官方或pytorch官方安装pytorch时，由于服务器在国外，速度很慢，或者无法下载/中断，这时候换上国内的镜像源会快很多。
这里给出更换阿里源的例子，其他国内源同理。
配置…
pytorch学习6-非线性变换（ReLU和sigmoid）
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
从零构建属于自己的GPT系列2：模型训练1（预训练中文模型加载、中文语言模型训练、逐行代码解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
torch 如何实现两点分布采样，100个样本中20个样本为1，80个为2
方法1 可以使用 PyTorch 中的 torch.distributions 模块实现两点分布采样。具体来说，可以使用 Categorical 分布将数字1和数字2的概率分别设为0.2和0.8，然后调用 sample() 方法进行采样。
下面是实现上述功能的代码示例：
import torch
# 创…
Pytorch 中的 Hook 机制
Hook 是 PyTorch 中⼀个⼗分有⽤的特性。利⽤它，我们可以不必改变⽹络输⼊输出的结构，⽅便地获取、改变⽹络中间层变量的值和梯度。这个功能被⼴泛⽤于可视化神经⽹络中间层的feature、gradient，从⽽诊断神经⽹络中可能出现的问题，…
pytorch 给定概率分布的张量，如何利用这个概率进行重复\不重复采样？
在 PyTorch 中，可以使用 torch.distributions.Categorical 来基于给定的概率分布进行采样。
下面是一个示例：
import torch
import torch.distributions as dist
# 创建一个大小为 (1, n) 的一行张量表示概率分布
probs torch.tensor([0.1, 0.2, 0.3,…
pytorch中的transpose用法
注意：维数从0开始，0维 1维2维…,负数代表从右往左数，-1代表第一维，以此类推
import torch
import numpy as np# 创建一个二维数组
arr torch.tensor([[[1, 2],[3, 4]],[[5, 6],[7, 8]]])
print("原始数组："…
Pytorch进阶教学——训练一个图像分类模型（GPU）
目录
1、前言
2、数据集介绍
3、获取数据
4、创建网络
5、训练模型
6、测试模型
6.1、测试整个模型准确率
6.2、测试单张图片 1、前言
编写一个可以分类蚂蚁和蜜蜂图片的模型，使用数据集对卷积神经网络进行训练。训练后的模型可以对蚂蚁或蜜蜂的图片进行…
使用PyTorch实现二元分类
导 读
在机器学习领域，二元分类是一项基本任务，是许多实际应用的基石。无论是垃圾邮件检测、情绪分析、医疗诊断还是欺诈检测，二元分类在基于数据的决策中都发挥着关键作用。在本文中，我们将使用PyTorch 实现二分类任务。
二元分…
【Python】使用 requirements.txt 与 pytorch 相关配置
【Python】使用 requirements.txt 与 pytorch 相关配置 前言一、pip1、导出结果含有路径2、导出不带路径的 二、Conda1、导出requirements.txt2、导出yml 文件 三、第三方包：pipreqs（推荐）1、创建并激活conda环境2、安装requirements文件的pi…
深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战
文章目录 深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战一、引言传统NLP技术概览规则和模式匹配基于统计的方法词嵌入和分布式表示循环神经网络（RNN）与长短时记忆网络（LSTM）Transform…
语义分割任务的准确率计算：基于PyTorch实现
语义分割任务的准确率计算：基于PyTorch实现 🌵文章目录🌵 🌳引言🌳🌳语义分割任务概述🌳🌳准确率的定义与计算方法🌳🌳实践应用与优化策略🌳&…
使用pytorch自带的网络结构
介绍
pytorch为我们提供了很多现成的网络结构，我们应该如何去使用呢？
我们可以看到我们使用resnet的时候会有许多现成的 当然vgg也一样，都有着许多现成的网络 使用模板
# 使用pytorch中定义好的网络模型
import torch.nn as nn
# 导入自带…
大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程
文章目录 大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程一、深度残差网络（Deep Residual Networks）简介深度学习与网络深度的挑战残差学习的提出为什么ResNet有效？ 二、深度学习与梯度消失问题梯度消失问题…
从0开始学pytorch【4】--维度变换、拼接与拆分
从0开始学pytorch【4】--维度变换、拼接与拆分学习内容：维度变换：张量拆分与拼接：小结学习内容：
维度变换、张量拆分与拼接 view/reshape squeeze/unsqueeze transpore/t/permute expand/repeat cat stack split chunk 维度变换&…
利用Anaconda安装pytorch和paddle深度学习环境+pycharm安装后不能调用pytorch和paddlepaddle框架
问题现象：
之前安装后不能在添加pytorch和paddlepaddle框架 原因（疑似）：
在终端中显示pytorch和paddle在C盘但是安装是安装在J盘
解决办法：
卸载、删除文件重新安装后可以看到文件位置在J盘中 但是选择时还是显示C…
图像分割实战-系列教程18：MaskRCNN项目介绍与配置
🍁🍁🍁图像分割实战-系列教程 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 Mask R-CNN for Object Detection and Segmentation（更新中）
《动手学深度学习(PyTorch版)》笔记4.1
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
PyTorch 最新安装教程
PyTorch 是一个开源的深度学习框架，提供了丰富的工具和库，方便用户快速开发和部署深度学习模型。由于其灵活性和易用性，PyTorch 已成为许多数据科学家和机器学习工程师的首选工具。本文将为你提供最新的 PyTorch 安装教程，帮助你顺…
PyTorch识别验证码
## 一、生成测试集数据pip install captcha
common.py
import random
import time
captcha_array list("0123456789abcdefghijklmnopqrstuvwxyz")
captcha_size 4from captcha.image import ImageCaptchaif __name__ __main__:for i in range(10):image ImageC…
神经网络与深度学习Pytorch版 Softmax回归 笔记
Softmax回归 目录
Softmax回归
1. 独热编码
2. Softmax回归的网络架构是一个单层的全连接神经网络。
3. Softmax回归模型概述及其在多分类问题中的应用
4. Softmax运算在多分类问题中的应用及其数学原理
5. 小批量样本分类的矢量计算表达式
6. 交叉熵损失函数
7. 模型预…
Pytorch 基础之张量索引
本次将介绍一下 Tensor 张量常用的索引与切片的方法：
1. index 索引
index 索引值表示相应维度值的对应索引
a torch.rand(4, 3, 28, 28)
print(a[0].shape) # 返回维度一的第 0 索引 tensor
print(a[0, 0].shape) # 返回维度一 0 索引位置…
使用 PyTorch 构建 NLP 聊天机器人
一、说明 聊天机器人提供自动对话，可以帮助用户完成任务或寻求信息。随着深度学习的最新进展，聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人，涵盖模型架构、数据准备、训练循环…
PyTorch加载自己的数据集
PyTorch加载自己的数据集0.引言1.定义自己的Dataset类0.引言
主要内容来源。
PyTorch提供了几种方法来加载自己的数据集。下面是一些常用的方法：
1.使用torch.utils.data.Dataset类创建自定义数据集
这是一种常见的方式，用于自定义数据集。创建一个类…
全15万字丨PyTorch 深度学习实践、基础知识体系全集；忘记时，请时常回顾。
✨ ✨我们抬头便看到星光，星星却穿越了万年. ✨ ✨
🎯作者主页：追光者♂ 🌸个人简介：在读计算机专业硕士研究生、CSDN-人工智能领域新星创作者🏆、2022年度博客之星人工智能领域TOP4🌟、阿里云…
Pytorch中FLOPs和Params计算
文章目录一. 含义二. 使用thop库计算FLOPs和Params三. 注意四. 相关链接一. 含义
FLOPs（计算量）：注意s小写，是floating point operations的缩写（这里的小s则表示复数），表示浮点运算数ÿ…
pytorch训练指标记录之tensoboard，wandb
详解Tensorboard及使用教程_tensorboard怎么用-CSDN博客文章浏览阅读5.1w次，点赞109次，收藏456次。目录一、什么是Tensorboard二、配置Tensorboard环境要求安装三、Tensorboard的使用使用各种add方法记录数据单条曲线(scalar)多条曲线(scalars)直方图(hi…
PyTorch深度学习实战（26）——多对象实例分割
PyTorch深度学习实战（26）——多对象实例分割 0. 前言1. 获取并准备数据2. 使用 Detectron2 训练实例分割模型3. 对新图像进行推断小结系列链接 0. 前言
我们已经学习了多种图像分割算法，在本节中，我们将学习如何使用 Detectron2 …
PyTorch深度学习快速入门教程 - 【小土堆学习笔记】
小土堆Pytorch视频教程链接
声明： 博主本人技术力不高，这篇博客可能会因为个人水平问题出现一些错误，但作为小白，还是希望能写下一些碰到的坑，尽力帮到其他小白
1 环境配置
1.1 pycharm
pycharm建议使用2020的&…
YOLOv5改进 | 一文汇总：如何在网络结构中添加注意力机制、C3、卷积、Neck、SPPF、检测头
一、本文介绍
本篇文章的内容是在大家得到一个改进版本的C3一个新的注意力机制、或者一个新的卷积模块、或者是检测头的时候如何替换我们YOLOv5模型中的原有的模块，从而用你的模块去进行训练模型或者检测。因为最近开了一个专栏里面涉及到挺多改进的地方，不能每篇文章都去讲…
【深一点学习】我用CPU也能跟着沐神实现单发多框检测（SSD），从底层了解目标检测任务的实现过程，需要什么样的方法调用。《动手学深度学习》Yes，沐神，Yes
目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型[1611.06612] RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation (arxiv.org)：（1）two-stage方法，如R-CNN系算法…
YOLOv8改进 | Neck篇 | 当SDI碰上BiFPN形成全新的特征金字塔网络（全网独家创新）
一、本文介绍
本文给大家带来的改进机制是利用多层次特征融合模块（SDI）配上经典的加权双向特征金字塔网络Bi-FPN形成一种全新的Neck网络结构，从而达到二次创新的效果，其中（SDI）模块的主要思想是通过整合编码器生成的层级特征图来增强图像中的语义信息和细节信息。Bi-FPN…
13.5. 多尺度目标检测
这里是对那一节代码的通俗注释，希望对各位学习有帮助。 值得注意的是，multibox_prior函数的宽高计算网络上有争议，此处我仍认为作者的写法是正确的，如果读者有想法，可以在评论区留言，我们进行讨论。 import…
【PyTorch深度学习项目实战100例】—— 基于RNN+CNN实现NLP判别新闻真伪 | 第45例
前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境： 平台：Windows10语言环境：python3.7编译器：PyCharmPy…
【PyTorch深度学习项目实战100例】—— 8行代码实现验证码识别 | 第68例
前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境： 平台：Windows10语言环境：python3.7编译器：PyCharmPy…
【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码
机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。 为了公式表示更加清晰，我们设 yn∈{1,2,…,K}{{y_n} \in \{ 1,2, \ldots ,K\} }yn∈{1,2,…,K} 为样本 n{n}n 的真实标签，v(v1,v2,…vK){v ({v_1},{v…
【测试代码 基于Pytorch】的卷积神经网络（CNN） || 【基于Pytorch】的深度卷积神经网络（DCNN）
声明：仅学习使用~ 目录 一、卷积神经网络 CNN1、【基于Pytorch】的卷积神经网络（CNN）2、【基于Pytorch】的深度卷积神经网络（DCNN）一、卷积神经网络 CNN
CNN，这里以 LeNet 为例。LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convo…
【动手学深度学习】softmax回归的从零开始实现（PyTorch版本）（含源代码）
目录：softmax回归的从零开始实现一、理论基础1.1 前言1.2 分类问题1.3 网络架构1.4 全连接层的参数开销1.5 softmax运算1.6 小批量样本的矢量化1.7 损失函数1.7.1 对数似然1.7.2 softmax及其导数1.7.3 交叉熵损失1.8 信息论基础1.8.1 熵1.8.2 信息量1.8.3 重新审视交…
深入浅出PyTorc——进阶训练技巧
1. 自定义损失函数
1.1 以函数方式定义 手动写出损失的公式并用函数进行存储，方便调用。
def my_loss(output, target):loss torch.mean((output - target)**2)return loss
1.2 以类方式定义 1.2.1 损失函数的继承关系 （1）Loss函数部分继…
Pytorch基础 - 7. torch.transpose() 和 torch.permute()
目录
1. torch.transpose(dim0, dim1)
2. torch.permute(dims)
3. 在转置函数之后使用view() PyTorch中使用torch.transpose() 和 torch.permute()可对张量进行维度的转置，具体内容如下：
1. torch.transpose(dim0, dim1) 参数: 需要转置的两个维度…
MCNN算法实战：基于PyTorch实现MCNN完成人群计数任务
任务描述 近年来，随着踩踏事件的不断发生，人群计数的问题受到了越来越多研究人员的关注。人群计数的方法大致可以分为三种： 以检测为基础，即通过对图像中每一个人进行检测从而得到人群数目。以回归为基础，即通过建立图像特征和图像人数的回归模型，通过测量图像特征从而估…
PointNet++理解
一、PointNet解决了PointNet存在的哪些问题
PointNet的point-wise MLP，仅仅是对每个点表征，对局部结构信息整合能力太弱 --> PointNet的改进：sampling和grouping整合局部邻域PointNet的global feature直接由max pooling获得，无…
一行代码加速Pytorch推理速度6倍
一行代码加速Pytorch推理速度6倍
Torch-TensorRT 是 PyTorch 的集成，它利用 NVIDIA GPU 上的 TensorRT 推理优化。 只需一行代码，它就提供了一个简单的 API，可在 NVIDIA GPU 上提供高达 6 倍的性能加速。
话不多说, 线上代码, 再解释原理!!…
vit-pytorch实现 MobileViT注意力可视化
项目链接 https://github.com/lucidrains/vit-pytorch 注意一下参数设置：
Parameters
image_size: int. Image size. If you have rectangular images, make sure your image size is the maximum of the width and heightpatch_size: int. Number of patches. im…
pytorch学习入门之 Variable（变量）
Variable（变量）
autograd.Variable 是包的核心类. 它包装了张量, 并且支持几乎所有的操作. 一旦你完成了你的计算, 你就可以调用 .backward() 方法, 然后所有的梯度计算会自动进行.
你还可以通过 .data 属性来访问原始的张量, 而关于该 variable（变量）的梯度会被累计到 .…
根据已有安装的cuda配置合适的pytorch环境
目前网络上根据电脑配置安装合适的深度学习环境的帖子已经很多了，但是现实中会出现很久之前已经安装了对应的cuda，但是现在忘记了当时安装的是什么版本。本文针对这一问题展开攻略。
1 cuda安装版本查询
我们在查询自己应该安装什么版本的cuda时&#…
时间序列预测实战(二十五)PyTorch实现Seq2Seq进行多元和单元预测（附代码+数据集+完整解析）
一、本文介绍
本文给大家带来的时间序列模型是Seq2Seq，这个概念相信大家都不陌生了，网上的讲解已经满天飞了，但是本文给大家带来的是我在Seq2Seq思想上开发的一个模型和新的架构，架构前面的文章已经说过很多次了，其是…
【PyTorch】模型的基本操作
文章目录 1. 模型的创建1.1. 创建方法1.1.1. 通过使用模型组件1.1.2. 通过继承nn.Module类 1.2. 将模型转移到GPU 2. 模型参数初始化3. 模型的保存与加载3.1. 只保存参数3.2. 保存模型和参数 1. 模型的创建
1.1. 创建方法
1.1.1. 通过使用模型组件
可以直接使用模型组件快速…
3.PyTorch——常用神经网络层
import numpy as np
import pandas as pd
import torch as t
from PIL import Image
from torchvision.transforms import ToTensor, ToPILImaget.__version__2.1.13.1 图像相关层
图像相关层主要包括卷积层（Conv）、池化层（Pool）…
【动手学深度学习】(十)PyTorch 神经网络基础+GPU
文章目录 一、层和块1.自定义块2.顺序块3.在前向传播函数中执行代码 二、参数管理1.参数访问2.参数初始化3.参数绑定 三、自定义层1.不带参数的层2.带参数的层 四、读写文件1.加载和保存张量2.加载和保存模型参数五、使用GPU [相关总结]state_dict() 一、层和块 为了实现复杂神…
torch.nn.BCELoss （）函数的用法
torch.nn.BCELoss 是PyTorch中用于计算二元交叉熵损失的函数
其用法通常涉及以下几个步骤：
1. 创建 BCELoss 实例：
criterion torch.nn.BCELoss()这里创建了一个二元交叉熵损失函数的实例 criterion
2.定义输入和目标标签：
inputs ...…
12-07 周四 Pytorch 使用Visdom 进行可视化
简介 在完成了龙良曲的Pytroch视频课程之后，楼主对于pytroch有了进一步的理解，比如，比之前更加深刻的了解了BP神经网络的反向传播算法，梯度、损失、优化器这些名词更加熟悉。这个博客简要介绍一下在使用Pytorch进行数据可视化的一…
时间序列预测实战(二十四)PyTorch实现RNN进行多元和单元预测（附代码+数据集+完整解析）
一、本文介绍
本篇文章给大家带来的是利用我个人编写的架构进行RNN时间序列卷积进行时间序列建模（专门为了时间序列领域新人编写的架构，简单且不同于市面上大家用GPT写的代码），包括结果可视化、支持单元预测、多元预测、模型拟合…
时间序列预测实战(二十六)PyTorch实现Seq2Seq(LSTM)（结果可视化+自动保存结果）
一、本文介绍
本文给大家带来的时间序列模型是Seq2Seq，这个概念相信大家都不陌生了，网上的讲解已经满天飞了，但是本文给大家带来的是我在Seq2Seq思想上开发的一个模型和新的架构，其是专门为新手开发的，而且为了方便大…
block-recurrent-transformer-pytorch 学习笔记
目录
有依赖项1：
没有依赖项，没有使用例子
没有依赖项2： 有依赖项1：
GitHub - dashstander/block-recurrent-transformer: Pytorch implementation of "Block Recurrent Transformers" (Hutchins & Schlag et a…
龙良曲PyTorch入门到实战 深度学习
文章目录 笔记激活函数与Loss的梯度lesson5 手写数字识别问题lesson6 基本数据类型lesson7 创建tensorlesson8 索引和切片lesson9 维度变换lesson10 broadcastinglesson11 分割和合并lesson12 数学运算lesson13 Tensor统计lesson14 Tensor高阶lesson16 什么是梯度lesson17 常见…
Pytorch中的tensor和variable
Tensor与Variable
pytorch两个基本对象：Tensor（张量）和Variable（变量）
其中，tensor不能反向传播，variable可以反向传播（forword）。
反向传播是为了让神经网络更新前面…
【PyTorch】教程：Transfer learning
Transfer learning 实际工作中，只有很少的人从头开始训练 CNN，因为很难获得大量的样本。一般情况下，会通过调用预训练模型，例如 ConvNet 在 ImageNet（1.2 M 图像 1000 个类别）,可以用 ConvNet 初始化&#…
OpenMMLab 实战营打卡 - 第 7 课
OpenMMLab MMSegmentation内容概要MMSegmentation统一超参MMSegmentation 的项目结构分割模型的模块化设计分割模型的配置文件主干网络的配置ResNet v1c主解码头的配置辅助解码头的配置数据集配置数据处理流水线常用训练策略参考资料内容概要
• MMSegmentation 项目概述 • M…
Jupyter 使用Anaconda 虚拟环境内核
Anaconda 虚拟环境中使用Jupyter Notebook
安装好Anaconda之后，进入Anaconda Prompt，创建虚拟环境，env_name是创建的环境的名字。
conda creat -n env_name python3.9等虚拟环境搭建好之后，激活环境。
conda activate env_name…
利用PyTorch深度学习框架搭建多元回归模型
目录前言数据加载数据转换模型定义模型训练模型评估模型保存与加载完整代码讨论参考文献前言
大多数数据科学家以往经常常是利用传统的机器学习框架sklearn搭建多元回归模型，随着深度学习和强化学习越来越普及，很多数据科学家尝试使用深度学习框架来进行…
PyTorch 分布式训练 --- 数据加载之DistributedSampler
1. 一句话总结：
DDP中DistributedSampler保证测试数据集加载固定顺序，且在各个程序中都是一样时（因为shuffleTrue时使用了随机种子，不保证在各个程序中测试数据集加载顺序都是一样），最好在DistributedSamp…
如何高大上的初始化变量和对矩阵每行求平均
好久没写博客了，去年下半年学雅思和申博，今年这几个月准备毕业论文，手忙脚乱的。
一、按行归一化
直接进正题，最近工作涉及到需要对一个 [s,d] ，大部分是0的矩阵tmp每行求每个值的平均（即归一化ÿ…
【pytorch】深度学习所需算力估算：flops及模型参数量
目录计算量的要求是在于芯片的floaps（指的是gpu的运算能力）参数量对应显存大小选型常见的英伟达显卡的FLOPS和显存规格pytorch中的floaps与显存计算方法计算量的要求是在于芯片的floaps（指的是gpu的运算能力）
确定神经网络推理需…
使用torch实现简易手写conv2d卷积
1. 常规卷积原理 3*3卷积核以滑动窗口方式在输入特征图上滑动，每一次滑动，都将卷积核权重与输入特征图对于位置进行乘加操作，得到输出特征图。 下图为示例： 输入特征图尺寸为5*5，通道为3； 卷积核尺寸为3*3*…
解决跑pytorch代码报错AttributeError: module ‘distutils‘ has no attribute ‘version‘
跑pytorch代码报错AttributeError: module ‘distutils’ has no attribute ‘version’ Traceback (most recent call last): File “D:/pycharm_envir/gaozhiyuan/Segmentation/pytorch_segmentation/deeplabv3-plus-pytorch-main/train.py”, line 16, in from utils.callb…
模型权值共享/参数访问/初始化
模型权值共享方法有两种：Module类的forward函数里多次调用同一个层在Sequential模块中重复传入同一个Module实例linear nn.Linear(1, 1, biasFalse)
net nn.Sequential(linear, linear)
print(net)
for name, param in net.named_parameters():init.constant_(pa…
pip 安装 pytorch
一.使用pip安装 pytorch
pytorch博客教程 最好先创建一个虚拟环境，因为如果在同一环境，升级某一个包可能会导致另一个包无法使用，比如 a的包是1.0，b的包是1.0依赖a的1.0，然后a升级为1.1，b可能无法使用
创…
【YoloV5】Deepin系统使用Gpu进行YoloV5训练
Deepin系统使用Gpu进行YoloV5训练，显卡RTX30701.配置环境1.1英伟达的驱动安装2. pytorch安装2.1pytorch环境配置2.2 验证Gpu3.使用Yolo5进行Gpu模型训练3.1 准备需要训练的数据集和标注数据集1.配置环境
1.1英伟达的驱动安装
查看当前自己系统的显卡信息
lspci |…
Windows搭建机器学习环境
一、环境介绍Anaconda：Anaconda offers the easiest way to perform Python/R data science and machine learning on a single machine. Start working with thousands of open-source packages and libraries today.Anaconda包括Conda、Python以及一大堆安装好的工…
pytorch训练第一个项目VOC2007分割
一、环境
condapytorch1.2.0cuda10.0pycharm
二、训练内容
数据集：VOC2007
网络：U-net
功能：分割图像分类
三、步骤
安装软件、框架、包、cuda（不安用cpu跑也可以），下载数据集、代码、权重文件等。。…
Pytorch语义分割网络的详细训练过程——以NYUv2数据集为例
目录一、构建数据集1. 对Dataset和DataLoader的理解2. torch.utils.data.Dataset3. torch.utils.data.DataLoader4. 代码分块解析5. 完整代码6. 可视化二、模型搭建三、定义损失函数和优化器四、迭代训练参考文章一、构建数据集
1. 对Dataset和DataLoader的理解 Pytorch提供了…
小白学Pytorch 系列--Torch API（2）
小白学Pytorch 系列–Torch API（2） Generators
torch.Generator
创建并返回一个生成器对象，该对象管理生成伪随机数的算法的状态。在许多就地随机抽样函数中用作关键字参数。
g_cpu torch.Generator()
g_cpu.get_state()g_cpu torch.Ge…
基于pytorch实现模型量化压缩
一 、前言
在模型的量化压缩过程中，一般包括以下步骤：
模型剪枝：通过去除网络中一些不必要的连接及其对应的参数，来减小模型的大小和复杂度，从而提高模型的计算速度和运行效率。
参数量化：将原始的浮点型参数转化为量化参数，通常是8位或16位的定点数或整数类型。这样…
pytorch入门10--循环神经网络（RNN）
一、简要介绍 RNN适用了处理序列性的数据，并利用权重共享机制（即一个RNN网络使用多次）。序列性数据用一个例子来理解，比如我们想要预知某一天是否会下雨，我们采集了大量天数的气象信息，气象信息包括温度、气…
有关pytorch的一些总结
Tensor
含义 张量（Tensor）：是一个多维数组，它是标量、向量、矩阵的高维拓展。
创建
非随机创建
1.用数组创建 将数组转化为tensor np.ones([a,b]) 全为1
#首先导入PyTorch
import torch#数组创建
import numpy as np
anp.arr…
PyTorch - FashionMNIST + LeNet-5
文章目录项目说明数据集说明 - FashionMNIST算法说明 - LeNet-5LeNet-5 网络结构代码实现数据准备下载数据集查看数据定义网络训练设置参数训练方法验证方法项目说明
参考 数据集说明 - FashionMNIST
Fashion-MNIST 由10个类别的图像组成，每个类别由训练数据集&am…
模型量化(4): Pytorch 量化工具包介绍
1. pytorch quantization介绍
在实际开发过程中，单独开发量化的工具进行PTQ或者QAT量化，同时去适配TensorRT, onnxruntime,openvion等推理引擎。Pytorch官方推出了量化工具：Pytorch Quantization库，方便大家使用。 文档： pytorch-quantization’s documentation：https:/…
深度学习课件-实验1_PyTorch基本操作实验
文章目录一、Pytorch基本操作考察1.11.21.3二、动手实现 logistic 回归2.12.2三、动手实现softmax回归3.13.2一、Pytorch基本操作考察 使用 𝐓𝐞𝐧𝐬𝐨𝐫 初始化一个 𝟏𝟑 的矩阵 &a…
【图像分类】基于PyTorch搭建LSTM实现MNIST手写数字体识别（单向LSTM，附完整代码和数据集）
写在前面： 首先感谢兄弟们的关注和订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。
提起LSTM大家第一反应是在NLP的数据集上比较常见，不过在图片分类中，它同样也可以使用。我们以比较熟悉的 mnist…
『PyTorch学习笔记』如何快速下载huggingface模型/数据—全方法总结
如何快速下载huggingface模型/数据—全方法总结 文章目录 一. 如何快速下载huggingface大模型1.1. IDM(Windows)下载安装连接1.2. 推荐 huggingface 镜像站1.3. 管理huggingface_hub cache-system(缓存系统) 二. 参考文献 一. 如何快速下载huggingface大模型 推荐 huggingface…
pytorch-mask-rcnn 官方
This is a Pytorch implementation 实现 of Mask R-CNN that is in large parts based on Matterports Mask_RCNN. Matterports repository is an implementation on Keras and TensorFlow. The following parts of the README are excerpts 摘录 from the Matterport README. …
ubuntu22下使用nvidia 2080T显卡部署pytorch
1.直接到NVIDA官网下载相应的驱动，然后安装官方驱动 | NVIDIA
2.下载相应版本cuda，并安装，安装时不安装驱动
3.conda install pytorch2.1.0 torchvision0.16.0 torchaudio2.1.0 pytorch-cuda12.1 -c pytorch -c nvidia 安装pytorch。
安装…
【conda】利用Conda创建虚拟环境，Pytorch各版本安装教程(Ubuntu)
TOC conda 系列： 1. conda指令教程 2. 利用Conda创建虚拟环境，安装Pytorch各版本教程(Ubuntu)
1. 利用Conda创建虚拟环境
nolonolo:~/sun/SplaTAM$ conda create -n splatam python3.10查看结果：
(splatam) nolonolo:~/sun/SplaTAM$ cond…
【Pytorch】Fizz Buzz
文章目录 1 数据编码2 网络搭建3 网络配置，训练4 结果预测5 翻车现场 学习参考来自：
Fizz Buzz in Tensorflowhttps://github.com/wmn7/ML_Practice/tree/master/2019_06_10Fizz Buzz in Pytorch I need you to print the numbers from 1 to 100, excep…
群组推荐模型---AGREE(Attentive Group Recommendation)
群组推荐模型---AGREE AGREE简单概述基于注意力的群组表征学习（Attentive Group Representation Learning）NCF(Neural Collaborative Filtering) AGREE简单概述
群组推荐领域比较经典的论文便是AGREE(Attentive Group Recommendation)，此文的…
AI 训练框架：Pytorch TensorFLow MXNet Caffe ONNX PaddlePaddle
https://medium.com/jit-team/bridge-tools-for-machine-learning-frameworks-3eb68d6c6558
PyTorch: 基于【MobileNet V2】处理MNIST数据集的图像分类任务【准确率99%+】
目录 引言1. 安装PyTorch2. 下载并加载MNIST数据集3. 搭建基于MobileNet V2的图像分类模型运行结果（重点看网络开头和结束位置即可） 4. 设置超参数、损失函数、优化器5. 训练模型6. 测试模型运行结果 完整代码结束语 引言
在深度学习和计算机视觉的世界…
关于pytorch中的dim的理解
今天碰到一个代码看起来很简单，但是细究原理又感觉好像不太通不太对劲，就是多维tensor数据的操作，比如：y.sum(dim2)，乍一看很简单数据相加操作，但是仔细一想，这里在第3维度的数据到底是横向相加…
【Pytorch】学习记录分享1——Tensor张量初始化与基本操作
1. 基础资料汇总
资料汇总 pytroch中文版本教程 PyTorch入门教程 B站强推！2023公认最通俗易懂的【PyTorch】教程，200集付费课程（附代码）人工智能_机器 视频 1.PyTorch简介 2.PyTorch环境搭建 basic: python numpy pandas pytroch…
PyTorch ： torch.cuda.amp: 自动混合精度详解
amp : 全称为 Automatic mixed precision，自动混合精度
amp功能：
可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。
通常，深度学习中使用的精度为…
计算机视觉-05-目标检测：LeNet的PyTorch复现（MNIST手写数据集篇）（包含数据和代码）
文章目录 0. 数据下载1. 背景描述2. 预测目的3. 数据总览4. 数据预处理4.1 下载并加载数据，并做出一定的预先处理4.2 搭建 LeNet-5 神经网络结构，并定义前向传播的过程4.3 将定义好的网络结构搭载到 GPU/CPU，并定义优化器4.4 定义训练过程4.5…
pytorch serve开始-Getting started
官网链接
Getting started — PyTorch/Serve master documentation
安装TorchServe和torch-model-archiver
安装依赖
注意::对于Conda，运行Torchserve需要Python >3.8。 对于基于Debian的系统/ MacOS
CPU
python ./ts_scripts/install_dependencies.py
对…
【已解决】ModuleNotFoundError: No module named ‘pandas‘
问题描述 ModuleNotFoundError: No module named ‘pandas’ 解决办法
pip install pandas
完结撒花 熟悉的人相遇，就像久旱等到的甘霖
4.PyTorch——优化器
import numpy as np
import pandas as pdimport torch as tPyTorch将深度学习中常用的优化方法全部封装在torch.optim中，其设计十分灵活，能够很方便的扩展成自定义的优化方法。
所有的优化方法都是继承基类optim.Optimizer，并实现了自己的优…
关于torch.nn.Embedding的浅显理解
最近在使用词嵌入向量表示我的数据标签，并且在试图理解torch.nn.Embedding函数。 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idxNone, max_normNone, norm_type2.0, scale_grad_by_freqFalse, sparseFalse, _weightNone, _freezeFalse, deviceNon…
学习pytorch19 pytorch使用GPU训练2
pytorch使用GPU训练2 第二种使用gpu方式核心代码代码 macbook pro m1/m2 用mps ， 是苹果arm芯片的gpu
第二种使用gpu方式核心代码
# 设置设备
device torch.device(cpu) # 使用cpu
device torch.device(cuda) # 单台gpu
device torch.device(cuda:0) # 使…
从零构建属于自己的GPT系列6：模型本地化部署2（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
【PyTorch】代码学习
文章目录 直接定义nn.Sequential(), 然后append(),最后直接net(),少写很多forward，适合直连式网络 直接定义nn.Sequential(), 然后append(),最后直接net(),少写很多forward，适合直连式网络
代码来源：https://github.com/zshhans/MSD-Mixer/b…
从零构建属于自己的GPT系列5：模型部署1（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
使用PyTorch II的新特性加快LLM推理速度
Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括:
Torch.compile: PyTorch模型的编译器
GPU量化:通过降低精度操作来加速模型
推测解码:使用一个小的“草稿”模型来加速llm来预测一个大的“目标”模型的输出
张量并行:通过在多个设备…
在win10上安装pytorch-gpu版本2
安装anaconda即下载了python，还可以创建虚拟环境。
目录 1.1 anaconda安装 1.2 pytorch-gpu安装 1.1 Anaconda安装
anaconda的安装请看我之前发的tensoflow-gpu安装，里面有详细的安装过程，这里不做重复描述，传送门
1.2 pyt…
人体关键点检测2：Pytorch实现人体关键点检测(人体姿势估计)含训练代码
人体关键点检测2：Pytorch实现人体关键点检测(人体姿势估计)含训练代码
目录
人体关键点检测2：Pytorch实现人体关键点检测(人体姿势估计)含训练代码
1. 前言
2.人体关键点检测方法
(1)Top-Down(自上而下)方法
(2)Bottom-Up(自下而上)方法࿱…
关于Pytorch和Numpy中的稀疏矩阵sparse的知识点
Pytorch和Numpy中的稀疏矩阵sparse 0 稀疏矩阵类别0.1 coo_matrix0.2 dok_matrix0.3 csr_matrix0.4 csc_matrix0.5 bsr_matrix0.6 bsc_matrix0.7 lil_matrix0.8 dia_matrix 1 pytorch中的稀疏矩阵1.1 to_sparse()1.2 to_sparse_csr()1.3 sparse_coo_tensor()1.4 sparse_csr_ten…
Pytorch当中nn.Identity()层的作用
在深度学习中，nn.Identity() 是 PyTorch 中的一个层（layer）。它实际上是一个恒等映射，不对输入进行任何变换或操作，只是简单地将输入返回作为输出。
通常在神经网络中，各种层（比如全连接层、卷…
学习pytorch19 pytorch使用GPU训练
pytorch使用GPU进行训练 1. 数据 模型 损失函数调用cuda()2. 使用谷歌免费GPU gogle colab 需要创建谷歌账号登录使用, 网络能访问谷歌3. 执行4. 代码 B站土堆学习视频： https://www.bilibili.com/video/BV1hE411t7RN/?p30&spm_id_frompageDriver&vd_sourc…
YOLOv8改进 | 2023注意力篇 | MSDA多尺度空洞注意力（附多位置添加教程）
一、本文介绍
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是…
pytorch学习3-torchvisin和Dataloader的使用
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
最新版本11.17的YOLOv8加入注意力方法
本文基于11.17版本，以往版本略有不同，可查看改进YOLOv8，教你YOLOv8如何添加20多种注意力机制进行参考
放入注意力代码，以biformer注意力为例 import torch
import torch.nn as nn
import torch.nn.functional as Fdef position(H, W, is_cuda=
MMdetection3.0 训练DETR问题分析
MMdetection3.0 训练DETR问题分析
针对在MMdetection3.0框架下训练DETR模型，验证集AP值一直为0.000的原因作出如下分析并得出结论。
条件： 1、NWPU-VHR-10数据集：共650张，训练：验证611：39； 2、…
PyTorch机器学习与深度学习实践技术应用
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受…
生成式模型对比：扩散模型、GAN 与 VAE
引言
深度生成式模型应用于图像、音频、视频合成和自然语言处理等不同领域。随着深度学习技术的快速发展，近年来不同的深度生成模型出现了爆炸式的增长。这导致人们越来越有兴趣比较和评估这些模型的性能和对不同领域的适用性。在
本文中，我们的目标是…
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。 完全分片数据并行 (Fully Sharded Data P…
pytorch——房价预测
1、首先对数据进行读取和预处理 2、读取数据后，对x数据进行标准化处理，以便于后续训练的稳定性，并转换为tensor格式 3、接下来设置训练参数和模型 这里采用回归模型，既yx*weight1bias1，设置的学习率为0.0006&#x…
pytorch各种版本最简单安装，不用自己安装cuda cudnn
pytorch各种版本 pip 安装命令 查看官网 https://pytorch.org/get-started/previous-versions/
conda pytorch 安装
1、安装conda，
2、创建并并激活虚拟环境
- conda create -n pytorch_1.7 python3.7
- conda activate pytorch_1.7
3、虚拟环境中 pip 安装想要的…
Pytorch 物体检测 App 体验
物体检测 App 介绍
它是使用 YOLOv5 进行对象检测的 Android 示例应用程序，使用 PyTorch 脚本化 YOLOv5 模型来检测使用该模型训练的 80 个物体对象。
YOLO（You Only Look Once）是最快和最受欢迎的对象检测模型之一，而YOLOv5 是…
深度学习入门（三十六）计算性能——异步计算、自动并行
深度学习入门（三十六）计算性能——异步计算、自动并行前言计算性能——异步计算教材1 异步计算1.1 通过后端异步处理1.2 小结2 自动并行2.1 基于GPU的并行计算2.2 并行计算与通信3.3 小结前言
核心内容来自博客链接1博客连接2希望大家多多支持作者 本文…
TensorFlow vs PyTorch：哪一个更适合您的深度学习项目？
在深度学习领域中，TensorFlow 和 PyTorch 都是非常流行的框架。这两个框架都提供了用于开发神经网络模型的工具和库，但它们在设计和实现上有很大的差异。在本文中，我们将比较 TensorFlow 和 PyTorch，并讨论哪个框架更适合您的深度…
【youcans的深度学习 07】PyTorch入门教程：张量的基本操作 2
欢迎关注『youcans的深度学习』系列，持续更新中… 【youcans的深度学习 01】安装环境之 miniconda 【youcans的深度学习 02】PyTorch CPU版本安装与环境配置 【youcans的深度学习 03】PyTorch CPU版本安装与环境配置 【youcans的深度学习 04】PyTorch入门教程&#…
学习Se-net和Sk-net 附网络简单代码(pytorch)
（一）Se-net的原理和思路 Se-net严格来说是一个小结构，它可以直接插入已有的网络结构中，帮助原有结构获得更好的效果，如插入Resnet网络中。
Se-net的整个流程如下： （1…
图神经网络系列【PyTorch geometric】torch_geometric 基础全回顾
山再高，往上攀，总能登顶；路再长，走下去，定能到达。 🎯作者主页：追光者♂🔥 🌸个人简介：计算机专业硕士研究生💖、2022年CSDN博客之星人工智能领域TOP4🌟、阿里云社区特邀专家博主🏅、CSDN-人工智能领域新星创作者🏆、预期2023年10月份 准CSDN博…
Anaconda 修改默认虚拟环境安装位置
项目场景：
使用Anaconda Prompt创建虚拟环境 问题描述
保存虚拟环境的默认地址是C盘，而我想将下载的虚拟环境保存到我自定义的位置。 解决方案：
1、使用
conda config --show查看envs_dirs的信息，一般第一个路径是默认路径。把…
CNN PyTorch MNIST
使用 PyTorch 实现一个简单的卷积神经网络（CNN）来对 MNIST 数据集进行分类 首先，
导入必要的库：
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms然后ÿ…
NVIDIA jetson tensorrt加速yolov5摄像头检测
link 在使用摄像头直接检测目标时，检测的实时画面还是有点慢，下面是tensorrt加速过程记录。 一、设备 1、设备jetson agx xavier 2、jetpack4.6.1 3、tensorrt 8.2.1.8 4、conda虚拟环境 python3.6 二、虚拟环境搭建及依赖 1、参考此博客安装torch Nvidi…
使用A100 GPU搭建OBBDetection的运行环境
项目场景：
最近需要复现一篇目标检测论文的代码，文章提供了代码，因此自己根据仓库的说明尝试配置环境运行代码，但遇到了非常多的困难 问题描述
比较老的代码加上比较的GPU，导致了环境在配置的时候困难重重 OBBDetect…
python cuda torch验证是否成功安装，版本是否匹配
1 、首先查看自己的显卡型号
根据nvcc-smi查到自己的显卡型号，如下图所示。 本人的电脑显卡型号为：GeForce GT 730
2、查看显卡算力
可以通过以下链接查找 http://www.5ityx.com/cate100/155907.html 可以看到我的显卡算力是3.5 备注：你的显卡计算力必须保证在3.5以上。如…
pytorch lightning之验证与测试
训练
训练部分已在《入门篇》介绍。
验证集和测试集中评估模型
通常将数据集分为三部分，train/val/test，val集在训练时评估模型的泛化性，选择其中表现最好的checkpoint。test集只在模型训练完成后使用，用于评估模型的真实性能。…
人工智能(Pytorch)搭建GRU网络,构造数据实现训练过程与评估
大家好，我是微学AI，今天给大家介绍一下人工智能(Pytorch)搭建GRU网络的过程，通过构造数据，让大家了解整个训练的过程。
一、GRU模型
GRU（Gated Recurrent Unit，门控循环单元）是一种循环神经网…
nn.AdaptiveAvgPool1d(1)是用来干嘛的，例子
nn.AdaptiveAvgPool1d(1)是PyTorch中的一个函数，用于对输入信号进行一维自适应平均池化操作。对于任何输入大小的输入，可以将输出尺寸指定为1，但是输入和输出特征的数目不会变化。这个函数通常用于将一维信号转换为一个标量值。
例如&#x…
PyTorch中 tensor.detach() 和 tensor.data 的区别
以 a.data, a.detach() 为例： 两种方法均会返回和a相同的tensor，且与原tensor a 共享数据，一方改变，则另一方也改变。
所起的作用均是将变量tensor从原有的计算图中分离出来，分离所得tensor的requires_grad False。 …
使用Pytorch实现自定义的交叉熵损失函数，对手写数字数据集进行分类
文章目录使用torch.nn自带损失函数使用自定义损失函数结论使用torch.nn自带损失函数
import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import torchvision
device torch.device("cuda" if torch.cuda.is_available() else "cpu")to…
Pytorch基础 - 5. torch.cat() 和 torch.stack()
目录
1. torch.cat(tensors, dim)
2. torch.stack(tensors, dim)
3. 两者不同 torch.cat() 和 torch.stack()常用来进行张量的拼接，在神经网络里经常用到。且前段时间有一个面试官也问到了这个知识点，虽然内容很小很细，但需要了解。
1. t…
「解析」Pytorch 自动计算 batchsize
日志是一个十分必要的操作，有助于后期分析实验结果，特别是在多台不同环境下训练，为了区分，还是十分有必要记录相关平台信息的，比如 hostname，Python版本信息，Pytorch版本信息等！
im…
（论文加源码）基于DEAP和MABHOB数据集的二分类脑电情绪识别（pytorch深度神经网络（DNN）和卷积神经网络（CNN））代码解析
论文解析见个人主页：
https://blog.csdn.net/qq_45874683/article/details/130000469?csdn_share_tail%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22130000469%22%2C%22source%22%3A%22qq_45874683%22%7D
（论文加源码…
Pytorch深度学习笔记（三）线性模型
目录 1.机械学习的过程 2.线性模型 1.机械学习的过程 机械学习的过程： 1.准备数据集DataSet——>2.选择模型Model——>3.训练Training——>4.推理Infering 监督学习：用已知标签的训练样本训练模型，用来预测未来输入样本的标签&#…
Pytorch全连接神经网络实现手写数字识别
问题Mnist手写数字识别数据集作为一个常见数据集，包含10个类别，在此次深度学习的过程中，我们通过pytorch提供的库函数，运用全连接神经网络实现手写数字的识别方法设置参数input_size 784hidden_size 500output_size 10num_epoc…
Pytorch深度学习笔记（四）梯度向下模型
课程推荐：03.梯度下降算法_哔哩哔哩_bilibili 优化问题：求误差值函数最小的权重w （1）梯度向下模型思想 在绝大多数的情况下，损失函数是很复杂的（比如逻辑回归），根本无法得到参数估计…
nn.Conv1d简单理解
1. 官方文档的定义
In the simplest case, the output value of the layer with input size (N,Cin,L)(N, C_{\text{in}}, L)(N,Cin,L) and output (N,Cout,Lout)(N, C_{\text{out}}, L_{\text{out}})(N,Cout,Lout) can be precisely described as: out(Ni,Coutj)bias(C…
Jetson NX 配置 pytorch
Jetson NX 配置pytorch
参考文档 官方教程–还得是官方啊 参考博客1 参考博客2 官方提供的离线包 pytorch/vision
备注：参考博客最后安装的pytorch无法使用cuda-----目前没找到原因，不知如何解决。 但是官方的教程没问题！
环境情况&a…
Faster-RCNN代码解读2：快速上手使用
Faster-RCNN代码解读2：快速上手使用 前言 因为最近打算尝试一下Faster-RCNN的复现，不要多想，我还没有厉害到可以一个人复现所有代码。所以，是参考别人的代码，进行自己的解读。
代码来自于B站的UP主（…
【PyTorch】第七节：数据加载器
作者🕵️♂️：让机器理解语言か 专栏🎇：PyTorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
【Pytorch】损失函数与反向传播
【Pytorch】损失函数与反向传播Loss损失意义L1损失函数MSELoss交叉熵损失函数搭建神经网络Loss损失意义 L1损失函数
import torch
from torch.nn import L1Loss# 转换成tensor张量
inputs torch.tensor([1,2,3],dtype torch.float32)
targets torch.tensor([1,2,5],dtype …
![[图神经网络]视觉图神经网络ViG(Vision GNN)--论文阅读](https://img-blog.csdnimg.cn/181c35f2d8cf4bc3b252f1eb9d3d1140.png)
[图神经网络]视觉图神经网络ViG(Vision GNN)--论文阅读
国际惯例：
论文地址https://arxiv.org/pdf/2206.00272.pdfgit地址https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/vig_pytorch 相较于之前将GNN和CNN结合的图像处理算法，ViG创新的将GNN直接用在了特征提取上。不再需要借用…
pytorch进阶学习（二）：使用DataLoader读取自己的数据集
上一节使用的是官方数据集fashionminist进行训练，这节课使用自己搜集的数据集来进行数据的获取和训练。所需资源教学视频：https://www.bilibili.com/video/BV1by4y1b7hX/?spm_id_from333.1007.top_right_bar_window_history.content.click&vd_sourc…
＜2＞【深度学习 × PyTorch】pandas | 数据预处理 | 处理缺失值：插值法 | networkx模块绘制知识图谱 | 线性代数初步
你永远不可能真正的去了解一个人，除非你穿过ta的鞋子，走过ta走过的路，站在ta的角度思考问题，可当你真正走过ta走过的路时，你连路过都会觉得难过。有时候你所看到的，并非事实真相，你了解的，不过是浮在水面上的冰山一角。—————《杀死一只知更鸟》 🎯作者主页： 追…
Python学习工具第五期 — 免费使用，无须激活下载安装Pycharm教程
Python学习工具第四期 — 免费使用，无须激活下载安装Pycharm教程
上一期我们详细介绍了Anaconda的下载、安装以及如何管理环境和软件包管理常用命令和操作，这期我们来介绍一下学生如何通过自己的学校邮箱账号来免费使用专业版Pycharm，无需激…
pytorch损失值nan或者model输出nan或者inf的相关问题
现象和原因分析
在能确定模型正常的情况下，可能是优化器没有设置正确，一定要加上weight decay的正则化项，和时间衰减的学习率； 也有可能是学习率太大，梯度爆炸
也可以添加权重初始化项。
optimizer torch.optim.SG…
pytorch标准化(Batch Normalize)中计算数据集的均值和方差
1，浅谈深度学习训练中数据规范化(Normalization)的重要性
为什么要Normalization？ 简要来讲，在pytorch中，有些模型是通过规范化后的数据进行训练的，所以我们在使用这些预训练好的模型的时候，要注意在将自己的数据投入模型中之前要首先对数据进行规范化。
具体请参考 浅…
图像检索系列——利用深度学习实现以图搜图
转载自：图像检索系列——利用深度学习实现以图搜图 - 知乎
前言
在上一篇文章《图像检索系列——利用 Python 检测图像相似度》中，我们介绍了一个在图像检索领域非常常用的算法——感知哈希算法。这是一个很简单且快速的算法，其原理在于针对…
PyTorch中的交叉熵函数 CrossEntropyLoss的计算过程
CrossEntropyLoss() 函数联合调用了 nn.LogSoftmax() 和 nn.NLLLoss()。
关于交叉熵函数的公式详见： 交叉熵损失函数原理详解 CrossEntropyLoss() 函数的计算过程可以拆解为如下四个步骤： 1、对输出的结果进行softmax操作,因为softmax操作可以将所有输入…
PyTorch张量：内存布局
你可能对 torch 上的某些函数感到困惑，它们执行相同的操作但名称不同。 例如： reshape()、view()、permute()、transpose() 等。
这些函数的做法真的不同吗？ 不！ 但为了理解它，我们首先需要了解一下张量在 pytorch 中…
学习pytorch20 pytorch完整的模型验证套路
pytorch完整的模型验证套路 使用非数据集的测试数据，测试训练好模型的效果代码预测结果解决报错 B站小土堆pytorch学习视频 https://www.bilibili.com/video/BV1hE411t7RN/?p32&spm_id_frompageDriver&vd_source9607a6d9d829b667f8f0ccaaaa142fcb 使用非数…
安装Anaconda和pytorch
首先看下自己电脑是否有英伟达的显卡，如果有的话可以安装GPU版本，没有的话可以安装CPU版本。
CPU版本
1.安装Anaconda
首先去官网下载Anaconda。 点击download，下载的就是最新版本的。 下载完成后，直接运行下步就行 注意到路径…
基于pytorch 的RNN实现文本分类
首先，需要导入必要的库，包括torch、torchtext、numpy等：
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
from torchtext.datasets import AG_NEWS
from torchtext.data.utils import get_tokenizer
f…
模型格式转化diffusion_pytorch_model.safetensors转为diffusion_pytorch_model.bin
问题描述 SError: Error no file named config.json found in directory /share/huanggao/zjc/code_mid/model_yw/bk-base-2m/unet.
无法读取unet 下载模型 我们从网上下载的模型 通过 pipe StableDiffusionPipeline.from_pretrained("nota-ai/bk-sdm-base-2m", to…
【深度学习】Pytorch 系列教程（一）：PyTorch数据结构：1、Tensor（张量）及其维度（Dimensions）、数据类型（Data Types）
文章目录 一、前言二、实验环境三、PyTorch数据结构0、分类1、Tensor（张量）1. 维度（Dimensions）0维（标量）1维（向量）2维（矩阵）3维张量 2. 数据类型（…
从零构建属于自己的GPT系列6：模型部署2（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
植物分类-PlantsClassification
一、模型配置
一、backbone resnet50 二、neck GlobalAveragePooling 三、head fc 四、loss type‘LabelSmoothLoss’, label_smooth_val0.1, num_classes30, reduction‘mean’, loss_weight1.0 五、optimizer lr0.1, momentum0.9, type‘SGD’, weight_decay0.0001 六、sche…
Textual Inversion: 一种精调Stable Diffusion模型的方法
引言
最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的…
语义分割前置知识，转置卷积
首先是两个经典数据集的了解：重点是理解两种数据集的标注格式。
对于语义分割任务而言，PASCAL VOC数据集标注格式是像素值是像素类别索引的png格式，由于索引值一般比较小，所以有一个调色板，就是色彩映射器，…
Pytorch nn.Linear()的基本用法与原理详解及全连接层简介
主要引用参考： https://blog.csdn.net/zhaohongfei_358/article/details/122797190 https://blog.csdn.net/weixin_43135178/article/details/118735850 nn.Linear的基本定义
nn.Linear定义一个神经网络的线性层，方法签名如下：
torch.nn.Li…
【PyTorch】 暂退法（dropout）
文章目录 1. 理论介绍2. 实例解析2.1. 实例描述2.2. 代码实现2.2.1. 主要代码2.2.2. 完整代码2.2.3. 输出结果 1. 理论介绍
线性模型泛化的可靠性是有代价的，因为线性模型没有考虑到特征之间的交互作用，由此模型灵活性受限。泛化性和灵活性之间的基本权…
使用Pytorch实现Grad-CAM并绘制热力图
这篇是我对哔哩哔哩up主 霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享 看一下这个main cnn.py的文件 那这里我为了方便 就直接从官方的torch vision这个库当中导入一些我们常用的model 比如说我这里的例子是采用的mobile net v3 large这个模型 然后这里我将pretrain设…
在pytorch中将数据打包为DataLoader后每个epoch中的打乱策略
在pytorch中将数据打包为DataLoader后每个epoch中的打乱策略 1、利用shuffle2、利用SubsetRandomSampler 有两种打乱策略：
1、利用shuffle
在 PyTorch 中，当使用 DataLoader 并设置 shuffleTrue 时，数据会在每个 epoch 开始时被重新打乱。这…
YOLOv5改进 | 2023卷积篇 | AKConv轻量级架构下的高效检测（既轻量又提点）
一、本文介绍
本文给大家带来的改进内容是AKConv是一种创新的变核卷积，它旨在解决标准卷积操作中的固有缺陷（采样形状是固定的），AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量…
图像去噪——AdaFM模型推理测试（详细图文教程）
目录 一、 源码包下载二、测试集和模型权重准备2.1 测试集2.2 模型权重 三、参数修改四、推理测试4.1 固定插值系数图像测试4.1.1 测试结果保存4.1.2 测试结果展示4.1.2.1 场景14.1.2.2 场景24.1.2.3 场景34.1.2.4 场景44.1.2.5 场景5 4.2 等差改变插值系数图像测试4.2.1 参数修…
RNN介绍及Pytorch源码解析
介绍一下RNN模型的结构以及源码，用作自己复习的材料。
RNN模型所对应的源码在：\PyTorch\Lib\site-packages\torch\nn\modules\RNN.py文件中。
RNN的模型图如下： 源码注释中写道，RNN的数学公式： 表示在时刻的隐藏状态…
pytorch：to()、device()、cuda()将Tensor或模型移动到指定的设备上
将Tensor或模型移动到指定的设备上：tensor.to(‘cuda:0’)
最开始读取数据时的tensor变量copy一份到device所指定的GPU上去，之后的运算都在GPU上进行在做高维特征运算的时候，采用GPU无疑是比用CPU效率更高，如果两个数据中一个加了…
深度解析 PyTorch Autograd：从原理到实践
本文深入探讨了 PyTorch 中 Autograd 的核心原理和功能。从基本概念、Tensor 与 Autograd 的交互，到计算图的构建和管理，再到反向传播和梯度计算的细节，最后涵盖了 Autograd 的高级特性。 关注TechLead，分享AI全维度知识。作者拥有…
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 版)
简洁高效的 NLP 入门指南: 100 行实现 Bert 文本分类 Pytorch 版 概述NLP 的不同任务Bert 概述MLM 任务 (Masked Language Modeling)TokenizeMLM 的工作原理为什么使用 MLM NSP 任务 (Next Sentence Prediction)NSP 任务的工作原理NSP 任务栗子NSP 任务的调整和局限性 安装和环…
YOLOv8改进 | 2023Neck篇 | 轻量级跨尺度特征融合模块CCFM（附yaml文件+添加教程）
一、本文介绍
本文给大家带来的改进机制是轻量级跨尺度特征融合模块CCFM（Cross-Scale Feature Fusion Module）其主要原理是：将不同尺度的特征通过融合操作整合起来，以增强模型对于尺度变化的适应性和对小尺度对象的检测能力。我将…
解决下载huggingface模型权重无法下载的问题
文章目录 方法一(推荐)方法二方法三依然存在的问题 由于某些原因，huggingface的访问速度奇慢无比，对于一些模型(比如大语言模型LLM)的权重文件动辄几十上百G，如果用默认下载方式，很可能中断，这里推荐几种方式。
方法一…
【Pytorch】学习记录分享9——新闻数据集文本分类任务实战
【Pytorch】学习记录分享9——PyTorch新闻数据集文本分类任务 1. 认为主流程code2. NLP 对话和预测基本均属于分类任务详细见3. Tensorborad 1. 认为主流程code
import time
import torch
import numpy as np
from train_eval import train, init_network
from importlib impo…
pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、动态调整学习率。
文章目录 前言1、关于optimizer.param_groups2、设置学习率3、optim 提供的优化器 前言
我的需求：我需要在yolov7中更改其中一层的学习率，但yolov7的学习率是随着eporch的变化动态变化的。 1、关于optimizer.param_groups
“param_groups” 是 Pytorch…
【深度学习笔记】-代码解读3-数据读取-Dataloader
转载「深度学习一遍过」必修3：Pytorch数据读取——使用Dataloader读取Dataset_荣仔的博客-CSDN博客 1. CreateDataset - 生成训练集和测试集
生成训练集和测试集，保存在 txt 文件中。相当于模型的输入。数据加载器 dataload 的时候从里面读它的数据。
…
在DARTS空间中进行神经架构搜索(NAS)
前言
神经架构搜索(NAS)：自动化设计高性能深度神经网络架构的技术神经架构搜索任务主要有三个关键组成部分，即： 模型搜索空间，定义了一个要探索的模型的集合一个合适的策略作为探索这个模型空间的方法一个模型评估器，…
pytorch矩阵乘法总结
1. element-wise（*） 按元素相乘，支持广播，等价于torch.mul()
a torch.tensor([[1, 2], [3, 4]])
b torch.tensor([[2, 3], [4, 5]])
c a*b # 等价于torch.mul(a,b)
# tensor([[ 2, 6],
# [12, 20]])
a * torch.tenso…
【numpy pytorch】数组的轴
数组的轴
数组的轴是一个很重要的概念，也是numpy数组中最不好理解的一个概念，它经常出现在np.sum(), np.max() 这样关键的聚合函数中。 先看一个例子：
interest_score np.random.randint(10, size(4,3))
interest_score
array([[0, 8, 1],…
图神经网络：(处理点云)PointNet++的实现
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook和有关文献。超链。提取码8848。 文章目录 简单前置工作学习文献阅读PointNet的实现模型问题 简单前置工作…
深度学习技巧应用19-可视化的模型训练功能TensorBoard的使用，也能在pytorch框架下实现
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用19-可视化的模型训练功能TensorBoard的使用，也能在pytorch框架下实现，当今深度学习技术的飞速发展使得模型训练变得更加复杂，工程师需要具备更高的技术能力去把控模型， TensorBoard便是一款优秀的可视化工具，它可以…
【实验】SegViT: Semantic Segmentation with Plain Vision Transformers
想要借鉴SegViT官方模型源码部署到本地自己代码文件中
1. 环境配置
官网要求安装mmcv-full1.4.4和mmsegmentation0.24.0 在这之前记得把mmcv和mmsegmentation原来版本卸载
pip uninstall mmcv
pip uninstall mmcv-full
pip uninstall mmsegmentation安装mmcv
其中ÿ…
model.train() 和 model.eval()分别是什么
pytorch可以给我们提供两种方式来切换训练和评估(推断)的模式，分别是：model.train() 和 model.eval()。 1. model.train()
在使用 pytorch 构建神经网络的时候，训练过程中会在程序上方添加一句model.train()，作用是 启用 BN&…
机器学习----PyTorch模型训练
PyTorch
在前面使用纯手工做了线性回归，线性回归的问题其实就是求解损失函数最小的情况下的w值。在PyTorch里面很多的函数都进行了封装，我们直接用就可以。 损失函数
手写损失函数
def loss(y, y_pred):"""损失函数"""…
使用自己的数据利用pytorch搭建自编码器提取特征
使用自己的数据利用pytorch搭建自编码器提取特征 1、定义编码器（Encoder）和解码器（Decoder）模型2、定义自编码器（Autoencoder）模型3、定义自定义数据集（MyDataset）4、参数初始化5、加…
![【Python/Pytorch - Bug】-- RuntimeError: ,expected input[16，12，174，145] to have 8 channels,but got 12](https://img-blog.csdnimg.cn/7f239fb47d054b55aedddb3f5353b9e6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6ZO25bCY77yM,size_20,color_FFFFFF,t_70,g_se,x_16)
【Python/Pytorch - Bug】-- RuntimeError: ,expected input[16，12，174，145] to have 8 channels,but got 12
文章目录问题截图问题分析解决办法：问题截图 问题分析
RuntimeError: Given groups1, weight of size [64，8，3，3],expected input[16，12，174，145] to have 8 channels,but got 12 channels ins…
【pytorch】torch.nn 与 torch.nn.functional 的区别
今天在看pytorch的代码时，看到了torch.nn 和 torch.nn.functional，然后查了两个模块的官方doc，也没有看明白有啥区别，然后就查了一下资料，这里记录一下，方便以后查阅。 【pytorch】torch.nn 与 torch.nn.fu…
pytorch训练模型pth导出为onnx ，再简化onnx模型
import torch device torch.device("cuda:0" if torch.cuda.is_available() else "cpu") modeltorch.load("/home/shangzaixing/code/LaneNet-PyTorch-RNN/pytorch-crnn.pth")#pytorch模型加载
batch_size1#批处理大小
input_shape(1,1024,10…
pytorch Debug笔记：TypeError: __init__() got an unexpected keyword argument ‘data_tensor‘
报错代码
torch_dataset Data.TensorDataset(data_tensordata, target_tensorlabel)
报错
TypeError: __init__() got an unexpected keyword argument data_tensor
原因：时代变了，新版把输入变成了可变参数，直接输入即可
正确写法
to…
PyTorch修改为自定义节点
1
要将网络修改为自定义节点，需要在该节点上实现新的操作。在 PyTorch 中，可以使用 torch.onnx 模块来导出 PyTorch 模型的 ONNX 格式，因此我们需要修改 op_symbolic 函数来实现新的操作。
首先，创建一个新的 OpSchema 对象&…
pytorch——函数优化
对函数找最小值的代码
import torch
import numpy as np
import matplotlib.pyplot as pltdef himmelblau(x):return (x[0]**2x[1]-11)**2(x[0]x[1]**2-7)**2xnp.arange(-6,6,0.1)
ynp.arange(-6,6,0.1)
X,Ynp.meshgrid(x,y)
print(maps:,X.shape,Y.shape)
Zhimmelblau([X,Y])…
VITS语音生成模型详解及中文语音生成训练
1 VITS模型介绍 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）是一种结合变分推理（variational inference）、标准化流（normalizing flows）和对抗训练的高表现力语…
mpi4py结合pytorch求解多重参数最优控制问题
多重参数最优控制问题
问题改编自论文Fast PDE-constrained optimization via self-supervised operator learning min 1 2 ∥ y ( μ ) − y d ( μ ) ∥ L 2 (
PyTorch-网络模型的保存和读取
1. 模型的保存
方法一：保存模型的结构模型的参数
陷阱：需要让文件访问到你自己的模型定义方式，可以用import的方式引入先前的模型定义。
model_save.py
import torch
import torchvisionvgg16 torchvision.models.vgg16(weightsNone)
# …
3.用图神经网络进行图分类
在本教程中，我们将更深入地了解如何将图神经网络（GNN）应用于图分类任务。图分类是指在给定图的数据集的情况下，基于一些结构图的属性对整个图（与节点相反）进行分类的问题。在这里，我们希望嵌入整…
cuda编程学习——卷积计算CUDA、Pytorch比较 干货向（六）
前言
参考资料：
高升博客 《CUDA C编程权威指南》 以及 CUDA官方文档 CUDA编程：基础与实践 樊哲勇 参考B站：蒙特卡洛加的树
文章所有代码可在我的GitHub获得，后续会慢慢更新
文章、讲解视频同步更新公众《AI知识物语》&#…
pytorch 训练EfficientnetV2
文章目录 前言一、数据摆放二、训练二、测试三、训练和测试结果总结 前言 前不久用pytorch复现了efficientnetv2的网络结构，但是后边自己一直有其他事情再做，所以训练部分的文章拖到了现在。关于Efficientnet的部分文章链接可参考如下： Effic…
Pytorch入门（三）深度学习模型的训练的基本步骤
文章目录 一、修改现有的网络模型二、模型的保存三、模型的加载四、模型的评估五、训练模型的完整套路六、使用GPU加速模型的训练七、模型训练完整的验证套路 一、修改现有的网络模型
import torchvision
from torch import nn
# pretrained 为True时会自动下载模型所对应的权…
MMPose关键点检测实战
安装教程
https://github.com/TommyZihao/MMPose_Tutorials/blob/main/2023/0524/%E3%80%90A1%E3%80%91%E5%AE%89%E8%A3%85MMPose.ipynb
git clone https://github.com/open-mmlab/mmpose.git -b tutorial2023 -b代表切换到某个分支，保证分支和作者的教程一致
ra…
姿态估算03-06：mmpose(Associative embedding)-源码无死角解析（2）-训练架构总览
以下链接是个人关于 mmpose(Associative embedding动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最…
Win11 RTX 4090显卡深度学习环境配置（Nvidia显卡驱动、CUDA11.8.0）
Win11 RTX 4090显卡深度学习环境配置（Nvidia显卡驱动、CUDA11.8.0） 1. 简介2. 安装Anaconda3. 安装Pycharm4. 安装CUDA11.8.04.1 安装4.2 测试4.3 CUDA卸载 5. PyTorch安装5.1 PyTorch安装5.2 测试5.2.1 测试torch：5.2.2 测试CUDA：…
pytorch 40 分享从0开始构建一个独立的深度学习项目
都2023年了，估计没有几个人会自己独立从0开始构建深度学习项目的了，全是依赖现有的开源库进行项目研制开发。这里回顾几年的工作经验，对构建深度学习项目进行初步梳理。 通常深度学习任务都被描述为：假设函数、损失函数和迭代函数。假设函数一般是我们的模型，损失函数（lo…
行人重识别02-10：fast-reid(BoT)-pytorch编程规范(fast-reid为例)7-模型测试评估-2
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
行人重识别02-08：fast-reid(BoT)-pytorch编程规范(fast-reid为例)5-BoT网络模型构建
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
行人重识别02-06：fast-reid(BoT)-pytorch编程规范(fast-reid为例)3-迭代器构建，数据加载-1
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 行…
行人重识别02-02：fast-reid(BoT)-官方数据训练测试
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
动作识别0-08：mmaction2(SlowFast)-源码无死角解析（4）-数据加载，预处理-1（重点篇）
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-06：mmaction2(SlowFast)-源码无死角解析（2）-训练架构总览-1
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-02：mmaction2(SlowFast)-官方数据训练测试-ucf101
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
动作识别0-01：mmaction2(SlowFast)-资源下载（前奏准备）
以下链接是个人关于mmaction2(SlowFast-动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。…
姿态估计2-05：PVNet(6D姿态估计)--源码无死角解析（1）-训练代码总览
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带\c…
姿态估计2-04：PVNet(6D姿态估计)-白话给你讲论文-翻译无死角（2）
以下链接是个人关于PVNet(6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：a944284742相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带\col…
姿态估计2-01：PVNet(6D姿态估计)-资源下载（前奏准备）
以下链接是个人关于PVNet(物体6D姿态估计) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附…
姿态估计1-09：HR-Net(人体姿态估算)-源码无死角解析（5）-HighResolutionModule
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \colo…
姿态估计1-07：HR-Net(人体姿态估算)-源码无死角解析（3）-模型总体结构
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
姿态估计1-03：HR-Net(人体姿态估算)-白话给你讲论文-翻译无死角（1）
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
姿态估计1-01：HR-Net(人体姿态估算)-资源下载（前奏准备）
以下链接是个人关于HR-Net(人体姿态估算) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
姿态估计1-02：HR-Net(人体姿态估算)-官方模型训练测试-报错解决
以下链接是个人关于HR-Net(人体姿态估算)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带…
风格迁移2-01：MUNIT(多模态无监督)-资源下载（前奏准备）
以下链接是个人关于 MUNIT(多模态无监督)-图片风格转换，的所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信 17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大…
风格迁移1-07：Liquid Warping GAN(Impersonator)-源码无死角解析（2）-数据读取，预处理
以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！…
Windows下用amd显卡训练 ： Pytorch-directml 重大升级，改为pytorch插件形式，兼容更好
安装方法：
Enable PyTorch with DirectML on Windows | Microsoft Learn 新的pytorch-directml 不再是独立的pytorch 移植，变成了一个设备插件，更好用，兼容性更好。
原来的版本无法跑transformers, 新版变成一个独立的计算设备 …
解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
错误信息可能是： unhandled cuda error, NCCL version 2.4.8
设置以下环境变量，查看nccl 错误日志：
export NCCL_SOCKET_IFNAMEenp6s0
export NCCL_IB_DISABLE1
export NCLL_DEBUGinfo
注意，以上export NCCL_SOCKET_IFNAMEen…
pytorch中的矩阵切片操作完全讲解
我们经常需要从2维或3维tensor中进行切片操作，比如从mask模型中取出mask所在位置的向量。
Talk is cheap, show me code.
以下所有维度从0开始，3维即 0，1，2
import torch xtorch.tensor([[1,2,3],[4,5,6],[7,8,9]])print(x[[1…
安装下载Anaconda注意事项，一定注意，否则白费力气
一、安装下载Anaconda前一定要将360卸载
360最好不要使用，不管是在下载过程中还是后续使用过程中，会拦截Anaconda，造成文件确实，在安装下载Anaconda前一定要将360卸载，若要使用杀毒软件，可以使用火绒或腾讯…
一、PyTorch 深度学习 线性模型
**第2讲 linear_model **
来源：b站刘二大人的视频
源代码：
import numpy as np
import matplotlib.pyplot as pltx_data [1.0, 2.0, 3.0]
y_data [2.0, 4.0, 6.0]def forward(x):return x * wdef loss(x, y):y_pred forward(x)return (y_pred - y)…
基于深度学习的高精度安全背心检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度安全背心检测识别系统可用于日常生活中或野外来检测与定位安全背心目标，利用深度学习算法可实现图片、视频、摄像头等方式的安全背心目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5…
人工智能(pytorch)搭建模型12-pytorch搭建BiGRU模型，利用正态分布数据训练该模型
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型12-pytorch搭建BiGRU模型，利用正态分布数据训练该模型。本文将介绍一种基于PyTorch的BiGRU模型应用项目。我们将首先解释BiGRU模型的原理，然后使用PyTorch搭建模型…
Pytorch中squeeze()函数
squeeze() 函数：从数组的形状中删除单维度条目，即把shape中为1的维度去掉
用法：numpy.squeeze(a,axis None) a表示输入的数组；axis用于指定需要删除的维度，但是指定的维度必须为单维度，否则将会报错&…
《动手学深度学习》Task06：批量归一化和残差网络 +凸优化+梯度下降
1 批量归一化和残差网络
1.1 批量归一化（BatchNormalization）
BN的作用
Internal Convariate shift（内部协变量偏移）是BN论文作者提出来的概念，表示数据的分布在网络传播过程中会发生偏移，我们举个例子来…
《动手学深度学习》Task05：卷积神经网络基础+LeNet+卷积神经网络进阶
文章目录1 卷积神经网络基础1.1 二维卷积层1.2 填充和步幅1.3 多输入通道和多输出通道1.4 卷积层与全连接层的对比1.4 池化2 LeNet2.1 LeNet 模型2.2 获取数据和训练模型3 卷积神经网络进阶3.1 深度卷积神经网络（AlexNet）3.2 使用重复元素的网络…
《动手学深度学习》Task02：文本预处理+语言模型+循环神经网络基础
文章目录
1 文本预处理
2 语言模型
3 循环神经网络基础1 文本预处理
文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本分词建立字典，将…
使用Pytorch从零开始构建StyleGAN2
这篇博文是关于 StyleGAN2 的，来自论文Analyzing and Improving the Image Quality of StyleGAN，我们将使用 PyTorch 对其进行干净、简单且可读的实现，并尝试尽可能地还原原始论文。
如果您没有阅读 StyleGAN2 论文。或者不知道它是如何工作…
【视点合成】代码解读：生成demo视频
变换工具
def render_3dphoto(src_imgs, # 输入的源图像，维度为 [batch_size, 3, height, width]mpi_all_src, # 输入的所有源图像的MPI，维度为 [batch_size, num_planes, 4, height, width]disparity_all_src, # 所有源图像的视差信息&…
pytorch集智-2单车预测器
完整代码在个人主页简介链接pytorch路径下可找到
1 单车预测器1.0
1.1 人工神经元 对于sigmoid函数来说，w控制函数曲线的方向，b控制曲线水平方向位移，w控制曲线在y方向的幅度
1.2 多个人工神经元
模型如下 数学上可证，有限神经…
pytorch transpose 转置和梯度的传播
今天写代码的时候遇到一个需要进行转置的矩阵，由于涉及到梯度反传，所以有疑问转置之后的矩阵在转置之前的梯度是否存在，经过验证，转置不影响梯度的传播
import torchx torch.ones(2, 2, requires_gradTrue)
y x*8
z y.transpo…
GoogLeNet(pytorch)
亮点与创新：
1. 引入Inception基础结构
2. 引入PW维度变换卷积，启迪后续参数量的优化
3. 丢弃全连接层，使用平均池化层（大大减少模型参数）
4. 添加两个辅助分类器帮助训练（避免梯度消失，用于…
用通俗易懂的方式讲解大模型：使用 FastChat 部署 LLM 的体验太爽了
之前介绍了Langchain-Chatchat 项目的部署，该项目底层改用了 FastChat 来提供 LLM(大语言模型)的 API 服务。
出于好奇又研究了一下 FastChat，发现它的功能很强大，可以用来部署市面上大部分的 LLM 模型，可以将 LLM 部署为带有标准…
PyTorch中的 Dataset、DataLoader 和 enumerate()
PyTorch：关于Dataset，DataLoader 和 enumerate()
本博文主要参考了 Pytorch中DataLoader的使用方法详解 和 pytorch：关于enumerate，Dataset和Dataloader 两篇文章进行总结和归纳。
DataLoader 隶属 PyTorch 中 torch.utils.data…
根据电脑硬件条件，确定Pytorch的版本？
根据CUDA确定Pytorch的版本
1 显卡型号：NVIDIA GeForce GTX 970 2 显卡算力：5.2
https://en.wikipedia.org/wiki/CUDA3 确定CUDA Runtime 4 看自己的驱动： CUDA Driver Version —— 12.2
nvidia-smi
5 确定使用的版本
前面3中runtime …
（已解决）（pytorch指定了gpu但还是占用了一点0号gpu）以及错误（cuDNN error: CUDNN_STATUS_INTERNAL_ERROR）
文章目录 错误原因解决问题 错误原因
出现错误cuDNN error: CUDNN_STATUS_INTERNAL_ERROR，从这个名字就可以看出，出错原因其实有可能有很多种，我这里说一种比较常见的，就是：显存不足。
一个困惑点在于，在…
测试TensorFlow/PyTorch的GPU版本是否启用
文章目录 1. Pytorch测试代码2. TensorFlow测试代码 后续遇到好的会不断更新。。。 1. Pytorch测试代码
import torch
def gpu_is_available():print(\nGPU details:)print(f gpu_is_available : , torch.cuda.is_available())print(f cuda_device_count : , t…
pytorch中nn.Sequential详解
1 nn.Sequential概述
1.1 nn.Sequential介绍
nn.Sequential是一个序列容器，用于搭建神经网络的模块被按照被传入构造器的顺序添加到容器中。除此之外，一个包含神经网络模块的OrderedDict也可以被传入nn.Sequential()容器中。利用nn.Sequential()搭建好…
重新配置torch1.8 cuda11.1 torchtext0.9.0虚拟Pytorch开发环境
这里写目录标题 起因发现选择安装cuda 11.1核对下自己的显卡是否支持下载该版本的CUDACUDA下载地址CUDA安装过程在anaconda中创建一个虚拟环境1.以下是环境的配置过程2.查看虚拟环境列表3.激活虚拟环境4.输入这句代码，没想到就可以直接安装torch和torchtext了[网站在…
基于深度学习的动物检测识别系统（含UI界面、yolov5、Python代码、数据集）
项目介绍
项目中所用到的算法模型和数据集等信息如下：
算法模型： yolov5 yolov5主要包含以下几种创新： 1. 添加注意力机制（SE、CBAM等） 2. 修改可变形卷积（DySnake-主干c…
（四）pytorch图像识别实战之用resnet18实现花朵分类(代码+详细注解)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、关于这个实战的一些知识点Q1：图像识别实战常用模块解读Q2:数据增强Q3:迁移学习Q4：平均全局池化Q5：设置哪些层需要训练时…
【pytorch】自动求导机制
基础概念汇总
Tensor是 torch.autograd中的数据类型，主要用于封装 Tensor，进行自动求导。
grad : data的梯度grad_fn : 创建 Tensor的 Function，是自动求导的关键requires_grad：指示是否需要梯度is_leaf : 指示是否是叶子结点
…
使用【OpenI启智平台】进行模型训练
前言
启智平台OpenI是一个人工智能开源开放平台，提供免费GPU算力可以进行模型训练。模式是git进行项目管理，可以创建调试任务调试代码以及保存镜像，创建训练任务训练模型，也提供推理和评测，我没用过就不讲述了。后来我…
简单易懂的PyTorch激活函数大全详解
目录
torch.nn子模块Non-linear Activations
nn.ELU
主要特点与注意事项
使用方法与技巧
示例代码
图示
nn.Hardshrink
Hardshrink函数定义
参数
形状
示例代码
图示
nn.Hardsigmoid
Hardsigmoid函数定义
参数
形状
示例代码
图示
nn.Hardtanh
HardTanh函数…
pytorch中常见的维度操作
1、view ；reshape；Flatten：维度合并和分解 2、squeeze；unsqueeze：压缩维度和增加维度（相对于维度为1的数据） 3、transpose；t；permute：维度顺顺序变换(转置&am…
pytorch梯度更新方法
一、方法1 autograd
import torch
from torch import autograd
demo1x torch.tensor(1.)
a torch.tensor(1., requires_gradTrue)
b torch.tensor(2., requires_gradTrue)
c torch.tensor(3., requires_gradTrue)y a ** 2 * x b * x cprint(before:, a.grad, b.grad, c…
YOLOv8改进 | 主干篇 | 利用MobileNetV3替换Backbone（轻量化网络结构）
一、本文介绍
本文给大家带来的改进机制是MobileNetV3，其主要改进思想集中在结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，以优化移动设备CPU上的性能。它采用了新颖的架构设计，包括反转残差结构和线性瓶颈层&…
实战：使用 OpenCV 和 PyTesseract 对文档进行 OCR
随着世界各地的组织都希望将其运营数字化，将物理文档转换为数字格式是非常常见的。这通常通过光学字符识别 (OCR) 完成，其中文本图像（扫描的物理文档）通过几种成熟的文本识别算法之一转换为机器文本。当在干净的背景下处理打印文本…
Pytorch项目，肺癌检测项目之二
diameter_dict{} with open(/xunlian/annotations.csv ，‘r’) as f: for row in list(csv.reader(f)[1:]): series_uid row[0] annotationCenter_xyz tuple([float(x) for x in row[1:4]]) annotationDiameter_mm float(row[4]) diameter_dict.setdefault(seri…
Pytorch 读取t7文件
Pytorch 1.0以上可以使用：
import torchfileth_path r"./path/xx.t7"
data torchfile.load(th_path)print(data.shape)若data的尺寸为0，则将torch版本降为0.4.1，并使用以下函数：
from torch.utils.serialization im…
手把手教你使用 PyTorch 搭建神经网络
使用PyTorch搭建基本神经网络的分步指南。 PyTorch 是一个强大的深度学习框架，本文将详细介绍使用PyTorch搭建一个基本神经网络所涉及的步骤，并希望能够帮助你提高技能和加深知识。接下来就开始我们的PyTorch之旅吧！
具体步骤
1 - 导入
使用PyTorch搭建神经网络的第一步是…
【Pytorch】学习记录分享7——PyTorch数据增强/经典网络架构训练图像分类模型
【Pytorch】学习记录分享7——PyTorch 1. 数据增强、transform 模块数据预处理部分：网络模块设置：网络模型保存与测试 2. 迁移学习3. 参考pytorch官网例子 1. 数据增强、transform 模块
数据预处理部分：
数据增强：torchvision中…
【环境配置】虚拟环境配置
创建虚拟环境
conda create -n pytorch python3.9安装成功提示 激活虚拟环境
activate pytorch安装pytorch
查看 python 版本——python 退出 python——exit() 对照 python 与 pytorch 的对应关系 pytorch 地址：
https://pytorch.org/get-started/previous-…
【霹雳吧啦】手把手带你入门语义分割の番外4：FCN 源码讲解（PyTorch）—— 关于 my_dataset.py 代码讲解
目录
前言
Preparation
一、VOCSegmentation 类
1、__init__ 函数
2、__getitem__ 函数
3、collate_fn 函数
二、cat_list 函数 前言 文章性质：学习笔记 📖 视频教程：FCN源码解析（Pytorch）- 3 自定义读取数据集…
基于XLA_GPU的llama7b推理
环境
pytorch-tpu/llamapytorch 2.1.2(cuda117)torch-xla 2.1.1
# llama2
git clone --branch llama2-google-next-inference https://github.com/pytorch-tpu/llama.git
# pytorch
git clone https://github.com/pytorch/pytorch.git
git checkout v2.1.2
# 部分仓库可能下载…
大模型中的Chat Completion模型和参数
在大语言模型领域，这种根据提示来预测对应的文字输出的过程，被称为Completion，中文译为“补全”。 能够完成Completion过程的模型，则被成为Completion模型。 OpenAI在Completion模型模型基础上，进一步微调训练得到了对…
特殊的bug：element 0 of tensors does not require grad and does not have a grad_fn
很多帖子都说了，设置requires_grad_()就行。 但是我这次遇到的不一样，设置了都不行。
我是这种情况，在前面设置了torch.no_grad():，又在这个的作用域下进行了requires_grad_()，这是不起作用的。
简单版： …
在PyTorch中设置随机数生成器的种子值
在PyTorch中设置随机数生成器的种子值的方法
CPU：可以使用torch.manual_seed()函数
GPU：需要额外设置torch.cuda.manual_seed()来设置GPU上的随机数生成器种子值。
import torch# 设置随机种子
torch.manual_seed(0)if torch.cuda.is_available():tor…
3.pytorch cifar10
数据集
CIFAR10 是由 Hinton 的学生 Alex Krizhevsky、Ilya Sutskever 收集的一个用于普适物体识别的计算机视觉数据集，它包含 60000 张 32 X 32 的 RGB 彩色图片，总共 10 个分类。 这些类别分别是飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。其…
【Pytorch】学习记录分享9——PyTorch新闻数据集文本分类任务实战
【Pytorch】学习记录分享9——PyTorch新闻数据集文本分类任务 1. 认为主流程code2. NLP 对话和预测基本均属于分类任务详细见3. Tensorborad 1. 认为主流程code
import time
import torch
import numpy as np
from train_eval import train, init_network
from importlib impo…
python/pytorch读取数据集
MNIST数据集
MNIST数据集包含了6万张手写数字（[1,28,28]尺寸），以特殊格式存储。本文首先将MNIST数据集另存为png格式，然后再读取png格式图片，开展后续训练
另存为png格式
import torch
from torch.utils.data impor…
掌握激活函数（一）：深度学习的成功之源
文章目录 引言基本概念常用激活函数举例Sigmoid激活函数公式Sigmoid函数的数学特性示例基于NumPy和PyTorch实现Sigmoid函数将Sigmoid函数应用于二分类任务 Sigmoid激活函数的局限性举例 ReLU激活函数公式ReLU函数的数学特性ReLU函数的特点示例基于NumPy和PyTorch实现ReLU函数搭…
PyTorch 进阶指南，10个必须知道的原则
PyTorch 是一种流行的深度学习框架，它提供了强大的工具和灵活的接口，使得开发者能够搭建和训练各种神经网络模型。这份指南旨在为开发者提供一些有用的原则，以帮助他们在PyTorch中编写高效、可维护和可扩展的代码。
如果你对 Pytorch 还处于…
基于深度学习的高精度鸽子检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度鸽子检测识别系统可用于日常生活中或野外来检测与定位鸽子目标，利用深度学习算法可实现图片、视频、摄像头等方式的鸽子目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型…
第一章 数据处理篇：数据集读取和构建
说在前面的话 满打满算工作也有三年了，还是没有感觉到自己和刚毕业相比有什么明显的进步。 严格来讲，代码力确实有提升，对各类工具的使用也更加熟练。但是对算法的理解和从0开始编程的能力仍然没有什么长进。归根到底，是因为在工作…
Pytorch学习笔记(二) 自动微分神经网络
一、自动微分
autograd包是PyTorch中所有神经网络的核心，为 Tensors 上的所有操作提供自动微分。 注：可以不用Variable的表示方法了？不需要以下写法？
from torch.autograd import Variable
xVariable(torch.ones(1,3),requires_…
姿态估算03-01：mmpose(Associative embedding)-资源下载（前奏准备）
以下链接是个人关于 mmpose(Associative embedding动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最…
【pytorch记录】pytorch的分布式 torch.distributed.launch 命令在做什么呢
记录下pytorch分布式训练的运行命令 torch.distributed.launch命令介绍 我们在训练分布式时候，会使用到 torch.distributed.launch 可以通过命令，来打印该模块提供的可选参数 python -m torch.distributed.launch --help usage: launch.py [-h] [--nnode…
【神经网络搜索】NAS-Bench-101: 可复现神经网络搜索
【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。 0. 摘要
神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源&…
ubuntu配置环境 || 虚拟环境中【快速】安装pytorch等cudatoolkit相关环境
1 深度学习的工作环境，一般流程 安装好conda创建虚拟环境并且激活 conda create -n pytorch python3.6 source activate pytorch . 需要知道，使用conda命令安装库时，会安装其他的依赖库(或相关库)，而且这些库也有默认的版本。所以…
mmdetection解决 ImportError: cannot import name ‘deform_conv_cuda’
原因是mmdetection版本问题，查了很久最后在mmdetction github的issue里找到一个解决方案，附上链接：
https://github.com/open-mmlab/mmdetection/issues/413#issuecomment-515299000 现在mmdetection v2.0.0版本只需要执行python setup.py d…
pytorch版CenterNet训练自己的数据集
CenterNet(Objects as points)已经有一段时间了，之前这篇文章-【目标检测Anchor-Free】CVPR 2019 Object as Points（CenterNet）中讲解了CenterNet的原理，可以回顾一下。
这篇文章是基于非官方的CenterNet实现，https:/…
【NAS工具箱】Pytorch中的Buffer
Parameter ： 模型中的一种可以被反向传播更新的参数。
第一种：
直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。
def __init__(self):super(MyModel, self).__init__()self.param nn.Parameter(torch.randn(3, 3)) #…
PyTorch基础——输入image各维度含义
2D:NCHW2D: N \times C \times H \times W2D:NCHW N−numberofsamples\qquad N-number \;of \;samplesN−numberofsamples C−channelspersample\qquad C - channels \;per \;sampleC−channelspersample H−height\qquad H-heightH−height W−width\qquad W-widthW−width 3D…
(有10个维度为（256,128,130）的tensor，计算10个tensor两两之间的相似性以及差异性，并将相似性和差异性可视化。
有10个维度为（256,128,130）的tensor，计算10个tensor两两之间的相似性以及差异性，并将相似性和差异性可视化。 问题描述解决办法 问题描述
有10个维度为（256,128,130）的tensor，计算10个tensor两…
使用PyTorch执行特征提取和微调的迁移学习来进行图像分类
使用PyTorch执行特征提取和微调的迁移学习来进行图像分类 1. 效果图2 项目结构3 什么是迁移学习4 如何使用PyTorch进行迁移学习？5 花朵数据集源码train_feature_extraction.pyfine_tune.pyinference.py 参考 这篇博客将介绍如何使用PyTorch深度学习库执行图像分类的…
Pytorch学习笔记(三) 图像分类器数据并行处理
一、图像分类器
1.加载并处理输入数据
通常来说，处理图像、文本、语音或者视频数据时，可以使用标准 python 包将数据加载成 numpy 数组格式，然后将这个数组转换成 torch.*Tensor。
图像: Pillow，OpenCV语音: scipy࿰…
RuntimeError:CUDA error:no kernel image is available for execution on the device报错解决(亲测)
深度学习算法训练报错
调试Transformer网络，安装完timm包之后，运行程序时报错CUDA error:no kernel image is available for execution on the device，如图所示： 网上对于该错误说啥的都有，因为这是第一次遇到这个错误…
【CV中的Attention机制】BiSeNet中的FFM模块与ARM模块
前言：之前介绍过一个语义分割中的注意力机制模块-scSE模块，效果很不错。今天讲的也是语义分割中使用到注意力机制的网络BiSeNet，这个网络有两个模块，分别是FFM模块和ARM模块。其实现也很简单，不过作者对注意力机制模块…
【从零开始学习YOLOv3】6. YOLOv3中的YOLOLayer解析和推理过程
前言：上次讲了YOLOv3中的模型构建，从头到尾理了一遍从cfg读取到模型整个构建的过程。其中模型构建中最重要的YOLOLayer还没有梳理，本文将从代码的角度理解YOLOLayer的构建与实现。 1. Grid创建
YOLOv3是一个单阶段的目标检测器，将…
【从零开始学习YOLOv3】2. YOLOv3中的代码配置和数据集构建
前言：本文是讲的是如何配置pytorch版本的yolov3、数据集处理、常用的命令等内容。该库的数据集格式既不是VOC2007格式也不是MS COCO的格式，而是一种新的格式，跟着文章一步一步来，很简单。另外我们公众号针对VOC2007格式数据集转化…
【CV中的Attention机制】Selective Kernel Networks(SE进化版)
1. SKNet
SKNet是SENet的加强版，结合了SE opetator, Merge-and-Run Mappings以及attention on inception block的产物。其最终提出的也是与SE类似的一个模块，名为SK, 可以自适应调节自身的感受野。据作者说，该模块在超分辨率任务上有很大提升…
验证码识别竞赛解决方案(97%准确率)
前言：这个库是为验证码识别竞赛而开发的一个基于pytorch实现的端到端的验证码识别系统。前后开发大概有2个月，其中大部分时间都在调参，后期参考kaggle大神经验，加入了一些trick，但是由于第一个榜截止了，所以…
Attention机制中CBAM以及Dual pooling的pytorch实现
前言：虽然会pytorch框架中的一些基础操作，但是有很多实现直接让自己写还是挺困难的。本次的代码参考senet中的channel-wise加权，CBAM中的channel-attention和spatial-attention, 另外还有kaggle Mastergray 分享的Dual pooling。由于没有特别…
TorchScript 简介
TorchScript 简介
本教程是 TorchScript 的简介，TorchScript 是 PyTorch 模型（nn.Module的子类）的中间表示，可以在高性能环境（例如 C）中运行。
在本教程中，我们将介绍：
PyTorch 中…
MMSegmentation 训练测试全流程
MMSegmentation 训练测试全流程1.按照执行顺序的流程梳理Level 0: 运行 Shell 命令:Level 1: 在 tools/train.py 内:Level 2: 转进到 mmseg.apis 模块的 train_segmentor 函数内:Level 3: 转进到 mmcv/runner/iter_based_runner.py 内的 IterBasedRunner 类的 run 函数内部:Lev…
基于人脸的常见表情识别——模型搭建、训练与测试
感谢阅读模型搭建与训练数据接口准备模型定义模型训练模型测试模型搭建与训练
数据接口准备
data_transforms {train: transforms.Compose([transforms.Scale(64),transforms.RandomSizedCrop(48),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Norm…
PyTorch官方教程(一)-A 60 Minute Blitz
What is PyTorch?
一个基于Python的科学计算包, 设计目的有两点:
numpy在GPUs实现上的替代品具有高度灵活性和速度的深度学习研究平台
Tensors
Tensors可以理解成是Numpy中的ndarrays, 只不过Tensors支持GPU加速计算.
x torch.empty(5,3)
print(x) # 输出 53 的未初始化…
pytorch笔记：transformer 和 vision transformer
来自B站视频，API查阅，TORCH.NN
seq2seq 可以是 CNN，RNN，transformer nn.Transformer 关键源码：
encoder_layer TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout,activation, layer_norm_eps, ba…
yolo3-pytorch口罩识别检测
1.使用环境cuda 10.0，环境装好后使用nvcc -V检测，出现以下说明cuda安装完成 2.下载资源，yolo3-pytorch口罩识别检测，路径为：https://download.csdn.net/download/liaoqingjian/20969434?spm1001.2014.3001.5503
3.下…
ICRA2020开源项目DF-VO运行记录
项目场景：
DF-VO是ICRA2020国际会议的开源项目，想着搞下来玩玩，这是项目的传送门 两篇论文也附上： Visual Odometry Revisited: What Should Be Learnt? DF-VO: What Should Be Learnt for Visual Odometry? 运行：…
深度学习基础——通过PyTorch构建神经网络实现1维/2维序列分类
文章目录 使用3层前馈神经网络使用循环神经网络生成pickle数据集构建RNN进行1维序列的训练、推理 使用3层前馈神经网络
通过PyTorch构建前馈神经网络，并对二维数据点进行分类。在该例子当中，所有的训练数据和测试数据都是通过高斯混合模型GMM生成的&…
【人工智能概论】 PyTorch中的topk、expand_as、eq方法
【人工智能概论】 PyTorch中的topk、expand_as、eq方法 文章目录 【人工智能概论】 PyTorch中的topk、expand_as、eq方法一. topk方法1.1 简介1.2 参数详解 二. expand_as方法三. eq方法 一. topk方法
1.1 简介
对PyTorch中的tensor类型的数据都存在topk方法，其功…
【深度学习】最全的十九种损失函数汇总
tensorflow和pytorch很多都是相似的，这里以pytorch为例。 文章目录 一、L1范数损失 L1Loss二、均方误差损失 MSELoss三、交叉熵损失 CrossEntropyLoss四、KL 散度损失 KLDivLoss五、二进制交叉熵损失 BCELoss六、BCEWithLogitsLoss七、MarginRankingLoss八、HingeEm…
ubuntu18.04 安装EasyOCR和photo2cartoon的安装过程及安装过程中的琐碎问题
ubuntu18.04 安装EasyOCR和photo2cartoon的安装过程及安装过程中的琐碎问题 最近喜欢上了下载各个好玩的开源代码来跑着玩，在安装过程中也遇到了一些小问题，和安装的小技巧，想着在这里先记录一下，以免日后忘记了。
这两个开源项目…
RuntimeError: expected scalar type Long but found Float报错解决
在torch模型转onnx模型，我会生成一个随机序列，通过模型预测看输出的维度是否一致吗但是遇到这个报错
我是这样生成的
dummy_input torch.randn(1,1,1200)
dummy_output model_pytorch(dummy_input)
print(dummy_output.shape)
RuntimeError: expec…
pytorch全连接模型实现离散点回归拟合
神经网络可作为一个函数，例如x为训练样本矩阵，f为神经网络，则f(x)会得到一个输出，输出表示啥取决于训练目的和训练过程。 本文章讲解以拟合为设计目的的全连接神经网络模型，神经网络即可进行线性回归，也可进…
pytorch的tensor与numpy数组转换
看代码，tensor转numpy: a torch.ones(2,2) b a.numpy() cnp.array(a) #也可以转numpy数组 print(type(a)) print(type(b)) print(a) print(b) 输出为： <class ‘torch.Tensor’> <class ‘numpy.ndarray’> tensor([[1., 1.], [1., 1.]]) …
TextCNN文本分类实践
CNN介绍
CNN是特殊的全连接层，包含两个特性：平移不变性和只和周边位置相关
CNN用于处理图像，也可以处理文本和语音，处理图像时，基础的CNN不能解决旋转和放大缩小问题，因为神经网络输入是一行像素转换成向…
深度学习前馈、卷积、循环神经网络介绍及pytorch实践
参考： 慕课《人工智能导论：模型与算法》 pytorch中文教程
历史 pytorch神经网络构建
神经网络可以通过 torch.nn 包来构建。
神经网络是基于自动梯度 (autograd)来定义一些模型。一个 nn.Module 包括层和一个方法 forward(input) 它会返回输出(output…
python/pytorch random_seed随机种子
在Python中，通过指定random.seed可以设置随机数生成器的种子，以确保在相同种子下生成的随机数序列是确定性的，也就是说，每次使用相同的种子生成的随机数序列都是一样的。
然而，当看起来相同的种子被使用时，…
行人重识别02-00：fast-reid(BoT)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析fast-reid(BoT-行人重识别)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以给…
torch.cuda模块获取信息
判断GPU是否可用
import torch
print(torch.cuda.is_available())如果输出True则表示可以使用GPU
输出可使用GPU的数量
import torch
print(torch.cuda.device_count())输出1就表示只有一块可以用
输出GPU的名字
import torch
print(torch.cuda.get_device_name())如果有…
PyTorch Week 3——nn.MaxPool2d、nn.AvgPool2d、nn.Linear、激活层
系列文章目录
PyTorch Week 3——卷积 PyTorch Week 3——nn.Module的容器：Sequential、ModuleList、ModuleDice PyTorch Week 3——模型创建 PyTorch Week 2——Dataloader与Dataset PyTorch Week 1 前言
从本节开始转变思路，主要关注各种方法的pytor…
pytorch使用多GPU进行训练
首先需要在代码开头注明所使用的GPU序号，比如：
import torch.nn as nn
import osos.environ["CUDA_VISIBLE_DEVICES"] 0，1对linux系统来说，可以使用
watch -n 0.1 nvidia-smi来查看服务器上GPU的状态与可用GPU序号。…
服务器（2080Ti）配置pytorch，distiller开发环境踩坑记录
公司计算资源限制，将开发环境转移到学校实验室的服务器上进行，需要重新配置一遍开发环境。服务器配置为10块RTX 2080Ti的显卡。本以为有了之前一次配置环境的经验会很顺利，naive。。。
1.torch包之间的依赖关系
由于distiller的requirement…
RNN实战之一 -------------------------------------RNN 实现MNIST手写数字分类
前言
首先需要将图片数据转化为一个序列数据，MNIST手写数字的图片大小是2828，那么可以将每张图片看作是长为28的序列，序列中的每个元素的特征维度是28，这样就将图片变成了一个序列。同时考虑到循环神经网络的记忆性，所…
【pytorch】nn.utils.rnn.pad_sequence的使用
目录 错误使用说明样例代码 错误
The size of tensor a (3) must match the size of tensor b (5) at non-singleton dimension 1
在使用nn.utils.rnn.pad_sequence时,遇到如上错误,原因是使用方式错误.
使用说明
用padding_value填充可变长度张量列表 pad_sequence 沿新维…
Pytorch-Tensor
文章目录一、张量 Tensor 数据类型8种二、创建 Tensor三、API of Tensor一、张量 Tensor 数据类型8种
tensor数据类型：3个浮点类型（16，32，64）5个整型（16，32，64，8u8&…
姿态估计1-00：HR-Net(人体姿态估算)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析HR-Net(人体姿态估算)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以给出以下…
风格迁移2-00：MUNIT(多模态无监督)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析MUNIT(多模态无监督)，其属于风格迁移系列，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便…
【人脸识别】MTCNN + Arcface全流程详解 Pytorch代码 损失函数发展
目录：人脸识别介绍损失函数发展Softmax lossCenter lossTriplet lossL-softmax lossSphereFace(A-Softmax loss)CosFace(AM-Softmax loss)ArcFace loss人脸识别流程相似度生成训练图片数据采样网络模型训练使用摄像头实时检测人脸识别介绍
MTCNN 实现人脸检测&…
报错 Illegal instruction
记录一个bug
在我的Jetson Xavier NX上，使用命令：
sudo python3 xxx.py如果在Python脚本中有：
import torch则报错：
Illegal instruction大部分回答的解决方式是：
export OPENBLAS_CORETYPEARMV8但我看了一下&…
YOLOv5 人脸口罩识别 免费提供数据集
本文分享快速使用YOLOv5训练自己的人脸口罩数据集。
第一步是搞数据，并把标注文件处理成YOLOv5格式，这其实是最费时的，此处省略1W字……我给同学们整了一个近8000张的人脸口罩数据集，拿走不蟹~
下载YOLOv5-3.1版本和模型权重&am…
GAN 生成动漫头像 手动实现Pytorch全代码
本文分享手动实现DCGAN生成动漫头像的Pytorch代码。
简单来说，DCGAN（Deep Convolutional GAN）就是用全卷积代替了原始GAN的全连接结构，提升了GAN的训练稳定性和生成结果质量。
我使用的数据集，5W张9696的动漫头像。 …
Pytorch 转置卷积nn.ConvTranspose2d 参数设置总结
本文总结Pytorch中用转置卷积还原卷积过程的参数设置。
直接上栗子，卷积过程： 55输入特征图，步长s2s2s2，卷积核k3k3k3，填充p1p1p1。
输出特征图为5−k2ps13\displaystyle \frac{5-k2p}{s}13s5−k2p13。 转置卷积过…
手动实现ResNet残差网络 Pytorch代码
残差原理 网络退化（degradation）：因为梯度弥散等原因，在不断加神经网络的深度时，模型准确率会先上升然后达到饱和，再持续增加深度时则会导致准确率下降。
残差网络ResNet的出现就是为了解决网络深度变深以…
【YOLOv3】手把手教你打造一个汽车检测器
本文将带你打造一个汽车检测器，使用的算法是PyTorch版本的YOLOV3。我们不会讲解该算法的细节，而是专注于如何去实现自己的汽车检测器，主要包括数据下载，数据清洗，数据集制作以及训练和检测（图片检测&#x…
基于docker构建属于我们自己的容器镜像
基于docker-gpu构建容器，保存容器镜像 第一步进行docker的安装
不使用GPU的安装使用GPU的安装 使用GPU的安装需要按照英伟达开发的docker安装说明安装 如下是ubuntu的展示示例，请在终端中依次输入以下命令
Setting up Docker Docker-CE on Ubuntu can …
Windows11 配置Cuda cuDNN Pytorch环境
文章目录1 安装CudaNote 安装失败的情况2 安装cuDNN3 安装Anaconda4 安装Pytorch5 使用Pycharm进行验证6 结束1 安装Cuda
进入 developer cuda: https://developer.nvidia.com/ 之后自定义路径进行安装即可 必装CUDA，其他情况自己选择 自定义路径 Document与Deve…
nnUNet ubuntu环境配置用2D图像训练
nnUnet说明链接 保姆级教程：nnUnet在2维图像的训练和测试 不用写代码神器！教你用4行命令轻松使用nnUNet训练自己的医学图像分割模型
安装和配置nnUNet环境
创建python虚拟环境
首先创建一个python 环境(3.7)，命名为nnunet
conda create -…
MobileNet V3代码
代码：
import torch
import torch.nn as nn
import torch.nn.functional as Fclass h_swish(nn.Module):def forward(self,x):return x*F.relu6(x3)/6class swish(nn.Module):def forward(self,x):return x*F.sigmoid(x)class h_sigmoid(nn.Module):def forward(se…
SqueezeNext 代码和解析
SqueezeNext为Squeezenet的改进版本。 Squeeze Net链接：https://blog.csdn.net/weixin_44543648/article/details/124400592
Block:
以Fire模块为基础进行改进。
加入shortcut 连接。加入bottleneck module 和 Low Rank Filter
改进如下:
将 expand 层的3x3 卷…
附代码 DenseASPP for Semantic Segmentation in Street Scenes论文解读
DenseASPP for Semantic Segmentation in Street Scenes论文解读
代码地址：https://github.com/Tramac/awesome-semantic-segmentation-pytorch 目录摘要：（对ASPP的进一步改进）主要内容：感受野计算方法：感…
附代码 Vision Transformer（VIT）模型解读
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
该论文主要介绍了如何仅仅使用Trnsformers来进行图像分类。 Transformers lack some of the inductive biases inherent to CNNs, such as translation equivariance and locality, and therefor…
bert中的数据输入制作data_generate
数据生成器（自动生成训练、验证、测试集）1.需要创建一个类data_generator，这个类继承DataGenerator类（bert4kreas.snippets）这个类主要是做数据生成的迭代器2. 创建 DateProcess() 类：3.测试‘’’ 这的数据…
torch.linalg.norm在不同维度的张量上给出的结果不同：探讨原因与解决方案
诸神缄默不语-个人CSDN博文目录
（我用的版本：Python 3.8.13; PyTorch 1.11.0）
计算张量大小时用的是L2范数，很直觉地会想到用torch.linalg.norm，然后发现不同维度的张量会给出不同的答案：
import torch
…
torch.distributed补充
主要是关于dist.isend(isend)和dist.iirecv（irecv)的问题。
1：使用irecv和isend的时候，一定要给到返回值。否则通信无法进行，不知道为啥，我也很想知道原因。而send和recv就不需要。
from torch.utils.data import Ra…
PyTorch基础——PyTorch常用模块及相关类
常用模块
torch.utils.data：提供了有关数据处理的工具torch.nn：定义了大量神经网络的层
torch.nn.init：定义了各种初始化方法torch.optim：优化器torchvision：服务于PyTorch深度学习框架，主要用于构建计算机…
CV-Transformer集合
网络名称机构领域最低指标最高指标原文代码博文期刊时间Transformer谷歌NLP————[Link][TensorFlow][Link]NIPS20172017.07ViT谷歌CV————[Link][TensorFlow][Link]-2020.10DeiT脸书CV72.2/5M/85.2/87M/[Link][PyTorch][Link]-2020.12BoTUC BerkeleyCV77.0/20.8M/4.27G84…
【Pytorch实现】——深入理解im2col（详细图解）
【Pytorch实现】——深入理解im2col（详细图解）
转载链接
1.im2col是将一个[C,H,W]矩阵变成一个[H,W]矩阵的一个方法，其原理是利用了行列式进行等价转换
2.为什么要做im2col? 减少调用gemm的次数
3.本次的代码只是为了方便理解im2col&…
【神经网络搜索】Single Path One Shot
【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。 代码…
Microsoft NNI入门
【GiantPandaCV导语】Neural Network Intelligence 是一个工具包，可以有效帮助用户设计并调优汲取学习模型的神经网络架构，以及超参数。具有易于使用、可扩展、灵活、高效的特点。本文主要讲NNI基础的概念以及一个训练MNIST的入门教程。本文首发于GiantP…
pytorch中的数据类型和相互转换
1 torch.Tensor A torch.Tensoris a multi-dimensional matrix containing elements of a single data type.torch.Tensor 是包含单一数据类型的多维矩阵 2 Data types
Torch定义了10种不同CPU和GPU的张量类型，下面摘录常用的几种
Data typedtypeCPU tensorGPU te…
Ubuntu16.04 Cuda11.1 Cudnn8.1 Tensorflow2.4 PyTorch1.7 环境配置
未经允许，不得转载 文章目录1、环境2、驱动安装3、cuda安装4、cudnn安装5、Tensorflow2.4安装6、PyTorch 1.7 安装1、环境
显卡：Gtx 1080Ti
系统：Ubuntu16.04
并行：cuda11.1和对应的cudnn8.1
软件：Tensorflow2.4 和…
吴恩达 deeplearning.ai - 结构化机器学习项目 - 第1周测验
参考链接： https://zhuanlan.zhihu.com/p/30246827 https://blog.csdn.net/u013733326/article/details/80000199 第一周测验 - 和平之城中的鸟类识别(案例研究)
问题陈述
这个例子来源于实际项目，但是为了保护机密性，我们会对细节进行保护…
动手学深度学习（Pytorch）第2章深度学习基础-上
原书籍出处
https://raw.githubusercontent.com/OUCMachineLearning/OUCML/master/BOOK/Dive-into-DL-PyTorch.pdf
本书GitHub代码链接为：Dive-Into-Deep-Learning-PyTorch-PDF。
第2章 深度学习基础
作为机器学习的一类，深度学习通常基于神经网络模…
遇到的PyTorch API
文章目录1. torch.chunk2. nn.GroupNorm3. torch.permute1. torch.chunk
torch.chunk(input, chunks, dim0) → List of Tensors
将input tensor划分成特定的块数，每个块都是input tensor的一个视图，最后一个块可能会小一点，因为不能被dim整…
transformer的学习记录【完整代码+详细注释】（系列四）
文章目录1 子层连接结构1.1 子层连接结构的代码1.2 完整的代码就不放了，放在下一节2 编码器层2.1 编码器层的作用2.2 代码分析2.3 编码器层的代码3 编码器3.1 代码实现3.2 编码器的输出3 到目前为止的完整的代码3.1 输出第一节：transformer的架构介绍 输…
【基于PyTorch】nn.Dropout() 使用
这里p0.2 表示，每个神经元都有0.2 的概率被丢弃（变成0）
m nn.Dropout(p0.2)代码：
from torch import nn
import torchm nn.Dropout(p0.2)
input1 torch.randn(4, 5)
output m(input1)
print(output)输出1:
tensor([[-0.615…
时间序列学习（6）——LSTM中Layer的使用
文章目录1 复习一下 nn.RNN 的参数2 LSTM的 __init__函数3 LSTM.forward()4 动手写一个简单的lstm层1 复习一下 nn.RNN 的参数
参数介绍：
（1）input_size ： The number of expected features in the input x （x的特征…
时间序列学习（5）——LSTM 基本原理
文章目录1 从 RNN 说起2 RNN的缺点，为什么要引入LSTM3 介绍LSTM 的门结构3.1 遗忘门（遗忘阶段）3.2 输入门3.3 相加得到 Ct3.4 输出门3.5 总结公式推导4 为什么LSTM能够解决Gradient Vanishing的问题1 从 RNN 说起 循环神经网络Recurrent Neur…
时间序列学习（4）——【正弦函数预测，RNN，代码+详解】非常清楚，强烈推荐
文章目录1 问题描述2 数据处理部分2.1 np.random.randint()2.2 np.linspace()2.3 最终的数据情况3 模型介绍3.1 模型代码3.2 介绍 __init__ 函数3.3 介绍forward函数4 模型训练部分4.1 同数据处理部分4.2 喂数据给模型、计算loss、梯度更新，反向传播5 模型预测部分5…
github代码分析——Siamese神经网络
文章目录1 下载代码2 读readme.md2.1 所需环境注意事项2.2 文件下载3 预测阶段3.1 解决问题1写在前面：在github上面学习代码是研究生必备技能，本篇博客就以学习Siamese Network（pytorch） 为例，分享如何在github上学习代…
Pytorch框架 || torch.nn.modules.Module(nn.Module)
文章目录1 一个简单的网络2 nn.Module.init_weight()2.1 kaiming 高斯初始化1 一个简单的网络
一个Pytorch模型应该以类的形式出现Pytorch训练模型应该是nn.Module的子类一个训练模型最少包含init和forward（初始化和前向传播）两个过程。
import torch.…
论文学习——基于滑动窗口预测的水位时间序列异常检测
文章目录0 封面1 标题（title）2 作者（author）3 摘要（abstract）4 关键词5 结论6 论文中的图表6.1 图一：基于滑动串口的异常检测算法流程6.2 图二：测站的数位、流量数据集6.3 图三&…
安装Tensorflow,numpy ,pandas,sklearn等包依赖的兼容问题
文章目录1 写在前面2 安装顺序3 兼容4 兼容版本21 写在前面
安装之前一定要注意兼容问题，千万不能简单的pip install **一定要查看一下兼容的版本
2 安装顺序
一般采用tensorflow -> matplotlib -> seaborn -> skleran 的顺序，就不需要另外安…
Anaconda prompt实用操作，管理虚拟环境
文章目录1 展示所有虚拟环境2 进入到一个虚拟环境中2.1 查看此环境下的包2.2 安装包创建一个虚拟环境删除虚拟环境1 展示所有虚拟环境
命令：conda info --env
2 进入到一个虚拟环境中
命令： activate 环境名
2.1 查看此环境下的包
命令࿱…
Sequential模型
文章目录1 Keras模型1.1 序贯模型1.2 函数式模型2 在pytorch中Sequential()的使用2.1 按照常规方法来构建网络2.2 使用Sequential()构建网络1 Keras模型
Keras有两种类型的模型，序贯模型（Sequential）和函数式模型（Modelÿ…
pandas之DataFrame学习
文章目录1 写在前面的小知识点2 read_csv() 函数参数篇3 将DataFrame转换为array4 NAN数据转换为01 写在前面的小知识点
series是一维的，而dataframe是二维的！DataFrame对象既有行索引，又有列索引 行索引，是不同行的索引…
循环神经网络RNN与LSTM学习（一）
文章目录1 word2vec1.1 理解torch.nn.Embedding2 RNN 的梯度计算2.1 什么是梯度爆炸2.2 什么是梯度消失3 LSTM4 常见的面试题——LSTM是如何解决RNN梯度消失和梯度爆炸问题？5 利用PyTorch RNN实现MNIST手写字体识别5.0 流程介绍5.1 加载数据集5.2 定义超参数5.3 创建…
PyTorch——device与cuda.device用法
文章目录1 查看当前的device2 cpu设备可以使用“cpu:0”来指定3 gpu设备可以使用“cuda:0”来指定4 查询CPU和GPU设备数量5 从CPU设备上转换到GPU设备5.1 torch.Tensor方法默认使用CPU设备5.2 使用to方法将cpu的Tensor转换到GPU设备上5.3 使用.cuda方法将cpu的Tensor转换到GPU设…
PyTorch深度学习实践（十二）——序列转序列模型
文章目录0 写在前面1 RNN 简单描述2 RNN 的数学表达3 设计输入输出的size4 RNNcell 与 RNN5 举例——hello转换为0 写在前面
之前的卷积神经网络受到了生物视觉细胞的启发，相似的，循环神经网络受到了生物记忆能力的启发。
1 RNN 简单描述
普通神经网络…
PyTorch深度学习实践（十一）——迁移学习
文章目录0 写在前面1 AlexNet 详解1.1 浅析一下卷积层1.1 dropout2 VGGNet3 ResNet4 利用AlexNet做迁移学习实战4.1 归一化处理4.2 图像处理4.2 加载预训练模型4.3 重新定义AlexNet的classifier模块5 完整代码0 写在前面
本研究生终于学完了基础部分的神经网络！&am…
PyTorch深度学习实践（十）——卷积模型定义分析
文章目录0 写在前面1 卷积层2 forward过程0 写在前面
本篇blog接续前篇blog，可以结合上一篇blog一起学习哦！ https://blog.csdn.net/weixin_42521185/article/details/123602516 本blog介绍一个卷积神经网络，用于识别手写数字问题࿰…
【深度强化学习】1. 基础部分
文章目录强化学习纲要-基础部分强化学习应用案例强化学习在做什么？基本要素分类1. 按照Agent有没有对环境建模来分类2. 按照Agent的决策方式来分类时序决策过程动作空间智能体主要组成部分1. Policy2. Value Function3. ModelExploration and Exploitation知识点补充…
CenterNet骨干网络之hourglass
CenterNet中主要提供了三个骨干网络ResNet-18(ResNet-101), DLA-34, Hourglass-104，本文从结构和代码先对hourglass进行讲解。
本文对应代码位置在：https://github.com/pprp/SimpleCVReproduction/tree/master/Simple_CenterNet
1. Ground Truth Heatm…
CenterNet 数据加载解析
本文主要解读CenterNet如何加载数据，并将标注信息转化为CenterNet规定的高斯分布的形式。
1. YOLOv3和CenterNet流程对比
CenterNet和Anchor-Based的方法不同，以YOLOv3为例，大致梳理一下模型的框架和数据处理流程。
YOLOv3是一个经典的单阶…
【CUDA编程】 动态体素化实现
动态体素化实现
动态体素化DV克服了硬体素化HV的一些缺点。动态体素化DV保留了分组grouping阶段，相反，它没有采样固定的点数或体素容量，它保留了点和体素之间的完全映射。因此，体素数和每个体素中的点数都是动态的，依…
VS Code报错 No module named ‘torch‘ （但已经安装了pytorch）
一、复现错误程序 创建一个python文件 test.py，其内容为：
import torch
print(torch.__version__)使用VS Code打开并运行该程序时，会出现以下错误： ModuleNotFoundError: No module named ‘torch’
二、解决方案 选择适合的Pyt…
tensorrt_python_engine_refit_mnist
使用tensorRT网络API重新构建模型使用虚拟值作为conv_1的权重，产生错误推理结果使用训练好的weight作为conv_1的权重，产生正确的推理结果。
1 TensorRT API layers and ops
Activation layer：kRELUConvolution layer：2D(channel…
TensorRT_mnist_int8校正
定义网络
为INT8执行定义网络与为任何其他精度定义网络完全相同。权重作为FP32导入，构建者将校准网络，以找到适当的量化因子，从而将网络降低到INT8精度。此示例使用NvCaffeParser导入网络： const nvcaffeparser1;:IBlobNameToTen…
如何创建pytorch的data loader类型，以cifar_10本地文件读取和mnist为例
最近一直想学pytorch，那么肯定遇到的第一个问题就是data loader的事了，其实想要将数据做成data loader型，把握住一个类，三要素：
Class CIFAR10(data.Dataset):#data.Dataset是pytorch内置函数，原理我没深究…
YOLOX Window10 TensorRT 全面部署教程
YOLOX Window10 TensorRT 全面部署教程配置流程训练自己的模型安装torch2trt转换模型编译DemoWindow10 部署Window10上使用自己训练的模型进行tensorrt检测总结配置流程
官网这部分写的非常笼统，我把完整教程分享给大家。 环境： window10GTX1650TensorR…
YOLOv2算法小记
YOLOv2算法小记
目录
YOLOv2算法小记
一、v2算法的改进
（一）引入BN层
（二）更高精度的classifier [Focusing on backbone]
（三）引入Anchor
（四）细粒度 (fine-grained) 特征 …
pytorch梯度截断之torch.nn.utils.clip_grad_norm_
当深度学习网络层数逐渐增加时，反向传播过程中链式法则里的梯度连乘项数也会随之增加，容易引起梯度消失和梯度爆炸。对于梯度爆炸，除了BN、shortcut、更换激活函数及权重正则化外，还有一个解决方法就是梯度剪裁，即设置…
基于pytorch的dcgan代码实现，进行简易图像数据生成
简易实现使用dcgan进行图像数据生成
前言：个人电脑算力有限(2G现显存GPU)，现使用numpy自生成1维图像数据，dcgan生成对抗网络训练50轮（花费不到20min），生成fake image已肉眼难分。
生成结果如下࿱…
使用循环神经网络训练语言模型（从简单起手、歌词生成器，爬虫+GRU循环网络）
使用循环神经网络训练语言模型（从简单起手、song_words生成器，爬虫GRU循环网络）
第一部分：song_words获取（本次主要是训练语言模型，度娘random搜的公开的song_words下载网站，编写爬虫程序自动下…
人工智能(pytorch)搭建模型16-基于LSTM+CNN模型的高血压预测的应用
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型16-基于LSTMCNN模型的高血压预测的应用，LSTMCNN模型搭建与训练，本项目将利用pytorch搭建LSTMCNN模型，涉及项目：高血压预测，高血…
知识蒸馏-Yolov3
本人实验：利用上篇的“Learning Efficient Convolutional Networks Through Network Slimming论文阅读笔记”方法，成功将算力8.5G的darknet21-yolo模型(9个类别)（map0.74）裁剪掉到了3.9G（map0.731）…
TypeError: img should be PIL Image. Got class torch.Tensor
背景：
在pytorch中使用MNIST数据集，进行可视化，代码如下：
import torch
import torch.nn as nn
import torchvision
from torchvision import datasets, transforms
from torch.autograd import Variable
import matplotlib.pyp…
【pytorch】模型的搭建保存加载
使用pytorch进行网络模型的搭建、保存与加载，是非常快速、方便的。
搭建ConvNet
所有的网络都要继承torch.nn.Module，然后在构造函数中使用torch.nn中的提供的接口定义layer的属性，最后，在forward函数中将各个layer连接起来。
…
避坑：使用torchvision.transforms.functional.adjust_gamma进行gamma变换时需注意输入数据的类型
adjust_gamma的使用方式
torchvision.transforms.functional.adjust_gamma(img: Tensor, gamma: float, gain: float 1)输入：
img (PIL Image or Tensor) – PIL Image to be adjusted. If img is torch Tensor, it is expected to be in […, 1 or 3, H, W] for…
Ubuntu16 通过gdebi安装搜狗输入法
环境
Ubuntu16.04 LTS已安装好了gdebi去搜狗输入法官网下载了搜狗输入法的deb包（我的是sogoupinyin_2.4.0.3469_amd64.deb）
输入法系统选择 需要选择为fcitx，一般默认就是这个了。
安装过程
右键单击搜狗输入法deb包，使用gdeb…
RuntimeError: Could not infer dtype of numpy.int64
RuntimeError: Could not infer dtype of numpy.int64
问题：再写强化学习代码时，遇到该错误，代码如下，对于传的参数max_action2.0，使用 self.action_scale torch.tensor(max_action)会报如上错误，主要是m…
K近邻算法 （KNN）和最远点采样（FPS）实现--python+pytorch
KNN算法实现--pythonpytorchK近邻算法 （KNN）最远点采样（FPS）K近邻算法 （KNN）
主要思路：计算每个点和某点的距离，取距离最短的K个点的下标即可。 下面是个完整示例，代码复…
pytorch学习笔记--tensorboard和transform的使用
tensorboard和transform的使用一、tensorboard二、transform的使用本文为学习笔记，感谢PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】
一、tensorboard
tensorboard是一种可视化工具，可以但不仅限于图片显示…
Pytorch版本YOLOv3模型转Darknet weights模型然后转caffemodel再转wk模型在nnie上面推理
前言 最近一直在研究海思的嵌入式设备的模型部署，手头上面训练好的YOLOv3 Pytorch版本的模型需要放在海思的嵌入式芯片上面去推理，我的芯片是Hi3519AV100（对应nnie版本是1.2）。查看官方文档，发现都是一些什么IDE使用指…
PyTorch官方教程(三)-Learning PyTorch with Examples
Tensors
Warm-up: numpy
对于numpy来说, 它对计算图, 深度学习, 梯度等等概念几乎是不知道的, 但是, 如果我们了解简单神经网络的具体结构, 那么我们就可以很轻易的用numpy来实现这个简单网络, 对此, 我们通常需要自己来实现前向计算和反向计算的逻辑, 下面我们来实现一个具有…
yolo3-pytorch训练摩托车模型并且识别
1.使用cuda10.0环境，检测有无cuda10.0环境，使用代码nvcc -V，出现以下图情况则为环境配置已好 2.准备下载yolo3-pytorch框架：https://download.csdn.net/download/liaoqingjian/74061946
3.下载所需要的摩托车数据集：…
bert 和crf设置不同学习率（pytorch）
做ner 经典模式 bert crf，但是bert 和crf 的学习率不同：你的CRF层的学习率可能不够大 # 初始化模型参数优化器# config.learning_rate 3e-5no_decay [bias, LayerNorm.weight]optimizer_grouped_parameters [{params: [p for n, p in model.named_pa…
pytorch的mm()函数
torch.mul(a, b) torch.mul(a, b) 是矩阵 a和 b 对应位相乘，a 和 b 的维度必须相等，比如a 的维度是 (1,2)，b 的维度是(1,2)，返回的仍是(1,2)的矩阵，和 a ∗ b 效果相同。其实这个矩阵或者向量的乘法操作就是 Had…
PyTorch 动态更新 DataLoader
举个例子，我们只想取 Dataset 中的一部分，所以可以使用 SubsetRandomSampler 。
from torch.utils.data import DataLoader, TensorDataset, SubsetRandomSampler, BatchSampler
import torchcandidate [1]
dataset TensorDataset(torch.tensor(list(…
使用pytorch进行图像预处理的常用方法的详细解释
一般来说，我们在使用pytorch进行图像分类任务时都会对训练集数据做必要的格式转换和增广处理，对测试集做格式处理。
以下是常用的数据集处理函数：
data_transform { "train": transforms.Compose([transforms.RandomResizedCro…
PyTorch|构建自己的卷积神经网络--池化操作
在卷积神经网络中，一般在卷积层后，我们往往进行池化操作。实现池化操作很简单，pytorch中早已有相应的实现。
nn.MaxPool2d(kernel_size ,stride )
这种池化叫做最大池化。
最大池化原理很简单，就是一个filter以一定的stride在原…
【Pytorch】学习记录分享10——PyTorchTextCNN用于文本分类处理
【Pytorch】学习记录分享10——PyTorchTextCNN用于文本分类处理 1. TextCNN用于文本分类2. 代码实现 1. TextCNN用于文本分类
具体流程：
2. 代码实现
# coding: UTF-8
import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as np…
pytorch 多卡训练 accelerate gloo
目录
accelerate 多卡训练 Windows例子
gloo 多卡训练 accelerate 多卡训练 Windows例子
import torch
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, RandomSampler
from accelerate import Accelerator# 模拟数…
YOLOv8改进 添加可变形注意力机制DAttention
一、Deformable Attention Transformer论文 论文地址：arxiv.org/pdf/2201.00520.pdf
二、Deformable Attention Transformer注意力结构
Deformable Attention Transformer包含可变形注意力机制，允许模型根据输入的内容动态调整注意力权重。在传统的Tra…
PyTorch的Tensor（张量）
一、Tensor概念
什么是张量？
张量是一个多维数组，它是标量、向量、矩阵的高维拓展
Tensor与Variable
Variable是torch.autograd中的数据类型，主要用于封装Tensor，进行自动求导。
data: 被包装的Tensorgrad: data的梯度&…
大数据机器学习GAN：生成对抗网络GAN全维度介绍与实战
文章目录 大数据机器学习GAN：生成对抗网络GAN全维度介绍与实战一、引言1.1 生成对抗网络简介1.2 应用领域概览1.3 GAN的重要性 二、理论基础2.1 生成对抗网络的工作原理2.1.1 生成器生成过程 2.1.2 判别器判别过程 2.1.3 训练过程训练代码示例 2.1.4 平衡与收敛 2.2…
pytorch机器学习各种激活函数总结（不完整学习更新中~）
pytorch各种激活函数总结 0.思维导图预览1. ReLU函数2. Sigmoid函数3. Softmax函数4. Tanh函数5.（学习后更新） 0.思维导图预览 1. ReLU函数
ReLU（Rectified Linear Unit）线性整流函数 其公式为： f ( x ) M a x ( 0 …
win10、win11安装pytorch（可用）
看Python版本，安装对应的pytorch版本 我是安装的最新的anaconda包，Python是3.11版本的。
对应的pytorch下载：cp311，torch版本我也安装的最新的2.1.2
到 https://download.pytorch.org/whl/torch_stable.html 里面找 cpu/torch-2…
Segment Anything（SAM）的demo的简单使用
如果觉得文章还行，能点个赞嘛？您的点赞是我更新的动力！！
目录
SAM的demo源码使用
结合SAM，进行人机交互ui使用的案例介绍：
最近新发现的，可以利用这个模型，进行一个简单的UI使用…
霹雳吧啦Wz《pytorch图像分类》-p2AlexNet网络
《pytorch图像分类》p2AlexNet网络基础及代码 一、零碎知识点1.过拟合2.使用dropout后的正向传播3.正则化regularization4.代码中所用的知识点 二、总体架构分析1.ReLU激活函数2.手算3.模型代码 三、训练花分类课程代码1.model.py2.train.py3.predict.py 一、零碎知识点
1.过拟…
动手实现条件随机场(下)
引言
本文基于PyTorch实现条件随机场，实现CRF层参考论文Neural Architectures for Named Entity Recognition中关于CRF层的描述。包含大量的图解和例子说明，看完一定能理解！ 论文地址： https://arxiv.org/pdf/1603.01360.pdf 也可…
torch使用gpu的环境配置
简介 gpu（图形处理器），全称Graphics Processing Unit。GPU虽然只能做简单的运算，但其核心数多以及应用并行运算，非常适合矩阵运算。CPU单核运算能力强大，但也比不过GPU的上千个核心的运算能力。深度学习的模…
【教程】基于resnet的中草药识别小程序_python_CNN图像识别
效果演示图： 本套代码的运行环境是python+pytorch
安装环境安装可参考博客： 在win10上安装pytorch-gpu版本_杭漂一族小张的博客-CSDN博客
小程序部分使用的是微信开发者工具 算法部分
本次是水果分类识别，一共5中水果。
数据集放在“水果数据集”文件夹下
NLP自然语言处理-英文文本电影影评分类2-pytorch版本
上一篇介绍了数据集制作，但又没完全介绍。这篇将数据集文本进行分词保存pkl模型
imdb共有124020个数据，用于训练影评是积极（pos）话说消极（neg）的。消极文本的命名是在“_”后缀数字都是小于5的，反之不小于5的后缀命名是积极的评论文本。 代码如下：
# -*-coding:utf-…
pytorch版和tensorflow版本Cyclegan训练模型
运行环境是tf1.0版本以上，2.0版本以下，当然2.0版本肯定是不行的，比较1.x和2.x的代码都不互通。
首先是数据集，源码给的示例是苹果和橘子的转化，
下载数据集方式，源码也给了 bash download_dataset.sh apple2orange 我用的是win,用不来这个bash，所以我直接搜数据集，下…
RTX 3090 CUDA error: no kernel image is available for execution on the device解决
由于今天升级了显卡后导致项目无法启动，报错如下：
no kernel image is available for execution on the device解决方法：
pip install torch1.7.0cu110 torchvision0.8.1cu110 torchaudio0.7.0 -f https://download.pytorch.org/whl/torch_…
pytorch并行计算，显存溢出问题解决
使用的是torch模型，遇到一个报错问题，信息如下： return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously r…
MicroPython的MQTT实现（asyncio协程版）
一、改自:umqtt.simple代码
https://github.com/micropython/micropython-lib/tree/master/umqtt.simple
二、免费MQTT测试服务器
https://www.emqx.cn/mqtt/public-mqtt5-broker https://www.emqx.cn/mqtt/mqtt-websocket-toolkit
三、源代码（lib\umqtt\cw_s…
pytorch 中的数据集与多进程并发
总述
需要 Dataset collate_fn Sampler DataLoader 联用, 才等价于 tf 的 dataset.
DataLoader, 对外服务的类. 通过 _get_iterator() 方法返回 iterator, 对其调用 next() 得到 tensor.Sampler, 数据集的采样策略, 给出每个 step 要使用的数据的索引, 记为 possibly_batc…
docker + pytorch + jupyter 环境配置
文章目录0x01 背景0x02 环境选择0x03 docker 安装3.1 安装docker3.2 安装nvidia-docker3.3 镜像加速3.4 测试0x04 获取 pytorch 镜像0x05 快速开始一个新的docker容器0x06 docker jupyter0x07 其他常用的命令docker 很强，很得劲，很上头0x01 背景
因为来…
pytorch快速入门中文——07(TensorBoard)
使用 TensorBoard 可视化模型，数据和训练 原文：https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html 在 60 分钟突击中，我们向您展示了如何加载数据，如何通过定义为nn.Module子类的模型提供数据，如…
pytorch dataloader加载多个数据集 | 解决一个batch包含base和novel数据
问题：
要求取一批数据batch[novel,base]来自两个数据集，且对两个数据集的组织不同，对base随机抽取，对novel按照小样本设定抽取 调研：
Pytorch在一个Batch内加载两个大小不等的Dataset_Tinet-的博客-CSDN博客_pytorch…
pytorch载入预训练模型报错 只载入部分层
1.打印参数名称
pytorch如何打印参数名及具体值 - 简书 (jianshu.com)
2. 加载预训练模型报错 RuntimeError: Error(s) in loading state_dict for ResNet: size mismatch for fc.weight: copying a param with shape torch.Size([1000, 512]) from checkpoint, the …
pytorch入门笔记
张量的创建：
1.直接创建：
torch.tensor(data, dtypeNone, deviceNone, requires_gradFalse, pin_memoryFalse)
从data创建tensor
data: 数据，可以是list，numpy
dtype: 数据类型，默认与data的一致
device: 所在设…
第四周.02.RGCN代码讲解
文章目录导入包套路步骤1套路步骤2加载数据套路步骤3本文内容整理自深度之眼《GNN核心能力培养计划》参考案例：https://docs.dgl.ai/tutorials/models/1_gnn/4_rgcn.htmlRGCN在DGL里面有集成一个RGCN的layer，这个例子里面我们用自定义的方式来实现。再次…
pytorch自定义算子 native_functions.yaml
pytorch自定义算子 native_functions.yaml
在pytorch的文件夹中搜索native_functions.yaml，可以看到，所有pytorch原生的函数都是在这里注册的
在同文件夹下，存在一个README.md，这是官方教程，教我们怎么用native_func…
pdb：简单的python debug (调试pytorch源码)
pdb：简单的python debug (调试pytorch源码)
#准备工作conda create -n pytorch python3.7
conda activate pytorch
#准备工作conda install pytorch torchvision cpuonly -c pytorch
conda install pdb调试的代码：
import torch
import torchvision
i…
windows10下安装anaconda+虚拟环境(tensorflow/pytorch)
目录一、安装anaconda注：添加环境变量（按照上述安装可略过此步骤）二、安装虚拟环境1.创建并激活虚拟环境2.配代码环境3.安装tensorflow框架和pytorch框架1. tensorflow版本区别2.安装pytorch框架一、安装anaconda
下载 anaconda：…
Linux服务器上Anaconda安装各种机器学习包，如Pytorch
1.创建虚拟环境
conda create -n py37 python3.7py37是你创建的虚拟环境的名字。 2.激活环境
conda activate py373.在虚拟环境中安装包
conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch4.安装成功
3D点云资料（笔记自用）
数据集：
Pointnet_Pointnet2_pytorch Pointnet语义分割任务S3DIS数据集上的注意点
dataset ShapeNet简介及认识
文件格式
PCD格式 目标检测标注工具 标注工具windows安装
Anaconda新建环境
Anaconda新建环境anaconda指令下载指令anaconda指令
进入ENV_NAME虚拟环境
activate ENV_NAME修改源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/…
detectron2（目标检测框架）无死角玩转-00：目录
接下来，我会为大家无死角的解析detectron2(基于pytorch的目标检测框架)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿&#…
姿态估算03-02：mmpose(Associative embedding)-官方数据训练测试-MobilenetV2
以下链接是个人关于 mmpose(Associative embedding动作识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最…
pytorch使用torch.nn.Sequential快速搭建神经网络
torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。另外，也可以传入一个有序模块。 为了更容易理解，官方给出了一些案例：
# Sequential使用实例model nn.Sequential(nn.Conv2d(1,20,5),nn…
《深度学习实战》第5章 深度学习优化
在本章节的练习中，首先我们要完成Momentum，RMSProp，Adam三种优化方法的代码编写。在此之后，我们将重点进行BN算法的前向传播，反向传播的实现。本章我们将逐步完成：
编码实现Momentum算法；编码实…
验证 CrossEntropyLoss 内部运算过程
import torch
from torch.nn import CrossEntropyLoss
from torch.optim import SGD# 假设三分类真实值real 和预测值pred
real [0,1,1,2]
pred [[0.7,0.2,0.1],[0.1,0.6,0.3],[0.1,0.6,0.3],[0.2,0.2,0.6]]
real torch.tensor(real)
pred torch.tensor(pred)# 使用torch 内…
torch.max中keepdim的作用
torch.max的用法 (max, max_indices) torch.max(input, dim, keepdimFalse)
输入： 1、input 是输入的tensor。 2、dim 是索引的维度，dim0寻找每一列的最大值，dim1寻找每一行的最大值。 3、keepdim 表示是否需要保持输出的维度与输入一样&am…
经典卷积神经网络模型—AlexNet，VGG，GoogLeNet
AlexNet
特征
8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。将sigmoid激活函数改成了更加简单的ReLU激活函数。用Dropout来控制全连接层的模型复杂度。引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据…
cuda runtime error (801) : operation not supported at ..\torch/csrc/generic/StorageSharing.cpp:249
因为 Pytorch 多处理在 Windows 上不起作用, 设置 DataLoaders 的 num_workers0
pytorch 0.4 改动： cannot resize variables that require grad
在pytorch0.3中做过一些关于张量求梯度的工作，目的是扩展一下pytorch的module，今天升级pytorch0.4，发现原先的代码不可用，报错如下： RuntimeError: cannot resize variables that require grad
在pytorch 0.3中&…
Pytorch使用ReduceLROnPlateau来更新学习率
https://www.emperinter.info/2020/08/05/change-leaning-rate-by-reducelronplateau-in-pytorch/ 缘由 自己之前写过一个Pytorch学习率更新,其中感觉依据是否loss升高或降低的次数来动态更新学习率，感觉是个挺好玩的东西，自己弄了好久都设置错误&#x…
Ubuntu配置Pytorch GPU深度学习环境并作为服务器对外提供Jupyter notebook服务
文章目录总览GPU基础环境配置Ubuntu安装NVIDIA显卡驱动CUDA TOOLKIT其余部分的安装安装cudnn安装Anaconda3下载sh文件添加镜像源建立虚拟环境Pytorch环境配置Jupyter Notebook安装与服务配置MNIST实现---深度学习之HelloWrold多版本cuda切换快捷启动新建环境供他人使用总览
本…
pytorch实用工具：torchsummary、torchsnooper
一. torchsummmary工具：
其主要是用来计算网络的计算参数等信息的，其大概的流程为：
安装指令：
pip install torchsummary使用方法： import torch, torchvisionmodel torchvision.models.vggmodel torchvision.mod…
机器学习笔记 - 基于PyTorch + 类似ResNet的单目标检测
一、获取并了解数据 我们将处理年龄相关性黄斑变性 (AMD) 患者的眼部图像。 数据集下载地址，从下面的地址中，找到iChallenge-AMD，然后下载。
Baidu Research Open-Access Dataset - DownloadDownload Baidu Research Open-Access Datasethttps://ai.baidu.com/bro…
【CNN基础】转置卷积学习笔记
目录1. 转置卷积的直观理解1.1 卷积和转置卷积2. 转置卷积的计算过程2.1 思路一：将转置卷积看成几个矩阵相加2.2 思路二：转置卷积是一种卷积3. 如何计算转置卷积输出feature map的size1. 转置卷积的直观理解
1.1 卷积和转置卷积
卷积的直观理解&#x…
pytorch量化库使用（2）
FX Graph Mode量化模式
训练后量化有多种量化类型（仅权重、动态和静态），配置通过qconfig_mapping （ prepare_fx函数的参数）完成。
FXPTQ API 示例：
import torch
from torch.ao.quantization import (ge…
nvidia jetson xavier nx安装pytorch
目录安装相关依赖安装pytorch安装torchvision报错及相应处理安装相关依赖
sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev
liblapack-dev libblas-dev gfortran
sudo apt-get install libopenblas-base libopenmpi-dev
sudo pi…
车牌识别 远距离监控视角 自创简化模型 Pytorch
甲方一拍脑门，让我去实现车牌识别，还是远距离监控视角的，真开心。 数据？呵~ 不会有人期待甲方提供数据吧？？ 先逛逛某宝，一万张车辆图片，0.4元/张。 甲方：阿巴阿巴… 嗯&…
【目标检测】YOLOv3手动实现Pytorch代码全流程详解 RCNN、YOLO系列
目录：目标检测概述RCNN系列R-CNNFast R-CNNFaster R-CNNYOLO系列YOLOv1SSDYOLOv2 / YOLO9000YOLOv3YOLOv3 实现详解anchor网络标签损失预测闲言目标检测概述
之前的MTCNN实现了单类多目标的高效检测，而现实中更普遍的任务是多类多目标检测。
目标检测可…
【mmdetection3d】mmdetection3d安装详细步骤
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台. 它是 OpenMMlab 项目的一部分，这个项目由香港中文大学多媒体实验室和商汤科技联合发起，涵盖了3D目标检测、单目3D目标检测、多模态3D目标检测、3D语义分割等三维深度学…
Ubuntu 20.04 + RTX3060 + pytorch 1.7 + cuda 11.0 + cudnn 8.0.5 DCNv2调试
前三条可能不适合 Ubuntu 20.04 RTX3060 配置的人【直接看第 8 条即可】
pytestpyblind11安装将anaconda环境下的 /home/zzy/anaconda3/lib/python3.6/site-packages/torch/utils/cpp_extension.py文件 将[‘ninja’,’-v’]改成[‘ninja’,’–v’] 或者[‘ninja’,’–vers…
Win10跑SiamMsk
本电脑环境：win10RTX3060显卡cuda11.1cudnnpytorch1.8
RTX3060简介：RTX3060的性能要比RTX2060 SUPER更强一点，尤其是在光追性能方面，RTX3060可以说是碾压RTX2060 SUPER的，综合来看，RTX3060在游戏方面的性能…
深度学习-PyTorch：02-基于BERT-base打造AI芯片高效 - 简易版压力测试工具
简介：随着人工智能的迅猛发展，AI芯片的性能测试成为了行业关注的焦点。BERT-base，作为一种高级的语言表示模型，因其复杂度和计算需求，可以视为进行高功耗压力测试的理想选择之一。
历史攻略：
深度学习&am…
ROS2/ROS+conda+pytorch配置
0、需求
项目开发中遇到在ROS2中调用pytorch，但pytorch安装在了conda环境下。如果独立安装ros和conda会存在python版本、ubuntu系统版本的问题。网上还没看到比较好的解决方案，通过探索发现以下方案，实现的效果是在一个conda环境中ÿ…
Flappy Bird QDN PyTorch博客 - 代码解读
Flappy Bird QDN PyTorch博客 - 代码解读 介绍环境配置项目目录结构QDN算法重要函数解读preprocess(observation)DeepNetWork(nn.Module)BirdDQN类主程序部分 介绍
在本博客中，我们将介绍如何使用QDN（Quantile Dueling Network）算法…
PyTorch基础操作
一、Tensor
在 PyTorch 中，张量（Tensor）是一个核心概念，它是一个用于存储和操作数据的多维数组，类似于 NumPy 的 ndarray，但与此同时，它也支持 GPU 加速，这使得在大规模数据上进行科…
PyTorch的核心模块介绍
PyTorch的核心模块介绍 1. torch 模块2. torch.Tensor 模块3. torch.nn 模块4. torch.optim 模块5. torch.jit 模块6. torch.onnx 模块7. torch.utils 模块8. torch.autograd模块9.其他模块 1. torch 模块
包含常用的常量、函数和类等。常用函数： torch.add &#…
PyTorch|构建自己的卷积神经网络——nn.Sequential()
之前在构建神经网络时，我们一般是采用这种方式，就像这样：
class Network1(nn.Module): def __init__(self): super(Network1,self).__init__() self.conv1 nn.Conv2d(in_channels3, out_channels6, kernel_size5) …
【知识---tusimple 数据集--车道线检测】
文章目录 前言一、tusimple二、数据集介绍1.标注json 文件中每一行包括三个字段2.上面的数据就有 4 条车道线， 总结 前言
Tusimple 是一家做自动驾驶的公司，他也公布了一些其在自动驾驶领域积累的数据，其中有一些是和车道线检测相关的。2018…
TorchDynamo 原理和示例
TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时（JIT）编译器。它通过 Python Frame Evaluation Hooks（Python 框架评估钩子）来实现这一目标，以便在运行时动态地生成和优化代码。这使得 TorchDyn…
FX图中的节点代表什么操作
在 FX 图中，每个节点代表一个操作。这些操作可以是函数调用、方法调用、模块实例调用，也可以是 torch.nn.Module 实例的调用。每个节点都对应一个调用站点，如运算符、方法和模块。
一.节点操作 下面是一些节点可能代表的操作：
1…
PyTorch深度学习实战（30）——Deepfakes
PyTorch深度学习实战（30）——Deepfakes 0. 前言1. Deepfakes 原理2. 数据集分析3. 使用 PyTorch 实现 Deepfakes3.1 random_warp.py3.2 Deepfakes.py 小结系列链接 0. 前言
Deepfakes 是一种利用深度学习技术生成伪造视频和图像的技术。它通过将一个人的…
pytorch09：可视化工具-TensorBoard，实现卷积核和特征图可视化
目录 一、TensorBoard简介二、TensorBoard安装三、TensorBoard运行可视化四、TensorBoard详细使用4.1 SummaryWriter4.2 add_scalar()4.3 add_scalars()4.4 add_histogram()4.4.1实际项目开发使用 4.5 add_image()4.6 torchvision.utils.make_grid4.7 卷积核和特征图可视化4.7.…
YOLOv5改进 | 检测头篇 | ASFFHead自适应空间特征融合检测头（全网首发）
一、本文介绍
本文给大家带来的改进机制是利用ASFF改进YOLOv5的检测头形成新的检测头Detect_ASFF，其主要创新是引入了一种自适应的空间特征融合方式，有效地过滤掉冲突信息，从而增强了尺度不变性。经过我的实验验证，修改后的检测头在所有的检测目标上均有大幅度的涨点效果，…
PyTorch 简单易懂的实现 CosineSimilarity 和 PairwiseDistance - 距离度量的操作
目录
torch.nn子模块Distance Functions解析
nn.CosineSimilarity
功能
主要参数
输入和输出的形状
使用示例
nn.PairwiseDistance
功能
主要参数
输入和输出的形状
使用示例
总结 torch.nn子模块Distance Functions解析
nn.CosineSimilarity
torc…
PIL、cv2、numpy，和pytorch(torch)之间的转换
在图像处理和深度学习中，经常需要在PIL（Python Imaging Library）、OpenCV（cv2）、NumPy和PyTorch之间进行图像数据的转换。下面是这些库之间常见的转换方法。
1. PIL和numpy之间的转换
import numpy as np
from PIL i…
Python打印Python环境、PyTorch和CUDA版本、GPU数量名称等信息
代码：
import torch
import platformgpu_num torch.cuda.device_count()
torch_version torch.__version__
python_version platform.python_version()print("Python Version: Python %s" % python_version)
print("PyTorch Version: %s" %…
YOLOv5改进 | 二次创新篇 | 升级版本Dyhead检测头替换DCNv3 实现完美升级(全网独家首发)
一、本文介绍
本文给大家带来的改进机制是在DynamicHead上替换DCNv3模块，其中DynamicHead的核心为DCNv2，但是今年新更新了DCNv3其作为v2的升级版效果肯定是更好的，所以我将其中的核心机制替换为DCNv3给Dyhead相当于做了一个升级，效果也比之前的普通版本要好，这个机制我认…
理解pytorch系列：transpose是怎么实现的
在PyTorch中，transpose()是一种操作，它交换张量中两个指定维度的位置。实现这一点的关键在于不实际移动数据，而是通过改变张量的元数据（包括步长（stride）和尺寸（size））来…
PyTorch各种损失函数解析：深度学习模型优化的关键（2）
目录
详解pytorch中各种Loss functions
mse_loss
用途
用法
使用技巧
注意事项
参数
数学理论公式
代码演示
margin_ranking_loss
用途
用法
使用技巧
注意事项
参数
数学理论公式 代码演示
multilabel_margin_loss
用途
用法
使用技巧
注意事项
参数
…
【pytorch进阶】| 各类张量形状变化函数总结对比分析，view，reshape，pernute，transpose，squeeze，unsqueeze
文章目录 1 view（）函数1.1 基本用法 2 view_as（）函数3 reshape（）函数4 permute（）函数5 transpose（） 函数6 squeeze（）函数 和 unsqueez…
用pytorch给深度学习加速：正交与谱归一化技术
目录
torch.nn参数优化
parametrizations.orthogonal
用途
用法
使用技巧
参数
注意事项
示例代码
parametrizations.spectral_norm
用途
用法
使用技巧
参数
注意事项
示例代码
总结 torch.nn参数优化
parametrizations.orthogonal
这个torch.nn.utils.para…
探索PyTorch优化和剪枝技术相关的api函数
torch.nn子模块Utilities解析
clip_grad_norm_
torch.nn.utils.clip_grad_norm_ 是 PyTorch 深度学习框架中的一个函数，它主要用于控制神经网络训练过程中的梯度爆炸问题。这个函数通过裁剪梯度的范数来防止梯度过大，有助于稳定训练过程。
用途
防止…
深度学习——R-CNN目标检测原理
R-CNN系列算法需要先产生候选区域，再对候选区域做分类和位置坐标的预测，这类算法被称为两阶段目标检测算法。近几年，很多研究人员相继提出一系列单阶段的检测算法，只需要一个网络即可同时产生候选区域并预测出物体的类别和位置坐标…
YOLOv8改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）
一、本文介绍
本文给大家带来的改进机制是TransNeXt特征提取网络,其发表于2023年的12月份是一个最新最前沿的网络模型，将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU，模拟生物视觉系统，特别是对于中…
《动手学深度学习(PyTorch版)》笔记4.9
Chapter4 Multilayer Perceptron
4.9 Environment and Distribution Shift
4.9.1 Types of Distribution Shift
在一个经典的情景中，假设训练数据是从某个分布 p S ( x , y ) p_S(\mathbf{x},y) pS(x,y)中采样的，但是测试数据将包含从不同分布 p T …
池化层解析：简单易懂理解 PyTorch 中的核心组件
目录
torch.nn详解
nn.MaxPool1d
nn.MaxPool2d
nn.MaxPool3d
nn.MaxUnpool1d
nn.MaxUnpool2d
nn.MaxUnpool3d
nn.AvgPool1d
nn.AvgPool2d
nn.AvgPool3d
nn.FractionalMaxPool2d
nn.FractionalMaxPool3d
nn.LPPool1d
nn.LPPool2d
nn.AdaptiveMaxPool1d
nn.Adapt…
PyTorch Tutorial
本文作为博客“Transformer - Attention is all you need 论文阅读”的补充内容，阅读的内容来自于
https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html#recommended-preparation
建议的准备流程。
Deep Learning with PyTorch: …
【huggingface】【pytorch-image-models】timm框架中使用albumentations库数据增广
文章目录 一、前言二、实操2.1 声明库2.2 定义你的数据增广算子2.3 加入其中 一、前言
问题是这样的，在使用timm框架训练时，发现数据增广不够，想用Albumentations库的数据增广，怎么把后者嵌入到前者的训练中。
其实也是比较简单…
使用 PyTorch 和 OpenCV 实现简单卷积神经网络（CNN）的过程
使用 PyTorch 和 OpenCV 实现简单卷积神经网络（CNN）的过程，如何构建一个简单的卷积神经网络模型，并通过使用预定义的滤波器对灰度图像进行卷积操作和激活函数处理，最终可视化了卷积层和激活层的输出结果。
1.图像处理…
云计算任务调度仿真02
前面已经分享过一个仿真项目，但是基于policy gradient方法实现的，考虑到许多人从零到一实现DQN方法有点难度，所以这次分享一个基于DQN实现的仿真项目，非常简单。 这里之所以简单主要得益于它是用pytorch实现的，而pyto…
【技能---Anaconda3常用命令使用入门】
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、Anaconda常用命令1.创建环境：conda create -n <env_name> <packages>2.激活环境：conda activate <env_name>3.退出环…
YOLOv5改进 | 检测头篇 | DynamicHead支持检测和分割（不同于网上版本，全网首发）
一、本文介绍
本文给大家带来的改进机制是DynamicHead(Dyhead)，这个检测头由微软提出的一种名为“动态头”的新型检测头，用于统一尺度感知、空间感知和任务感知。网络上关于该检测头我查了一些有一些魔改的版本，但是我觉得其已经改变了该检测头的本质，因为往往一些细节上才…
ITK + ANT，无法显示三维
背景：之前用ANT保存ima格式的数据，选择的是保存所有的序列 用python将dicom转为nii的格式， import nibabel as nib
import torch"""不管是nii还是nii.gz都是二维的，为啥呢"""fobj nib.load("…
复现图神经网络（GNN）论文的过程以及PyTorch与TensorFlow对比学习
复现图神经网络（GNN）论文的过程通常包括以下几个步骤：
一、理解论文内容：首先彻底理解论文，包括其理论基础、模型架构、使用的数据集、实验设置和得到的结果。
二、获取或准备数据集：根据论文中描述的实验…
PyTorch项目源码学习（1）
PyTorch
PyTorch是一个开源的深度学习框架，项目地址 https://github.com/pytorch/pytorch 在学术工作中的使用频率较高。 其主体由C开发，PyTorch是Torch的Python调用版本。学习PyTorch项目源代码的目的在于学习其中的实现方法与技巧，增加训练…
简单易懂的PyTorch 损失函数：优化机器学习模型的关键
目录
torch.nn子模块Loss Functions详解
nn.L1Loss
用途
用法
使用技巧
注意事项
代码示例
nn.MSELoss
用途
用法
使用技巧
注意事项
代码示例
nn.CrossEntropyLoss
用途
用法
使用技巧
注意事项
代码示例
使用类别索引
使用类别概率
nn.CTCLoss
用途 …
【深度学习PyTorch入门】6.Optimizing Model Parameters 优化模型参数
Optimizing Model Parameters 优化模型参数 文章目录 Optimizing Model Parameters 优化模型参数Optimizing Model Parameters 优化模型参数前置代码Hyperparameters 超参数Optimization Loop 优化循环Loss Function 损失函数Optimizer 优化器 Full Implementation 全面实施Fur…
PyTorch|view()，改变张量维度
在构建自己的网络时，了解数据经过每个层后的形状变化是必须的，否则，网络大概率会出现问题。PyToch张量有一个方法，叫做view(),使用这个方法，我们可以很容易的对张量的形状进行改变，从而符合网络的输入要求。…
pytorch11：模型加载与保存、finetune迁移训练
目录 一、模型加载与保存1.1 序列化与反序列化概念1.2 pytorch中的序列化与反序列化1.3 模型保存的两种方法1.4 模型加载两种方法 二、断点训练2.1 断点保存代码2.2 断点恢复代码 三、finetune3.1 迁移学习3.2 模型的迁移学习3.2 模型微调步骤3.2.1 模型微调步骤3.2.2 模型微调…
YOLOv8改进 | 二次创新篇 | 结合iRMB和EMA形成全新的iEMA机制（全网独家创新）
一、本文介绍
本文给大家带来的改进机制是二次创新的机制，二次创新是我们发表论文中关键的一环，为什么这么说，从去年的三月份开始对于图像领域的论文发表其实是变难的了，在那之前大家可能搭搭积木的情况下就可以简单的发表一篇论文，但是从去年开始单纯的搭积木其实发表论…
了解PyTorch中的缩放点积注意力及演示
torch.nn.functional.scaled_dot_product_attention 函数在 PyTorch 框架中用于实现缩放点积注意力（Scaled Dot-Product Attention）。这是一种在自然语言处理和计算机视觉等领域常用的注意力机制。它的主要目的是通过计算查询（queryÿ…
使用 EmbeddingBag 和 Embedding 完成词嵌入
🍨 本文为[🔗365天深度学习训练营学习记录博客\n🍦 参考文章：365天深度学习训练营\n🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.co…
Pytorch基础：数据读取与预处理——调用PyTorch官方数据集
数据读取与预处理——调用PyTorch官方数据集 1. 从网络端下载 FashionMNIST 数据集到本地2. 数据集可视化 1. 从网络端下载 FashionMNIST 数据集到本地
(base) PS C:\Users\孙明阳> conda activate yang
(yang) PS C:\Users\孙明阳> python
Python 3.11.5 | packaged by…
Linux中PyTorch的安装教程
在安装PyTorch之前，我们需要确保已经安装了Python和pip。可以使用以下命令检查是否已经安装：
python --version
pip --version如果没有安装，可以使用以下命令安装：
sudo apt-get update
sudo apt-get install python3
sudo apt-…
完整的模型训练套路（一、二、三）
搭建神经网络 model
import torch
from torch import nn#搭建神经网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv…
PyTorch GPU利用率为0%（很低）
一、确保Pytorch与TorchVision是CUDA(GPU)版本 参考链接：【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。 在Python终端下操作： 1、Pytorch
import torch
print(torch.__version__)
#上方的_是两个 杠杠2、TorchVision
import torchvision
prin…
PyTorch视觉工具箱：图像变换与上采样技术详解（2）
目录
Pytorch中Vision functions详解
upsample_nearest
用途
用法
参数
注意事项
示例代码
upsample_bilinear
用途
用法
参数
注意事项
示例代码
grid_sample
用途
用法
参数
注意事项
示例代码
affine_grid
用途
用法
参数
注意事项
示例代码
总结…
【代码整理】基于COCO格式的pytorch Dataset类实现
import模块
import numpy as np
import torch
from functools import partial
from PIL import Image
from torch.utils.data.dataset import Dataset
from torch.utils.data import DataLoader
import random
import albumentations as A
from pycocotools.coco import COCO
…
![“Assertion `index ＞= -sizes[i] index ＜ sizes[i] “index out of bounds“` failed.” 解决方法](https://img-blog.csdnimg.cn/20210312145106263.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0thcnR5OQ==,size_16,color_FFFFFF,t_70)
“Assertion `index ＞= -sizes[i] index ＜ sizes[i] “index out of bounds“` failed.” 解决方法
最近在使用Pytorch训练时报错，出现了以下信息：
Assertion index > -sizes[i] && index < sizes[i] && "index out of boundsdevice-side assert triggered可以判断时数组下标越界导致的，但是由于把数据加载到cud…
Docker 镜像封装与深度学习代码集成
Docker 安装 www.baidu.com 一大坨安装教程,看到你吐血!!! 按照规定的标准输入与输出格式开发算法，将算法封装到Docker镜像内，并将镜像推送到官方仓库中。提交镜像文件具体要求如下：
CUDA版本要求11.0；
构建镜像时指定CMD作为默认…
WIN10+Anaconda （Python3.6）+CUDA10.0+Pytorch1.0.1+Pycharm配置
WIN10Anaconda （Python）CUDA10.0Pytorch1.0.1Pycharm配置win10AnacondaCUDA 10.0Pytorch1.0.1Pycharm下载Pycharm 环境配置此坑已填！！亲测有效！！！！
请分享出去！让更多的…
pytorch学习 基本组成、基本练习
1. 基本结构 pytorch主要分为以下几个模块来训练模型：
tensor:tensor为基本结构，可以直接创建，从list创建以及由numpy数组得到，torch还提供一套运算以及shape变换方式。Variable：自动求导机制，利用Variabl…
Python求解方程组与Pytorch实现梯度下降
练习一
解下列方程组： {x2yz−2w02x3y−w0x−y−5z7w0\left\{\begin{array}{l} x2 yz-2 w0 \\ 2 x3 y-w0 \\ x-y-5 z7 w0 \end{array}\right. ⎩⎨⎧x2yz−2w02x3y−w0x−y−5z7w0
验证R(A)与R(A, B)与未知数数量
分别计算R(A)与R(A, B)
import numpy as np…
基于YOLOv8模型的五类动物目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的五类动物目标检测系统可用于日常生活中检测与定位动物目标（狼、鹿、猪、兔和浣熊），利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与…
PyTorch3D 立体隐式形状渲染：教你构建场景 3D 结构
内容导读 3D 深度学习一直是机器视觉领域的难点，为了准确高效地建立场景的立体模型，得到相对真实的渲染成果，行业内的一些大厂先后开源了自己的研发成果。 本文首发自微信公众号「PyTorch 开发者社区」
随着计算机视觉领域相关技术的发展&am…
PyTorch 分布式框架 Ray ：保姆级入门教程
来源：官方博客 翻译：PyTorch 开发者社区（微信公众号）
今天的机器学习需要分布式计算。无论是训练网络、调整超参数、服务模型还是处理数据，机器学习都是计算密集型的，如果没有访问集群，速度会非…
【AI】《动手学-深度学习-PyTorch版》笔记（十六）：自定义网络层、保存/加载参数、使用GPU
AI学习目录汇总
1、自定义网络层
自定义网络层很简单，三步即可完成 继承类：nn.Module定义初始化函数：__init__中定义需要初始化的代码定义向前传播函数：forward1.1 不带参数的网络层
1）定义网络层
import torch
import torch.nn.functional as F
from torch import nn…
windows10中配置mmhuman3d
分类：动作捕捉 github地址：https://github.com/open-mmlab/mmhuman3d 所需环境：Windows10，CUDA11.6，conda 4.13.0，Visual Studio 2017 目录 一.新建Pytorch基本环境1.创建并激活环境2.安装ffmpeg3.安装 PyT…
PyTorch示例——ResNet34模型和Fruits图像数据
PyTorch示例——ResNet34模型和Fruits图像数据 前言导包数据探索查看数据集构建构建模型 ResNet34模型训练绘制训练曲线 前言
ResNet34模型，做图像分类数据使用水果图片数据集，下载见Kaggle Fruits Dataset (Images)Kaggle的Notebook示例见 PyTorch——…
李宏毅2021春季机器学习课程笔记1：Introduction, Colab PyTorch, HW1
文章目录1. Introduction实例2. Colab使用与上传结果常用命令行3. Pytorch4. HW11. Introduction
机器学习的目的：寻找一个函数，对于给定的输入，这个函数可以输出相应结果。 例如：一段语音输入，输出识别出的语言、一张…
Numpy(高维数组) |Pytorch(张量) 索引读操作笔记
Pytorch 索引张量与 Numpy 索引多维数组类似，但是在 Pytorch 官网文档中并未找到详细的索引读操作说明，而是直接引用了 Numpy 的索引操作说明，因此本文主要以 Numpy 索引高维数组为例。 When accessing the contents of a tensor via indexin…
Pytorch BCEWithLogitsLoss 笔记
API 文档
torch.nn.BCEWithLogitsLoss(weightNone, size_averageNone, reduceNone, reduction‘mean’, pos_weightNone)
该类结合了Sigmoid 类与 BCELoss 类，性能比单独使用一个sigmoid，后接BCELoss 的效果更好。多标签的数学表示如下： L(…
pytorch中的卷积与池化
前言
使用pytorch搭建TextCNN时，需要使用卷积层与池化层，以下对pytorch中的卷积及池化层的特点进行记录。pytorch中卷积与池化需要重点关注input_channels、output_channles、kernel_size，即“输入张量通道数量、输出张量通道数量、核大小。…
【pytorch】交叉熵损失
前言
交叉熵损失本质是衡量模型预测的概率分布与实际概率分布的差异程度，其值越小，表明模型的预测结果与实际结果越接近，模型效果越好。熵的概念来自与信息论，参考资料1对交叉熵的概念做了简明的介绍，很好理解。需要注…
计算模型FLOPs和参数量
在pytorch环境下，有两个计算FLOPs和参数量的包thop和ptflops，结果基本是一致的。
thop
参考https://github.com/Lyken17/pytorch-OpCounter
安装方法：pip install thop
使用方法：
from torchvision.models import resnet18
f…
Pytorch源码搜索与分析
PyTorch的的代码主要由C10、ATen、torch三大部分组成的。其中：
C10
C10，来自于Caffe Tensor Library的缩写。这里存放的都是最基础的Tensor库的代码，可以运行在服务端和移动端。PyTorch目前正在将代码从ATen/core目录下迁移到C10中。C10的代…
Pytorch张量升维
pytorch使用过程中，经常需要对张量进行维度校准。我们简单把一个2x2的tensor升维到1x2x2，该怎么做呢？
方法一：a[None]
import torch
a torch.rand(2, 2)
b a[None]
print(b.shape)
# torch.Size([1, 2, 2])方法二：…
Reinforcement Learning with Code【Code 5. Policy Gradient Methods】
Reinforcement Learning with Code【Code 5. Policy Gradient Methods】
This note records how the author begin to learn RL. Both theoretical understanding and code practice are presented. Many material are referenced such as ZhaoShiyu’s Mathematical Foundati…
DIP:《Deep Image Prior》经典文献阅读总结与实现
文章目录 Deep Image Prior1. 方法原理1.1 研究动机1.2 方法 2. 实验验证2.1 去噪2.2 超分辨率2.3 图像修复2.4 消融实验 3. 总结 Deep Image Prior
1. 方法原理 1.1 研究动机
动机
深度神经网络在图像复原和生成领域有非常好的表现一般归功于神经网络学习到了图像的先验信息…
转载的 损失函数MSE L1 优化函数ADAM SGD 优化算法等
如有侵权，请联系删除！
pytorch框架中损失函数与优化器介绍： 目录
1. 损失函数：
1.1 nn.L1Loss
1.2 nn.SmoothL1Loss
1.3 nn.MSELoss
1.4 nn.BCELoss
1.5 nn.CrossEntropyLoss
1.6 nn.NLLLoss
1.7 nn.NLLLoss2d
2…
PyTorch深度学习环境安装(Anaconda、CUDA、cuDNN)及关联PyCharm
1. 关系讲解 Tytorch：Python机器学习库，基于Torch，用于自然语言处理等应用程序 Anaconda：是默认的python包和环境管理工具，安装了anaconda，就默认安装了conda CUDA：CUDA是一种由显卡厂商NVIDI…
Pytorch深度学习-----完整神经网络模型训练套路
系列文章目录
PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用（ToTensor，Normalize，Resize ，Co…
使用 PyTorch 逐步检测单个对象
一、说明 在对象检测任务中，我们希望找到图像中对象的位置。我们可以搜索一种类型的对象（单对象检测，如本教程所示）或多个对象（多对象检测）。通常，我们使用边界框定义对象的位置。有几种方法可以…
【强化学习】值函数算法DQNs详解【Vanilla DQN Double DQN Dueling DQN】
DQNs【Vanilla DQN & Double DQN & Dueling DQN】 文章目录 DQNs【Vanilla DQN & Double DQN & Dueling DQN】1. DQN及其变种介绍1.1 Vanilla DQN1.2 Double DQN1.3 Dueling DQN 2. Gym环境介绍2.1 Obseravtion Space2.2 Reward Function2.3 Action Space 3. D…
PyTorch翻译官网教程-LANGUAGE MODELING WITH NN.TRANSFORMER AND TORCHTEXT
官网链接
Language Modeling with nn.Transformer and torchtext — PyTorch Tutorials 2.0.1cu117 documentation 使用 NN.TRANSFORMER 和 TORCHTEXT进行语言建模
这是一个关于训练模型使用nn.Transformer来预测序列中的下一个单词的教程。
PyTorch 1.2版本包含了一个基于论…
代码pytorch-adda-master跑通记录
前言
最近在学习迁移学习，ADDA算法，由于嫌自己写麻烦，准备先跑通别人的代码。 代码名称：pytorch-adda-master 博客：https://www.cnblogs.com/BlairGrowing/p/17020378.html github地址：https://github.com…
学习pytorch4 transforms的使用
学习pytorch4 transforms用法 常用类ToTensor1. ToTensor如何使用2. 为什么我们需要tensor数据类型PIL数据类型tensor数据类型 代码tensorboard 启动命令 B站小土堆视频学习
常用类T…
【解读Spikingjelly】使用单层全连接SNN识别MNIST
原文档：使用单层全连接SNN识别MNIST — spikingjelly alpha 文档 代码地址：完整的代码位于activation_based.examples.lif_fc_mnist.py GitHub - fangwei123456/spikingjelly: SpikingJelly is an open-source deep learning framework for Spiking Neur…
在自定义数据集上使用 Detectron2 和 PyTorch 进行人脸检测
本文讲讲述如何使用Python在自定义人脸检测数据集上微调预训练的目标检测模型。学习如何为Detectron2和PyTorch准备自定义人脸检测数据集，微调预训练模型以在图像中找到人脸边界。 人脸检测是在图像中找到（边界的）人脸的任务。这在以下情况下…
Lnton羚通关于Optimization在【PyTorch】中的基础知识
OPTIMIZING MODEL PARAMETERS （模型参数优化） 现在我们有了模型和数据，是时候通过优化数据上的参数来训练了，验证和测试我们的模型。训练一个模型是一个迭代的过程，在每次迭代中，模型会对输出进行猜测&…
torch tensorflow测试GPU配置是否成功以及相关问题
目录torch问题tensorflow-gpu问题参考torch
import torch
配置成功会输出一个device ID：0
未配置成功会输出Falsetorch.cuda.current_device()或者，返回True or Falseprint(torch.cuda.is_available())问题
Torch not compiled with CUDA enabled&…
【变形金刚03】使用 Pytorch 开始构建transformer
一、说明 在本教程中，我们将使用 PyTorch 从头开始构建一个基本的转换器模型。Vaswani等人在论文“注意力是你所需要的一切”中引入的Transformer模型是一种深度学习架构，专为序列到序列任务而设计，例如机器翻译和文本摘要。它基于自我注意机…
Reinforcement Learning with Code【Code 6. Advantage Actor-Critic（A2C）】
Reinforcement Learning with Code【Code 6. Advantage Actor-Critic（A2C）】
This note records how the author begin to learn RL. Both theoretical understanding and code practice are presented. Many material are referenced such as ZhaoShiy…
学习pytorch 3 tensorboard的使用
tensorboard的使用 1. 安装2. add_scalar 查看函数图形3. 查看结果4. add_image() 查看训练步骤中间结果的图片 1. 安装
pytorch conda环境
pip install tensorboard
pip install opencv-python2. add_scalar 查看函数图形
常用来查看 train val loss等函数图形
from torch…
PyTorch训练深度卷积生成对抗网络DCGAN
文章目录 DCGAN介绍代码结果参考 DCGAN介绍
将CNN和GAN结合起来，把监督学习和无监督学习结合起来。具体解释可以参见 深度卷积对抗生成网络(DCGAN)
DCGAN的生成器结构： 图片来源：https://arxiv.org/abs/1511.06434
代码
model.py
impor…
（2023）Linux安装pytorch并使用pycharm远程编译运行
（2023）Linux安装pytorch并使用pycharm远程编译运行
安装miniconda
这部分参考我这篇博客的前半部分Linux服务器上通过miniconda安装R（2022）_miniconda 安装r_Dream of Grass的博客-CSDN博客
创建环境
创建一个叫pytorch的环境…
pytorch各种激活函数绘制
pytorch各种激活函数绘制 1. nn.ELU2. nn.Hardshrink3. Hardsigmoidn. nn.Sigmoid为了更清晰地学习Pytorch中的激活函数，并对比它们之间的不同，这里对最新版本的Pytorch中的激活函数进行了汇总，主要介绍激活函数的公式、图像以及使用方法，具体细节可查看官方文档。 目录
1…
PyTorch深度学习实战（11）——卷积神经网络
PyTorch深度学习实战（11）——卷积神经网络 0. 前言1. 全连接网络的缺陷2. 卷积神经网络基本组件2.1 卷积2.2 步幅和填充2.3 池化2.3 卷积神经网络完整流程 3. 卷积和池化相比全连接网络的优势4. 使用 PyTorch 构建卷积神经网络4.1 使用 PyTorch 构建 CNN…
量子计算框架和库TensorFlow Quantum、PyTorch Quantum可以用于深度学习
目录 1. 安装 TensorFlow Quantum:2. 安装 PyTorch Quantum:3、案例分析：量子线性回归 如何安装 TensorFlow Quantum 和 PyTorch Quantum，并提供一些简单的代码示例。请注意，由于量子计算仍然处于发展初期，这些工具和库可能会随着…
PyTorch 矩阵乘法的方法总结 问题解答
在机器学习和深度学习中时，矩阵运算是最常见、有效提高计算效率的方法。因为特征和权重都以向量储存，矩阵运算就显得尤为重要，诸如梯度下降、反向传播、矩阵因子分解等重要的机器学习方法，都需要基于矩阵运算。
在深度学习中&…
在kaggle中用GPU使用CGAN生成指定mnist手写数字
文章目录 1项目介绍2参考文章3代码的实现过程及对代码的详细解析独热编码定义生成器定义判别器打印我们的引导信息模型训练迭代过程中生成的图片损失函数的变化 4总结5 模型相关的文件 1项目介绍
在GAN的基础上进行有条件的引导生成图片cgan
2参考文章
GAN实战之Pytorch 使用…
Deep Learning With Pytorch - 数据预处理，以导入LUNA16数据集为例
文章目录 数据集简介什么是CT扫描？导入大型数据集并不是一份轻松的工作 在Jupyter Notebook中导入LUNA16数据集导入可能用到的第三方库：LUNA16存放路径：用 pandas 读取 candidates.csv；读取 annotations.csv导入subset0和subset1的…
无脑入门pytorch系列（三）—— nn.Linear
本系列教程适用于没有任何pytorch的同学（简单的python语法还是要的），从代码的表层出发挖掘代码的深层含义，理解具体的意思和内涵。pytorch的很多函数看着非常简单，但是其中包含了很多内容，不了解其中的意思…
深入浅出Pytorch函数——torch.nn.init.sparse_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
pytorch native functions调用 调研
pytorch native functions调用 调研
本片文章调研的是pytorch通过native_functions.yaml注册的自定义算子，在调用的时候，调用栈是什么样的
测试用的python文件是
import torch
a torch.randn(5,3,requires_gradTrue)
b torch.randn(5,3,requires_gr…
【AI】《动手学-深度学习-PyTorch版》笔记（十四）：多层感知机
AI学习目录汇总
1、多层感知机网络结构
1.1 线性模型：softmax回归
在前面介绍过，使用softmax回归来处理分类问题时，每个输出通过都一个仿射函数计算，网络结构如下，输入和输出之间为全链接层：
1.2 多层感知机
多层感知机就是在输入和输出中间再添加一个或多个全链接…
YOLOv5简易使用笔记
YOLOv5简易使用笔记 前言：
这篇博客只是简单记录下YOLOv5的使用方式，并不会详细介绍代码含义之类的。 更多文章：博客地址
环境： YOLOv5 Python 3.8.1
YOLOv5目录介绍
从Github上下载解压好最新的YOLOv5文件后的目录如下图 d…
Code Lab - 34
GAT里面有一些地方看的不是太懂（GAT里Multi Attention的具体做法），暂时找了参考代码，留一个疑问 1. 一个通用的GNN Stack
import torch_geometric
import torch
import torch_scatter
import torch.nn as nn
import torch.nn.fun…
Pytorch的mnist源代码理解分析
基于pytorch的mnist源代码链接来自官方示例：https://github.com/pytorch/examples/blob/master/mnist/main.py，本文主要依据个人理解对该代码进行注释分析。
1、构造函数init
def __init__(self):super(Net, self).__init__()self.conv1 nn.Conv2d(1,…
学习pytorch 2 导入查看dataset
学习pytorch 2 2. dataset实战代码数据集 2. dataset实战
B站小土堆视频
代码
from torch.utils.data import Dataset
from PIL import Image
#import cv2
import osclass MyData(Dataset):def __init__(self, root_dir, label_dir):self.root_dir root_dirself.label_dir …
IC设计职位详解之“数字后端工程师”就业必学课程
数字后端处于数字IC设计流程的后端，属于数字IC设计类岗位的一种。在IC设计中，数字后端所占的人数比重一直是最多的，这也是现阶段数字后端工程师招聘量巨大的原因。
一般来说，数字后端按岗位类别可以分为：逻辑综合&…
Pytorch深度学习-----神经网络模型的保存与加载(VGG16模型)
系列文章目录
PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用（ToTensor，Normalize，Resize ，Co…
无脑——010 复现yolov8 训练自己的数据集 基于yolov8框架 使用rt detr
背景： 2023.08.09导师让调研transformer的相关论文，做CV的都知道transformer多么难跑，需要用8张GPU跑100多个小时，我这个小小实验室放不下这尊大佛，所以就找点小模型跑一跑，调研论文发现最新的是CO-DETR&am…
基于PyTorch的图像识别
前言
图像识别是计算机视觉领域的一个重要方向，具有广泛的应用场景，如医学影像诊断、智能驾驶、安防监控等。在本项目中，我们将使用PyTorch来开发一个基于卷积神经网络的图像识别模型，用来识别图像中的物体。下面是要识别的四种物…
【AI】《动手学-深度学习-PyTorch版》笔记（十五）：网络中的层、块和参数
AI学习目录汇总
1、什么是块？
在线性模型中，我们关注过单个神经元（单个神经网络的输入和输出）； 在多层感知机中，我们关注过整层的神经元（前一层的输出作为后一层的输入）； 如果将“多层感知机”视为一整体，称为“块”，可以将前一个块的输出作为后一个块的输入。
块…
Pytorch深度学习-----现有网络模型的使用及修改（VGG16模型）
系列文章目录
PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用（ToTensor，Normalize，Resize ，Co…
torch_geometric实现GCN和LightGCN
torch_geometric实现GCN和LightGCN 题记demo示意图GCN代码LightGCN代码参考博文及感谢 题记
使用torch_geometric实现GCN和LightGCN，以后可能要用，做一下备份
demo示意图 GCN代码 X ′ D ^ − 1 / 2 A ^ D ^ − 1 / 2 X Θ \mathbf{X}^{\prime} \mat…
![[PyTorch][chapter 50][自定义网络 ResNet18]](https://img-blog.csdnimg.cn/185f52e9161c48079ecbf9670ae1c4e3.png)
[PyTorch][chapter 50][自定义网络 ResNet18]
前言： 这里结合一个ResNet-18 网络，讲解一下自己定义一个深度学习网络的完整流程。
经过20轮的训练，测试集上面的精度85% 一 残差块定义 针对图像处理有两种结构，下面代码左右实现的是左边的结构.
# -*- coding: utf-8 -*-
&q…
pytorch中文文档学习笔记
先贴上链接
torch - PyTorch中文文档
首先我们需要安装拥有pytorch的环境
conda指令
虚拟环境的一些指令 查看所有虚拟环境 conda info -e 创建新的虚拟环境 conda create -n env_name python3.6 删除已有环境 conda env remove -n env_name 激活某个虚拟环境 activate env…
深入浅出Pytorch函数——torch.nn.init.constant_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
第58步 深度学习图像识别：Transformer可视化（Pytorch）
一、写在前面
（1）pytorch_grad_cam库
这一期补上基于基于Transformer框架可视化的教程和代码，使用的是pytorch_grad_cam库，以Bottleneck Transformer模型为例。
（2）算法分类
pytorch_grad_cam库中包含的…
深入浅出Pytorch函数——torch.nn.init.uniform_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
PyTorch学习笔记（十四）——网络模型的保存与读取
两种方式保存和加载模型
方式一
保存模型
不仅保存了网络模型的结构，也保存了网络模型的参数
import torch
import torchvisionvgg16 torchvision.models.vgg16(weightsFalse)
torch.save(vgg16,"vgg16_method1.pth") 加载模型
打印出的是网络模型的…
pytorch学习（五）、损失函数，反向传播和优化器的使用
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、损失函数二、反向传播三、优化器 一、损失函数
损失函数：就是在中学我们学到的回归问题中 y 真 − y 测的绝对值 y真 - y测的绝对值 y真−y测的绝…
【深度学习环境搭建】Windows搭建Anaconda3、已经Pytorch的GPU版本
目录 搭建Anaconda3搭建GPU版本的Pytorch你的pip也要换源，推荐阿里源打开conda的PowerShell验证 搭建Anaconda3
无脑下载安装包安装（自行百度） 注意点： 1、用户目录下的.condarc需要配置（自定义环境的地址（…
基于AidLux的智慧教育版面分析应用
基于AidLux的智慧教育版面分析应用
1. Aidlux平台介绍
融合架构操作系统AidLux,可以为单一ARM设备同时提供Android和Linux运行环境，双系统既能独立使用又能相互通信。
非虚拟机方式实现双系统融合并行
同时拥有两个系统的完整用户体验无需重启即可在两个系统之间…
pytorch12：GPU加速模型训练
目录 1、CPU与GPU2、数据迁移至GPU2.1 to函数使用方法 3、torch.cuda常用方法4、多GPU并行运算4.1 torch.nn.DataParallel4.2 torch.distributed加速并行训练 5、gpu总结 往期回顾 pytorch01：概念、张量操作、线性回归与逻辑回归 pytorch02：数据读取Data…
PyTorch 添加 C++ 拓展
参考内容：pytorch添加C拓展简单实战编写及基本功能测试 文章目录 第一步：编写 C 模块test.htest.cpp 第二步：编写 setup.py第三步：安装 C 模块第四步：验证安装第五步：C 模块使用test_cpp1.pytest_cpp2.py 运…
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现
本篇文章是对已有一篇文章的整理归纳，并对文章中提及的模型用Pytorch实现。 文章目录 前言一、任务问题和数据集1 任务问题2 数据集3 数据集读取并展示 二、模型实现1 数据导入2 数据预处理3 数据集划分4 网络模型及实例化5 训练过程 三、总结 前言
序列࿰…
【PyTorch】使用PyTorch创建卷积神经网络并在CIFAR-10数据集上进行分类
前言
在深度学习的世界中，图像分类任务是一个经典的问题，它涉及到识别给定图像中的对象类别。CIFAR-10数据集是一个常用的基准数据集，包含了10个类别的60000张32x32彩色图像。在本博客中，我们将探讨如何使用PyTorch框架创建一个简…
Ubuntu20.04安装cuda12.11
显卡驱动
首先就是安装显卡驱动，我是双3090，不知道为什么，官网死活安不上，最后从软件更新那里直接安装上了，绷不住了
cuda
首先从官网下载runfile文件
安装的时候记得驱动和Kernel Objects 和 nvidia-fs不选
然后…
pytorch实战-6手写数字加法机-迁移学习
1 概述
迁移学习概念：将已经训练好的识别某些信息的网络拿去经过训练识别另外不同类别的信息
优越性：提高了训练模型利用率，解决了数据缺失的问题（对于新的预测场景，不需要大量的数据，只需要少量数据即可…
使用Python和PyTorch库构建一个简单的文本分类大模型：
在当今的大数据时代，文本分类任务在许多领域都有着广泛的应用，如情感分析、垃圾邮件过滤、主题分类等。为了有效地处理这些任务，我们通常需要构建一个强大的文本分类模型。在本篇博客中，我们将使用Python和PyTorch库来构建一个简单…
【pytorch框架】使用 PyTorch 进行深度学习
1.Pytorch介绍 PyTorch 是由 Facebook 创建和发布的用于深度学习计算的 Python 库。它起源于早期的库 Torch 7，但完全重写。
它是两个最受欢迎的深度学习库之一。PyTorch 是一个完整的库，能够训练深度学习模型以及在推理模式下运行模型，并支…
PyTorch的衍生资源
PyTorch作为深度学习领域的一个重要框架，自2016年首次发布以来经历了显著的发展。以下是PyTorch发展过程中的几个关键里程碑事件： 2016年： PyTorch于2016年首次发布，作为一个基于动态计算图的开源机器学习库，它提供了自…
【pytorch进阶】| tensor张量的T和H 分别是什么？转置和共轭转置
文章目录 1 T代表转置（Transpose）2 H代表共轭转置 在调试过程中，可以看到tensor张量有T和H的属性 What does the tensor’s “H”,“T” attributes mean? - PyTorch Forums
torch.Tensor — PyTorch 2.1 documentation
1 T代表转置&#…
![[pytorch入门] 3. torchvision中的transforms](https://img-blog.csdnimg.cn/direct/304749b283ea4eeb90802174f1ffeecd.png)
[pytorch入门] 3. torchvision中的transforms
torchvision中的transforms
是transforms.py工具箱，含有totensor、resize等工具 用于将特定格式的图片转换为想要的图片的结果，即用于图片变换
用法
在transforms中选择一个类创建对象，使用这个对象选择相应方法进行处理
能够选择的类
列…
《动手学深度学习(PyTorch版)》笔记3.2
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
《动手学深度学习(PyTorch版)》笔记4.5
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
读取一个batch的图像并且显示出来
1读取一个batch用于训练
我们在训练模型的时候，除了观察图像的标签和尺寸，最好能读取一个batch的图像显示出来，观察原始图像和grountruth是否对应，如果正确才能正式开始后续的训练。
下面以一个皮肤病分割的数据集加以演示。
2…
PyTorch 之 rand() 与 randn() 函数
文章目录 torch.rand()示例: torch.randn()示例: 当然，让我更详细地介绍 torch.rand() 和 torch.randn()，以及它们在 PyTorch 中的用法。
torch.rand()
torch.rand(*sizes, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse)…
pytorch交换数组元素坑
写 PermutePatch 时遇到一个 bug：在试图交换 PyTorch 数组的两个元素时，两个位置都变成同一个元素！具体见测试代码。本文兼测几种交换情况：
两个 python 变量numpy 数组两个元素pytorch 数组两个元素
import numpy as np
import…
Windows11搭建GPU版本PyTorch环境详细过程
Anaconda安装
https://www.anaconda.com/
Anaconda: 中文大蟒蛇，是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。从官网下载Setup：点击安装，之后勾选上可以方便在普通命令行cmd和PowerShell中使用…
《动手学深度学习(PyTorch版)》笔记5
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过,…
TextCNN的复现
TextCNN的复现–pytorch的实现
对于TextCNN的讲解，可以参考这篇文章
Convolutional Neural Networks for Sentence Classification - 知乎 (zhihu.com)
接下来主要是对代码内容的详解，完整代码将在文章末尾给出。
使用的数据集为电影评论数据集&…
pytorch 优化训练显存方式
转载自（侵删）： https://www.cnblogs.com/chentiao/p/17901639.html 1. 显存都用在哪儿了？
一般在训练神经网络时，显存主要被网络模型和中间变量占用。
网络模型中的卷积层，全连接层和标准化层等的参数占…
【pytorch】nn.linear 中为什么是y=xA^T+b
我记得读教材的时候是yWxb, 左乘矩阵W，这样才能表示线性变化。 但是pytorch中的nn.linear中，计算方式是yxA^Tb，其中A是权重矩阵。 为什么右乘也能表示线性变化操作呢？因为pytorch中，照顾到输入是多个样本一起算的&…
深度学习与神经网络pytorch版 2.3 线性代数
深度学习与神经网络pytorch版 2.3 线性代数
目录
深度学习与神经网络pytorch版 2.3 线性代数
1. 简介
2. 线性代数
2.3.1 标量
编辑2.3.2 向量
2.3.3 矩阵
2.3.4 张量及其性质
2.3.5 降维
2.3.6 非降维求和
2.3.7 点积
2.3.8 矩阵-向量积
2.3.9 矩阵-矩阵乘法
…
【环境配置】安装了pytorch但是报错torch.cuda.is_availabel()=Flase
解决思路：import torch正常，说明torch包安装正常，但是不能和gpu正常互动，猜测还是pytroch和cuda的配合问题
1.查看torch包所需的cuda版本
我的torch是2.0.1，在现在是比较新的包，需要12以上的cuda支持&…
![PyTorch][chapter 12][李宏毅深度学习][Semi-supervised Linear Methods-1]](https://img-blog.csdnimg.cn/direct/c0f2d39aaac24825a7d136038020cc03.png)
PyTorch][chapter 12][李宏毅深度学习][Semi-supervised Linear Methods-1]
这里面介绍半监督学习里面一些常用的方案：
K-means ,HAC, PCA 等 目录： K-means HAC PCA 一 K-means 【预置条件】 N 个样本分成k 个 簇 step1: 初始化簇中心点 (随机从X中抽取k个样本点作为） Repeat: For all in X: 根据其到 &…
PyTorch与TensorFlow的安装与介绍
人工智能大模型的技术框架
人工智能大模型，如OpenAI的GPT-4，涉及到的技术栈主要包括以下几个方面： 深度学习框架：TensorFlow, PyTorch等，这些框架提供了构建和训练深度学习模型的必要工具。 硬件加速：NVI…
PyTorch 中神经网络库torch.nn的详细介绍
1. torch.nn
torch.nn 是 PyTorch 深度学习框架中的一个核心模块，它为构建和训练神经网络提供了丰富的类库。 以下是 torch.nn 的关键组成部分及其功能： nn.Module 类： nn.Module 是所有自定义神经网络模型的基类。用户通常会从这个类派生…
YOLOv8改进 | 细节涨点篇 | DySample一种超级轻量的动态上采样算子（效果完爆CARAFE）
一、 本文介绍
本文给大家带来的改进机制是一种号称超轻量级且有效的动态上采样器——DySample。与传统的基于内核的动态上采样器相比，DySample采用了一种基于点采样的方法，相比于以前的基于内核的动态上采样器，DySample具有更少的参数、浮点运算次数、GPU内存和延迟。此外…
深度学习(12)--Mnist分类任务
一.Mnist分类任务流程详解
1.1.引入数据集
Mnist数据集是官方的数据集，比较特殊，可以直接通过%matplotlib inline自动下载，博主此处已经完成下载，从本地文件中引入数据集。
设置数据路径
from pathlib import Path# 设置数据路…
PyTorch中tensor.backward()函数的详细介绍
backward() 函数是PyTorch框架中自动求梯度功能的一部分，它负责执行反向传播算法以计算模型参数的梯度。由于PyTorch的源代码相当复杂且深度嵌入在C底层实现中，这里将提供一个高层次的概念性解释，并说明其使用方式而非详细的源代码实现。 在P…
pytorch调用多个gpu训练，手动分配gpu以及指定gpu训练模型的流程以及示例
torch.device("cuda" if torch.cuda.is_available() else "cpu") 当使用上面的这个命令时，PyTorch 会检查系统是否有可用的 CUDA 支持的 GPU。如果有，它将选择默认的 GPU（通常是第一块，即 “cuda:0”…
pytorch索引和切片
目录 1. 按索引方式取数据2. 以python切片方式取数据3. 指定index取数据4. ...代表除其前后指定维度外的所有维度5. masked_select() 使用掩码选择元素6. take 矩阵打平后选取 1. 按索引方式取数据 a[0,0,2,4] 其中0，0，2，4是索引从0开始
2. …
pytorch安装GPU版本 (Cuda12.1)教程
使用本教程前，默认您已经安装并配置好了python3以上版本 1. 去官网下载匹配的Cuda
Cuda下载地址 当前最高版本的Cuda是12.1 我安装的就是这个版本
小提示：自定义安装可以只选择安装Cuda Runtime。Nvidia全家桶不必全部安装。把全家桶全部安装完直接系统…
Pytorch: torch.linspace等间隔数值函数
torch.linspace 是 PyTorch 提供的一个用于生成等间隔数值的函数。具体而言，torch.linspace 会在指定的区间内生成指定数量的等间隔数值。
torch.linspace(start, end, steps100, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse)参数说明&#x…
退火在模型训练中的意义
1. 退火的概念
在模型训练的上下文中，"退火"通常指的是学习率退火（Learning Rate Annealing）或模拟退火（Simulated Annealing）。在深度学习中，学习率退火是比较常见的，它涉及到在训练…
YOLOv8改进 | 主干篇 | 低照度图像增强网络SCINet改进黑暗目标检测（全网独家首发）
一、本文介绍
本文给大家带来的改进机制是低照度图像增强网络SCINet，SCINet（自校正照明网络）是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像，优化了照明部分以提升图像质量。我将该网络集成在YOLOv8的主干上针对于图像的输入进行增…
使用pytorch 的Transformer进行中英文翻译训练
下面是一个使用torch.nn.Transformer进行序列到序列（Sequence-to-Sequence）的机器翻译任务的示例代码，包括数据加载、模型搭建和训练过程。
import torch
import torch.nn as nn
from torch.nn import Transformer
from torch.utils.data im…
IndexError: tensors used as indices must be long, byte or bool tensors
运行出现报错。修改数据格式
输出sample_ids的值，可以看到数据类型是 torch.int32
解决 需要将sample_ids类型转为long，修改方式：
idx idx.type(torch.long)或
idx self.tensor(idx, dtypetorch.long)参考： IndexError: tenso…
怎么用conda下载清华源的pytorch（自带cuda的版本）
1，添加镜像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free conda config --add channels https://mirrors.tuna.tsinghua.edu.cn…
基于Pytorch实现的声纹识别系统
前言
本项目使用了EcapaTdnn、ResNetSE、ERes2Net、CAM等多种先进的声纹识别模型，不排除以后会支持更多模型，同时本项目也支持了MelSpectrogram、Spectrogram、MFCC、Fbank等多种数据预处理方法，使用了ArcFace Loss，ArcFace loss…
深度学习实战49-基于卷积神经网络和注意力机制的汽车品牌与型号分类识别的应用
大家好，我是微学AI，今天给大家介绍一下深度学习实战49-基于卷积神经网络和注意力机制的汽车品牌与型号分类识别的应用，该项目就像是一只智慧而敏锐的眼睛，专注地凝视着汽车世界。这个项目使用PyTorch作为强有力的工具，提供了一个深度学习的舞台，让我们能够设计和训练一个…
PyTorch深度学习实战（12）——数据增强
PyTorch深度学习实战（12）——数据增强 0. 前言1. 图像增强1.1 仿射变换1.2 亮度修改1.3 添加噪音1.4 联合使用多个增强方法 2. 对批图像执行图像增强3. 利用数据增强训练模型小结系列链接 0. 前言
数据增强是指通过对原始数据进行一系列变换和处理&…
Pytorch-day10-模型部署推理-checkpoint
模型部署&推理
模型部署模型推理
我们会将PyTorch训练好的模型转换为ONNX 格式，然后使用ONNX Runtime运行它进行推理
1、ONNX
ONNX( Open Neural Network Exchange) 是 Facebook (现Meta) 和微软在2017年共同发布的，用于标准描述计算图的一种格式…
基于YOLOV8模型的西红柿目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型的西红柿目标检测系统可用于日常生活中检测与定位西红柿目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数…
pytorch（b站小土堆学习笔记P1-P15）
P3. Python学习中的两大法宝函数（当然也可以用在PyTorch）
import torch#查看pytorch有哪些指令
print(dir(torch))
print(dir(torch.cuda))
#查看每条指令怎么用
help(torch.cuda.is_available)
P4. PyCharm及Jupyter使用及对比 P5 dataset和dataloade…
深度学习：基于循环神经网络RNN实现语句生成
目录 1 循环神经网络介绍
1.1 什么是循环神经网络
1.2 RNN的网络结构
1.3 RNN的工作原理
编辑
1.4 RNN的应用场景
2 基于RNN实现语句生成
2.1 句子生成介绍
2.2 基于pytorch实现语句生成
2.3 完整代码
2.4 该模型的局限
3 总结 1 循环神经网络介绍
1.1 什么是循环…
深入浅出Pytorch函数——torch.nn.init.ones_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
torch.cat((A,B),dim=1)解析
官方说明torch.cat 引用自：Pytorch中的torch.cat()函数 torch.cat(tensors, dim0, *, outNone) → Tensor
# 连接给定维数的给定序列的序列张量。所有张量要么具有相同的形状(除了连接维度)，要么为空。示例 输入： import torch
a torch.Tens…
【代码实现】DETR原文解读及代码实现细节
1 模型总览 宏观上来说，DETR主要包含三部分：以卷积神经网络为主的骨干网（CNN Backbone）、以TRM(Transformer)为主的特征抽取及交互器以及以FFN为主的分类和回归头，如DETR中build()函数所示。DETR最出彩的地方在于&…
tf和pytorch每轮epoch显示输出的auc是如何计算的
tf和pytorch每轮epoch显示输出的auc是如何计算的？
tf的计算
近似 ROC 或 PR 曲线的 AUC（曲线下面积）。
tf1 通过计算真阳性，假阳性，假阴性，真阴性值的计算策略。
tensorflow AUC & streaming_auc_我…
深入浅出Pytorch函数——torch.nn.Module.apply
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.Module 递归地将函数fn应用于每个子模块及self，子模块由.children()返回。典型的用法包括初始化模型的参数（可以参考torc.nn.init࿰…
关于ubuntu下面安装cuda不对应版本的pyTorch
最近换了台新的linux的ubuntu的服务器，发现其实际安装的cuda版本为11.4，但是pytorch官方给出的针对cuda 11.4并没有具体的pytorch的安装指令，于是采用不指定pytorch版本直接安装让其自动搜索得到即可 直接通过：
pip3 install tor…
Pytorch 手写数字识别-MINIST 数据集训练
CNN 前期文章我们分享了tensorflow 的手写数字识别的训练以及识别过程，有网友私信是否写一下pytorch训练识别过程，本期文章我们来分享一下pytorch的手写数字训练人工智能TensorFlow（十六）MNIST手写数字识别 说到图片识别就不得不提卷积神经网络，我们会在后期详细介绍，或者…
卷积神经网络——上篇【深度学习】【PyTorch】
文章目录 5、卷积神经网络5.1、卷积5.1.1、理论部分5.1.2、代码实现5.1.3、边缘检测 5.2、填充和步幅5.2.1、理论部分5.2.2、代码实现 5.3、多输入多输出通道5.3.1、理论部分5.3.2、代码实现 5.4、池化层 | 汇聚层5.4.1、理论部分5.4.2、代码实现 5、卷积神经网络
5.1、卷积
…
Pytorch-day05-可视化-checkpoint
PyTorch 可视化
1、模型结构可视化2、训练过程可视化3、模型评估可视化
#导入常用包
import os
import numpy as np
import torch
from torch import nn
from torch.utils.data import Dataset, DataLoader
from torchvision.transforms import transforms
import torchvis…
pytorch 入门1-tensor 广播 view reshape
tensor 的四则运算broadcast
import torch
import numpy as np
# 张量tensor 随机初始化
x torch.rand(4,3)
print(x)
y torch.randn(4,3)
print(y)# 初始化全零 张量
a torch.zeros((4,4),dtypetorch.long)
print(a)
#初始化全一 张量
b torch.ones(4,4)
print(b)
c tor…
卷积神经网络——上篇【深度学习】【PyTorch】【d2l】
文章目录 5、卷积神经网络5.1、卷积5.1.1、理论部分5.1.2、代码实现5.1.3、边缘检测 5.2、填充和步幅5.2.1、理论部分5.2.2、代码实现 5.3、多输入多输出通道5.3.1、理论部分5.3.2、代码实现 5.4、池化层 | 汇聚层5.4.1、理论部分5.4.2、代码实现 5、卷积神经网络
5.1、卷积
…
PyTorch三种主流模型构建方式：nn.Sequential、nn.Module子类、nn.Module容器开发实践，以真实烟雾识别场景数据为例
Keras和PyTorch是两个常用的深度学习框架，它们都提供了用于构建和训练神经网络的高级API。
Keras: Keras是一个高级神经网络API，可以在多个底层深度学习框架上运行，如TensorFlow和CNTK。以下是Keras的特点和优点：
优点ÿ…
Pytorch建立MyDataLoader过程详解
简介 torch.utils.data.DataLoader(dataset, batch_size1, shuffleNone, samplerNone, batch_samplerNone, num_workers0, collate_fnNone, pin_memoryFalse, drop_lastFalse, timeout0, worker_init_fnNone, multiprocessing_contextNone, generatorNone, *, prefetch_factorN…
Lnton羚通云算力平台【PyTorch】教程：关于Tensors的基础知识
Tensors
Tensors 是一个特殊的数据结构，非常类似于数组和矩阵，在 PyTorch 中，我们使用 tensors 编码模型的输入和输出，以及模型的参数。
Tensors 非常类似于 NumPy 的 ndarrays， tensors 可以运行在 GPU 以及其他硬件…
苹果叶病害识别（Python代码，pyTorch框架，预训练好的VGG16模型，也很容易替换为其它模型，带有GUI识别界面）
代码运行要求：Torch>1.13.1即可
1.数据集介绍： Apple Scab类文件夹图片 Black Rot类文件夹图片 Cedar Apple Rust文件夹 healthy文件夹 2.整个项目 data文件夹存放的是未被划分训练集和测试集的原始照片
picture文件夹存放的是经hf.py对data文件夹…
Pytorch基础及实战(5)——模型组网
在深度学习中，模型组网即是指设计和构建深度神经网络模型的过程。深度神经网络模型通常由多个层（Layer）组成，每个层都包含多个神经元（Neuron），并通过一定的连接方式进行信息传递和特征提取。
本…
基于YOLOV8模型的课堂场景下人脸目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型的课堂场景下人脸目标检测系统可用于日常生活中检测与定位课堂场景下人脸，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检…
Datawhale AI夏令营 - 用户新增预测挑战赛 | 学习笔记
数据分析与可视化
为了拟合出更好的结果就要了解训练数据之间的相互关系，进行数据分析是必不可少的一步
导入必要的库
# 导入库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
pandas库是一个强大的分析结构化…
pytorch基于ray和accelerate实现多GPU数据并行的模型加速训练
在pytorch的DDP原生代码使用的基础上，ray和accelerate两个库对于pytorch并行训练的代码使用做了更加友好的封装。
以下为极简的代码示例。
ray
ray.py
#codingutf-8
import os
import sys
import time
import numpy as np
import torch
from torch import nn
im…
基于Pytorch的神经网络部分自定义设计
一、基础概念（学习笔记）
（1）训练误差和泛化误差[1] 本质上，优化和深度学习的目标是根本不同的。前者主要关注的是最小化目标，后者则关注在给定有限数据量的情况下寻找合适的模型。训练误差和泛化误差通常不…
基于YOLOV8模型和Kitti数据集的人工智能驾驶目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOV8模型和Kitti数据集的人工智能驾驶目标检测系统可用于日常生活中检测与定位车辆、汽车等目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用…
基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
神经网络训练中为什么要使用batch？
使用batch训练神经网络时，每次模型训练，更新权重时，就拿一个batch的样本来更新权重。
求损失loss用于梯度下降，更新权重时，有几种方式。一种是全部的样本用来求loss，这种方式称为批量梯度下降(BGD)&#x…
nlp系列（7）三元组识别（Bert+CRF）pytorch
模型介绍
在实体识别中：使用了Bert模型，CRF模型
在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类&…
pytorch多进程处理数据的代码模板
pytorch多进程处理数据的代码模板
import argparse
import functools
import gc
import logging
import math
import os
import random
import shutil
from pathlib import Pathimport accelerate
import datasets
import numpy as np
import torch
import torch.nn.functiona…
模型的保存加载、模型微调、GPU使用及Pytorch常见报错
序列化与反序列化
序列化就是说内存中的某一个对象保存到硬盘当中，以二进制序列的形式存储下来，这就是一个序列化的过程。 而反序列化，就是将硬盘中存储的二进制的数，反序列化到内存当中，得到一个相应的对象ÿ…
GRU实现时间序列预测(PyTorch版)
💥项目专栏：【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战（附代码数据集原理介绍） 文章目录 前言一、基于PyTorch搭建GRU模型实现风速时间序列预测二、时序数据集的制作三、数据归一化四、数据集加载器…
Pytorch 多卡并行（2）—— 使用 torchrun 进行容错处理
前文 Pytorch 多卡并行（1）—— 原理简介和 DDP 并行实践 介绍了使用 Pytorch 的 DDP 库进行单机多卡训练的方法，本文进一步说明如何用 torchrun 改写前文代码，以提高模型训练的效率和容错性torchrun 是从 Pytorch 1.9.0 开始引入的…
Pytorch 多卡并行（3）—— 使用 DDP 加速 minGPT 训练
前文 并行原理简介和 DDP 并行实践 和 使用 torchrun 进行容错处理 在简单的随机数据上演示了使用 DDP 并行加速训练的方法，本文考虑一个更加复杂的 GPT 类模型，说明如何进行 DDP 并行实战MinGPT 是 GPT 模型的一个流行的开源 PyTorch 复现项目ÿ…
Pytorch学习：torch.max()
文章目录 torch.max()dimkeepdimdim0dim1 out：返回命名元组 (values, indices) torch.max()
torch.max(input) → Tensor：返回 input 张量中所有元素的最大值。 注意输入的必须是张量形式，输出的也为张量形式 当输入为tuple类型时…
《动手学深度学习 Pytorch版》 4.10 实战Kaggle比赛：预测比赛
4.10.1 下载和缓存数据集
import hashlib
import os
import tarfile
import zipfile
import requests#save
DATA_HUB dict()
DATA_URL http://d2l-data.s3-accelerate.amazonaws.com/def download(name, cache_diros.path.join(.., data)): #save"""下载一个…
神经网络-pytorch版本
pytorch神经网络基础
torch简介
torch和numpy
import torch
import numpy as np
np_datanp.arange(6).reshape((2,3))
torch_datatorch.from_numpy(np_data)
tensor2arraytorch_data.numpy()
print(np_data,"\n",torch_data,"\n",tensor2array)torch的数…
acclerator和tensorboard共同使用采坑记录
acclerator和tensorboard共同使用采坑记录 问题描述可采用的方案可采用的方案1可采用的方案2其他可采用方案可采用方案的总结 建议的最终方案 问题描述
最近在做用多个GPU训练，我选择的是hugging face开源团队的acclerate库中的accelerator类来实现的，在…
Pytorch学习整理笔记（一）
文章目录 数据处理DatasetTensorboard使用Transformstorchvision数据集使用DataLoader使用nn.Module的使用神经网络 数据处理Dataset
主要是对Dataset的使用：
继承 Dataset实现init方法，主要是进行一些全局变量的定义，在对其初始化时需要赋…
4-1 张量的结构操作
张量结构操作主要包括：张量创建，索引切片，维度变换，合并分割。
一、创建张量
张量创建的许多方法和numpy中创建array的方法很像。以下记录一些比较常用的操作：
（1）直接采用torch.tensor创建&…
4-2 张量的数据运算
张量数学运算主要有：标量运算，向量运算，矩阵运算，以及使用非常强大而灵活的爱因斯坦求和函数torch.einsum（重难点）进行任意维的张量运算。此外还会介绍张量运算的广播机制。
一，标量运算 (操作…
Paper Reading: RSPrompter，基于视觉基础模型的遥感实例分割提示学习
目录 简介目标工作重点方法实验总结 简介
题目：《RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model 》，基于视觉基础模型的遥感实例分割提示学习
日期：2023.6.28
单位…
[deeplearning]pytorch实现softmax多分类问题预测训练
写在前面：俺这两天也是刚刚加入实验室，因为之前的学习过程中用到更多的框架是tensorflow，所以突然上手pytorch多少有些力不从心了。
这两个框架的主要区别在与tensorflow更偏向于工业使用，所以里面的很多函数和类都已经封装得很完…
【深度学习】Pytorch 系列教程（十一）：PyTorch数据结构：3、变量（Variable）介绍
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
3、变量（Variable） 一、前言 ChatGPT： PyTorch是一个开源的机器学习框架&am…
手刻 Deep Learning -第壹章 -PyTorch教学-激励函数与感知机入门（上）
一、前言 本文接续前篇教学 Pytorch 与线性回归 ，本文着重在 Activation Function （ 中文称 激励函数 ），我们会介绍激励函数 （也有人称 激活函数？ 激发函数？ ） 为什么会有用…
torch.from_numpy()函数（pytorch版）
torch.from_numpy(ndarray) 的作用就是将生成的数组（array）转换为张量Tensor。 该方法等同于torch.Tensor(ndarray)。
举例说明：
单纯的torch.from_numpy(ndarray)方法。
import numpy
import torchdata1 numpy.array([5, 6, 9])
print…
《动手学深度学习 Pytorch版》 4.4 模型选择、欠拟合和过拟合
4.4.1 训练误差和泛化误差
整节理论，详见书本。
4.4.2 模型选择
整节理论，详见书本。
4.4.3 欠拟合还是过拟合
整节理论，详见书本。
4.4.4 多项回归
import math
import numpy as np
import torch
from torch import nn
from d2l impo…
《PyTorch 2.0深度学习从零开始学》已出版
#好书推荐##好书奇遇季#《PyTorch 2.0深度学习从零开始学》，京东当当天猫都有发售。定价69元，网店打折销售更便宜。本书配套示例项目源码、PPT课件。
本书以通俗易懂的方式介绍PyTorch深度学习基础理论，并以项目实战的形式详细介绍PyTorch框…
计算机视觉工程师学习路线
1. 学习编程语言和基础库
学习Python语言,掌握基础语法、函数、面向对象编程等概念学习Numpy库,用于科学计算和多维数组学习OpenCV库,包含了许多图像处理和计算机视觉算法学习TensorFlow/PyTorch,主要的深度学习框架
2. 学习数字图像处理算法
图像的表示方式(像素、灰度、二…
为什么深度网络（vgg，resnet）最后都不使用softmax（概率归一）函数，而是直接加fc层？
这个问题很简单，并不是没有使用softmax，而是没有显式使用softmax。
随着深度学习框架的发展，为了更好的性能，部分框架选择了在使用交叉熵损失函数时默认加上softmax，这样无论你的输出层是什么，只要用了nn.…
pytorch异常——RuntimeError:Given groups=1, weight of size..., expected of...
文章目录 省流异常报错异常截图异常代码原因解释修正代码执行结果 省流 nn.Conv2d 需要的输入张量格式为 (batch_size, channels, height, width)，但您的示例输入张量 x 是 (batch_size, height, width, channels)。因此，需要对输入张量进行转置。 注意…
学习pytorch8 土堆说卷积操作
土堆说卷积操作 官网debug torch版本只有nn 没有nn.functional代码执行结果 B站小土堆视频学习笔记
官网 https://pytorch.org/docs/stable/nn.html#convolution-layers 常用torch.nn, nn是对nn.functional的封装，使函数更易用。 卷积核从输入图像左上角…
深度学习入门——卷积神经网络CNN基本原理+实战
CNN基本结构
卷积神经网络（Convolutional Neural Network,CNN）是深度学习技术中最基础的网络结构，模拟人脑工作，具备强大的特征学习能力。CNN结构主要由两部分组成：特征提取部分和分类部分\color{blue}{特征提取部…
**PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**
PyTorch月学习计划 - 第6-7天: 自动梯度（Autograd） 学习目标： 掌握自动微分的基本原理，特别是在深度学习中的应用。 学会如何在PyTorch中使用autograd模块进行自动梯度计算。 学习内容： 自动微分和计算图的概念
自动微…
如何使用pytorch的Dataset, 来定义自己的Dataset
Dataset与DataLoader的关系 Dataset: 构建一个数据集，其中含有所有的数据样本DataLoader：将构建好的Dataset，通过shuffle、划分batch、多线程num_workers运行的方式，加载到可训练的迭代容器。
import torch
from torch.utils.dat…
基于YOLOv8的目标识别、计数、电子围栏的项目开发过程
0 前言
用于生产环境中物体检测、识别、跟踪，人、车流量统计，越界安全识别
1 YOLOv8概述
YOLOv8 是Ultralytics的YOLO的最新版本。作为一种前沿、最先进(SOTA)的模型，YOLOv8在之前版本的成功基础上引入了新功能和改进，以提高性…
深度学习 pytorch的使用（张量1）
一、张量的创建 PyTorch 是一个 Python 深度学习框架，它将数据封装成张量（Tensor）来进行运算。
PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。在 PyTorch 中，
张量以 "类" 的形式封装起来，对张量的…
如何利用PyTorch？
上一篇文章介绍了“What is PyTorch?”,本篇文章探讨一下“How to use PyTorch？”
1、PyTorch
PyTorch 是一个开源机器学习库，基于 Torch 库开发，主要由 Facebook 的人工智能研究实验室（FAIR）研发。它是一个强大且灵…
PyTorch、NCNN、Numpy三者张量的shape
目录 一、PyTorch二、NCNN三、Numpy 一、PyTorch
在 PyTorch 中，张量（Tensor）的形状通常按照 (N, C, H, W) 的顺序排列，其中： N 是批量大小（batch size） C 是通道数（channel number…
李沐《动手学深度学习》注意力机制
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 李沐《动手学深度学习》线性神经网络 softmax回归 李沐《动手学深度学习》多层感知机 模型概念和代码实现 李沐《…
MNIST数据集介绍及基于Pytorch下载数据集
MNIST数据集介绍及基于Pytorch下载数据集 🌵文章目录🌵 🌳引言🌳🌳MNIST数据集介绍🌳🌳基于Pytorch下载MNIST数据集并可视化🌳🌳使用MNIST数据集进行图像分类任务&#x…
【PyTorch】实现迁移学习框架DANN
文章目录 前言代码实现1、导入数据库关于torch.manual_seed(1)2、参数设置3、数据导入4、定义训练函数4.1 nn.CrossEntropyLoss()4.2 .detach()4.3 .size VS .shape4.4 .to(DEVICE)4.5 .max()4.6 optimizer.zero_grad()4.7 len(data
anaconda+pytorch+pycharm安装总结
1.下载最新的Anaconda,目前是python3.11适用 anaconda官网 安装教程 卸载并重新安装的教程 （如果找不到火绒清理注册表垃圾的位置可以拉到文章底部查看） 2.pytorch安装，注意python版本、cuda版本和pytorch版本的适配 安装教程 3.pycharm安装和…
![【PyTorch][chapter 15][李宏毅深度学习][Neighbor Embedding-LLE]](https://img-blog.csdnimg.cn/direct/091f57fee7244cd8abac80af960ede62.png)
【PyTorch][chapter 15][李宏毅深度学习][Neighbor Embedding-LLE]
前言： 前面讲的都是线性降维，本篇主要讨论一下非线性降维.
流形学习（mainfold learning）是一类借鉴了拓扑流行概念的降维方法. 如上图,欧式距离上面 A 点跟C点更近，距离B 点较远 但是从图形拓扑结构来看， …
PyTorch深度学习实战（17）——多任务学习
PyTorch深度学习实战（17）——多任务学习 0. 前言1. 多任务学习1.1 多任务学习基本概念1.2 多任务学习优势 2. 模型与数据集分析2.1 模型分析2.2 数据集介绍 3. 实现年龄估计和性别分类小结系列链接 0. 前言
多任务学习( Multi-Task Learning, MTL )是一…
【教程】PyTorch Timer计时器
转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn] OpenCV的Timer计时器可以看这篇：Python Timer和TimerFPS计时工具类 Timer作用说明：统计某一段代码的运行耗时。
直接上代码，开箱即用。
import time
import torch
import os
…
用深度强化学习来玩Chrome小恐龙快跑
目录
实机演示
代码实现 实机演示 用深度强化学习来玩Chrome小恐龙快跑 代码实现 import os
import cv2
from pygame import RLEACCEL
from pygame.image import load
from pygame.sprite import Sprite, Group, collide_mask
from pygame import Rect, init, time, display,…
解码注意力Attention机制：从技术解析到PyTorch实战
目录 引言历史背景重要性 二、注意力机制基础概念定义组件 注意力机制的分类举例说明 三、注意力机制的数学模型基础数学表达式注意力函数计算权重 数学意义举例解析 四、注意力网络在NLP中的应用机器翻译代码示例 文本摘要代码示例 命名实体识别（NER）代…
用深度强化学习来玩Flappy Bird
目录 演示视频
核心代码 演示视频 用深度强化学习来玩Flappy Bird 核心代码 import torch.nn as nnclass DeepQNetwork(nn.Module):def __init__(self):super(DeepQNetwork, self).__init__()self.conv1 nn.Sequential(nn.Conv2d(4, 32, kernel_size8, stride4), nn.ReLU(inp…
Hugging Face 实战系列 总目录
PyTorch 深度学习 开发环境搭建 全教程
Transformer:《Attention is all you need》
Hugging Face简介 1、Hugging Face实战-系列教程1：Tokenizer分词器（Transformer工具包/自然语言处理） Hungging Face实战-系列教程1：Tokenize…
小白入门pytorch(一)
本文为小白入门Pytorch中的学习记录博客
小白入门pytorch 基础知识
导入torch，查看torch版本
import torch
print(torch.__version__)输出结果：
1.12.1cu113张量
在pytorch中，张量（tensor）是最基本的数据结构。
…
基于Open3D和PyTorch3D读取三维数据格式OBJ
本节将讨论另一种广泛使用的3D数据文件格式，即OBJ文件格式。OBJ文件格式最初由Wavefront Technologies Inc.开发。与PLY文件格式类似，OBJ格式也有ASCII版本和二进制版本。二进制版本是专有的且未记录文档。本章主要讨论ASCII版本。
与之前类似，将通过示例来学习文件格式。第…
基于ResNet18网络训练二分类模型
目录
一、背景介绍
二、数据构建
三、模型构建及训练
3.1 采用预训练的权重进行训练
3.2 固定模型的参数，训练过程中不更新
3.3 如何保存训练好的模型？
3.4 如何查看可视化训练过程？
四、模型预测
五、查看网络各层的参数
六、可视…
基于PyTorch的交通标志目标检测系统
一、开发环境
Windows 10PyCharm 2021.3.2Python 3.7PyTorch 1.7.0
二、制作交通标志数据集，如下图 三、配置好数据集的地址，然后开始训练 python train.py --data traffic_data.yaml --cfg traffic_yolov5s.yaml --weights pretrained/yolov5s.pt --e…
aarch64 arm64 部署 stable diffusion webui 笔记 【2】继续安装其他依赖 gfpgan
接上篇
aarch64 arm64 部署 stable diffusion webui 笔记 【1】准备 venv 安装pytorch 验证cuda_hkNaruto的博客-CSDN博客 编辑requirements_versions.txt，注释掉torch 启动webui.sh
(venv) [rootceph3 stable-diffusion-webui]# useradd yeqiang useradd…
YOLOV8改进：TripletAttention | 即插即用的轻量级注意力机制
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。 2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。
3.涨点效果：TripletAttention，轻量级注意力机…
aarch64 arm64 部署 stable diffusion webui 笔记 【3】
接上篇
aarch64 arm64 部署 stable diffusion webui 笔记 【2】继续安装其他依赖 gfpgan-CSDN博客
source venv/bin/activate
export LD_LIBRARY_PATH/usr/local/lib64:/usr/local/lib:/usr/lib64:/usr/lib
./webui.sh 离线安装记录
(venv) [yeqiangceph3 stable-diffusio…
Pytorch实现鸟类品种分类识别(含训练代码和鸟类数据集)
Pytorch实现鸟类品种分类识别(含训练代码和鸟类数据集)
目录
Pytorch实现鸟类品种分类识别(含训练代码和鸟类数据集)
1. 前言
2. 鸟类数据集
（1）Bird-Dataset26
（2）自定义数据集
3. 鸟类分类识别模型训练
（1&a…
pytorch学习——循环神经网络RNN讲解及其实现
参考书籍：8.6. 循环神经网络的简洁实现 — 动手学深度学习 2.0.0 documentation 参考视频：54 循环神经网络 RNN【动手学深度学习v2】_哔哩哔哩_bilibili 一.介绍 循环神经网络RNN（Recurrent Neural Network ）是一类广泛应用于序列…
windows安装CUDA
windows安装CUDA
说明
适用于你的电脑为nvidia的显卡
第一步 先运行nvcc -V 查看cuda版本，不过应该都是未识别的命令，如下图所示 打开pytorch的官网 https://pytorch.org/get-started/locally/ ，查看其支持最新的cuda为多少版本…
PyTorch中特殊函数梯度的计算
PyTorch中特殊函数梯度的计算
普通函数
对于简单的多元函数，对自变量求梯度很容易，例如： f ( x , y ) x 2 y 2 f(x,y)x^2y^2 f(x,y)x2y2 则有： { ∇ x f ( x , y ) 2 x ∇ y f ( x , y ) 2 y \left\{ \begin{aligned} \na…
一文概览NLP句法分析：从理论到PyTorch实战解读
目录
一、引言
二、句法与语法：定义和重要性
什么是句法？
例子
什么是语法？
例子
句法与语法的重要性
句法的重要性
语法的重要性
三、句法理论：历史与分类
生成语法（Generative Grammar）
背景…
pytorch自定义算子并导出onnx计算图详细代码教程
(torch_env) rootf123:/mnt/d/work/learning-cuda-trt/learning-cuda-trt-main/tensorrt-basic-1.8-integrate-easyplugin# python gen-onnx.py
对应opset文件夹代码在这里： /root/anaconda3/envs/torch_env/lib/python3.9/site-packages/torch/onnx
inference outp…
nlp系列（7）实体识别（Bert）pytorch
模型介绍
本项目是使用Bert模型来进行文本的实体识别。
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类（Bert）pytorch_bert文本分类_牧子川的博客-CSDN博客
模型结构
Bert模型的模型结构： 数据介绍 …
自然语言处理历史史诗：NLP的范式演变与Python全实现
目录 一、引言什么是自然语言处理？语言与人类思维自然语言的复杂性NLP的历史轨迹 二、20世纪50年代末到60年代的初创期符号学派重要的研究和突破 随机学派重要的研究和突破 三、20世纪70年代到80年代的理性主义时代基于逻辑的范式重要的研究和突破 基于规则的范式重…
人工神经网络实验：第一次上机
pratice03：
1.问题描述：
就是通过设置只有一个hidden层的神经网络，对一个平面的灰面和白面进行分类
2.完整代码：
# 可提供解题和验证代码，自行产生数据import torch
import torch.nn as nn
import torch.nn.functi…
pytorch模型量化和移植安卓详细教程
十一下雨，在家撸模型，希望对pytorch模型进行轻量化，间断摸索了几天，效果不错，做个总结分享出来。 量化是一种常见的技术，人们使用它来使模型在推断时运行更快，具有更低的内存占用和更低的功耗，而无需更改模型架构。在这篇博客文章中，我们将简要介绍量化是什么以及如何…
torch.randn()函数
torch.randn函数是PyTorch中用于生成具有正态分布（均值为0，标准差为1）的随机数的函数。它可以用于创建具有指定形状的张量，并且张量中的每个元素都是独立的随机数，遵循标准正态分布（均值为0，标准…
（十）mmdetection源码解读：build_detector
目录 一、build_detector调用过程二、build_detector参数分析 一、build_detector调用过程
model build_detector(cfg.model, train_cfgcfg.get(train_cfg), test_cfgcfg.get(test_cfg))
#build_detector函数中
def build_detector(cfg, train_cfgNone, test_cfgNone):return…
李宏毅-21-hw3:对11种食物进行分类-CNN
一、代码慢慢阅读理解总结内化：
1.关于torch.nn.covd2d()的参数含义、具体用法、功能：
（1）参数含义：
注意，里面的“padding”参数：《both》side所以是上下左右《四》边都会加一个padding数量…
小bugs搜集和解决方法，亲测有效（2022-2023）
有些小bugs几行指令就能解决，写太多不好，这里就进行一个2022-2023这段时间的bugs collection和solution。
Deep Learning
How to make really empty tensor?
a nn.Torch([])
b torch.empty(2,3)
for i in rang(3):a torch.cat(a, b, dim0)Mismatc…
深度学习Pytorch常用api详解记录
深度学习常用的torch函数 torch.cat()torch.Tensor.repeat()：持续更新中... torch.cat()
对象：给定的序列化张量，即Tensor型。 功能：实现两个张量在指定维度上的拼接。 输出：拼接后的张量。 函数以及参数：…
构建ResNet-18模型在CIFAR-10数据集上实现分类（pytorch版）
文章目录 1. 构建ResNet模型1.1 前置条件1.2 构建Residual Block1.3 构建ResNet-181.4 模型测试 2. 训练与评估2.1 数据预处理与加载2.2 模型训练2.3 模型评估 参考文献 1. 构建ResNet模型
我们将使用PyTorch框架来实现一个简化版的ResNet-18模型。我们的目标是构建一个可以在…
YOLO总结，从YOLOv1到YOLOv3
YOLOv1
论文链接：https://arxiv.org/abs/1506.02640
检测原理
将检测问题转换成回归问题，一个CNN就搞定。即得到一个框的中心坐标(x, y)和宽高w，h，然后作回归任务。 B是两个框，5是指参数量，x y w h是确定…
RuntimeError: CUDA error: an illegal memory access was encountered 解决思路
问题描述：
在跑编译正常通过，CPU上也正常运行的某项目时，在运行到某个epoch时，程序突然出现以下错误：
RuntimeError: CUDA error: an illegal memory access was encountered
CUDA kernel errors might be asynchron…
nnUNet保姆级使用教程！从环境配置到训练与推理（新手必看）
文章目录 写在前面nnUNet是什么？一、配置虚拟环境二、安装nnUNet框架1.安装nnUNet这一步我遇到的两个问题： 2.安装隐藏层hiddenlayer（可选） 三、数据集准备nnUNet对于你要训练的数据是有严格要求的，这第一点就体现在我…
对于pytorch和对应pytorch网站的探索
一、关于网站上面的那个教程:
适合PyTorch小白的官网教程：Learning PyTorch With Examples - 知乎 (zhihu.com)
这个链接也是一样的，
总的来说，里面讲了这么一件事:
如果没有pytorch的分装好的nn.module用来继承的话，需要设计…
【深度学习实战—6】：基于Pytorch的血细胞图像分类（通用型图像分类程序）
✨博客主页：米开朗琪罗~🎈 ✨博主爱好：羽毛球🏸 ✨年轻人要：Living for the moment（活在当下）！💪 🏆推荐专栏：【图像处理】【千锤百炼Python】【深…
pytorch 训练、微调YOLOv5，YOLOv8 小技巧 合集
文章大纲 前置文章训练过程中：基于多核CPU的加速其他AI 加速器参考文献与学习路径前置文章 yolo v5 坐标相关的判断与转换，评价指标，训练结果解析YOLOv8 多目标跟踪与常见问题汇总python + pytorch 多线程实现级联模型的业务逻辑yolov5 奇奇怪怪的错误汇总:【版本兼容，模型…
Pytorch实现基于LSTM的情感分析
文章目录 本文参考导入必要的包介绍torchnet做数据的导入给必要的参数命名加载文本数据数据前处理模型训练验证 本文参考
PyTorch深度学习项目实战100例
https://weibaohang.blog.csdn.net/article/details/127154284?spm1001.2014.3001.5501
这段代码是一个基于PyTorch实现…
Pytorch 多卡并行（1）—— 原理简介和 DDP 并行实践
近年来，深度学习模型的规模越来越大，需要处理的数据也越来越多，单卡训练的显存空间和计算效率都越来越难以满足需求。因此，多卡并行训练成为了一个必要的解决方案本文主要介绍使用 Pytorch 的 DistributedDataParallel（…
基于YOLOv8模型的烟头目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的烟头目标检测系统可用于日常生活中检测与定位车辆目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
李沐《动手学深度学习》torch.cat() 和 torch.stack()的区别及思考
一、问题引出
好久没更新啦！最近在学习沐神《动手学深度学习》6.5节池化层的时候，发现沐神在两处相似的地方使用了两种Python拼接函数torch.cat()和torch.stack()： 百思不得其解，于是查阅相关文档之后终于弄清楚了两者之间的区别…
Pytorch intermediate(二) ResNet
实现了残差网络，残差网络结构。代码比之前复杂很多
conv3x3：将输入数据进行一次卷积，将数据转换成为，残差块需要的shape大小
ResidualBlock：残差块，也是所谓的恒等块。为什么被称为恒等块，大概…
CSwin-PNet: CNN-Swin-Vit 组合金字塔网络用于超声图像中乳腺病变分割
ATTransUNet 期刊分析摘要贡献方法整体框架1. Residual Swin Transformer block2. Interactive channel attention module3. Supplementary feature fusion module4. Boundary detection module 实验1. 消融实验2. 对比实验3. 失败案例讨论 可借鉴参考 期刊分析
期刊名&#x…
Pytorch 中的AverageMeter 造成内存泄漏
Pytorch 中的AverageMeter 造成内存泄漏 解决方法 解决方法
average_meter.update({"key_loss": keynet_loss, "ori_loss": ori_loss, "total_loss": loss })改为
average_meter.update({"key_loss": keynet_loss.detach().item(),…
【PyTorch 08】如果要手动安装对应的包
例如有时候我们要下载 PyG ，但是需要手动下载，需要进行以下步骤： 网站链接：https://data.pyg.org/whl/
首先查看当前安装好的Pytorch版本和对应的cuda版本
1. pip list：查看torch版本 2. torch.version.cuda…
pytorch实现经典神经网络：VGG16模型之复现
可以参考https://blog.csdn.net/m0_37867091/article/details/107237671 分成 提取特征网络结构分类结构
模型代码： 此模型写了VGG的几种网络结构 一、官方权重 # official pretrain weights
model_urls {vgg11: https://download.pytorch.org/models/vgg11-bb…
pytorch代码实现之CoordConv卷积
CoordConv卷积
在深度学习领域，几乎没有什么想法能像卷积那样产生如此大的影响。对于任何涉及像素或空间表示的问题，普遍的直觉认为卷积神经网络可能是合适的。在本文中，我们通过看似平凡的坐标变换问题展示了一个惊人的反例，该问…
pytorch代码实现之SAConv卷积
SAConv卷积
SAConv卷积模块是一种精度更高、速度更快的“即插即用”卷积，目前很多方法被提出用于降低模型冗余、加速模型推理速度，然而这些方法往往关注于消除不重要的滤波器或构建高效计算单元，反而忽略了特征内部的模式冗余。 原文地址&am…
optimizer和loss.backward()相关函数
optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加) loss.backward()是用来求导的 optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
pytorch代码实现之Partial Convolution (PConv卷积)
Partial Convolution (PConv卷积)
Partial Convolution (PConv卷积)，有助于提升模型对小目标检测的性能。目前许多研究都集中在减少浮点运算（FLOPs）的数量上。然而FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运…
《动手学深度学习 Pytorch版》 6.4 多输入多输出通道
import torch
from d2l import torch as d2l6.4.1 多输入通道
简言之，多通道即为单通道之推广，各参数对上即可。
def corr2d_multi_in(X, K):# 先遍历“X”和“K”的第0个维度（通道维度），再把它们加在一起return sum…
《动手学深度学习 Pytorch版》 5.5 读写文件
5.5.1 加载和保存
import torch
from torch import nn
from torch.nn import functional as Fx torch.arange(4)
torch.save(x, x-file) # 使用 save 保存x2 torch.load(x-file) # 使用 load 读回内存
x2tensor([0, 1, 2, 3])y torch.zeros(4)
torch.save([x, y],x-files…
PyTorch深度学习（四）【加载数据集、多分类问题】
加载数据集：使用mini-batch训练数据。 使用mini-batch之前先了解三个概念：（Batch之前聊过）Epoch、Batch-Size、Iterations。 第一个：Epoch.
当所有的训练样本进行了一次前向传播和反向传播，整个过程就叫做…
F.interpolate 在训练过程中无可学习参数
在PyTorch中，F.interpolate函数本身并没有可学习参数。它是一个用于调整输入张量尺寸的函数，通常用于图像的上采样或下采样操作。
F.interpolate函数根据提供的调整方式（如插值方法、缩放因子等），对输入张量进行插值操…
深度学习实战53-行业描述分类的实战应用:基于ALBERT模型和PyTorch框架的解析
大家好，我是微学AI，今天给大家介绍一下深度学习实战53-行业描述分类的实战应用:基于ALBERT模型和PyTorch框架的解析，在这篇文章中，我们将深入探讨如何使用ALBERT模型和PyTorch框架进行行业描述分类的实战应用。我们将首先介绍行业分类的应用场景，然后通过一些中文数据样例…
《动手学深度学习 Pytorch版》 7.7 稠密连接网络
7.7.1 从 ResNet 到 DenseNet
DenseNet 可以视为 ResNet 的逻辑扩展。
ResNet 将函数展开为 f ( x ) x g ( x ) f(\boldsymbol{x})xg(\boldsymbol{x}) f(x)xg(x)，即一个简单的线性项和一个复杂的非线性项。
若将 f f f 拓展成超过两部分，则 Dense…
现代卷积网络实战系列6：PyTorch从零构建ResNet训练MNIST数据集
1、MNIST数据集处理、加载、网络初始化、测试函数 2、训练函数、PyTorch构建LeNet网络 3、PyTorch从零构建AlexNet训练MNIST数据集 4、PyTorch从零构建VGGNet训练MNIST数据集 5、PyTorch从零构建GoogLeNet训练MNIST数据集 6、PyTorch从零构建ResNet训练MNIST数据集
1、ResNet …
如何导出论文高清图片
打开ps（我是ps2021） 将论文拖进ps，点击图像，选择想找的图片 左上角文件-导出-导出为 可以选择jpg格式，100%品质导出 得到高清大图
PyTorch实战：实现Cifar10彩色图片分类
目录
前言
一、Cifar10数据集
class torch.utils.data.Dataset torch.utils.data.DataLoader
二、定义神经网络
普通神经网络:
定义损失函数和优化器 训练网络-Net
CPU训练
模型准确率
编辑
GPU训练
训练网络-LeNet
模型准确率
点关注，防走丢&#x…
《动手学深度学习 Pytorch版》 5.6 GPU
5.6.1 计算设备
import torch
from torch import nntorch.device(cpu), torch.device(cuda:0) # cuda等价于cuda:0（只有一块显卡没法试别的块号）(device(typecpu), device(typecuda, index0))torch.cuda.device_count() # 查询可用GPU数量1def try_gp…
torch.stack() torch.repeat() torch.repeat_interleave() torch转置 详解
torch.stack((a,b),dimn)
把tensor按垂直方向堆起来
h1torch.tensor([1, 1, 1, 1])
h2torch.tensor([2, 2, 2, 2])
result torch.stack((h1,h2),dim0)
result,result.shape(tensor([[1, 1, 1, 1],[2, 2, 2, 2]]),torch.Size([2, 4]))把tesnsor按水平方向堆起来
h1torch.ten…
YOLOv8改进 | 利用训练好权重文件计算YOLOv8的FPS、推理每张图片的平均时间（科研必备）
一、本文介绍
本文给大家带来的改进机制是利用我们训练好的权重文件计算FPS，同时打印每张图片所利用的平均时间，模型大小（以MB为单位），同时支持batch_size功能的选择，对于轻量化模型的读者来说，本文的内容对你一定有帮助，可以清晰帮你展示出模型速度性能的提升以及轻量…
PyTorch中基础模块torch的详细介绍
torch 是 PyTorch 库的核心模块，提供了以下关键功能： 张量（Tensor）：类似于 NumPy 的 ndarray，但可以无缝地在 CPU 或 GPU 上运行，并且支持自动微分，是深度学习模型中数据的主要表示形…
【深度学习】pytorch 与 PyG 安装（pip安装）
【深度学习】pytorch 与 PyG 安装（pip安装） 一、PyTorch安装和配置（一）、安装 CUDA（二）、安装torch、torchvision、torchaudio三个组件（1）下载镜像文件（2）创建…
PyTorch 2.2 中文官方教程（二）
在 YouTube 上介绍 PyTorch
PyTorch 介绍 - YouTube 系列 原文：pytorch.org/tutorials/beginner/introyt.html 译者：飞龙 协议：CC BY-NC-SA 4.0 介绍 || 张量 || 自动微分 || 构建模型 || TensorBoard 支持 || 训练模型 || 模型理解
作者&a…
《动手学深度学习(PyTorch版)》笔记7.1
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
pytorch tensor维度变换
目录 1. view/reshape2. squeeze/unsqueeze3. expand 扩展4. repeat5 .t转置6. transpose7. permute 1. view/reshape
view(*shape) → Tensor 作用：类似于reshape，将tensor转换为指定的shape，原始的data不改变。返回的tensor与原始的tensor…
《动手学深度学习(PyTorch版)》笔记8.7
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
【PyTorch】改变张量(Tensor)形状操作
PyTorch深度学习总结
第二章 PyTorch中改变张量(Tensor)形状操作 文章目录 PyTorch深度学习总结一、前言二、改变张量形状 一、前言
上文讲解了张量生成和信息获取的知识，本文将针对张量的操作进行详细讲解。 二、改变张量形状
1、改变张量形状的函数总结&#x…
【PyTorch】张量(Tensor)的生成
PyTorch深度学习总结
第一章 Pytorch中张量(Tensor)的生成 文章目录 PyTorch深度学习总结一、什么是PyTorch？二、张量(Tensor)1、张量的数据类型2、张量生成和信息获取 总结 一、什么是PyTorch？ PyTorch是一个开源的深度学习框架，基于Python…
【PyTorch】PyTorch中张量(Tensor)切片操作
PyTorch深度学习总结
第三章 PyTorch中张量(Tensor)切片操作 文章目录 PyTorch深度学习总结一、前言二、获取张量中的元素1、切片（行、列数）方法2、torch.where()函数3、使元素置零的操作 一、前言
上文介绍了PyTorch中改变张量(Tensor)形状的操作&…
pytorch花式索引提取topk的张量
文章目录 pytorch花式索引提取topk的张量问题设定代码实现索引方法gather方法验证 补充知识expand方法gather方法randint pytorch花式索引提取topk的张量
问题设定 或者说，有一个(bs, dim, L)的大张量，索引的index形状为(bs, X)，想得到一个(…
【RT-DETR有效改进】反向残差块网络EMO | 一种轻量级的CNN架构（轻量化网络，参数量下降约700W）
👑欢迎大家订阅本专栏，一起学习RT-DETR👑
一、本文介绍
本文给大家带来的改进机制是反向残差块网络EMO，其的构成块iRMB在之前我已经发过了，同时进行了二次创新，本文的网络就是由iRMB组成的网络EMO，所以我们二次创新之后的iEMA也可以用于这个网络中，再次形成二次…
深入浅出 diffusion(2)：pytorch 实现 diffusion 加噪过程
我在上篇博客深入浅出 diffusion（1）：白话 diffusion 原理（无公式）中介绍了 diffusion 的一些基本原理，其中谈到了 diffusion 的加噪过程，本文用pytorch 实现下到底是怎么加噪的。
import torch…
[论文笔记] PAI-Megatron 源码解读之Mistral的滑动窗口sliding window
这段代码是 _make_causal_mask 函数中处理滑动窗口局部注意力的部分。这里的目的是创建一个额外的掩码，以便在自注意力机制中只考虑每个位置附近的一定数量的位置，而不是所有之前的位置。这通常用于减少计算复杂性和提高长序列处理的效率。 代码分析如下： diagonal = past_k…
PyTorch自动微分机制的详细介绍
PyTorch深度学习框架的官方文档确实提供了丰富的信息来阐述其内部自动微分机制。在PyTorch中，张量（Tensor）和计算图（Computation Graph）的设计与实现使得整个系统能够支持动态的、高效的自动求导过程。 具体来说&#…
Transformer实战-系列教程9：SwinTransformer 源码解读2（PatchEmbed类/BasicLayer类）
🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 SwinTransformer 算法原理 SwinTransformer 源码解读1（项目配置/SwinTr…
Ubuntu下Anaconda+PyCharm搭建PyTorch环境
这里主要介绍在condapytorch都正确安装的前提下，如何通过pycharm建立开发环境； Ubuntu下AnacondaPyCharm搭建PyTorch环境
系统环境：Ubuntu22.04 conda: conda 23.11.0 pycharm:如下 condapytorch的安装教程介绍，请点击这里&…
【开源训练数据集3】Top3人脸数据集及其使用方法-计算机视觉应用
目录 什么是人脸数据集？
Top 3 人脸数据集
CelebFaces Attributes (CelebA)数据集
Flickr-Faces-HQ (FFHQ) 数据集
野外标记面孔 (LFW)
使用先进的人脸数据集
CelebA
访问数据集
在 Pytorch 中使用 CelebA
在 Tensorflow 中使用 CelebA
Flickr-Faces-HQ 数据集 (FFH…
【PyTorch】PyTorch中张量(Tensor)拼接和拆分操作
PyTorch深度学习总结
第四章 PyTorch中张量(Tensor)拼接和拆分操作 文章目录 PyTorch深度学习总结前言一、张量拼接二、张量拆分 前言
上文介绍了PyTorch中张量(Tensor)的切片操作，本文主要介绍张量的拆分和拼接操作。 一、张量拼接
函数描述torch.cat()将张量按…
深度学习：Pytorch安装的torch与torchvision的cuda版本冲突问题与解决历程记录
今天不小心将conda环境中的一个pytorch环境中的torch包给搞混了，将其更新了一下，发生了一些问题：
当时运行了一下这个代码： pip install torchvision --upgrade
导致了环境中包的混乱： 只能说欲哭无泪，当…
深度学习主流开源框架：Caffe、TensorFlow、Pytorch、Theano、Keras、MXNet、Chainer
2.6 深度学习主流开源框架
表2.1 深度学习主流框架参数对比
框架关键词总结
框架关键词基本数据结构（都是高维数组）Caffe“在工业中应用较为广泛”，“编译安装麻烦一点”BlobTensorFlow“安装简单pip”TensorPytorch“定位：快…
图神经网络DGL框架，graph classification，多个且不同维度的node feature 训练
node feature 维度不同
我现在有许多不同的图要加入训练，每个图的节点特征维度不同，第一张图n_weight特征有10条数据，第二张图n_weight特征有15条数据，但是训练的时候，需要维度都对其，所以直接做0 padding…
Transformer实战-系列教程18：DETR 源码解读5（BackboneBase类/Backbone类）
🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类） …
pytorch 实现线性回归（深度学习）
一 查看原始函数 初始化
%matplotlib inline
import random
import torch
from d2l import torch as d2l
1.1 生成原始数据
def synthetic_data(w, b, num_examples):x torch.normal(0, 1, (num_examples, len(w)))y torch.matmul(x, w) bprint(x:, x)print(y:, y)y tor…
《Python 网络爬虫简易速速上手小册》第1章：Python 网络爬虫基础（2024 最新版）
文章目录 1.1 网络爬虫简介1.1.1 重点基础知识讲解1.1.2 重点案例：社交媒体数据分析1.1.3 拓展案例1：电商网站价格监控1.1.4 拓展案例2：新闻聚合服务 1.2 网络爬虫的工作原理1.2.1 重点基础知识讲解1.2.2 重点案例：股票市场数据采…
不能连接互联网的情况下如何安装pytorch
在没有互联网连接的情况下安装PyTorch，你可以采用离线安装的方法。这通常涉及到从有互联网连接的另一台计算机上下载PyTorch及其依赖项的安装包，然后将这些安装包转移到目标计算机上进行安装。以下是一个基本的步骤指南：
### 步骤1ÿ…
李沐《动手学深度学习》循环神经网络 经典网络模型
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 李沐《动手学深度学习》线性神经网络 softmax回归 李沐《动手学深度学习》多层感知机 模型概念和代码实现 李沐《…
注意pytorch的原地操作
常见的原地操作：nn.ReLu(inplaceTrue)
a torch.randn(2) # tensor([-0.3690, 0.0626])
b a.clone() # tensor([-0.3690, 0.0626])
c a # tensor([-0.3690, 0.0626])
relu nn.ReLu(inplaceTrue)情况1
out relu(a) # tensor([0.0000, 0.0626])
a # tensor([…
pytorch建模的三种方式
# 可以使用以下3种方式构建模型：
#
# 1，继承nn.Module基类构建自定义模型。
#
# 2，使用nn.Sequential按层顺序构建模型。
#
# 3，继承nn.Module基类构建模型并辅助应用模型容器进行封装(nn.Sequential,nn.ModuleList,nn.ModuleDict…
【深度学习】Pytorch教程（八）：PyTorch数据结构：2、张量的数学运算（6）：高维张量：乘法、卷积（conv2d~四维张量；conv3d~五维张量）
文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
Pytorch-RMSprop算法解析
关注B站可以观看更多实战教学视频：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)
Hi，兄弟们，这里是肆十二，今天我们来讨论一下深度学习中的RMSprop优化算法。
RMSprop算法是一种用于深度学习模型优化的自适应…
变分自编码器（VAE）PyTorch Lightning 实现
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…
PyTorch – 逻辑回归
data
首先导入torch里面专门做图形处理的一个库，torchvision，根据官方安装指南，你在安装pytorch的时候torchvision也会安装。
我们需要使用的是torchvision.transforms和torchvision.datasets以及torch.utils.data.DataLoader
首先DataLoa…
记录 | 验证pytorch-cuda是否安装成功
检测程序如下：
import torchprint(torch.__version__)
print(torch.cuda.is_available())
或者用终端 Shell，运行情况如下
从零实现softmax回归【基于Pytorch】
参考资料：沐神——动手学深度学习
import torch
import torchvision
from matplotlib import pyplot as plt
from torch.utils import data
from torchvision import transforms
from d2l import torch as d2l
from IPython import displaydef get_dataloader_work…
pytorch: ground truth similarity matrix
按照真实标签排序pair-wise相似度矩阵的Pytorch代码 本文仅作留档，用于输出可视化 Inputs: Ground-truths Y ∈ R n 1 \mathbf{Y}\in\mathbb R^{n\times 1} Y∈Rn1, Similarity matrix A ∈ R n n \mathbf{A}\in\mathbb R^{n\times n} A∈RnnOutputs: Block dia…
Pytorch实现的LSTM、RNN模型结构
一、LSTM模型 import torch
from torch import nn
import torchvision.datasets as dsets
import torchvision.transforms as transforms
import matplotlib.pyplot as plttorch.manual_seed(1)# Hyper Parameters
EPOCH 1 # 训练整批数据多少次, 为了节约时间, 我们…
基于minist数据集用VAE训练生成图片（VAE基础入门学习）
文章目录 参考的代码VAE介绍代码实现与解读代码块累计损失函数的变化迭代100次后生成的图像 参考的代码
复现的代码
VAE介绍 VAE是变分自编码器（Variational Auto-Encoder）的缩写。它是一种深度生成模型，由 Kingma 等人于 2014 年提出的基于…
pytorch 训练时raise EOFError EOFError
训练到一半时获取验证数据报错
报错代码
imgs next(iter(val_dataloader)) val_dataloader DataLoader(ImageDataset("data/%s" % opt.dataset_name, transforms_transforms_, unalignedTrue, mode"test"),batch_size5,shuffleTrue,num_workers2,)def …
pytorch里常用操作（持续更新）
对不起我脑子不太记事儿每次变换都得想想想所以干脆汇总一下算了，当然也有一些不是torch包里面的但是没有关系hhh 官方文档里有一堆不太常用的，这里整理的都是自己比较常用的
张量操作
torch.tensor：从Python列表或NumPy数组创建张量
torc…
PyTorch中DistributedDataParallel使用笔记
1. 基本概念
在使用DistributedDataParallel时有一些概率必须掌握
多机多卡含义world_size代表有几台机器，可以理解为几台服务器rank第几台机器，即第几个服务器local_rank某台机器中的第几块GPU
单机多卡含义world_size代表机器一共有几块GPUrank第几…
pytorch学习------实现文本情感分类
目录 目标一、案例介绍二、思路分析三、准备数据集3.1 基础Dataset的准备3.2 文本序列化 四、构建模型五、模型的训练和评估六、效果 目标
知道文本处理的基本方法能够使用数据实现情感分类的
一、案例介绍
本案例主要是学习word embedding这种常用的文本向量化的方法 现在我…
【深度学习框架格式转化】【CPU】Pytorch模型转ONNX模型格式流程详解【入门】
【深度学习框架格式转化】【CPU】Pytorch模型转ONNX模型格式流程详解【入门】 提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论 文章目录 【深度学习框架格式转化】【CPU】Pytorch模型转ONNX模型格式流程详解【入门】前言PyTorch模型环境搭建(CPU)安装onn…
扩散模型：DDPM代码的学习（基于minist数据集）
文章目录 序言一参考资料①代码来源②相关概念理解③公式推导及训练流程讲解④搜索问题的网站⑤模型运行的环境 二代码解读①模型②训练③测试 三主要训练过程的解析 序言
本文主要对一个基于minist数据集搭建的DDPM模型代码中各个模块的含义进行解析，初步记录了自…
配置pytorchGPU虚拟环境-python3.7
cuda版本的pytorch包下载地址戳这里 winR->输入cmd->输nvcc -V回车 cuda 11.0
输入以下命令来查找 CUDA 的安装路径： Windows: where nvcc 输入以下命令来查找 cuDNN 的版本号：
Windows: where cudnn* cuDNN 8.0
本机安装的是cuda 11.0&…
经过CNN、LSTM训练、预测，数据集的数据为什么会被打乱?以及基于pytorch框架代码实现打乱后的恢复
经过CNN、LSTM训练、预测，数据集的数据为什么会被打乱?
在使用CNN（卷积神经网络）和LSTM（长短期记忆网络）进行训练和预测时，数据集的数据被打乱是为了增加模型的泛化能力和减少过拟合的发生。
以下是一些…
pytorch的pixel_shuffle转tflite文件
torch.pixel_shuffle()是pytorch里面上采样比较常用的方法，但是和tensoflow的depth_to_space不是完全一样的，虽然看起来功能很像，但是细微是有差异的
def tf_pixelshuffle(input, upscale_factor):temp []depth upscale_factor *upscale_f…
pytorch gpu安装
cuda
https://blog.csdn.net/qq_51570094/article/details/124148671 https://blog.csdn.net/zxdd2018/article/details/127705627
cudnn
https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#installlinux-tar
更改cudnn
保证文件目录中只有一个解压后…
【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类（附代码）
文章目录 0. 前言1. Cifar10数据集1.1 Cifar10数据集下载1.2 Cifar10数据集解析 2. LeNet5网络2.1 LeNet5的网络结构2.2 基于PyTorch的LeNet5网络编码 3. LeNet5网络训练及输出验证3.1 LeNet5网络训练3.2 LeNet5网络验证 4. 完整代码4.1 训练代码4.1 验证代码 0. 前言 按照国际…
CycleGAN模型之Pytorch实战
一、CycleGAN基本介绍
1. CycleGAN论文：《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
2. 原文代码：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
3. 网传精简代码：https://github.com/aitorzip/PyTorch-CycleGAN …
安装配置deep learning开发环境
1. 下载安装anacondahttps://www.anaconda.com/download-success
vim ~/.condarcchannels: - bioconda
- https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
- https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaco…
![[PyTorch][chapter 57][WGAN-GP 代码实现]](https://img-blog.csdnimg.cn/1a227a6496cf4e3fb077aa12551839c9.png)
[PyTorch][chapter 57][WGAN-GP 代码实现]
前言： 下图为WGAN 的效果图： 绿色为真实数据的分布： 8个高斯分布 红色： 为随机产生的数据分布，跟真实分布基本一致 WGAN-GP：
1 判别器D: 最后一层去掉sigmoid 2 生成器G 和判别器D: loss不取log 3 损失函数…
Window Anaconda 安装pytorch 启用cuda 终究手段
1.首先你的电脑要有NVIDIA 的显卡.没有就走吧,你如果不是window ，也走吧，不一定教程管用。 2.然后要明白，有两种CUDA版本，一个叫运行时api，一个是驱动api 2.1 运行时cuda 版本查看 （是你跑深度学习模型或其…
LeakyReLU激活函数
nn.LeakyReLU 是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现。Leaky ReLU是一种修正线性单元，它在非负数部分保持线性，而在负数部分引入一个小的斜率（通常是一个小的正数），以防…
pytorch算力与有效性分析
pytorch Windows中安装深度学习环境参考文档机器环境说明3080机器 Windows11qt_env 满足遥感CS软件分割、目标检测、变化检测的需要gtrs 主要是为了满足遥感监测管理平台（BS）系统使用的，无深度学习环境内容swin_env 与 qt_env 基本一致od 用于…
FunASR语音识别GUI界面应用
前言
本文将介绍一个基于FunASR开发的语音识别界面应用，这个应用可以选择本地音频，也可以录音识别。支持多种音频格式和视频格式，可以对识别的结果加上时间戳做成字幕。
安装环境
安装Pytorch，根据自己机器的情况可以选择安装C…
安装torchtext遇到的坑及解决办法
刚开始秉着需要什么就pip install什么的原则直接pip install torchtext，结果： 把我这个环境打乱了，自作主张的删掉之前的很多包重新安装了其他版本的包而不是自适应的安装当前torch所对应的torchtext。因为这个环境比较重要也用在其他的工程…
目标识别项目实战：基于Yolov7-LPRNet的动态车牌目标识别算法模型(三)
前言
目标识别如今以及迭代了这么多年，普遍受大家认可和欢迎的目标识别框架就是YOLO了。按照官方描述，YOLOv8 是一个 SOTA 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性…
【yolov系列：yolov7改进添加SE注意力机制】
yolo系列文章目录 学习视频： YOLOV7改进-添加注意力机制_哔哩哔哩_bilibili 文章目录 yolo系列文章目录一、SE注意力机制是什么？二、yolov7改进添加SE注意力机制1.首先从github粘贴SE.py2.复制109行的conv3.在sppc加注意力机制 三、添加注意力机制在Conc…
【Python目标识别】目标检测的原理及常见模型的介绍
1 概述 目标检测（Object Detection）是计算机视觉领域的一个重要研究方向，其目的是在图像或视频中定位并识别出特定的物体。目标检测模型通常需要同时确定物体的位置和类别。在深度学习之前，目标检测算法主要基于传统计算机视觉方法…
AlphaPose Pytorch 代码详解（一）：predict
前言
代码地址：AlphaPose-Pytorch版
本文以图像 1.jpg（854x480）为例对整个预测过程的各个细节进行解读并记录
python demo.py --indir examples/demo --outdir examples/res --save_img1. YOLO
1.1 图像预处理
cv2读取BGR图像 img [480,…
Pytorch之SwinTransformer图像分类
文章目录 前言一、Swin Transformer1.Swin Transformer概览2.Patch Partition3.Patch Merging4.W-MSA5.SW-MSA(滑动窗口多头注意力机制)6.Relative Position bias(相对位置偏移)7.网络结构🥇Swin Transformer Block🥈Architecture 二、网络实现1.构建Eff…
【Python语义分割】语义分割的原理及常见模型的介绍
1 概述 语义分割是计算机视觉中的重要任务之一，其目的是将图像中的每个像素分配给特定的类别，从而实现对图像的精细分割。与目标检测不同，语义分割并不需要对物体进行位置和边界框的检测，而是更加注重对图像中每个像素的分类。随着…
变分自动编码器 （VAE）02/2 PyTorch 教程
一、说明 在自动编码器中，来自输入数据的信息被映射到固定的潜在表示中。当我们旨在训练模型以生成确定性预测时，这特别有用。相比之下，变分自动编码器（VAE）将输入数据转换为变分表示向量（顾名思义…
机器学习笔记 - GluonCV：基于MXNet/PyTorch + Kinetics400 + 各种先进网络的动作识别的预训练模型
一、简述 GluonCV 提供计算机视觉领域最先进 (SOTA) 深度学习算法的实现。它旨在帮助工程师、研究人员和学生快速制作产品原型、验证新想法并学习计算机视觉。 同时支持 PyTorch 和 MXNet。 GluonCV 提供了分类、检测、分割、姿势估计、动作识别、深度预测这几类的预训练模型，…
Pytorch中张量的维度扩张与广播操作示例
广播操作允许你对不同形状的张量执行逐元素操作，而无需显式循环。
一个关于分子坐标离散格点化的实战例子：
def cdists(mols, grid):Calculates the pairwise Euclidean distances between a set of molecules and a listof positions on a grid (uses…
【pytorch】模型的保存与加载|| Dataloader数据加载器
Pytorch模型保存与加载，并在加载的模型基础上继续训练
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
一、只保存参数
1. 保存
一般地，采用一条语句即可保存参数：
torch.save(model.s…
python中的range（）函数详解
range() 是 Python 内置的一个函数，用于生成一个整数序列。
range([start], [stop], [step])start、stop、step 分别表示序列的起始值、终止值和步长。start 和 step 是可选参数，如果不指定则默认为 0 和 1。
一、range（）传递不…
深度学习环境 | Linux下安装，卸载，查看pytorch版本
一 在Linux下安装pytorch
1 进入Linux环境以后
新建一个名为pytorch的虚拟环境，执行以下代码：
conda create -n pytorch python3.82 激活新建的pytorch虚拟环境，执行以下代码：
conda activate pytorch # conda版本较新使用这条…
pytorch 对图片进行归一化处理
如题，神经网络通常使用浮点数张量作为输入，我们要做的第一件事情就是将图片转化为浮点数，并且做归一化操作。
import torch
import imageio
import osdata_dirF:\\work\\deep_learning\\pytorch\\dlwpt-code-master\\data\\p1ch4\\image-cat…
ubuntu下yolov6 tensorrt模型部署
文章目录 ubuntu下yolov6 tensorrt模型部署一、Ubuntu18.04环境配置1.1 安装工具链和opencv1.2 安装Nvidia相关库1.2.1 安装Nvidia显卡驱动1.2.2 安装 cuda11.31.2.3 安装 cudnn8.21.2.4 下载 tensorrt8.4.2.41.2.5 下载仓库TensorRT-Alpha并设置 二、从yolov6源码中导出onnx文…
PyTorch 中张量运算广播
TLDR 右对齐，空补一，从左往右依维运算 [m] [x, y] [m x, m y] 正文
以如下 a b 两个 tensor 计算为例
a torch.tensor([[1],[2],[3],
])
b torch.tensor([[[1, 2, 3],],[[4, 5, 6],],[[7, 8, 9],],
])
# a.shape (3, 1)
# b.shape (3, 1, 3)首先…
使用hugging face开源库accelerate进行多GPU训练（单机多卡）时，在保存模型结构的时候出现的问题
目录 问题描述问题分析问题解决 问题描述
我在保存模型结构的时候，先获取模型参数，然后再保存，代码如下： 图示代码是在训练主循环中的：
这种情况下会出现报错：
nboundLocalError: UnboundLocalErrorloc…
Pytorch 快速参数权重初始化
定义一个函数：
这里比如要初始化2维卷积权重值，采用xaiver 数据分布，还有很多其他的数据分布可以探索
def weights_init(m):if isinstance(m, nn.Conv2d):xavier(m.weight.data)xavier(m.bias.data)
然后定义一个含2维卷积的网络ÿ…
【翻译】Efficient Data Loader for Fast Sampling-Based GNN Training on Large Graphs
转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn] 此内容为机器翻译的结果，若有异议的地方，建议查看原文。 机器翻译的一些注意点，比如： 纪元、时代 > epoch工人 > worker火车、培训、训练师 > train Effic…
《动手学深度学习 Pytorch版》 8.6 循环神经网络的简洁实现
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2lbatch_size, num_steps 32, 35
train_iter, vocab d2l.load_data_time_machine(batch_size, num_steps)8.6.1 定义模型
num_hiddens 256
rnn_layer nn.RNN(len(voca…
《动手学深度学习 Pytorch版》 8.4 循环神经网络
8.4.1 无隐状态的神经网络
对于无隐藏装态的神经网络来说，给定一个小批量样本 X ∈ R n d \boldsymbol{X}\in\mathbb{R}^{n\times d} X∈Rnd，则隐藏层的输出 H ∈ R n h \boldsymbol{H}\in\mathbb{R}^{n\times h} H∈Rnh 通过下式计算： …
PyTorch入门教学——简介与环境配置
一、简介
PyTorch是一个开源的Python机器学习库，其前身是2002年诞生于纽约大学的Torch。它是美国Facebook公司使用python语言开发的一个深度学习的框架。特点： 简洁 PyTorch的设计追求最少的封装，尽量避免重复造轮子。 简洁的设计带来的另外…
手部关键点检测3：Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集
手部关键点检测3：Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集
目录
手部关键点检测3：Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集
1. 前言
2.手部关键点检测(手部姿势估计)方法
(1)Top-Down(自上而下)方法
(2)Bot…
win10部署 Mistral-7B 文本生成模型
Mistral 7B
date : 2023年10月16日
人工智能创业公司Mistral AI以Apache 2.0授权开源Mistral 7B语言模型，Mistral 7B的特别之处在于其规模较小仅有73亿，但是在所有基准测试上，其表现都优于规模更大的语言模型Llama 2 13B，还具有…
《动手学深度学习》（pytorch版+mxnet版）2023最新
我又来推书了，这次分享的这本书可是重量级，目前已经被55个国家300所大学用于教学，同时受到了学术界与工业界的强烈推荐。
这本书就是李沐、阿斯顿张、立顿、斯莫拉四位大佬联合编写的《动手学深度学习》。本书面向中文读者，能运行…
【Note】CNN与现代卷积神经网络part3（附PyTorch代码）
文章目录 2 现代卷积神经网络2.1 批量规范化2.1.1 训练深层网络2.1.2 批量规范化层2.1.2.1 全连接层2.1.2.2 卷积层2.1.2.3 预测过程中的批量规范化 2.1.3 从零实现2.1.4 使用批量规范化层的 LeNet2.1.5 简明实现2.1.6 controversies（争议）2.1.7 Summary…
不同层设置不同学习率
使用预训练模型时，可能需要将 （1）预训练好的 backbone 的 参数学习率设置为较小值， （2）而backbone 之外的部分，需要使用较大的学习率。
from collections import OrderedDict
import torch.nn …
【Note】CNN与现代卷积神经网络part4（附PyTorch代码）
文章目录 2.2 残差网络（ResNet）2.2.1 函数类2.2.2 残差块2.2.3 ResNet模型2.2.4 训练模型2.2.5 Summary 本《CNN与现代卷积神经网络》Note系列会共分为4个part，本文为part4。本Markdown共4k字。 2.2 残差网络（ResNet） …
《动手学深度学习 Pytorch版》 7.5 批量规范化
7.5.1 训练深层网络
训练神经网络的实际问题： 数据预处理的方式会对最终结果产生巨大影响。 训练时，多层感知机的中间层变量可能具有更广的变化范围。 更深层的网络很复杂容易过拟合。
批量规范化对小批量的大小有要求，只有批量大小足够…
Pytorch搭建DTLN降噪算法
前面介绍了几种轻量级网路结构的降噪做法，本文介绍DTLN—一种时频双核心网络降噪做法。
AI-GruNet降噪算法
AI-CGNet降噪算法
AI-FGNet降噪算法
Pytorch搭建实虚部重建AI-GruNet降噪算法 一、模型结构
DTLN来自[2005.07551] Dual-Signal Transformation LSTM N…
WSL2的安装与配置（创建Anaconda虚拟环境、更新软件包、安装PyTorch、VSCode）
1. WSL2 安装 以管理员身份打开 PowerShell（“开始”菜单 >“PowerShell” >单击右键 >“以管理员身份运行”），然后输入以下命令： dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /a…
PyTorch入门教学——Transforms使用
1、Transforms简介
Transforms在是计算机视觉工具包torchvision下的包，常用于对图像进行预处理，提高泛化能力。具体有： 数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换和亮度、饱和度及对比…
深度学习 | Pytorch深度学习实践 （Chapter 10、11 CNN）
十、CNN 卷积神经网络 基础篇 首先引入 ——
二维卷积：卷积层保留原空间信息关键：判断输入输出的维度大小特征提取：卷积层、下采样分类器：全连接 引例：RGB图像（栅格图像） 首先，老师…
【PyTorch】深度学习实践 02 线性模型
深度学习的准备过程
准备数据集选择模型模型训练进行推理预测
问题
对某种产品花费 x 个工时，即可得到 y 收益，现有 x 和 y 的对应表格如下： x （hours） y（points）12243648
求花费4个工时可得…
LeNet（pytorch实现
LeNet
本文编写了一个简单易懂的LeNet网络，并在F-MNIST数据集上进行测试，允许使用GPU计算
在这里插入代码片
import torch
from torch import nn, optim
import d2lzh_pytorch as d2ldevice torch.device(cuda if torch.cuda.is_available() else cp…
torch.jit.trace与torch.jit.script
Script mode通过torch.jit.trace或者torch.jit.script来调用。这两个函数都是将python代码转换为TorchScript的两种不同的方法。
torch.jit.trace将一个特定的输入（通常是一个张量，需要我们提供一个input）传递给一个PyTorch模型，…
图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101）
图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101） 背景介绍2、 网络结构详解2.1 LarFOV效果分析2.2 DeepLab v1-LargeFOV 模型架构2.3 MSc（Multi-Scale，多尺度(预测)）2.3 以VGG16为特征提取骨干网络代码pytor…
TorchScript模型和普通PyTorch模型
文章目录 TorchScript模型和普通PyTorch模型普通的PyTorch模型（基于Python的序列化）:例程: TorchScript模型:例程:结论: TorchScript模型和普通PyTorch模型
PyTorch提供了两种主要的模型保存和加载机制，一种是基于Python的序列化，…
《动手学深度学习 Pytorch版》 10.4 Bahdanau注意力
10.4.1 模型
Bahdanau 等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现…
Pytorch与Onnx的转换与推理
Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。
一、pytorch模型保存/加载 有两种方式可用于保存/加载pytorch模型 1）文件…
pytorch中对nn.BatchNorm2d()函数的理解
pytorch中对BatchNorm2d函数的理解 简介计算3. Pytorch的nn.BatchNorm2d()函数4 代码示例 简介
机器学习中，进行模型训练之前，需对数据做归一化处理，使其分布一致。在深度神经网络训练过程中，通常一次训练是一个batch，…
Pytorch实战教程（二十七）-基于ResNet模型实现猫狗分类
0. 前言 从 VGG11 到 VGG19，不同之处仅在于网络层数，一般来说，神经网络越深，它的准确率就越高。但并非仅增加网络层数，就可以获得更准确的结果，随着网络层数的增加可能会出现以下问题：
梯度消失和爆炸：在网络层次过深的情况下，反向传播可能会面临梯度消失和爆炸的问题…
使用Pytorch的一些小细节（一）
文章目录 前言数据结构-张量max函数索引函数赋值函数拼接函数 前言
由于不经常动手写代码，所以对于python语言中的常见数据结构的用法也不是很熟悉，对于pytorch中的数据结构就更加不熟悉了。之前的代码基础是基于C语言的，属性都是自己定义&a…
Torch Hub 系列#2：VGG 和 ResNet
一、说明 在上一篇教程中，我们了解了 Torch Hub 背后的本质及其概念。然后，我们使用 Torch Hub 的复杂性发布了我们的模型，并通过相同的方式访问它。但是，当我们的工作要求我们利用 Torch Hub 上提供的众多全能模型之一时，会发生什么？ 在本教程中，我们将学习如何利用称为…
时间序列预测实战(十四)Transformer模型实现长期预测并可视化结果（附代码+数据集+原理介绍）
论文地址->Transformer官方论文地址
官方代码地址->暂时还没有找到有官方的Transformer用于时间序列预测的代码地址
个人修改地址-> Transformer模型下载地址CSDN免费
一、本文介绍
这篇文章给大家带来是Transformer在时间序列预测上的应用，这种模型最…
OpenMMlab导出yolov3的onnx模型并推理
手动导出
直接使用脚本
import torch
from mmdet.apis import init_detector, inference_detectorconfig_file ./configs/yolo/yolov3_mobilenetv2_8xb24-ms-416-300e_coco.py
checkpoint_file yolov3_mobilenetv2_mstrain-416_300e_coco_20210718_010823-f68a07b3.pth
mod…
Pytorch使用torch.utils.data.random_split拆分数据集,拆分后的数据集状况
对于这个API,我最开始的预想是从 猫1猫2猫3猫4狗1狗2狗3狗4 中分割出 猫1猫2狗4狗1 和 猫4猫3狗2狗3 ,但是打印结果和我预想的不一样
数据集文件的存放路径如下图 测试代码如下
import torch
import torchvisiontransform torchvision.transforms.Compose([torchvision.tran…
Python 训练集、测试集以及验证集切分方法：sklearn及手动切分
目录
方法一
方法二 需求目的：针对模型训练输入，按照6:2:2的比例进行训练集、测试集和验证集的划分。当前数据量约10万条。如果针对的是记录条数达上百万的数据集，可按照98:1:1的比例进行切分。
方法一：切分训练集和测试集&…
图像语义分割 pytorch复现DeepLab v1图像分割网络以及网络详解（骨干网络基于VGG16）
图像语义分割 pytorch复现DeepLab v1图像分割网络以及网络详解（骨干网络基于VGG16） 背景介绍2、 网络结构详解2.1 LarFOV效果分析 2.2 DeepLab v1-LargeFOV 模型架构2.3 MSc（Multi-Scale，多尺度(预测)）2.3 以VGG16为特…
【深度学习】使用Pytorch实现的用于时间序列预测的各种深度学习模型类
深度学习模型类 简介按滑动时间窗口切割数据集模型类CNNGRULSTMMLPRNNTCNTransformerSeq2Seq 简介
本文所定义模型类的输入数据的形状shape统一为 [batch_size, time_step，n_features]，batch_size为批次大小，time_step为时间步长，…
PyTorch入门学习（六）：神经网络的基本骨架使用
目录
一、引言
二、创建神经网络骨架
三、执行前向传播 一、引言
神经网络是深度学习的基础。在PyTorch中，可以使用nn.Module类创建自定义神经网络模型。本文将演示如何创建一个简单的神经网络骨架并执行前向传播操作。
二、创建神经网络骨架
首先，…
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用
代码：pytorch_model_train FairScale（你真…
PyTorch入门学习（八）：神经网络-卷积层
目录
一、数据准备
二、创建卷积神经网络模型
三、可视化卷积前后的图像 一、数据准备
首先，需要准备一个数据集来演示卷积层的应用。在这个示例中，使用了CIFAR-10数据集，该数据集包含了10个不同类别的图像数据，用于分类任务。…
PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/134463035 在配置算法项目时，因网络下载速度的原因，导致默认的 conda 与 pytorch 包安装缓慢，需要配置新的 co…
pytorch笔记：TRIPLETMARGINLOSS
1 介绍
创建一个衡量三元组损失的标准，给定输入张量 x1、x2 和 x3 以及一个大于0的间距值。这用于测量样本之间的相对相似性。一个三元组由a、p和n组成（锚点、正例和负例）。所有输入张量的形状都应为 (N,D) 2 基本使用方法
torch.nn.…
Pytorch L1,L2正则化
L1正则化和L2正则化是常用的正则化技术，用于在机器学习模型中控制过拟合。它们的主要区别在于正则化项的形式和对模型参数的影响。
L1正则化（Lasso正则化）：
正则化项形式：L1正则化使用模型参数的绝对值之和作为正则化…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割7（数据预处理）
在上一节：【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割6（数据预处理） 中，我们已经得到了与mhd图像同seriesUID名称的mask nrrd数据文件了，可以说是一一对应了。
并且，mask的文件，还根据结…
AIGC - Qwen大模型：Qwen-7B模型推理部署
硬件环境
作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑
恰好，在腾讯云看到了GN7的显示优惠活…
python之pytorch多进程
目录
1、创建并运行并行进程
2、使用队列（Queue）来共享数据
3、进程池
4、进程锁
5、比较使用多进程和使用单进程执行一段代码的时间消耗
6、共享变量 多进程是计算机科学中的一个术语，它是指同时运行多个进程，这些进程可以…
Pytorch 文本情感分类案例
一共六个脚本,分别是: ①generateDictionary.py用于生成词典 ②datasets.py定义了数据集加载的方法 ③models.py定义了网络模型 ④configs.py配置一些参数 ⑤run_train.py训练模型 ⑥run_test.py测试模型
数据集https://download.csdn.net/download/Victor_Li_/88486959?spm1…
深度学习网络模型 MobileNet系列MobileNet V1、MobileNet V2、MobileNet V3网络详解以及pytorch代码复现
深度学习网络模型 MobileNet系列MobileNet V1、MobileNet V2、MobileNet V3网络详解以及pytorch代码复现 1、DW卷积与普通卷积计算量对比DW与PW计算量普通卷积计算量计算量对比 2、MobileNet V1MobileNet V1网络结构MobileNet V1网络结构代码 3、MobileNet V2倒残差结构模块倒残…
pytorch 笔记：GRU
1 介绍
对于输入序列中的每个元素，每一层都计算以下函数： ht 是t时刻 的隐藏状态xt 是t时刻 的输入ht−1 是 t-1时刻 同层的隐藏状态或 0时刻 的初始隐藏状态rt,zt,nt 分别是重置门、更新门和新门。σ 是 sigmoid 函数∗ 是 Hadamard 乘积。…
Pytorch 缓解过拟合和网络退化
一 添加BN模块
BN模块应该添加 激活层前面
在模型实例化后，我们需要对BN层进行初始化。PyTorch中的BN层是通过nn.BatchNorm1d或nn.BatchNorm2d类来实现的。 bn nn.BatchNorm1d(20) # 对于1D输入数据，使用nn.BatchNorm1d；对于2D输入数据&am…
【PyTorch 卷积】实战自定义的图片归类
前言 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，它通过卷积层、池化层、全连接层等结构，可以有效地处理如时间序列和图片数据等。关于卷积的概念网络上也比较多，这里就不一一描述了。…
【深度学习】pytorch——Tensor（张量）详解
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ pytorch——Tensor 简介创建Tensortorch.Tensor( )和torch.tensor( )的区别torch.Tensor( )torch.tensor( ) tensor可以是一个数（标量）、一维数组（向量）、二维数组&…
博文总结：交叉熵损失函数与标签平滑
文章目录 基本概念交叉熵损失函数Pytorch代码实现参考文献 李宏毅机器学习2023作业04Self-attention、李宏毅机器学习2023作业03CNN和李宏毅机器学习2023作业02Classification都是分类问题，都涉及到了交叉熵损失函数以及起正则作用的标签平滑技巧，本次博…
【深度学习】【pytorch】对卷积层置零卷积核进行真实剪枝
最近需要对深度学习模型进行部署,因此需要对模型进行压缩,博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论 文章目录 前言卷积层剪枝总结 前言
深度学习剪枝(Pruning)是一种用于减少神经网络模型大小、减少计算量和提高推理效率的技术，通过去除神经…
计算机视觉的应用19-基于pytorch框架搭建卷积神经网络CNN的卫星地图分类问题实战应用
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用19-基于pytorch框架搭建卷积神经网络CNN的卫星地图分类问题实战应用。随着遥感技术和卫星图像获取能力的快速发展，卫星图像分类任务成为了计算机视觉研究中一个重要的挑战。为了促进这一…
module ‘d2l.torch‘ has no attribute ‘train_ch3‘
解决方法：
方法1： 如果没有安装d2l，请安装 详细步骤见安装d2l 方法2： 先卸载旧的版本
pip uninstall d2l再下载新的版本，需要以管理员身份运行下载指令
pip install d2l0.17.5 --user完美解决！ ☺☺☺☺…
生成模型常见损失函数Python代码实现+计算原理解析
前言
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法…
Pytorch图像模型转ONNX后出现色偏问题
本篇记录一次从Pytorch图像处理模型转换成ONNX模型之后，在推理过程中出现了明显色偏问题的解决过程。
问题描述：原始pytorch模型推理正常，通过torch.onnx.export()函数转换成onnx之后，推理时出现了比较明显的颜色偏差。
原始模型…
Pytorch网络模型训练
现有网络模型的使用与修改
vgg16_false torchvision.models.vgg16(pretrainedFalse) # 加载一个未预训练的模型
vgg16_true torchvision.models.vgg16(pretrainedTrue)
# 把数据分为了1000个类别print(vgg16_true)
以下是vgg16预训练模型的输出
VGG((features): S…
pytorch与cudatoolkit,cudnn对应关系及安装相应的版本
文章目录 一.cuda安装二、nvidia 驱动和cuda runtime 版本对应关系三、安装cudatoolkit,cudnn对应版本四、cuda11.2版本的对应安装的pytorch版本及安装五、相关参考 一.cuda安装
1.确定当前平台cuda可以安装的版本 安装好显卡驱动后，使用nvidia-smi命令可以查看这个…
2 任务2： 使用趋动云GPU进行猫狗识别实践
使用趋动云GPU进行猫狗识别实践 1 创建项目2 初始化开发环境3 调试代码4 提交离线任务5 结果集存储与下载 使用趋动云提供的免费GPU，进行猫狗识别实践。 虽然例程里面提供的是基于tensorflow的，但是你也可以使用pytorch的代码 使用这个平台的一个优点就是…
Win10系统下torch.cuda.is_available()返回为False的问题解决
Q: Win10系统下torch.cuda.is_available()返回为False
(l2) D:\opt\l2>pythonPython 3.10.12 | packaged by conda-forge | (main, Jun 23 2023, 22:34:57) [MSC v.1936 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or &q…
TypeError: list indices must be integers or slices, not tuple 错误原因解决方法
运行下列代码时报错TypeError: list indices must be integers or slices, not tuple
segmented_objects[:, :, 3:6] - np.expand_dims(mean_rgb, 0)原因: [:, :, 3:6]操作对torch.tensor合法, 对list非法. segmented_objects应当是一个torch.tensor.
CNN入门实战：猫狗分类
前言 CNN（Convolutional Neural Network，卷积神经网络）是一种深度学习模型，特别适用于处理图像数据。它通过多层卷积和池化层来提取图像的特征，并通过全连接层进行分类或回归等任务。CNN在图像识别、目标检测、图像分割…
【Adversarial Robustness Toolbox (ART)】对抗性防御工具
对抗性鲁棒性工具集 ART
用于机器学习安全性的Python库。ART 由 Linux Foundation AI & Data Foundation (LF AI & Data)。 ART提供的工具可 帮助开发人员和研究人员针对以下方面捍卫和评估机器学习模型和应用程序： 逃逸，数据污染，模…
conda环境下version libcublasLt.so.11 not defined问题解决
1 问题描述
运行模型训练，错误信息如下：
Traceback (most recent call last):File "/opt/Bert-VITS2/./text/chinese_bert.py", line 3, in <module>import torchFile "/root/anaconda3/envs/vits/lib/python3.9/site-packages/t…
pytorch_神经网络构建5
文章目录 生成对抗网络自动编码器变分自动编码器重参数GANS自动编码器变分自动编码器gans网络Least Squares GANDeep Convolutional GANs 生成对抗网络
这起源于一种思想,假如有一个生成器,从原始图片那里学习东西,一个判别器来判别图片是真实的还是生成的, 假如生成的东西能以…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割5（训练篇）
在本系列的开篇，就对整个项目训练所需要的所有模块都进行了一个简要的介绍，尤其是针对训练中需要引入的各个结构，进行一个串联操作。
而在之前的数据构建篇和网络模型篇中，都对其中的每一个组块进行了分别的验证，预先在未开始训练前，检验其中的正确性，避免到训练时候，…
ubuntu, nvidia driver, cuda, cudnn， pytorch-gpu版本安装
文章目录 1.常用指令1.1查看cpu是intel还是amd:1.2.查看ubuntu版本1.3.查看架构1.4.查看已安装的nvidia驱动1.5.进入tty模式 2.安装ubuntu22.04 和 nvidia 驱动3.ubuntu 安装 anaconda4.安装pytorch gpu版本5.安装完整版cuda 和 cudnn6.nvidia-driver, cuda-toolkit, cudnn 1.常…
Pytorch实战教程（一）-神经网络与模型训练
0. 前言
人工神经网络 (Artificial Neural Network, ANN) 是一种监督学习算法，其灵感来自人类大脑的运作方式。类似于人脑中神经元连接和激活的方式，神经网络接受输入，通过某些函数在网络中进行传递，导致某些后续神经元被激活，从而产生输出。函数越复杂，网络对于输入的数…
pytorch搭建squeezenet网络的整套工程（升级版）
上一篇当中，使用pytorch搭建了一个squeezenet，效果还行。但是偶然间发现了一个稍微改动的版本，拿来测试一下发现效果会更好，大概网络结构还是没有变，还是如下的第二个版本： 具体看网络结构代码：…
深度学习之pytorch第一课
学习使用pytorch，然后进行简单的线性模型的训练与保存 学习代码如下：
import numpy as np
import torch
import torch.nn as nn
x_value [i for i in range(11)]
x_train np.array(x_value,dtypenp.float32)
print(x_train.shape)
x_train x_train.r…
一些经典的神经网络（第18天）
1. 经典神经网络LeNet
LeNet是早期成功的神经网络； 先使用卷积层来学习图片空间信息 然后使用全连接层来转到到类别空间
【通过在卷积层后加入激活函数，可以引入非线性、增加模型的表达能力、增强稀疏性和解决梯度消失等问题，从而提高卷积…
Pytorch自定义数据集模型完整训练流程
文章目录 Pytorch模型自定义数据集训练流程1、任务描述2、导入各种需要用到的包3、分割数据集4、将数据转成pytorch标准的DataLoader输入格式5、导入预训练模型，并修改分类层6、开始模型训练7、利用训好的模型做预测 Pytorch模型自定义数据集训练流程
我们以kaggle…
【已解决】ValueError: Found array with dim 4. TSNE expected ＜= 2.
问题描述 Traceback (most recent call last): File "/home/visionx/nickle/temp/SimCLR/linear_evaluation.py", line 229, in <module> ).fit_transform(all_nodes_unnormalized_scores) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File &…
torch.cat()、 torch.add()、torch.subtract()、torch.subtract()和torch.div()函数详解和示例
本文通过原理和示例对torch.cat()、 torch.add()、torch.subtract()、torch.subtract()、torch.div()和torch.linalg.solve() 函数进行详解，以帮助大家理解和使用。 目录 torch.cat()函数torch.add()函数torch.subtract()函数逐元素减法示例矩阵减法示例 torch.mul…
![[pytorch]设备选择以及卷积神经网络的应用](https://img-blog.csdnimg.cn/3887d0791cc64b44acf33e72597c4a0b.png)
[pytorch]设备选择以及卷积神经网络的应用
0.写在前面:
首先这篇文章还没写完,因为今天要尝试对我之前的一个框架做一个简单的更新迭代,所以目前先更新这么多. 1.关于设备的选择
首先,目前的大多数电脑都是自带一些GPU(图形计算单元,在这里被称之为cuda), 需要安装相关的驱动才能正常使用这些设备和调用他们的具体情况…
pytorch-gpu（Anaconda3+cuda+cudnn）
文章目录 下载Anaconda3安装，看着点next就行比较懒所以自动添加path测试 cuda安装的时候不能改路径如果出现报错，关闭杀毒软件一直下一步就好取消勾选“CUDA”中的“Visual Studio Intergration”一直下一步即可测试安装成功 cudnn解压后将这三个文件夹复…
向量矩阵范数pytorch
向量矩阵范数pytorch 矩阵按照某个维度求和（dim就是shape数组的下标）1. torch1.1 Tensors一些常用函数 一些安装问题cd进不去不去目录PyTorch里面_表示重写内容 在默认情况下，PyTorch会累积梯度，我们需要清除之前的值 范数是向量或…
《RT-DETR魔术师》专栏介绍 CSDN独家改进创新实战 专栏目录
RT-DETR魔术师专栏介绍：
https://blog.csdn.net/m0_63774211/category_12497375.html
✨✨✨魔改创新RT-DETR
🚀🚀🚀引入前沿顶会创新（CVPR2023，ICCV2023等），助力RT-DETR
&#…
【深度学习】pytorch——常用工具模块
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 深度学习专栏链接： http://t.csdnimg.cn/dscW7 pytorch——常用工具模块 数据处理 torch.utils.data模块DatasetDataLoadersamplertorch.utils.data的使用 计算机视觉工具包 torchvisiontorchvision.d…
Pytorch多GPU并行训练: DistributedDataParallel
1 模型并行化训练
1.1 为什么要并行训练
在训练大型数据集或者很大的模型时一块GPU很难放下，例如最初的AlexNet就是在两块GPU上计算的。并行计算一般采取两个策略：一个是模型并行，一个是数据并行。左图中是将模型的不同部分放在不同GPU上进…
【AI】Pytorch神经网络分类初探
Pytorch神经网络分类初探
1.数据准备
环境采用之前创建的Anaconda虚拟环境pytorch，为了方便查看每一步的返回值，可以使用Jupyter Notebook来进行开发。首先把需要的包导入进来
import torch
from torch import nn
from torch.utils.data import DataL…
pytorch中Conv1d、Conv2d与Conv3d详解
1 卷积介绍
1.1 什么是卷积
卷积（convolution），是一种运算，你可以类比于加，减，乘，除，矩阵的点乘与叉乘等等，它有自己的运算规则，卷积的符号是星号*。表达式…
YOLOv8改进 | 2023 | 给YOLOv8换个RT-DETR的检测头（重塑目标检测前沿技术）
一、本文介绍
本文给大家带来是用最新的RT-DETR模型的检测头去替换YOLOv8中的检测头。RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，将…
学习pytorch16 现有网络模型的使用和修改
现有网络模型的使用和修改 官网 [https://pytorch.org/](https://pytorch.org/)torchvison 相关model1. 图像常用vgg16模型 【vgg19也常用】2. ImageNet数据集太大 无法代码下载 kaggle网址下载3. 代码4. 执行结果 官网 https://pytorch.org/ torchvison 相关model
1. 图像常用…
Ubuntu Server 20.04.6下Anaconda3安装Pytorch
环境
Ubuntu 20.04.6 LTS Anaconda3-2023.09-0-Linux-x86_64.sh conda 23.7.4 Pytorch 1.11.0
安装
先创建一个工作环境，环境名叫lia：
conda create -n lia python3.8环境的使用方法如下：
conda activate lia # 激活环境
conda deactiv…
Pytorch部分报错问题
一、存在问题
1.链接库报错
问题报错：undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12
2.GPU不能使用
问题报错：在torch安装后测试gpu是否可用
torch.cuda.is_available()
false
返回false
问题分析：
可能是…
pytorch 中的dim 的作用范围
1. 二维矩阵时
不同的运算， dim 的作用域都是一样的思想； 当数据是二维矩阵时， 可以按照下面的思想理解： 对于矩阵： dim0 按列操作（沿列向下）。 dim1 按行操作（跨行）。 …
PyTorch：张量与矩阵
PyTorch 是一个基于 Python 的科学计算包，专门针对深度学习研究，提供了丰富的工具和库。在 PyTorch 中，张量（tensor）是深度学习的核心数据结构，它可以看作是可以进行自动微分的多维数组。张量不仅可以代表标…
深度学习（一）：Pytorch之YOLOv8目标检测
1.YOLOv8 2.模型详解
2.1模型结构设计 和YOLOv5对比： 主要的模块： ConvSPPFBottleneckConcatUpsampleC2f Backbone ----->Neck------>head Backdone 1.第一个卷积层的 kernel 从 6x6 变成了 3x3 2. 所有的 C3 模块换成 C2f，可以发现…
【PyTorch】（二）加载数据集
文章目录 1. 创建数据集1.1. 直接继承Dataset类1.2. 使用TensorDataset类 2. 加载数据集3. 将数据转移到GPU 1. 创建数据集
主要是将数据集读入内存，并用Dataset类封装。
1.1. 直接继承Dataset类
必须要重写__getitem__方法，用于根据索引获得相应样本…
Pytorch报错 RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR
一、问题产生背景
将线上V100显卡运行的lama图片去水印服务 docker 容器迁移到线下 4090 显卡上运行；本以为只要把docker容器运行起来就大功告成，没想到却抛了错误：
>>> import torch
>>> torch.fft.rfft(torch.randn(10…
【Python】np.save()和np.load()函数详解和示例
本文通过函数原理和运行示例，对np.save()和np.load()函数进行详解，以帮助大家理解和使用。 更多Numpy函数详解和示例，可参考
【Python】Numpy库近50个常用函数详解和示例，可作为工具手册使用 目录 np.save （ÿ…
V100 配置 Scanpy + Scvi + Pytorch
V100配置 Scanpy Scvi Pytorch 创建虚拟环境安装基础包安装 Scanpy安装 Scvi安装 GPU 版本 Pytorch 创建虚拟环境
conda create -n name python3.8
conda activate name安装基础包
conda install numpy安装 Scanpy
conda install scanpy安装 Scvi
conda install scvi-too…
神经网络常用归一化和正则化方法解析（二）
🎀个人主页： https://zhangxiaoshu.blog.csdn.net 📢欢迎大家：关注🔍点赞👍评论📝收藏⭐️，如有错误敬请指正! 💕未来很长，值得我们全力奔赴更美好的生活&…
![[PyTorch][chapter 63][强化学习-QLearning]](https://img-blog.csdnimg.cn/933bd586568f494fa86a22caa39a6652.png)
[PyTorch][chapter 63][强化学习-QLearning]
前言： 这里结合走迷宫的例子,重点学习一下QLearning迭代更新算法 0,1,2,3,4 是房间，之间绿色的是代表可以走过去。
5为出口 可以用下图表示 目录： 策略评估 策略改进 迭代算法 走迷宫实现Python 一 策略评估 强化学习最终是为了…
基于PyTorch搭建你的生成对抗性网络
前言
你听说过GANs吗？还是你才刚刚开始学？GANs是2014年由蒙特利尔大学的学生 Ian Goodfellow 博士首次提出的。GANs最常见的例子是生成图像。有一个网站包含了不存在的人的面孔，便是一个常见的GANs应用示例。也是我们将要在本文中进行分享的…
pytorch.nn.Conv1d详解
通读了从论文中找的代码，终于找到这个痛点了！ 以下详解nn.Conv1d方法 1 参数说明
in_channels(int) – 输入信号的通道。
out_channels(int) – 卷积产生的通道。
kernel_size(int or tuple) - 卷积核的尺寸，经测试后卷积核的大小应为in_cha…
目标检测—YOLO系列(二 ) 解读论文与复现代码YOLOv1 PyTorch
精读论文
前言
从这篇开始，我们将进入YOLO的学习。YOLO是目前比较流行的目标检测算法，速度快且结构简单，其他的目标检测算法如RCNN系列，以后有时间的话再介绍。
本文主要介绍的是YOLOV1，这是由以Joseph Redmon为首的…
Pytorch reshape用法
这里-1是指未设定行数，程序自动计算，所以这里-1表示任一正整数
example
reshape(-1, 1) 表示（任意行，1列），4行4列变为16行1列reshape(1, -1) 表示（1行，任意列）…
【笔记 Pytorch】模型网络结构、网络参数可视化
文章目录 查看网络结构打印方式torchsummary 方式（输入格式不好控制）print方式 （简便，存在输出顺序与执行顺序不一致的问题） 可视化方式HiddenLayerPytorchVIZtensorboardX（会存在一些版本的匹配问题&#…
（二）Pytorch快速搭建神经网络模型实现气温预测回归(代码+详细注解)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、数据集二、导入数据以及展示部分1.导入数据集以及对数据集进行处理2.展示数据（看看就好） 三（1）、搭建网络进…
2.2 调用星火大模型的API
调用星火大模型的API 1 申请API调用权限：2 调用原生星火 API3 统一API调用方式 项目仓库地址：https://github.com/datawhalechina/llm-universe
讯飞星火认知大模型，由科大讯飞于2023年5月推出的中文大模型，也是国内大模型的代表…
【深度学习实验】网络优化与正则化（六）：逐层归一化方法——批量归一化、层归一化、权重归一化、局部响应归一化
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、优化算法0. 导入必要的库1. 随机梯度下降SGD算法a. PyTorch中的SGD优化器b. 使用SGD优化器的前馈神经网络 2.随机梯度下降的改进方法a. 学习率调整b. 梯度估计修正 3. 梯度估计修正：动量法Momen…
【pytorch深度学习 应用篇02】训练过程可视化
参考
安装相关库
pip install tensorboardX
pip install tensorboard训练代码
from tensorboardX import SummaryWriter
logger SummaryWriter(log_dir"data/log")# 获取优化器和损失函数
optimizer torch.optim.Adam(MyConvNet.parameters(), lr3e-4)
loss_fun…
【LSTM】北京pm2.5 天气预测--pytorch版本,有代码可以跑通-LSTM回归问题，工程落地一网打尽
文章目录 前言1. 知识理解1.1 核心理解1.2 原理1.2.1 图解LSTM1.2.1 分词1.2.1 英语的词表示1.2.2 中文的词表示1.2.3 构建词表 2. 工程代码2.1 数据预处理2.2 数据集&模型构建2.3 模型训练2.4 保持模型&加载模型&预测 前言
LSTM 少分析原理，更强调工程…
PyTorch多GPU训练时同步梯度是mean还是sum?
PyTorch 通过两种方式可以进行多GPU训练: DataParallel, DistributedDataParallel. 当使用DataParallel的时候, 梯度的计算结果和在单卡上跑是一样的, 对每个数据计算出来的梯度进行累加. 当使用DistributedDataParallel的时候, 每个卡单独计算梯度, 然后多卡的梯度再进行平均.…
第十二章 pytorch中使用tensorboard进行可视化(工具)
PyTorch 从 1.2.0 版本开始，正式自带内置的 Tensorboard 支持了，我们可以不再依赖第三方工具来进行可视化。
tensorboard官方教程地址：https://github.com/tensorflow/tensorboard/blob/master/README.md
1、tensorboard 下载
step 1 此次…
时序预测 | Pytorch实现TCN-Transformer的时间序列预测
时序预测 | Pytorch实现TCN-Transformer的时间序列预测 目录 时序预测 | Pytorch实现TCN-Transformer的时间序列预测效果一览基本介绍程序设计 效果一览 基本介绍 基于TCN-Transformer模型的时间序列预测，可以用于做光伏发电功率预测，风速预测࿰…
ubuntu18.04配置cuda+cudnn+tensorrt+anconda+pytorch-gpu+pycharm
一、显卡驱动安装 执行nvidia-smi查看安装情况 二、cuda安装 cuda官网下载cuda_11.6.2_510.47.03_linux.run，安装执行
sudo sh cuda_11.6.2_510.47.03_linux.run提升安装项，驱动不用安装，即第一项（Driver）ÿ…
「torch.cosine_smilarity() = 0」引发的关于cpu与gpu精度问题的探讨
前言：2023年11月21日下午16:00 许，本篇博客记录由「torch.cosine_smilarity()计算余弦相似度计算结果为0」现象引发的关于 CPU 与 GPU 计算精度的探索。 事情的起因是，本人在使用 torch.cosine_smilarity() 函数计算GPU上两个特征的余弦相似度…
使用Pytorch实现linear_regression
使用Pytorch实现线性回归
# import necessary packages
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt# Set necessary Hyper-parameters.
input_size 1
output_size 1
num_epochs 60
learning_rate 0.001# Define a Toy datas…
【Python】【Torch】神经网络中各层输出的特征图可视化详解和示例
本文对神经网络各层特征图可视化的过程进行运行示例，方便大家使用，有助于更好的理解深度学习的过程，尤其是每层的结果。
神经网络各层特征图可视化的好处和特点如下：
可视化过程可以了解网络对图像像素的权重分布，可…
pytorch训练出现的bug
训练过后发现.csv文件左侧出现了几列unname和一列0，1，2。这个时候在训练就会从unname那一列开始训练。我们需要把这几列删除，之后再重新训练
第十八章 解读pytorch优化器与学习率设置(工具)
简介与解读基本概念
学习率对于模型训练效果来说相当重要。
学习率过低会导致学习速度太慢，学习率过高又容易导致难以收敛。
因此，很多炼丹师都会采用动态调整学习率的方法。刚开始训练时，学习率大一点，以加快学习速度…
基于PyQT5的图像分类网络训练平台
1.主界面 2.选择数据集路径
里面包含两个文件夹 train和val
3.选择类别标签
以txt为结尾
4.训练基本设置
包括输入图像大小、batch size、轮次、学习率等
5.训练高级设置
是否进行标签平滑、图像增强操作
6.选择训练日志输出地址
为一个文件夹
7.选择训练好的模…
【深度学习实验】图像处理（二）：PIL 和 PyTorch（transforms）中的图像处理与随机图片增强
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入需要的工具包1. PIL图像处理a. 生成绿色和蓝色图像b. 缩放和合成图像c 在合成图像上添加文字d. 展示并保存图像 2. PIL随机图像增强a. 定义随机图像增强函数b. 实验结果展示 3. PyTorch&…
Pytorch深度学习实战2-1：详细推导Xavier参数初始化(附Python实现)
目录 1 参数初始化2 Xavier参数初始化原理2.1 前向传播阶段2.2 反向传播阶段2.3 可视化思考 3 Python实现 1 参数初始化
参数初始化在深度学习中起着重要的作用。在神经网络中，参数初始化是指为模型中的权重和偏置项设置初始值的过程。合适的参数初始化可以帮助模型…
pytorch导出rot90算子至onnx
如何导出rot90算子至onnx 1 背景描述2 等价替换2.1 rot90替换(NCHW)2.2 rot180替换(NCHW)2.3 rot270替换(NCHW) 3 rot导出ONNX 1 背景描述
在部署模型时，如果某些模型中或者前后处理中含有rot90算子，但又希望一起和模型导出onnx时，可能会遇到…
【图像分割】【深度学习】PFNet官方Pytorch代码-PFNet网络FM聚焦模块解析
【图像分割】【深度学习】PFNet官方Pytorch代码-PFNet网络FM聚焦模块解析 文章目录 【图像分割】【深度学习】PFNet官方Pytorch代码-PFNet网络FM聚焦模块解析前言聚焦模块 Focus Module上下文探索块 CE Block总结 前言
在详细解析PFNet代码之前，首要任务是成功运行…
U-Net代码复现--更新中
本文记录自己的学习过程，内容包括： 代码解读：Pytorch-UNet 深度学习编程基础：Pytorch-深度学习（新手友好） UNet论文解读：医学图像分割：U_Net 论文阅读 数据：https://hack…
![【问题解决！】OSError: [WinError 1455] 页面文件太小，无法完成操作。Error loading “c:\Anaconda3\lib](https://img-blog.csdnimg.cn/direct/eab3b7cdacb24c23a81eaed03af24db5.png)
【问题解决！】OSError: [WinError 1455] 页面文件太小，无法完成操作。Error loading “c:\Anaconda3\lib
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 问题描述问题原因二、解决方法 问题描述
在使用pytorch跑深度学习的时候报错OSError: [WinError 1455] 页面文件太小，无法完成操作。Error loading “c…
anaconda换源安装pytorch(附带bug解决办法)
1.安装anaconda
如何安装anaconda可以看这篇文章:如何安装anaconda
2.换源安装pytorch:
首先进入到pytorch官网，选对好参数之后复制命令进入到anaconda prompt即可: 然后进入自己的环境之后输入该命令(即conda install …)，则可以进行下载。下载完成…
使用Pytorch从零开始构建扩散模型-DDPM
知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II 引言
去噪…
【pytorch】从yolo的make_grid理解torch.meshgrid、torch.stack
文章目录 简述1、torch.meshgrid 创建行列坐标2、torch.stack 结合行列坐标3、通过view函数扩展维度 简述
yolo检测 make_grid创建网格代码如下，那么什么是torch.meshgrid?
def _make_grid(nx20, ny20):yv, xv torch.meshgrid([torch.arange(ny), torch.arange(…
torch报错AssertionError: Torch not compiled with CUDA enabled解决方法
参考： https://blog.csdn.net/m0_46948660/article/details/129205116
编程环境： windows11， conda
报错处理：
进入环境：
conda activate xxx安装torch：
conda install torch引入及测试：
imp…
（三）Pytorch快速搭建卷积神经网络模型实现手写数字识别(代码+详细注解)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言Q1：卷积网络和传统网络的区别Q2:卷积神经网络的架构Q3:卷积神经网络中的参数共享，也是比传统网络的优势所在4、 具体的实现代码网络搭建…
Pytorch：torch.Generator（）
PyTorch 通过 torch.Generator 类来操作随机数的生成
1. 默认的随机数生成器
import torch# 设置默认的随机数种子
torch.manual_seed(0)# 查看默认的随机数种子
torch.initial_seed()2. 指定 torch.Generator随机数生成器
g torch.Generator()
torch.Generator 实例的方法…
ubuntu系统进入休眠后cuda初始化报错
layout: post # 使用的布局（不需要改） title: torch.cuda.is_available()报错 # 标题 subtitle: ubuntu系统进入休眠后cuda初始化报错 #副标题 date: 2023-11-29 # 时间 author: BY ThreeStones1029 # 作者 header-img: img/about_bg.jpg #这篇文章标题背…
[PyTorch][chapter 3][李宏毅深度学习-偏差,方差,过拟合,欠拟合]
前言： 这章的目的主要是通过诊断错误的来源,通过错误的来源去优化,挑选模型。
通过本章掌握 过拟合(overfitting)和欠拟合(underfitting)出现原因及解决方案. 目录： 1 概述 2 方差,偏差现象 3 过拟合和欠拟合 4 模型选择 5 概率论回顾 一 概…
关于大模型在文本分类上的尝试
文章目录 前言所做的尝试总结前言
总共25个类别，在BERT上的效果是48%，数据存在不平衡的情况，训练数据分布如下： 训练数据不多，4000左右
所做的尝试
1、基于 Qwen-14b-base 做Lora SFT，Loss忘记记录
准确率在68%左右
Lora配置
class LoraArguments:lora_r: int = 64…
详细介绍torch中的from torch.utils.data.sampler相关知识
PyTorch中的torch.utils.data.sampler模块提供了一些用于数据采样的类和函数，这些类和函数可以用于控制如何从数据集中选择样本。下面是一些常用的Sampler类和函数的介绍：
Sampler基类： Sampler是一个抽象类，它定义了一个__iter_…
【pytorch】深度学习入门一：pytorch的安装与配置（Windows版）
请支持原创，认准DannisTang（tangweixuan1995foxmail.com） 文章目录 第〇章 阅读前提示第一章 准备工作第一节 Python下载第二节 Python安装第三节 Python配置第四节 Pycharm下载第五节 Pycharm安装第六节 CUDA的安装 第二章 Anaconda安装与配…
使用pytorch从零开始实现迷你GPT
生成式建模知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II…
nn.AdaptiveAvgPool2d(output_size)输入和输出怎么回事？
前言
nn.AdaptiveAvgPool2d(output_size) 函数作用：自适应进行平均池化。不用管输入、stride、padding，函数参数只有输出大小，其他的这个函数帮你搞定。 问题就是，我想知道他是咋搞定的？
1 函数的使用
先把例子摆上…
【PyTorch】多层感知机
文章目录 1. 模型和代码实现1.1. 模型1.1.1. 背景1.1.2. 多层感知机1.1.3. 激活函数 1.2. 代码实现1.2.1. 完整代码1.2.2. 输出结果 2. Q&A 1. 模型和代码实现
1.1. 模型
1.1.1. 背景
许多问题要使用线性模型，但无法简单地通过预处理来实现。此时我们可以通过…
MobileNetV3 Small 加上特征金字塔结构的 PyTorch代码
以下是一个完整版本的 MobileNetV3 Small 加上特征金字塔结构的 PyTorch 代码示例：
import torch
import torch.nn as nn
import torch.nn.functional as Fclass FPNBlock(nn.Module):def __init__(self, in_channels, out_channels):super(FPNBlock, self).__init…
itertools.chain.from_iterable()的含义与用法
y_pred 是一个模型输出的预测值、是一个张量，pred是一个列表，解释pred.extend(list(chain.from_iterable(y_pred.data.tolist())))的含义，以及介绍chain.from_iterable的含义用法 y_pred是一个模型输出的预测值，是一个张量&#x…
pytorch学习5-最大池化层的使用
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
【PyTorch】权重衰减
文章目录 1. 理论介绍2. 实例解析2.1. 实例描述2.2. 代码实现 1. 理论介绍
通过对模型过拟合的思考，人们希望能通过某种工具调整模型复杂度，使其达到一个合适的平衡位置。权重衰减（又称 L 2 L_2 L2正则化）通过为损失函数添加惩…
【PyTorch】训练过程可视化
文章目录 1. 训练过程中的可视化1.1. alive_progress1.2. rich.progress 2. 训练结束后的可视化2.1. tensorboardX2.1.1. 安装2.1.2. 使用 1. 训练过程中的可视化
主要是监控训练的进度。
1.1. alive_progress
安装
pip install alive_progress使用
from alive_progress i…
Pytorch-RealSR超分模型
1.前言 RealSR 是一种基于学习的单图像超分辨率（SISR）模型，专门针对真实世界的图像。它由腾讯 AI 实验室于 2020 年提出。 RealSR 的核心创新是提出了一种新的退化模型，该模型能够更好地模拟真实世界的退化过程。该模型考虑了真实…
2. PyTorch——Tensor和Numpy
2.1Tensor和Numpy
Tensor和Numpy数组之间具有很高的相似性，彼此之间的互操作也非常简单高效。需要注意的是，Numpy和Tensor共享内存。由于Numpy历史悠久，支持丰富的操作，所以当遇到Tensor不支持的操作时，可先转成Numpy…
数字人对话系统 Linly-Talker
🔥🔥🔥数字人对话系统 Linly-Talker🔥🔥🔥
English 简体中文
欢迎大家star我的仓库 https://github.com/Kedreamix/Linly-Talker
2023.12 更新 📆
用户可以上传任意图片进行对话
介绍
Lin…
mac m1芯片 pytorch安装及gpu性能测试
pytorch 使用mac的m1芯片进行模型训练。
#小结：在数据量小和模型参数少，batch_size小时，cpu训练更快（原因：每次训练时数据需要放入GPU中，由于batch_size小。数据放入gpu比模型计算时间还长） 在…
Pytorch从零开始实战12
Pytorch从零开始实战——DenseNet算法实战
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——DenseNet算法实战环境准备数据集模型选择开始训练可视化总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.…
学习pytorch18 pytorch完整的模型训练流程
pytorch完整的模型训练流程 1. 流程1. 整理训练数据 使用CIFAR10数据集2. 搭建网络结构3. 构建损失函数4. 使用优化器5. 训练模型6. 测试数据 计算模型预测正确率7. 保存模型 2. 代码1. model.py2. train.py 3. 结果tensorboard结果以下图片 颜色较浅的线是真实计算的值&#x…
Pytorch中的resize和reshape
torch.reshape()
官方文档的大致意思是： 返回与输入具有相同数据和元素数量的张量，但是具有指定形状。如果可能，返回的张量将是输入的视图，也就是说原本的tensor并没有被改变，如果想要改变那么就将改变的tensor赋值给…
【小沐学Python】Python实现语音识别（Whisper）
文章目录 1、简介1.1 whisper简介1.2 whisper模型 2、安装2.1 whisper2.2 pytorch2.3 ffmpeg 3、测试3.1 命令测试3.2 代码测试：识别声音文件3.3 代码测试：实时录音识别 结语 1、简介
https://github.com/openai/whisper
1.1 whisper简介
Whisper 是…
Ubuntu22.04 LTS + CUDA12.3 + CUDNN8.9.7 + PyTorch2.1.1
简介
本文记录Ubuntu22.04长期支持版系统下的CUDA驱动和cuDNN神经网络加速库的安装，并安装PyTorch2.1.1来测试是否安装成功。
安装Ubuntu系统
如果是旧的不支持UEFI启动的主板，请参考本人博客U盘系统盘制作与系统安装（详细图解）…
pytorch 钩子函数hook 详解及实战
文章目录 1. 介绍1.1 pytorch hook 函数种类1.2 pytorch hook 种类1.3 hook的执行顺序2. torch.Tensor.register_hook()2.1 功能2.2 语法2.3 案例3. nn.Module.register_forward_pre_hook3.1 功能3.2 语法3.3 案例4. nn
掌握PyTorch数据预处理(一)：让模型表现更上一层楼！！！
引言
在PyTorch中，数据预处理是模型训练过程中不可或缺的一环。通过精心优化数据，我们能够确保模型在训练时能够更高效地学习，从而在实际应用中达到更好的性能。今天，我们将深入探讨一些常用的PyTorch数据预处理技巧，…
pytorch：YOLOV1的pytorch实现
pytorch：YOLOV1的pytorch实现
注：本篇仅为学习记录、学习笔记，请谨慎参考，如果有错误请评论指出。 参考： 动手学习深度学习pytorch版——从零开始实现YOLOv1 目标检测模型YOLO-V1损失函数详解 3.1 YOLO系列理论合集(Y…
【Pytorch】模型的保存和加载
在对神经网络模型进行训练时，定期地保存模型可以增加程序的抗风险能力。同时，通过对保存模型的加载可以很方便地复现和使用我们训练好的神经网络模型。基于此，本文记录了 Pytorch 中的模型保存和加载方法。
Pytorch的模型后缀一般为 .pt 或 …
YOLOv8改进 | Neck篇 | Slim-Neck替换特征融合层实现超级涨点 (又轻量又超级涨点)
一、本文介绍
本文给大家带来的改进机制是Slim-neck提出的Neck部分，Slim-neck是一种设计用于优化卷积神经网络中neck部分的结构。在我们YOLOv8中，neck是连接主干网络（backbone）和头部网络（head）的部分&…
yolov8添加ca注意力机制
创建文件 coordAtt.py
位置：ultralytics/nn/modules/coordAtt.py
###################### CoordAtt #### start by AI&CV ###############################
# https://zhuanlan.zhihu.com/p/655475515
import torch
import torch.nn as nn
import t…
从零构建属于自己的GPT系列4：模型训练3（训练过程解读、序列填充函数、损失计算函数、评价函数、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
通过conda search cuda找不到想要的信息，更换channel
目录 1. 通过conda search cuda找不到想要的信息，更换channel2. 不添加channel，直接conda search cudnn -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/报错了3. 推荐几个channel4. 想通过conda search应用这些channel，请给出…
YOLOv5改进 | SPPF | 将RT-DETR模型AIFI模块和Conv模块结合替换SPPF（全网独家改进）
一、本文介绍
本文给大家带来是用最新的RT-DETR模型中的AIFI模块来替换YOLOv5中的SPPF。RT-DETR号称是打败YOLO的检测模型，其作为一种基于Transformer的检测方法，相较于传统的基于卷积的检测方法，提供了更为全面和深入的特征理解，…
YOLOv5改进 | SPPF篇 | FocalModulation替换SPPF（精度更高的空间金字塔池化）
一、本文介绍
本文给大家带来的改进是用FocalModulation技术来替换了原有的SPPF（快速空间金字塔池化）模块。FocalModulation是今年新提出的特征增强方法，它利用注意力机制来聚焦于图像中的关键区域，从而提高模型对这些区域的识别…
【踩坑记录】pytorch 自定义嵌套网络时部分网络有梯度但参数不更新
问题描述
使用如下的自定义的多层嵌套网络进行训练：
class FC1_bot(nn.Module):def __init__(self):super(FC1_bot, self).__init__()self.embeddings nn.Sequential(nn.Linear(10, 10))def forward(self, x):emb self.embeddings(x)return embclass FC1_top(nn…
Pytorch深度强化学习案例：基于Q-Learning的机器人走迷宫
目录 0 专栏介绍1 Q-Learning算法原理2 强化学习基本框架3 机器人走迷宫算法3.1 迷宫环境3.2 状态、动作和奖励3.3 Q-Learning算法实现3.4 完成训练 4 算法分析4.1 Q-Table4.2 奖励曲线 0 专栏介绍
本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见…
pytorch实现DCP暗通道先验去雾算法及其onnx导出
pytorch实现DCP暗通道先验去雾算法及其onnx导出 简介实现ONNX导出导出测试 简介
最近在做图像去雾，于是在Pytorch上复现了一下dcp算法。暗通道先验去雾算法是大神何恺明2009年发表在CVPR上的一篇论文，还获得了当年的CVPR最佳论文。
实现
具体原理就不…
MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试
如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。
最近在PyTorch 1.12中引入MPS后端已经是一个大胆的步骤，但随着MLX的宣布&#x…
人工智能(pytorch)搭建模型22-基于pytorch搭建SimpleBaseline(人体关键点检测)模型，并详细介绍该网络模型与代码实现
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型22-基于pytorch搭建SimpleBaseline(人体关键点检测)模型，并详细介绍该网络模型与代码实现。本文将介绍关于SimpleBaseline模型的原理，以及利用pytorch框架搭建模型…
[cleanrl] ppo_continuous_action源码解析
1 import库（略）
import os
import random
import time
from dataclasses import dataclassimport gymnasium as gym
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
import tyro
from torch.distributions.normal…
Pytorch-LSTM轴承故障一维信号分类(一)
目录
前言
1 数据集制作与加载
1.1 导入数据
第一步，导入十分类数据
第二步，读取MAT文件驱动端数据
第三步，制作数据集
第四步，制作训练集和标签
1.2 数据加载，训练数据、测试数据分组，数据分batch…
【PyTorch】现代卷积神经网络
文章目录 1. 理论介绍1.1. 深度卷积神经网络（AlexNet）1.1.1. 概述1.1.2. 模型设计 1.2. 使用块的网络（VGG）1.3. 网络中的网络（NiN）1.4. 含并行连结的网络（GoogLeNet） 2. 实例解析2.1…
win11+RTX 4070Ti+CUDA12.1+cuDNN12.x+pytorch2.1 环境配置（图文教程）
win11RTX 4070TiCUDA12.1cuDNN12.xpytorch2.1 环境配置（图文教程） 教程基本信息介绍卸载已安装的CUDA和cuDNN安装CUDA与cuDNN安装 Anaconda安装 pytorch测试 pytorch 是否安装成功 教程基本信息介绍 此教程为本人安装记录，仅供参考 本教程时间…
yolov5/v7修改标签和检测框显示【最全】
《记录自己在使用yolov5遇到的一些问题》同时也供大家参考，如果对你们有帮助，希望大家可以给个点赞、收藏鼓励下，非常感谢！
以自带的一张图片作为示例,yolov5(6.1版本)的初始检测框应该是如下图所示
修改线条粗细、隐藏标签、隐…
pytorch 中 drop_last与 nn.Parameter
1. drop_last
在使用深度学习，pytorch 的DataLoader 中，
from torch.utils.data import DataLoader# Define your dataset and other necessary configurations
# Create DataLoader
train_loader DataLoader(dataset, batch_sizebatch_size, drop_la…
pytorch-0.4.0上古版本安装参考
由于pytorch previous-versions中已经不显示该版本，而且网络上信息很少，配环境给我配麻了，所以提供一个参考。
我的配置： cuda 9.0 gcc 4.8.5
安装过程： conda create -n torch040 python3.6.6 conda install pytorc…
基于pytorch 的RNN实现字符级姓氏文本分类
当使用基于PyTorch的RNN实现字符级姓氏文本分类时，我们可以使用一个非常简单的RNN模型来处理输入的字符序列，并将其应用于姓氏分类任务。下面是一个基本的示例代码，包括数据预处理、模型定义和训练过程。
首先，我们需要导入必要的…
pytorch debug 常用工具
自动辨识图像格式可视化
import numpy as np
import matplotlib.pyplot as plt
from PIL import Imagedef convert_to_numpy(image_input):"""自动检测输入图像类型，并将其转换为NumPy数组。"""if isinstance(image_input, np.ndarr…
GAN的原理分析与实例
为了便于理解，可以先玩一玩这个网站：GAN Lab: Play with Generative Adversarial Networks in Your Browser! GAN的本质：枯叶蝶和鸟。生成器的目标：让枯叶蝶进化，变得像枯叶，不被鸟准确识别。判别器的目标&…
Aloha 机械臂的学习记录2——AWE：AWE + ACT
继续下一个阶段：
Train policy python act/imitate_episodes.py \ --task_name [TASK] \ --ckpt_dir data/outputs/act_ckpt/[TASK]_waypoint \ --policy_class ACT --kl_weight 10 --chunk_size 50 --hidden_dim 512 --batch_size 8 --dim_feedforward 3200 \ --n…
![[diffusers]仅读取unet | 模型格式转化diffusion_pytorch_model.safetensors转为diffusion_pytorch_model.bin](https://img-blog.csdnimg.cn/direct/2af8f5d69c524e1787631211fd8e74a9.png)
[diffusers]仅读取unet | 模型格式转化diffusion_pytorch_model.safetensors转为diffusion_pytorch_model.bin
问题描述 SError: Error no file named config.json found in directory /share/huanggao/zjc/code_mid/model_yw/bk-base-2m/unet.
无法读取unet 下载模型 我们从网上下载的模型 通过pipe StableDiffusionPipeline.from_pretrained("nota-ai/bk-sdm-base-2m", tor…
【YOLOv5】实现扑克牌的点数识别
前言 其实年初的时候，我也跟着别人的源码，用 Tensoflow 实现过扑克牌的目标检测。虽然也通过博文的方式记录了，但是那个项目使用的 TF 版本比较旧，自身对 TF 并不熟。后期如果说要升级或修改估计够呛，知道最近看到 YOL…
【Pytorch】Transposed Convolution
文章目录 1 卷积2 反/逆卷积3 MaxUnpool / ConvTranspose4 encoder-decoder5 可视化 学习参考来自： 详解逆卷积操作–Up-sampling with Transposed Convolution PyTorch使用记录 https://github.com/naokishibuya/deep-learning/blob/master/python/transposed_co…
批量解压imagenet1k数据集中的zip文件
导言： 最近在处理imagenet1k数据集时，面对大量的zip包，手动一个一个解压显然不是明智的选择。作为程序员，我们可以采用批量解压的方法来提高效率，下面就是解决这一问题的方法和原因分析。
问题背景： image…
解决问题：ImportError: cannot import name ‘_update_worker_pids‘
在复现一些较早年份文献时，网络架构是较早的Pytorch模型，现阶段的高版本不兼容，所以就得安装比如低版本的torch0.4.0以解决问题。 目录 一、问题1.1 问题分析 二、解决办法2.1 Pytorch安装2.2 torchvision安装2.3 测试是否安装成功 三、总结…
PyTorch|保存与加载自己的模型
训练好一个模型之后，我们往往要对其进行保存，除非下次用时想再次训练一遍。
下面以一个简单的回归任务来详细讲解模型的保存和加载。 来看这样一组数据：
xtorch.linspace(-1,1,50)xx.view(50,1)yx.pow(2)0.3*torch.rand(50).view(50,1)
画…
在pytorch中自定义dataset读取数据
这篇是我对哔哩哔哩up主 霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享 有关我们数据读取预训练 以及如何将它打包成一个一个batch输入我们的网络的 首先我们来看一下之前我们在讲resnet网络时所使用的源码 我们去使用了官方实现的image folder去读取我们的图像数据 然…
PyTorch中nn.Module的继承类中方法foward是自动执行的么？
1、隐式地调用 forward 方法
在 PyTorch的 nn.Module中，forward 方法并不是自动执行的，但它是在模型进行前向传播时必须调用的一个方法。当你实例化一个继承自 torch.nn.Module 的自定义类并传入输入数据时，需要通过调用该实例来实现前向传播…
风速预测（四）基于Pytorch的EMD-Transformer模型
目录
前言
1 风速数据EMD分解与可视化
1.1 导入数据
1.2 EMD分解
2 数据集制作与预处理
2.1 先划分数据集，按照8：2划分训练集和测试集
2.2 设置滑动窗口大小为7，制作数据集
3 基于Pytorch的EMD-Transformer模型预测
3.1 数据加载&am…
CUDA 指定设备的方法，CUDA_VISIBLE_DEVICES 设置当前pytorch程序使用那些GPU设备
在进行pytorch 相关程序开发时，有时需要根据自己的规划使用系统中的多块NVidia GPU 设备，可以通过如下几种方法来指定GPU设备：
当服务器有多个GPU卡时，通过设置 CUDA_VISIBLE_DEVICES环境变量可以改变CUDA程序所能使用的GPU设备&…
Pytorch：Tensorboard简要学习
目录 一、TensorBoard简介二、TensorBoard的安装与启动Tensorboard的安装Tensorboard的启动 三、TensorBoard的简单使用3.1 SummaryWriter()3.2 add_scalar()和add_scalars()3.3 add_histogram()3.4 模型指标监控 四、总结参考博客 一、TensorBoard简介
TensorBoard 是Google开…
EfficientNetV1(pytorch)
之前的研究探索的是单个因改变的影响，这篇论文采用网络搜索机制同时探索3个因素的影响。 e图是同时在深度(layer)，宽度（channel），分辨率（h，w）进行增加，探索影响。
这是一…
torch中 squeeze 和 unsqueeze 的不同用法
torch中 squeeze 和 unsqueeze 的不同用法 1 squeeze()的用法1）对指定的维度进行降维（a)如果某个维度为1，则对此维度进行降维（b) 某个维度不为1，则无法对此维度进行降维 2） 默认使用torch.squeeze …
ResNet(pytorch)
ResNet的亮点：引入批标准化，不再是之前的普通标准化，加速训练。
ResNet的残差块还未把1*1卷积用来降维减少参数，到ResNeXt就把1*1用来升维和降维操作，称为PW卷积()
解决的问题： 两种残差块，18…
ResNeXt(pytorch)
相比resnet更新了block，如下图，性能也更好一些。可以这样理解，这里的GConv还是用的分组组数还不是gCin，之前的ResNet中还是用的普通3*3卷积，但ResNet中引入了1*1卷积来改变通道数，减少3*3卷积的参数&#x…
YOLOv5改进 | 卷积篇 | SPD-Conv空间深度转换卷积（高效空间编码技术）
一、本文介绍
本文给大家带来的改进内容是SPD-Conv（空间深度转换卷积）技术。SPD-Conv是一种创新的空间编码技术，它通过更有效地处理图像数据来改善深度学习模型的表现。SPD-Conv的基本概念：它是一种将图像空间信息转换为深度信息…
Pytorch：nn.Linear() 基本定义和用法
nn.Linear的基本定义
nn.Linear定义一个神经网络的线性层，方法签名如下：
torch.nn.Linear( in_features, # 输入的神经元个数out_features, # 输出神经元个数biasTrue # 是否包含偏置)
Linear其实就是对输入 X n i X^{ni} Xni H n o X n i …
PyTorch官网demo解读——第一个神经网络（3）
上一篇：PyTorch官网demo解读——第一个神经网络（2）-CSDN博客
上一篇文章我们讲解了第一个神经网络的模型，这一篇我们来聊聊梯度下降。
大佬说梯度下降是深度学习的灵魂；梯度是损失函数（代价函数ÿ…
pytorch 实现 Restormer 主要模块（多头通道自注意力机制和门控制结构）
前面的博文读论文：Restormer: Efficient Transformer for High-Resolution Image Restoration 介绍了 Restormer 网络结构的网络技术特点，本文用 pytorch 实现其中的主要网络结构模块。
1. MDTA(Multi-Dconv Head Transposed Attention：多头…
Pytorch深度强化学习2-1：基于价值的强化学习——DQN算法
目录 0 专栏介绍1 基于价值的强化学习2 深度Q网络与Q-learning3 DQN原理分析4 DQN训练实例 0 专栏介绍
本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时，辅…
使用pytorch神经网络拟合计算模型
一. 内容简介
使用pytorch神经网络拟合计算模型
二. 软件环境
2.1vsCode
2.2Anaconda
version: conda 22.9.0
2.3pytorch
安装pytorch(http://t.csdnimg.cn/GVP23)
2.3数据文件
链接：https://pan.baidu.com/s/1csJOoErGyx77MW_FImVKjg?pwd1234
三.主要流…
【 YOLOv5】目标检测 YOLOv5 开源代码项目调试与讲解实战（2）-如何利用yolov5进行预测
如何利用yolov5进行预测 yolov5项目的简单描述模型对比图需要的包作者的教程环境inference 不用命令行，使用pycharm运行main函数部分运行程序来看一下 **detect.py**跑代码时遇到的一些问题，可以参考我的其他博客 一些参数说明--weightsdefaultyolov5s.p…
PyTorch实战：基于Seq2seq模型处理机器翻译任务(模型预测)
文章目录 引言数据预处理加载字典对象en2id和zh2id文本分词 加载训练好的Seq2Seq模型模型预测完整代码结束语 引言
随着全球化的深入，翻译需求日益增长。传统的人工翻译方式虽然质量高，但效率低，成本高。机器翻译的出现，为解决这…
TransXNet实战：使用 TransXNet实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…
llama大模型部署
看模型加载的参数设置. import torch# 初始化Half Tensor
h torch.tensor([1.0,2.0,3.0], dtypetorch.half)
# h torch.tensor([1.0,2.0,3.0], dtypetorch.float16) # 跟上面一行一样.# 查看数据类型
print(h.dtype)
import accelerate
import bitsandbytes
from transformer…
pytorch中的torch.squeeze和torch.unsqueeze
torch.squeeze(input, dimNone) → Tensortorch.unsqueeze()函数的作用减少数组input指定的维度dim，如果dim不指定，则删除大小为1的维度。返回一个tensor。 如果数组A的维度为（1，1，3）那么执行 torch.squeez…
如何使用 PyTorch 训练 LLM
一、引言
语言模型（LLM）是一种重要的自然语言处理（NLP）技术，它通过对大量文本数据进行训练，学习语言的内在结构和语义信息。PyTorch作为一种流行的深度学习框架，具有灵活性和易用性，…
python如何读取被压缩的图像
读取压缩的图像数据：
PackBits 压缩介绍：
CCITT T.3 压缩介绍： 读取压缩的图像数据：
在做图像处理的时候，平时都是使用 函数io.imread() 或者是 函数cv2.imread( ) 函数来读取图像数据，很少用PIL.Image…
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
一、本文介绍
本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv5的…
如何基于PyTorch框架自定义数据集类获取数据
在PyTorch框架中，可以通过自定义数据集类来加载和处理数据
要自定义数据集类，需要继承 PyTorch提供的 torch.utils.data.Dataset类，并实现两个主要方法：__len__ 和 __getitem__
下面是一个示例，展示如何基于PyTorch框…
ubuntu20.04 conda环境配置Mask2former记录
建议先看完再按照步骤安装
代码地址：GitHub - facebookresearch/Mask2Former: Code release for "Masked-attention Mask Transformer for Universal Image Segmentation"
一、配置环境
1、创建虚拟环境
conda create -n mask2former python3.8conda …
pytorch 转 onnx
ONNX 是目前模型部署中最重要的中间表示之一，在把 PyTorch 模型转换成 ONNX 模型时，使用的 torch 接口是 torch.onnx.export 这里记录了 pytorch 模型转 onnx 时的原理和注意事项，还包括部分 PyTorch 与 ONNX 的算子对应关系。
1 torch.onnx…
pytorch01：概念、张量操作、线性回归与逻辑回归
目录 一、pytorch介绍1.1pytorch简介1.2发展历史1.3pytorch优点 二、张量简介与创建2.1什么是张量？2.2Tensor与Variable2.3张量的创建2.3.1 直接创建torch.tensor()2.3.2 从numpy创建tensor 2.4根据数值创建2.4.1 torch.zeros()2.4.2 torch.zeros_like()2.4.3 torch…
Pytorch整体框架学习
12.28 Learn Pytorch
一、神经网络 二、pytorch的整体框架
1.torch
(1).Tensor概念
张量 ，最基础的运算单位 ，一个多维矩阵，一个可以运行在gpu上的多维数据
(2).Tensor的创建
torch.FloatTensor(2,3) / torch.FloatTensor([2,3,4,5])to…
pytorch04：网络模型创建
目录 一、模型创建过程1.1 以LeNet网络为例1.2 LeNet结构1.3 nn.Module 二、网络层容器(Containers)2.1 nn.Sequential2.1.1 常规方法实现2.1.2 OrderedDict方法实现 2.2 nn.ModuleList2.3 nn.ModuleDict2.4 三种容器构建总结 三、AlexNet网络构建 一、模型创建过程 1.1 以LeNe…
optimizer.load_state_dict()报错parameter group不匹配的问题的原因
在加载预训练权重时可能会遇到类似下面的错误：
optimizer.load_state_dict(checkpoint[optimizer_state]) File "/opt/conda/lib/python3.8/site-packages/torch/optim/optimizer.py", line 145, in load_state_dict raise ValueError("loade…
PyTorch常用工具（1）数据处理
文章目录 前言1 数据处理1.1 Dataset1.2 DataLoader 前言
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。
由于内容较多&am…
Pytorch实战——2、初探张量
🍅 写在前面 👨🎓 博主介绍：大家好，这里是hyk写算法了吗，一枚致力于学习算法和人工智能领域的小菜鸟。 🔎个人主页：主页链接（欢迎各位大佬光临指导） ⭐️近…
【PyTorch】PyTorch之Reduction Ops
文章目录 前言一、ARGMAX二、ARGMIN三、AMAX和AMIN四、ALL和ANY五、MAX和MIN六、MEAN七、MEDIAN八、NORM九、PROD十、STD十一、SUM十二、UNIQUE十三、VAR 前言
介绍pytorch的Reduction Ops。
一、ARGMAX
torch.argmax(input, dim, keepdimFalse) → LongTensor Parameters&a…
PyTorch 还提供的几种连接张量的方法
1. torch.stack() 方法：
行为： 创建一个新的维度，并在该维度上堆叠张量。结果张量的维度比原始张量多一维。适用场景： 当需要在新的维度上堆叠张量时，特别是在创建新批次或样本时。
import torchtensor1 torch.tens…
李沐《动手学深度学习》线性神经网络 softmax回归
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 目录 系列文章一、softmax回归（一）问题背景（二）网络架构…
ubuntu中PyCharm导入虚拟环境pytorch / TensorFlow
之前编辑pytorch框架的程序都是在jupyter notebook,虽然jupyter notebook采用交互式的方式很方便，有时候查看别人代码的时候，很不方便，所以就下载了Pycharm，这里我就不赘述如何系在pycharm和如何破解，希望能帮助到大家…
Pytorch基础知识点复习
文章目录 并行计算单卡训练多卡训练单机多卡DP多机多卡DDPDP 与 DDP 的优缺点 PyTorch的主要组成模块Pytorch的主要组成模块包括那些呢？Dataset和DataLoader的作用是什么，我们如何构建自己的Dataset和DataLoader？神经网络的一般构造方法&…
【深度学习】Anaconda3 + PyCharm 的环境配置 3：GitHub 项目运行前的环境配置
前言 文章性质：实操记录 💻 主要内容：主要记录了运行 GitHub 项目前的环境配置过程，包括创建并激活新的虚拟环境、安装 torch 和 torchvision，在 PyCharm 中使用新建的虚拟环境，根据项目源代码提供的 requi…
Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1
1. 使用说明
在megatron中指定--use-distributed-optimizer就能开启分布式优化器, 参数定义在megatron/arguments.py中。分布式优化器的思路是将训练中的优化器状态均匀地分布到不同数据并行的rank结点上，相当于开启ZERO-1的训练。 group.add_argument(--use-distr…
YOLOv5改进 | 注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)
一、本文介绍
本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增…
一条命令解决安装torch_scatter torch_sparse torch_cluster torch_spline
在相应环境下输入
pip install pyg_lib torch_scatter torch_sparse torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-2.0.0cu118.html该命令安装了pyg_lib包以及一些与PyTorch相关的包（torch_scatter、torch_sparse、torch_cluster、torch_sp…
Pytorch将标签转为One-Hot编码
一、标签映射与One-Hot编码过程
先进行标签映射，要为每个分类建立一个整数索引，对于每个样本的标签，使用整数索引创建一个长度为类别总数的二进制向量。这个向量的所有元素都是0，除了与整数索引相对应的位置，该位置的…
【深度学习PyTorch入门】7.Save and Load the Model 保存和加载模型
Save and Load the Model 保存和加载模型 文章目录 Save and Load the Model 保存和加载模型Saving and Loading Model Weights 保存和加载模型权重笔记 Saving and Loading Models with Shapes 保存和加载带有形状的模型笔记 Related Tutorials 相关教程References 参考资料Gi…
Pytorch文本分类入门
🍨 本文为[🔗365天深度学习训练营学习记录博客 🍦 参考文章：365天深度学习训练营 🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/…
【AI】Pytorch 系列：预训练模型使用
1. 模型下载 import re
import os
import glob
import torch
from torch.hub import download_url_to_file
from torch.hub import urlparse
import torchvision.models as modelsdef download_
第二十八周：文献阅读笔记（弱监督学习）+ pytorch学习
第二十八周：文献阅读笔记（弱监督学习） 摘要Abstract1. 弱监督学习1.1. 文献摘要1.2. 引言1.3. 不完全监督1.3.1. 主动学习与半监督学习1.3.2. 通过人工干预1.3.3. 无需人工干预 1.4. 不确切的监督1.5. 不准确的监督1.6. 弱监督学习的创新点 2…
pytorch集智4-情绪分类器
1 目标
从中文文本中识别出句子里的情绪。和上一章节单车预测回归问题相比，这个问题是分类问题，不是回归问题
2 神经网络分类器
2.1 如何用神经网络分类
第二章节用torch.nn.Sequantial做的回归预测器，输出神经元只有一个。分类器和其区别…
YOLOv8改进 | 细节涨点篇 | UNetv2提出的一种SDI多层次特征融合模块（分割高效涨点）
一、本文介绍
本问给大家带来的改进机制是UNetv2提出的一种多层次特征融合模块（SDI）其是一种用于替换Concat操作的模块，SDI模块的主要思想是通过整合编码器生成的层级特征图来增强图像中的语义信息和细节信息。该方法已在多个公开的医学图像分割数据集上进行了验证，包括皮…
PyTorch——torchtext与PyTorch匹配的版本
一、匹配版本的对照表 二、按照对应版本的命令
例子：
pip install torchtext0.9.1参考资料：
Torchtext and PyTorch s Version Compatibility
YOLOv8改进 | 检测头篇 | 利用DBB重参数化模块魔改检测头实现暴力涨点 (支持检测、分割、关键点检测)
一、本文介绍
本文给大家带来的改进机制是二次创新的机制，二次创新是我们发表论文中关键的一环，本文给大家带来的二次创新机制是通过DiverseBranchBlock(DBB)模块来改进我们的检测头形成一个新的检测头Detect_DBB，其中DBB是一种重参数化模块，其训练时采用复杂结构，推理时…
【pytorch】pytorch学习笔记（续4）
p55：1.pooling：下采样：即把特征集变小，有降维的作用。对于图片数据而言，可能是各行采样；而对于卷积神经网络而言，是池化层，如果是最大池化的话，那就是在窗口中选择最大值…
「解析」Jetson配置 git服务
这两天感冒了在家休养，想着把之前买的 Jetson 开发板用起来，买Jetson的初衷就是用来学习Linux系统，顺道可以部署算法，以及一些其他需求，相比树莓派而言，Jetson开发相对更贵，但是其配备了英伟达的…
PyTorch项目源码学习（3）——Module类初步学习
torch.nn.Module
Module类是用户使用torch来自定义网络模型的基础，Module的设计要求包括低耦合性，高模块化等等。一般来说，计算图上所有的子图都可以是Module的子类，包括卷积，激活函数，损失函数节点以及相…
关于torch、Pytorch_lightning、torchvision版本的问题
# CUDA 11.3
pip install torch1.11.0cu113 torchvision0.12.0cu113 torchaudio0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
安装lightning
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pytorch-lightning1.7.6 pip install -i https://…
深入 PyTorch：新手可探索 torch.nn 模块的强大功能
目录
引言
torch.nn使用和详解
Parameter
函数作用
使用技巧
使用方法和示例
UninitializedParameter
特点和用途
可进行的操作
使用示例
UninitializedBuffer
特点和用途
可进行的操作
使用示例
Module**（重点）
关键特性和功能
举例说…
使用Tensorboard可视化网络结构（基于pytorch）
前言
我们在搭建网络模型的时候，通常希望可以对自己搭建好的网络模型有一个比较好的直观感受，从而更好地了解网络模型的结构，Tensorboard工具的使用就给我们提供了方便的途径
Tensorboard概况 Tensorboard是由Google公司开源的一款可视化工…
data.TensorDataset解析
data.TensorDataset 是 PyTorch 中的一个类，用于创建一个包含多个张量的数据集。这个类的主要作用是将输入的张量组合成一个数据集，使得在训练过程中可以方便地进行数据加载和迭代。
具体来说，TensorDataset 接受一系列的张量作为输入参数&a…
神经网络的核心：帮助新手理解 PyTorch 非线性激活函数
目录
torch.nn子函数非线性激活详解
nn.Softmin
Softmin 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码
nn.Softmax
Softmax 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码
nn.Softmax2d
Softmax2d 函数简介
函数工作原理
输入…
【机器学习】卷积神经网络----GoogLeNet网络（pytorch）
代码是一个使用PyTorch实现的GoogLeNet模型，该模型是一个深度卷积神经网络（CNN）用于图像分类任务。 1. 定义基本卷积模块 BasicConv2d 类是一个基本的卷积块，包含一个卷积层、批归一化层和ReLU激活函数。该类用于构建Inception模块…
基于YOLOv7算法的高精度实时安全背心目标检测识别系统（PyTorch+Pyside6+YOLOv7）
摘要：基于YOLOv7算法的高精度实时安全背心目标检测系统可用于日常生活中检测与定位安全背心，此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别，同时本系统还支持检测结果可视化与导出。本系统采用YOLOv7目标检测算法来训…
pytorch07：损失函数与优化器
目录 一、损失函数是什么二、常见的损失函数2.1 nn.CrossEntropyLoss交叉熵损失函数2.1.1 交叉熵的概念2.2.2 交叉熵代码实现2.2.3 加权重损失 2.2 nn.NLLLoss2.2.1 代码实现 2.3 nn.BCELoss2.3.1 代码实现 2.4 nn.BCEWithLogitsLoss2.4.1 代码实现 三、优化器Optimizer3.1 什么…
pytorch中的wheel文件
文章目录 pytorch中的wheel文件什么是wheel文件wheel文件的位置安装完成后wheel文件可以删除吗？ pytorch中的wheel文件
什么是wheel文件
.whl 文件是 Python 的一个软件包分发格式，用于在 Python 中安装软件包。它是 Python Wheel 的缩写，也…
PyTorch数据并行（DP/DDP）浅析
一直以来都是用的单机单卡训练模型，虽然很多情况下已经足够了，但总有一些情况得上分布式训练：
模型大到一张卡放不下；单张卡batch size不敢设太大，训练速度慢；当你有好几张卡，不想浪费…
基于YOLOv7算法的高精度实时19类动物目标检测识别系统（PyTorch+Pyside6+YOLOv7）
摘要：基于YOLOv7算法的高精度实时19类动物目标检测系统可用于日常生活中检测与定位19类动物目标（水牛、 斑马、 大象、 水豚、 海龟、 猫、 奶牛、 鹿、 狗、 火烈鸟、 长颈鹿、 捷豹、 袋鼠、 狮子、 鹦鹉、 企鹅、 犀牛、 羊和老虎）&#x…
Pytorch常用的函数(六)常见的归一化总结(BatchNorm/LayerNorm/InsNorm/GroupNorm)
Pytorch常用的函数(六)常见的归一化总结(BatchNorm/LayerNorm/InsNorm/GroupNorm)
常见的归一化操作有：批量归一化（Batch Normalization）、层归一化（Layer Normalization）、实例归一化（Instance Normaliza…
Pytorch种torch.cat与torch.stack的区别
torch.cat 和 torch.stack 是 PyTorch 中用于拼接张量的两个不同的函数，它们的主要区别在于拼接的方式和创建的维度。 torch.cat： 拼接方式： torch.cat 是按照给定的维度（dim 参数）将多个张量沿着该维度拼接。在拼接的…
PyTorch简单理解ChannelShuffle与数据并行技术解析
目录
torch.nn子模块详解
nn.ChannelShuffle
用法与用途
使用技巧
注意事项
参数
示例代码
nn.DataParallel
用法与用途
使用技巧
注意事项
参数
示例
nn.parallel.DistributedDataParallel
用法与用途
使用技巧
注意事项
参数
示例
总结 torch.nn子模块详…
pytorch创建tensor
目录 1. 从numpy创建2. 从list创建3. 创建未初始化tensor4. 设置默认tensor创建类型5. rand/rand_like, randint6. randn生成正态分布随机数7. full8. arange/range9. linspace/logspace10. Ones/zeros/eye11. randperm 1. 从numpy创建 2. 从list创建 3. 创建未初始化tensor
T…
Pytorch：torch.nn.Module
torch.nn.Module 是 PyTorch 中神经网络模型的基类，它提供了模型定义、参数管理和其他相关功能。
以下是关于 torch.nn.Module 的详细说明：
1. torch.nn.Module 的定义：
torch.nn.Module 是 PyTorch 中所有神经网络模型的基类，…
【AI】Pytorch 系列：学习率设置
a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。 b. 自适应调整：自适应调整学习率 ReduceLROnPlateau。 c. 自定义调整：自定义调整学习率 LambdaLR。 #得到当前学习率
lr = next(iter(optimizer.param_gr…
【Pytorch】学习记录分享14——视频分析3D卷积
【Pytorch】学习记录分享14——视频分析3D卷积 1. 视频分析 3D卷积2. UCF101数据3. U3D算法 1. 视频分析 3D卷积
3D卷积的简介 在图像处理领域，被卷积的都是静态图像，所以使用2D卷积网络就足以。而在视频理解领域，为了同时保留时序信息&…
更加适合CUDA11.2的pytorch显卡版本
更加适合CUDA11.2的pytorch显卡版本
pip版本
pip install torch1.12.0cu113 torchvision0.13.0cu113 torchaudio0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113conda版本
conda install pytorch1.12.0 torchvision0.13.0 torchaudio0.12.0 cudatoolkit11…
【Pytorch简介】1.Introduction 简介
Introduction 简介
大多数机器学习工作流涉及处理数据、创建模型、使用超参数优化模型，以及保存，然后推理已训练的模型。 本模块介绍在 PyTorch（一种常用的 Python ML 框架）中实现的完整机器学习 (ML) 工作流。
我们使用 Fashio…
PyTorch 2.2 中文官方教程（七）
使用 torchtext 库进行文本分类 原文：pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 注意
点击这里下载完整示例代码
在本教程中，我们将展示如何使用 torchtext 库构建文…
YOLOv8改进 | 二次创新篇 | 在Dyhead检测头的基础上替换DCNv3 (全网独家首发)
一、本文介绍
本文给大家带来的改进机制是在DynamicHead上替换DCNv3模块，其中DynamicHead的核心为DCNv2，但是今年新更新了DCNv3其作为v2的升级版效果肯定是更好的，所以我将其中的核心机制替换为DCNv3给Dyhead相当于做了一个升级，效果也比之前的普通版本要好，这个机制我认…
【pytorch】使用pytorch构建线性回归模型-了解计算图和自动梯度
使用pytorch构建线性回归模型
线性方程的一般形式 衡量线性损失的一般形式-均方误差 pytorch中计算图的作用和优势
在 PyTorch 中，计算图（Computational Graph）是一种用于表示神经网络运算的数据结构。每个节点代表一个操作，例如…
【代码复现系列】paper：CycleGAN and pix2pix in PyTorch
或许有冗余步骤、之后再优化。
1.桌面右键-git bash-输入命令如下【git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix】
2.打开anaconda的prompt，cd到pytorch-CycleGAN-and-pix2pix路径
3.在prompt里输入【conda env create -f environment.y…
大模型推理kv_cache缓存
一、目录
kv_cache 用途代码比较gpt2 多头自注意力实现kv_cache
二、实现
kv_cache 用途 1. kv_cache 应用于模型推理过程中，训练过程则不需要。 2. 为了避免生成式模型在推理过程中 每次都需要将先前生成的文本拼接到问题中，将生成的信息保存起来&am…
Windows10下 tensorflow-gpu 配置
越来越多的的人入坑机器学习，深度学习，tensorflow 作为目前十分流行又强大的一个框架，自然会有越来越多的新人（我也刚入门）准备使用，一般装的都是 CPU 版的 tensorflow，然而使用 GPU 跑 tensorf…
YOLOv8改进 | 检测头篇 | 利用DySnakeConv改进检测头专用于分割的检测头（全网独家首发，Seg）
一、本文改进
本文给大家带来的改进机制是一种我进行优化的专用于分割的检测头，在分割的过程中，最困难的无非就是边缘的检测，动态蛇形卷积（Dynamic Snake Convolution）通过自适应地聚焦于细长和迂回的局部结构，准确地捕捉管状结构的特征。这种卷积方法的核心思想是，通过…
softmax回实战
1.数据集
MNIST数据集 (LeCun et al., 1998) 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。 我们将使用类似但更复杂的Fashion-MNIST数据集 (Xiao et al., 2017)。
import torch
import torchvision
from torch.utils import data
from torchvisi…
动手学深度学习6 自动求导
自动求导 1. 自动求导2. 自动求导实现1. 示例 y 2 X T X y2X^TX y2XTX 关于列向量x求导。2. 非标量变量的反向传播3. 分离计算4. Python控制流的梯度计算 QA1. ppt上隐式构造和显示构造为什么看起来差不多？2. 需要正向反向都算一遍吗3. 为什么pytorch会默认累积梯…
Pytorch各种Dropout层应用于详解
目录
torch框架Dropout functions详解
dropout
用途
用法
使用技巧
参数
数学理论公式
代码示例
alpha_dropout
用途
用法
使用技巧
参数
数学理论公式
代码示例
feature_alpha_dropout
用途
用法
使用技巧
参数
数学理论
代码示例
dropout1d
用途
用…
【RT-DETR有效改进】华为 | GhostnetV2移动端的特征提取网络效果完爆MobileNet系列
前言
大家好，这里是RT-DETR有效涨点专栏。
本专栏的内容为根据ultralytics版本的RT-DETR进行改进，内容持续更新，每周更新文章数量3-10篇。
专栏以ResNet18、ResNet50为基础修改版本，同时修改内容也支持ResNet32、ResNet101和PP…
《动手学深度学习(PyTorch版)》笔记7.5
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
![[pytorch入门] 2. tensorboard](https://img-blog.csdnimg.cn/direct/81e5d2ae868f4f7787eaefef0fe0056b.png)
[pytorch入门] 2. tensorboard
tensorboard简介
TensorBoard 是一组用于数据可视化的工具。它包含在流行的开源机器学习库 Tensorflow 中.但是也可以独立安装，服务Pytorch等其他的框架 可以常常用来观察训练过程中每一阶段如何输出的
安装pip install tensorboard启动tensorboard --logdir<d…
PyTorch 2.2 中文官方教程（十八）
开始使用完全分片数据并行（FSDP） 原文：pytorch.org/tutorials/intermediate/FSDP_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 作者：Hamid Shojanazeri，Yanli Zhao，Shen Li
注意…
PyTorch深度学习实战（31）——生成对抗网络(Generative Adversarial Network, GAN)
PyTorch深度学习实战（31）——生成对抗网络 0. 前言1. GAN2. GAN 模型分析3. 利用 GAN 模型生成手写数字小结系列链接 0. 前言
生成对抗网络 (Generative Adversarial Networks, GAN) 是一种由两个相互竞争的神经网络组成的深度学习模型，它由…
windows11+GPU1060安装强化学习环境之pytorch
这里大家看一个视频系列，讲得非常详细，链接在此：https://www.bilibili.com/video/BV1S5411X7FY?p28&vd_source3be739b673e1151850f4b8060ac78e1a 这里主要是说我遇到的问题以及解决办法。 首先，我的笔记本是有显卡的…
理解LSTM一种递归神经网络(RNN)
1 递归神经网络结构
一个简单的传统神经网络结构如下图所示： 给他一些输入x0,x1,x2 … xt, 经过神经元作用之后得到一些对应的输出h0,h1,h2 … ht。每次的训练，神经元和神经元之间不需要传递任何信息。
递归神经网络和传统神经网络不同的一个点在于&am…
理解pytorch系列：整型索引是怎么实现的
整型索引的匹配规则
在PyTorch中使用整型索引时，需要遵循一些基本规则来确定如何从原始张量中选择数据。整型索引可以是Python中的列表或者数组、NumPy数组，或者是PyTorch的LongTensor。整型索引允许在任何维度上进行复杂的数据选取操作，例如…
深度学习技术栈 —— Pytorch之TensorDataset、DataLoader
深度学习技术栈 —— Pytorch之TensorDataset、DataLoader 前言一、TensorDataset、DataLoader的用法？二、从.csv文件-->tensor张量总结 前言
简单来说，TensorDataset与DataLoader这两个类的作用， 就是将数据读入并做整合，以便…
16、pytorch中张量的8种创建方法
在PyTorch中，可以使用多种方法来创建张量。下面是一些常见的创建张量的方法：
使用torch.Tensor()函数创建一个未初始化的张量：
x torch.Tensor(2, 3) # 创建一个2行3列的未初始化的张量
输出：
tensor([[-3.2253e01, 2.0865e-4…
深度学习-Pytorch数据集构造和分批加载
深度学习-Pytorch数据集构造和分批加载
pytorch 目前在深度学习具有重要的地位，比起早先的caffe，tensorflow，keras越来越受到欢迎，其他的深度学习框架越来越显得小众。
数据分析
数据分析-Pandas如何转换产生新列
数据分析-Pa…
![[pytorch] 8.损失函数和反向传播](https://img-blog.csdnimg.cn/direct/176976fdb53a4d61ab613e79fbdcdfa5.png)
[pytorch] 8.损失函数和反向传播
损失函数
torch提供了很多损失函数，可查看官方文档Loss Functions部分
作用： 计算实际输出和目标输出之间的差距为更新输出提供一定的依据（反向传播），grad
损失函数用法差不多，这里以L1Loss和MSEloss为…
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用
系列文章目录
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用 在一个人体姿态估计的任务中，需要用深度学习模型…
《动手学深度学习(PyTorch版)》笔记3.6
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
pytorch与tensorflow如何选择？
目录 1.动态图和静态图1.1 tensorflow是静态图1.2 pytorch动态图 2. 易用性3. 编程语言4. 性能和扩展性5. 社区支持和生态系统 1.动态图和静态图
1.1 tensorflow是静态图 如上图：
定义计算图（公式，包括定义变量x,y ,zx*y）给公式…
【Pytorch 第一讲】 如何加载预训练模型
一. 封装Pytorch的Model 加载pre-trianed Model import torch
import torchvision.models as models
from torchvision import transforms# 1. 下载并加载预训练模型
model models.resnet18(pretrainedFalse) # 设置pretrainedFalse，表示不加载预训练权重# 2. 下载…
【Deeplabv3+】Ubutu18.04中使用pytorch复现Deeplabv3+第三步)-----CityscapesScripts生成自己的标签
本文是在前面两篇文章的基础上，讲解如何更改训练数据集颜色，需要与前面两篇文章连起来看。
本文用于修改cityscapes数据集的标签颜色与Semankitti数据集的标签一致，对修改后的数据集进行训练。需要下载两个开发工具包和一个数据集࿰…
深入浅出 diffusion(4)：pytorch 实现简单 diffusion
1. 训练和采样流程 2. 无条件实现
import torch, time, os
import numpy as np
import torch.nn as nn
import torch.optim as optim
from torchvision.datasets import MNIST
from torchvision import transforms
from torch.utils.data import DataLoader
from torchvision.…
PyTorch初探：基本函数与案例实践
正文： 在熟悉了PyTorch的安装和环境配置后，接下来让我们深入了解PyTorch的基本函数，并通过一个简单的案例来实践这些知识。
1. 基本函数 PyTorch的核心是张量（Tensor），它类似于多维数组，但可以…
YOLOv5改进 | 检测头篇 | 利用DySnakeConv改进检测头专用于分割的检测头（全网独家首发，Seg）
一、本文改进
本文给大家带来的改进机制是一种我进行优化的专用于分割的检测头，在分割的过程中，最困难的无非就是边缘的检测，动态蛇形卷积（Dynamic Snake Convolution）通过自适应地聚焦于细长和迂回的局部结构，准确地捕捉管状结构的特征。这种卷积方法的核心思想是，通过…
【机器学习】强化学习（八）-深度确定性策略梯度（DDPG）算法及LunarLanderContinuous-v2环境训练示例...
训练效果 DDPG算法是一种基于演员-评论家（Actor-Critic）框架的深度强化学习（Deep Reinforcement Learning）算法，它可以处理连续动作空间的问题。DDPG算法描述如下： GPT-4 Turbo Copilot GPT-4 DDPG算法伪代…
用于不对称卷积的验证参数的小程序
非对称卷积的特征图尺寸计算 此处只例举输入图像是正方形的情况。设输入图像尺寸为WxW，卷积核尺寸为ExF，步幅为S，Padding为P，卷积后的特征图尺寸为： 矩形卷积 如果输入图像是正方形，尺寸为WxW，…
PyTorch复现网络模型VGG
VGG
原论文地址：https://arxiv.org/abs/1409.1556VGG是Visual Geometry Group（视觉几何组）的缩写，它是一个在计算机视觉领域中非常有影响力的研究团队，主要隶属于牛津大学的工程系和科学系。VGG以其对卷积神经网络&am…
torch.matmul和torch.bmm区别
torch.matmul可用于4维数组的相乘，而torch.bmm只能用户3维数组的相乘，以/home/tiger/.local/lib/python3.9/site-packages/transformers/models/vit/modeling_vit.py中的ViTSelfAttention实现为例，在transpose_for_scores之前的shape是(batch…
pytorch nearest upsample整数型tensor
在用 torch.nn.Upsample 给分割 label 上采样时报错：RuntimeError: "upsample_nearest2d_out_frame" not implemented for Long。
参考 [1-3]，用 [3] 给出的实现。稍微扩展一下，支持 h、w 用不同的 scale factor，并测试…
PyTorch的nn.Module类的详细介绍
在PyTorch中，nn.Module 类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module 类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。 1. PyTorch中nn.Module基类的定义 在PyTorch中ÿ…
PyTorch动态计算图构建的详细过程和代码
当用户定义了一个继承自 nn.Module 的神经网络模型，并通过调用 model.forward(input) 进行前向传播时，PyTorch 会根据执行的张量操作序列自动构建并维护一个动态计算图，其中的详细过程是： 初始化输入： 用户首先准备输入…
瑞芯微1808模型转换(onnx到rknn)环境配置过程
瑞芯微1808模型转换（onnx → \to →rknn）环境配置
阅读本解决方案前，请读者确保已经根据官方的相关教程【rknn_model_zoo/common/rknn_converter at v1.5.0 airockchip/rknn_model_zoo (github.com)】完成其他配置文件的修改，以…
深度学习与神经网络Pytorch版 3.2 线性回归从零开始实现 1.生成数据集
3.2 线性回归从零开始实现
目录
3.2 线性回归从零开始实现
一 ，简介
1. 原理
2. 步骤
3. 优缺点
4. 应用场景
二 ，代码展现
1. 生成数据集(完整代码)
2. 各个函数解析
2.1 torch.normal()函数
2.2 torch.matmul()函数
2.3 d2l.plt.scatter(…
【译】在 Mac 上加速 PyTorch 训练
写在前面
为什么突然深度介入大模型领域了
因为最近在评估大模型用于行业应用，通过 OpenCompass 排行榜了解到了很多大模型，像文心一言是自己深度试用过的，趁着这次评估，也体验或者通过其他团队的介绍了解了通义千问、清华智谱、…
windows平台使用tensorRT部署yolov5详细介绍，整个流程思路以及细节。
目录 Windows平台上使用tensorRT部署yolov5
前言：
环境：
1.为什么要部署？
2.那为什么部署可以解决这个问题？（基于tensorRT）
3.怎么部署（只讨论tensorRT）
3.0部署的流程
3.1怎…
体悟PyTorch的优雅
——PyTorch 是所有的框架中面向对象设计的最优雅的一个。
—— PyTorch的设计最符合人们的思维。 编程是一门艺术，编程可以很优雅。研究可以很优雅，研发也可以很优雅。我们的人生可以很优雅！
1. PyTorch 的优雅 PyTorch 的面向对象设计确实…
Fashion MNIST数据集介绍及基于Pytorch下载数据集
Fashion MNIST数据集介绍及基于Pytorch下载数据集 🌵文章目录🌵 🌳引言🌳🌳Fashion MNIST数据集简介🌳Fashion MNIST数据集的类别说明Fashion MNIST数据集图片示例 🌳基于PyTorch下载Fashion MN…
pytorch 利用Tensorboar记录训练过程loss变化
文章目录 1. LossHistory日志类定义2. LossHistory类的使用2.1 实例化LossHistory2.2 记录每个epoch的loss2.3 训练结束close掉SummaryWriter 3. 利用Tensorboard 可视化3.1 显示可视化效果 参考 利用Tensorboard记录训练过程中每个epoch的训练loss以及验证loss，便于…
![PyTorch][chapter 13[李宏毅深度学习][Semi-supervised Linear Methods-2]](https://img-blog.csdnimg.cn/direct/63f3ce469f894afabefacb6ca8898ed3.png)
PyTorch][chapter 13[李宏毅深度学习][Semi-supervised Linear Methods-2]
前言： 接上篇CSDN 这里面重点讲下面4个方面
目录： PCA-Another Point of view（SVD） PCA 和 AutoEncoder 的关系 PCA 的缺点 PCA Python 例子 一 PCA-Another Point of view 以手写数字7的图像为例，它由不…
牛客刷题之条件判断语句
文章目录 布尔值的判断判断列表是否为空 布尔值的判断 注意点，0 字符对于布尔类型来说，是True ,所以必须转化为数字0才可以 boolennum bool(int(input()))
if boolennum:print(Hello World!)
else:print(Erros!)判断列表是否为空 my_list []
if my_li…
PyTorch中的动态计算图与张量
动态计算图与张量： 动态计算图是一种在运行时根据张量操作实时构建和更新计算流程的数据结构。在深度学习框架如PyTorch中，张量（Tensor）是基本的数据单元，它不仅存储数值数据，而且与计算过程紧密关联。…
![【PyTorch][chapter 14][李宏毅深度学习][Word Embedding]](https://img-blog.csdnimg.cn/direct/5a0d9329961548059fa6e33b7c22869e.png)
【PyTorch][chapter 14][李宏毅深度学习][Word Embedding]
前言： 这是用于自然语言处理中数据降维的一种方案。
我们希望用一个向量来表示每一个单词. 有不同的方案 目录： one-hot Encoding word-class 词的上下文表示 count-based perdition-based CBOW Skip-Gram word Embedding 词向量相似…
PyTorch 2.2 中文官方教程（十六）
介绍 torch.compile 原文：pytorch.org/tutorials/intermediate/torch_compile_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 注意
点击这里下载完整的示例代码
作者: William Wen
torch.compile是加速 PyTorch 代码的最新方法࿰…
Transformer的PyTorch实现之若干问题探讨（一）
《Transformer的PyTorch实现》这篇博文以一个机器翻译任务非常优雅简介的阐述了Transformer结构。在阅读时存在一些小困惑，此处权当一个记录。
1.自定义数据中enc_input、dec_input及dec_output的区别
博文中给出了两对德语翻译成英语的例子：
# S: de…
PyTorch、NCNN、CV::Mat三者张量的shape
目录 一、PyTorch二、NCNN三、CV::Mat 一、PyTorch
在 PyTorch 中，张量（Tensor）的形状通常按照 (N, C, H, W) 的顺序排列，其中： N 是批量大小（batch size） C 是通道数（channel numb…
Pytorch卷积层原理和示例 nn.Conv1d卷积 nn.Conv2d卷积
内容列表
一，前提 二，卷积层原理 1.概念 2.作用 3. 卷积过程 三，nn.conv1d 1，函数定义： 2, 参数说明: 3,代码: 4, 分析计算过程 四，nn.conv2d 1, 函数定义 2, 参数： 3, 代码 4, 分析计算过程
…
使用mmrotate对自定义数据集进行检测
这里写自定义目录标题 安装虚拟环境创建与准备安装mmrotate 自定义数据集标注数据与格式转换数据集划分与大图像切片 训练与测试修改配置文件执行训练进行测试鸣谢 安装
mmrotate是一个自带工作目录的python工具箱，个人觉得，在不熟悉的情况下࿰…
pytorch——保存‘类别名与类别数量’到权值文件中
前言
不知道大家有没有像我一样，每换一次不一样的模型，就要输入不同的num_classes和name_classes,反正我是很头疼诶，尤其是项目里面不止一个模型的时候，更新的时候看着就很头疼，然后就想着直接输入模型权值文件的path…
PyTorch的10个基本张量操作
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法，并且框架也是高效和可扩展的，下面我们将介绍一些Pytorch的基本张量操作。 Tensors
张量Tensors是一个向量，矩阵或任何n维数组。这是深度学习的基本数据结构…
PyTorch 2.2 中文官方教程（十一）
使用 PyTorch C 前端 原文：pytorch.org/tutorials/advanced/cpp_frontend.html 译者：飞龙 协议：CC BY-NC-SA 4.0 PyTorch C 前端是 PyTorch 机器学习框架的纯 C 接口。虽然 PyTorch 的主要接口自然是 Python，但这个 Python API 坐…
深度学习之pytorch 中 torch.nn介绍
1. torch.nn 介绍
pytorch 中必用的包就是 torch.nn，torch.nn 中按照功能分，主要如下有几类：
1. Layers（层）：包括全连接层、卷积层、池化层等。 2. Activation Functions（激活函数）…
PyTorch 2.2 中文官方教程（十九）
使用 RPC 进行分布式管道并行 原文：pytorch.org/tutorials/intermediate/dist_pipeline_parallel_tutorial.html 译者：飞龙 协议：CC BY-NC-SA 4.0 作者：Shen Li
注意 在github中查看并编辑本教程。
先决条件： PyTorc…
《PyTorch基础教程》01 搭建环境 基于Docker搭建ubuntu22+Python3.10+Pytorch2+cuda11+jupyter的开发环境
01 环境搭建
《PyTorch基础教程》01 搭建环境 基于Docker搭建ubuntu22Python3.10Pytorch2cuda11jupyter的开发环境
Docker部署PyTorch
拉取cnstark/pytorch镜像
拉取镜像：
docker pull cnstark/pytorch:2.0.1-py3.10.11-cuda11.8.0-ubuntu22.04导出镜像&#x…
【深度学习】基于PyTorch架构神经网络学习总结（基础概念基本网络搭建）
神经网络整体架构
类似于人体的神经元 神经网络工作原来为层次结构，一层一层的变换数据。如上述示例有4层，1层输入层、2层隐藏层、1层输出层神经元：数据的量或矩阵的大小，如上述示例中输入层中有三个神经元代表输入数据有3个特征…
基于pytorch深度学习遥感影像地物分类与目标识别、分割实践技术应用
基于PyTorch的深度学习遥感影像地物分类、目标识别与分割实践技术应用是一个涉及多个步骤的复杂过程。以下是一个基本的框架和实践技术应用的概述： 数据收集与预处理: 收集遥感影像数据，包括不同地物类别、不同分辨率和不同场景的数据。对遥感影像进行预…
算能RISC-V通用云开发空间编译pytorch @openKylin留档
终于可以体验下risc-v了！ 操作系统是openKylin，算能的云空间 尝试编译安装pytorch
首先安装git
apt install git
然后下载pytorch和算能cpu的库：
git clone https://github.com/sophgo/cpuinfo.git
git clone https://github.com/pytorc…
PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！
文章目录 前言 1、对参数的梯度进行裁剪，使其不超过一个指定的值 2、一个使用的torch.nn.utils.clip_grad_norm_ 例子 3、怎么获得梯度的norm 4、什么情况下需要梯度裁剪 5、注意事项 前言
梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或…
PyTorch 中音频信号处理库torchaudio的详细介绍
torchaudio 是 PyTorch 深度学习框架的一部分，是 PyTorch 中处理音频信号的库，专门用于处理和分析音频数据。它提供了丰富的音频信号处理工具、特征提取功能以及与深度学习模型结合的接口，使得在 PyTorch 中进行音频相关的机器学习和深度学习…
Transformer实战-系列教程11：SwinTransformer 源码解读4（WindowAttention类）
🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 SwinTransformer 算法原理 SwinTransformer 源码解读1（项目配置/SwinTr…
PyTorch中torchvision库的详细介绍
torchvision 是 PyTorch 生态系统中的一个关键库，专门为计算机视觉任务设计和优化。它提供了以下几个核心功能： 数据集：内置了多种广泛使用的图像和视频数据集，如 MNIST、CIFAR10/100、Fashion-MNIST、ImageNet、COCO 等ÿ…
PyTorch中模块、类和函数的命名和调用
1. Python的命名规则和调用
在 Python 中，模块、类和函数的命名遵循一定的规则，并且有特定的调用方法。下面分别介绍：
命名规则： 模块（Module）： 模块命名应遵循 Python 的标识符命名规范&…
Pytorch+NCCL源码编译
目录 环境1. 安装cudnn2. 使用pytorch自带NCCL库进行编译3. 修改NCCL源代码并重新编译后测试，体现出源码更改 环境
Ubuntu 22.04.3 LTS (GNU/Linux 5.15.0-91-generic x86_64)cuda 11.8 cudnn 8python 3.10torch V2.0.1 nccl 2.14.3NVIDIA GeForce RTX 4090 *2
1.…
深度学习中常用激活函数介绍
深度学习中常用激活函数介绍 在深度学习中，激活函数的作用主要是引入非线性特性，提高模型的表达能力。具体如下：
解决线性不可分问题：激活函数可以将输入特征的复杂度提升，使得神经网络能够处理非线性问题，…
PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
【新智元导读】新的一年，PyTorch也迎来了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。
新的一年，PyTorch也迎来了重大更新！
继去年十月份的PyTorch大会发布了2.1版本之后&#…
《动手学深度学习(PyTorch版)》笔记7.6
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
《动手学深度学习(PyTorch版)》笔记8.2
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
Transformer的PyTorch实现之若干问题探讨（二）
在《Transformer的PyTorch实现之若干问题探讨（一）》中探讨了Transformer的训练整体流程，本文进一步探讨Transformer训练过程中teacher forcing的实现原理。
1.Transformer中decoder的流程
在论文《Attention is all you need》中࿰…
PyTorch 2.2 中文官方教程（十四）
参数化教程 原文： 译者：飞龙 协议：CC BY-NC-SA 4.0 作者：Mario Lezcano 注意
点击这里下载完整示例代码
在本教程中，您将学习如何实现并使用此模式来对模型进行约束。这样做就像编写自己的nn.Module一样容易。
对深…
《动手学深度学习(PyTorch版)》笔记7.7
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
《动手学深度学习(PyTorch版)》笔记8.4
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
《动手学深度学习(PyTorch版)》笔记8.3
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
pytorch常用激活函数笔记
1. relu函数： 公式： 深层网络内部激活函数常用这个
import matplotlib.pyplot as pltdef relu_fun(x):if x>0:return xelse:return 0x np.random.randn(10)
y np.arange(10)plt.plot(y,x)for i ,t in enumerate(x):x[i] relu_fun(t)
plt.p…
Mamba 环境安装踩坑问题汇总及解决方法
项目场景：
最近Mamba有关的论文引起了众多人的关注，虽然Mamba论文自身被ICLR 2024拒稿，但是其衍生的模型层出不穷，诸如 Vim 和 Umamba 等。笔者在配置相关环境（版本安装要求：PyTorch 1.12；CUDA…
《动手学深度学习(PyTorch版)》笔记8.5
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）
🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类） …
[PyTorch]PyTorch中张量(Tensor)拼接和拆分操作
PyTorch深度学习总结
第四章 PyTorch中张量(Tensor)拼接和拆分操作 文章目录 PyTorch深度学习总结前言一、张量拼接二、张量拆分 前言
上文介绍了PyTorch中张量(Tensor)的切片操作，本文主要介绍张量的拆分和拼接操作。 一、张量拼接
函数描述torch.cat()将张量按…
【安装pytorch】
项目场景：
提示：这里简述项目相关背景：
例如：项目需求安装pytorch，安装神经网络环境配置。 问题描述
提示：这里描述项目中遇到的问题： 安装pytorch 官网 https://pytorch.org/ 详细看官方提供…
PyTorch detach()：深入解析与实战应用
PyTorch detach()：深入解析与实战应用 🌵文章目录🌵 🌳引言🌳🌳一、计算图与梯度传播🌳🌳二、detach()函数的作用🌳🌳三、detach()与requires_graddz…
【PyTorch】PyTorch中张量(Tensor)统计操作
PyTorch深度学习总结
第五章 PyTorch中张量(Tensor)统计操作 文章目录 PyTorch深度学习总结前言一、最值查找二、特殊值查询 前言
上文介绍了PyTorch中张量(Tensor)的计算操作，本文将介绍张量的统计操作。 一、最值查找
函数描述torch.max()找出张量中的最大值to…
在PyTorch中，如何查看深度学习模型的每一层结构？
这里写目录标题 1. 使用print(model)2. 使用torchsummary库3.其余方法（可以参考） 在PyTorch中，如果想查看深度学习模型的每一层结构，可以使用print(model)或者model.summary()（如果你使用的是torchsummary库࿰…
《动手学深度学习(PyTorch版)》笔记8.6
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
Matplotlib plt.scatter：从入门到精通，只需一篇文章！
Matplotlib plt.scatter：从入门到精通，只需一篇文章！🚀 利用Matplotlib进行数据可视化示例 🌵文章目录🌵 一、plt.scatter入门：轻松迈出第一步 👣二、进阶探索：plt.scatt…
【几分钟】快速熟悉torch.save()、torch.load()、torch.nn.Module.load_state_dict()
【几分钟】快速熟悉torch.save()、torch.load()、torch.nn.Module.load_state_dict() 🌵文章目录🌵 🌳引言🌳🌳torch.save()详解🌳🌳torch.load()详解🌳🌳torch.nn.Modul…
pytorch神经网络入门代码
import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms# 定义神经网络结构
class SimpleNN(nn.Module):def __init__(self, input_size, hidden_size, num_classes):super(SimpleNN, self).__init_…
Python学习Pytorch
一、如何查看本机是否安装了Pytorch
在Python环境中查看是否安装了PyTorch可以通过几个简单的步骤来完成。这里有一些方法： 使用Python命令行: 打开你的命令行工具（比如Terminal、Command Prompt或Anaconda Prompt），然后输入Pyth…
PyTorch使用Tricks：学习率衰减 ！！
文章目录 前言 1、指数衰减 2、固定步长衰减 3、多步长衰减 4、余弦退火衰减 5、自适应学习率衰减 6、自定义函数实现学习率调整：不同层不同的学习率 前言 在训练神经网络时，如果学习率过大，优化算法可能会在最优解附近震荡而无法收敛&#x…
PyTorch-线性回归
已经进入大模微调的时代，但是学习pytorch，对后续学习rasa框架有一定帮助吧。
<!-- 给出一系列的点作为线性回归的数据，使用numpy来存储这些点。 -->
x_train np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],[9.779], [6.1…
Pytorch的安装教程,解决jupyter不能使用pytorch的问题
一.Pytorch的安装教程：PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili 在anaconda prompt 提示符输入以下语句： 激活pytorch环境：conda activate pytorch查看pytorch环境下安装了…
python - OSError：错误没有名为 [‘pytorch_model.bin‘
python - OSError：错误没有名为 [‘pytorch_model.bin’] 自己训练的模型存储好了以后 model MT5ForConditionalGeneration.from_pretrained(“ner/best”) 之前还可以跑 现在报错 错误没有名为 [‘pytorch_model.bin’]
还原了一下conda env
把四版变成三版了 …
RTDETR改进系列指南
基于Ultralytics的RT-DETR改进项目.(89.9)
为了感谢各位对RTDETR项目的支持,本项目的赠品是yolov5-PAGCP通道剪枝算法.具体使用教程
自带的一些文件说明
train.py 训练模型的脚本main_profile.py 输出模型和模型每一层的参数,计算量的脚本(rtdetr-l和rtdetr-x因为thop库的问…
深度学习之pytorch实现线性回归
度学习之pytorch实现线性回归 pytorch用到的函数torch.nn.Linearn()函数torch.nn.MSELoss()函数torch.optim.SGD() 代码实现结果分析 pytorch用到的函数
torch.nn.Linearn()函数
torch.nn.Linear(in_features, # 输入的神经元个数out_features, # 输出神经元个数biasTrue # 是…
从源代码安装 rocSOLVER 并 调试 rocSOLVER 在 Ubuntu 22.04 平台
0, 下载并编译 rocBLAS 的调试版本 sudo apt install python3.10-venv
sudo apt install libmsgpack-dev
sudo pip install joblibgit clone --recursive https://github.com/ROCm/rocBLAS.git
$ cd rocBLAS/
$ ./install.sh -i -g构建时间也不短 1，下载并编译 roc…
pytorch入门笔记二
torch.nn.Sequential
torch.nn.Sequential是一个容器，利用此容器可以快速简单的搭建一个简单的神经网络。这里以搭建一个三层神经网络为例。 首先该容器的参数分别是上一层到下一层的权重、激活函数，以此循环。 这里torch提供快速生成网络权重的方法&am…
记录 | pytorch计算ap的方法
假设当前经过标签数据与预测数据的加载，我们得到了下面两个变量：
det_boxes：包含全部图像中所有类别的预测框，其中一个边框包含了[left, top, right, bottom, score, NameofImage]gt_boxes：包含了全部图像中所有类别的…
PyTorch使用Tricks：Dropout，R-Dropout和Multi-Sample Dropout等 ！！
文章目录 1、为什么使用Dropout？ 2、Dropout的拓展1：R-Dropout 3、Dropout的拓展2：Multi-Sample Dropout 4、Dropout的拓展3：DropConnect 5、Dropout的拓展4：Standout 6、Dropout的拓展5：Gaussian Dropout …
【RT-DETR有效改进】可变形大核注意力 | Deformable-LKA适用于复杂背景或不同光照场景
👑欢迎大家订阅本专栏，一起学习RT-DETR👑
一、本文介绍
本文给大家带来的改进内容是Deformable-LKA（可变形大核注意力）。Deformable-LKA结合了大卷积核的广阔感受野和可变形卷积的灵活性，有效地处理复杂的视觉信息。这一机制通过动态调整卷积核的形状和大小来适…
用Dockerfile创建PostgreSQL数据库
官网下载基本镜像
[rootlocalhost ~]# docker pull postgres:latest创建项目目录
[rootlocalhost ~]# mkdir /root/postgresql创建一个名为 “Dockerfile” 的文件
[rootlocalhost ~]# vim Dockerfile
# 使用官方的PostgreSQL镜像
FROM postgres:latest# 设置环境变量&#…
RuntimeError: CUDA out of memory.【多种场景下的解决方案】
RuntimeError: CUDA out of memory.【多种场景下的解决方案】 🌈 个人主页：高斯小哥 🔥 高质量专栏：【Matplotlib之旅：零基础精通数据可视化】 🏆🏆关注博主，随时获取更多关于深度学…
【深度学习】Pytorch 系列教程（七）：PyTorch数据结构：2、张量的数学运算（5）：二维卷积及其数学原理
文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
深度学习(17)--DataLoader自定义数据集制作
目录
DataLoader自定义数据集制作
1.从标注文件(txt文件)中读取数据和标签
2.分别把数据和标签存在两个list中
3.设置完整的图像数据路径
4.根据任务整合出一个数据处理类
5.数据预处理
6.使用定义好的类来实例化DataLoader
7.检查数据和标签是否对应
8.使用创建好的D…
Pytorch 复习总结 2
Pytorch 复习总结，仅供笔者使用，参考教材：
《动手学深度学习》Stanford University: Practical Machine Learning
本文主要内容为：Pytorch 线性神经网络。
本文以机器学习中的两大基本问题 —— 回归和分类为例，介绍…
精通PyTorch：如何选择合适的优化器和损失函数
精通PyTorch：如何选择合适的优化器和损失函数 引言PyTorch优化器概览PyTorch损失函数解析高级优化技巧优化器和损失函数的实战应用1. 卷积神经网络（CNN）的应用实例2. 循环神经网络（RNN）的应用实例3. 优化过程中的常见问…
算能RISC-V通用云开发空间openKylin留档
终于可以体验下risc-v了！ 操作系统是openKylin，算能的云空间 尝试编译安装pytorch
首先安装git
apt install git
然后下载pytorch和算能cpu的库：
git clone https://github.com/sophgo/cpuinfo.git
git clone https://github.com/pytorc…
手撕SelfAttention
一、目录
定义代码实现
二、实现
定义 代码实现 #手撕 self attention
import torch
import torch.nn as nn
import numpy as npclass SelfAttention(nn.Module):def __init__(self,hidden_dim,dim_q,dim_v):super(SelfAttention,self).__init__()self.hidden_dimhidden_dim…
RuntimeError: CUDNN_STATUS_EXECUTION_FAILED
问题描述：
运行代码时候报错： 原因：pytorch与cuda版本不对，需要重新安装。不过我在复现代码的时候一般是要求特定的环境，不然会有其他错误，所以选择其他解决办法。
解决方案：
在train.py开头…
【RT-DETR有效改进】Best Paper | DAttention (DAT)可变形注意力机制和动态采样点
一、本文介绍
本文给大家带来的是RT-DETR改进DAT(Vision Transformer with Deformable Attention)的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变…
在Windows中安装PyTorch
文章目录 1. 创建虚拟环境2. 检查显卡版本和CUDA3. 下载链接4. 下载5. 等待6. 检测 1. 创建虚拟环境
具体查看我之前写的 《在Windows中利用Python的venv和virtualenv创建虚拟环境》
2. 检查显卡版本和CUDA 这种情况是需要电脑上有单独的英伟达的显卡、或者英伟达的显卡和集显…
【pytorch】pytorch模型可复现设置
文章目录 序言1. 可复现设置代码2. 可复现设置代码解析2.1 消除python与numpy的随机性2.2 消除torch的随机性2.3 消除DataLoader的随机性2.4 消除cuda的随机性2.5 避免pytorch使用不确定性算法2.6 使用pytorch-lightning2.7 特殊情况 序言
为了让模型在同一设备每次训练的结果…
conda常用命令详解
Conda 是一个功能强大的包管理器和环境管理器，用于安装、部署和管理软件包和其依赖关系。下面是一些常用的 Conda 命令及其详细解释： 创建环境： conda create --name myenv python3.8 创建一个名为 myenv 的环境，并指定 Python 版…
基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的遥感目标检测系统（Python+PySide6界面+训练代码）
摘要：本文介绍了一种基于深度学习的遥感目标检测系统系统的代码，采用最先进的YOLOv8算法并对比YOLOv7、YOLOv6、YOLOv5等算法的结果，能够准确识别图像、视频、实时视频流以及批量文件中的遥感目标。文章详细解释了YOLOv8算法的原理࿰…
8-pytorch-损失函数与反向传播
b站小土堆pytorch教程学习笔记 根据loss更新模型参数 1.计算实际输出与目标之间的差距 2.为我们更新输出提供一定的依据（反向传播） 1 MSEloss
import torch
from torch.nn import L1Loss
from torch import nninputstorch.tensor([1,2,3],dtypetorch.fl…
使用TensorRT在PyTorch项目中加速深度学习推理
在PyTorch项目中使用TensorRT进行深度学习推理通常涉及以下步骤： 模型训练：首先，在PyTorch中训练你的深度学习模型。 模型导出：训练完成后，将模型从PyTorch导出为ONNX（Open Neural Network Exchange&#…
【pytorch】tensor.detach()和tensor.data的区别
文章目录 序言相同点不同点测试实例应用 序言
.detach()和.data都可以用来分离tensor数据，下面进行比较pytorch0.4及之后的版本，.data仍保留，但建议使用.detach()
相同点
x.detach()和x.data返回和x相同数据的tensor，这个新的t…
【踩坑】PyTorch中指定GPU不生效和GPU编号不一致问题
转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn] 指定GPU不生效问题
解释：就是使用os.environ["CUDA_VISIBLE_DEVICES"] "1"后，后面使用起来仍然是cuda0.
解决：在最开头就使用
import os
os.environ[&…
PyTorch深度学习实战（37）——CycleGAN详解与实现
PyTorch深度学习实战（37）——CycleGAN详解与实现 0. 前言1. CycleGAN 基本原理2. CycleGAN 模型分析3. 实现 CycleGAN小结系列链接 0. 前言
CycleGAN 是一种用于图像转换的生成对抗网络(Generative Adversarial Network, GAN)，可以在不需要配…
【Pytorch深度学习开发实践学习】【AlexNet】经典算法复现-Pytorch实现AlexNet神经网络（1）model.py
算法简介
AlexNet是人工智能深度学习在CV领域的开山之作，是最先把深度卷积神经网络应用于图像分类领域的研究成果，对后面的诸多研究起到了巨大的引领作用，因此有必要学习这个算法并能够实现它。
主要的创新点在于：
首次使用GPU…
pytorch -- 常见的transform包方法
1. 基础
PIL Image -> Image.open tensor -> ToTensor() [Convert a PIL Image or ndarray to tensor] ndarray -> cv2.imread
2. 常见方法
(1)ToTensor 将PIL/numpy ndarry转化为tensor
from PIL import Image
from torch.utils.tensorboard import SummaryWrite…
锂电池SOC估计 | PyTorch实现基于Basisformer模型的锂电池SOC估计
目录 预测效果基本介绍程序设计参考资料 预测效果 基本介绍 PyTorch实现基于Basisformer模型的锂电池SOC估计 锂电池SOC估计，全新【Basisformer】时间序列预测 1.采用自适应监督自监督对比学习方法学习时序特征； 2.通过双向交叉注意力机制计算历史序列和…
基于Pytorch的猫狗图片分类【深度学习CNN】
猫狗分类来源于Kaggle上的一个入门竞赛——Dogs vs Cats。为了加深对CNN的理解，基于Pytorch复现了LeNet,AlexNet,ResNet等经典CNN模型，源代码放在GitHub上，地址传送点击此处。项目大纲如下： 文章目录 一、问题描述二、数据集处理…
pytorch保存张量为图片
这里用到的是torchvision中的save_image。
废话不多说，直接来代码：
import torch
from torchvision.utils import save_image
B, C, H, W 64, 3, 32, 32
input_tensor torch.randn(B, C, H, W) save_image(input_tensor, "hh.png", nrow8)…
深度学习手写字符识别：推理过程
说明
本篇博客主要是跟着B站中国计量大学杨老师的视频实战深度学习手写字符识别。 第一个深度学习实例手写字符识别
深度学习环境配置
可以参考下篇博客，网上也有很多教程，很容易搭建好深度学习的环境。 Windows11搭建GPU版本PyTorch环境详细过程
数…
pytorch -- DataLoader
定义 提供了给定数据集的迭代器
torch.utils.data.DataLoader(dataset,
batch_size1, 每次拿多少数据
shuffleNone, 是否打乱
samplerNone,
batch_samplerNone,
num_workers0, 多进程（加载数据时采用）默认是0,使用主进程加载数据
collate_fnNone,
p…
如何修改Pytorch scripted_model 模型
如何修改Pytorch scripted_model 模型 源码 本文演示了如何修改Pytorch scripted_model 结构,需求背景
某些AI加速卡的推理软件栈会对模型做图优化,一些模型的图匹配策略不完善,导致编译失败方案一是等待厂家解决,方案二是自己修改图结构,向厂家支持的结构靠拢
源码
import …
Pytorch用ConvTranspose2d替代Upsample
Pytorch用ConvTranspose2d替代Upsample 网络结构训练ConvTranspose2d的权值用上面生成的权值验证 本文介绍了Pytorch如何用ConvTranspose2d算子等价替代Upsample算子。
背景介绍：
某些AI加速卡上Upsample算子的性能不够高,是否能用别的算子临时替代呢可以手动推断…
9-pytorch-现有模型使用及修改
b站小土堆pytorch教程学习笔记 1 使用ImageNet测试模型vgg16
train_datatorchvision.datasets.ImageNet(dataset/ImageNet,trainTrue
,downloadTrue
,transformtorchvision.transforms.ToTensor())代码运行报错：ImageNet数据集过大，导致现在无法公开访问…
【深度学习】Pytorch教程（十三）：PyTorch数据结构：5、张量的梯度计算：变量（Variable）、自动微分、计算图及其可视化
文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
B站项目-基于Pytorch的ResNet垃圾图片分类
基于Pytorch的ResNet垃圾图片分类
数据集预处理
画图片的宽高分布散点图
import osimport matplotlib.pyplot as plt
import PIL.Image as Imagedef plot_resolution(dataset_root_path):image_size_list []#存放图片尺寸for root, dirs, files in os.walk(dataset_root_pa…
Pytorch实现LeNet神经网络（1）
1.model.py
import torch.nn as nn
import torch.nn.functional as F引入pytorch的两个模块 关于这两个模块的作用，可以参考下面 Pytorch官方文档 torch.nn包含了构成计算图的基本模块 torch,nn.function包括了计算图中的各种主要函数，包括&#…
深度学习-Pytorch运算的基本数据类型
深度学习-Pytorch模型运算的基本数据类型
用pytorch构建模型，并训练模型，得到一个优化的模型，那么模型构造的数据类型怎样的？
数据分析
数据分析-Pandas如何转换产生新列
数据分析-Pandas如何统计数据概况
数据分析-Pandas如…
pytorch --反向传播和优化器
1. 反向传播
计算当前张量的梯度
Tensor.backward(gradientNone, retain_graphNone, create_graphFalse, inputsNone)计算当前张量相对于图中叶子节点的梯度。
使用反向传播，每个节点的梯度，根据梯度进行参数优化，最后使得损失最小化
代码…
pytorch -- torch.nn网络结构
1. 官网描述
官网 使用 torch.nn 模块，我们可以创建自定义的神经网络模型，并使用 PyTorch 提供的优化器（如 torch.optim）和损失函数来训练和优化模型。 2. 常见结构
1.卷积操作 定义： 二维卷积 1.1版本 nn.functio…
pytorch中的各种计算
对tensor矩阵的维度变换，加减乘除等是深度学习中的常用操作，本文对一些常用方法进行总结
矩阵乘法 混合矩阵相乘，官网
torch.matmul(input, other, *, outNone) → Tensor这个方法执行矩阵相乘操作，需要第一个矩阵的最后一个维度…
nn.Linear() 使用提醒
原本以为它是和nn.Conv2d()一样，就看第二个维度的数值，今天才知道，它是只看最后一个维度的数值！！！ 例子1 Descripttion:
Result:
Author: Philo
Date: 2024-02-27 14:33:50
LastEditors: Philo
LastEditT…
PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）
1. 简述
使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。
另一种相对简便的方式就是通过ONNX中间…
【代码解读】OpenCOOD框架之model模块（以PointPillarFCooper为例）
point_pillar_fcooper PointPillarFCooperPointPillarsPillarVFEPFNLayerPointPillarScatterBaseBEVBackboneDownsampleConvDoubleConv SpatialFusion检测头 （紧扣PointPillarFCooper的框架结构，一点一点看代码） PointPillarFCooper
# -*- c…
深度学习-回顾CNN经典网络LetNet
深度学习-回顾CNN经典网络LetNet
深度学习中，从LetNet到当前最火的GPT所用的Transformer，经典网络引领一波又一波的技术革命，它们把AI技术不断推向高潮。
用pytorch构建CNN经典网络模型LetNet，还可用数据进行训练模型࿰…
深度学习--pytorch的各种处理
什么是深度学习 机器学习是实现人工智能的一种途径。 深度学习是机器学习的一个子集，也就是说深度学习是实现机器学习的一种方法 传统机器学习算术依赖人工设计特征，并进行特征提取，而深度学习方法不需要人工，而是依赖算法自动提…
中文文本分类（pytorch 实现）
import torch
import torch.nn as nn
import torchvision
from torchvision import transforms, datasets
import os, PIL, pathlib, warningswarnings.filterwarnings("ignore") # 忽略警告信息# win10系统
device torch.device("cuda" if torch.cuda.i…
【pytorch】函数记录
你好你好！ 以下内容仅为当前认识，可能有不足之处，欢迎讨论！ 文章目录 torch.sum()torch.argmax()torch.nn.Parametertorch.unbindtorch.optim.Adam()[^adam]torch.cattorch.unsqueeze()torch.normalize()[^l2]torch.eyetorch.mmto…
pytorch张量创建、张量复制
pytorch张量创建、张量复制
首先注意一点：在torch中，可导张量计算出的新张量也是可导的，新张量与原张量具有可导连接，那么原张量就不是叶子张量，新张量成了叶子张量。
创建方式一：torch.tensor()
torch.…
pytorch 数据集处理以及模型训练
1.基础类说明 为了统一数据的加载和处理代码，pytorch提供了两个类，用来处理数据加载：
torch.utils.data.DataLoader
torch.utils.data.Dataset 通过这两个类，可以使数据集加载和预处理代码，与模型训练代码脱钩…
PyTorch基础（19）-- torch.take_along_dim()方法
一、前言
在深挖ML4CO的代码过程中，遇到了torch.take_along_dim()这个方法，影响到我后续的代码阅读；加之在上网搜索资料的过程中，网络上对此函数的介绍文章少之又少，即使有，也是对torch官网文档中的解释进…
深度学习PyTorch 之 RNN-中文多分类
关于RNN的理论部分我们已经在前面介绍过，所以这里直接上代码
1、 数据部分
1.1 读取数据
# 加载数据
data_path ./data/news.csv
data pd.read_csv(data_path)# 预览数据的前几行
data.head()数据是csv格式，只有两列，第一列是标签&#…
大语言模型LLM分布式框架：PyTorch Lightning框架（LLM系列14）
文章目录 大语言模型LLM分布式框架：PyTorch Lightning框架（LLM系列14）引言PyTorch Lightning分布式计算基础PyTorch Lightning核心架构概览LightningModule与分布式训练的兼容性LightningDataModule在分布式数据加载与预处理中的作用Trainer类…
pytorch 图像的卷积操作
目录
1.卷积核基本参数说明 2.卷积相关操作说明
3.卷积操作示例 1.卷积核基本参数说明 pytorch进行图像卷积操作之前，需要把图像素格式进行分离，比如一个图像为rgb格式，把R，G,B取出来作为一个ndarray，前文讲过&#…
LLM int4算法autoround v0.1即将发布，欢迎试用
概述
AutoRound（https://github.com/intel/auto-round）实现了出色的量化性能，在W4G128上多数场景中接近无损压缩，适用于包括gemma-7B、Mistral-7b、Mixtral-8x7B-v0.1、Mixtral-8x7B-Instruct-v0.1、Phi2、LLAMA2等一系列流行模型…
【PyTorch笔记 04】F.cross_entropy的使用
torch.nn.functional.cross_entropy是PyTorch中用于计算交叉熵损失的函数，非常适合用于多分类问题。这个函数结合了log_softmax操作和nll_loss（负对数似然损失）的计算，因此输入得分（即模型输出）不需要事先经…
YOLOv8改进 | 独家创新篇 | 结合SOTA思想利用双主干网络改进YOLOv8（全网独家创新，最重磅的更新）
一、本文介绍
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持YOLOv8全系列模型从n到x均可…
pytorch 图像数据集管理
目录
1.数据集的管理说明
2.数据集Dataset类说明
3.图像分类常用的类 ImageFolder 1.数据集的管理说明 pytorch使用Dataset来管理训练和测试数据集，前文说过
torchvision.datasets.MNIST 这些 torchvision.datasets里面的数据集都是继承Dataset而来，…
成功解决IndexError: Target 20 is out of bounds.
【PyTorch】成功解决IndexError: Target 20 is out of bounds. 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希望得到您…
CBAM注意力机制详解（附pytorch复现）
简介
论文原址：1807.06521.pdf (arxiv.org)
CBAM（Convolutional Block Attention Module）是一种卷积神经网络模块，旨在通过引入注意力机制来提升网络的表示能力。CBAM包含两个顺序子模块：通道注意力模块和空间注意力…
PyTorch、TensorFlow 两者和Transformers的关系,openai,chatgpt
1.openai:是一家人工智能公司
2.openai-api：是openai提供的api
3.chatgpt：是openai公司推出一款产品，主要是做自然语言处理的工具产品使用的技术是 Transformer神经网络架构
4.PyTorch和TensorFlow是两个广泛使用的深度学习框架
5…
《PyTorch深度学习实践》第八讲加载数据集
一、
1、DataSet 是抽象类，不能实例化对象，主要是用于构造我们的数据集
2、DataLoader 需要获取DataSet提供的索引[i]和len;用来帮助我们加载数据，比如说做shuffle(提高数据集的随机性)，batch_size,能拿出Mini-Batch进行训练。它…
Pytorch中，dim形象化的确切意义是什么？
在Pytorch中涉及张量的操作都会涉及“dim”的设置，虽然也理解个大差不差，但是偶尔还是有点犯迷糊，究其原因还是没有形象化的理解。
首先，张量的维度排序是有固定顺序的，0，1，2，.....…
【PyTorch][chapter 19][李宏毅深度学习]【无监督学习][ GAN]【理论】
前言： 生成对抗网络（Generative Adversarial Nets，GAN）是一种基于对抗学习的深度生成模型。 2014年，蒙特利尔博士 lan Goodfellow 发表了论文《Generative Adaversarial Networks》，
一经提出便成为了学术…
深度学习得力工具之PyTorch
Pytorch是研究深度学习的一种得力工具，相当于机器学习中numpy和sklearn的地位。它将数据封装成张量（Tensor）来进行处理。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。在 PyTorch 中，张量以 “类” 的形式封装起来&am…
deeplearning with pytorch (四)
1.Convolutional Neural Network Model
torch.Tensor.view — PyTorch 2.2 documentation
在神经网络中，使用激活函数（如ReLU）是为了引入非线性，使得网络能够学习和模拟复杂的函数映射。ReLU（Rectified Linear Unit&…
✅ Windows11 系统 I 卡独显 A770 安装 深度学习 Pytorch 环境
📋 文献参考 这里非常感谢知乎上的 ‘丢丢’ 的[**Windows系统下英特尔独显Pytorch的历程**] 为我提供了一开始的 I 卡安装想法！但是文中并未介绍如何进行额外的环境变量操作问题，导致很多软件直接安装至系统盘，占用系统盘空间&am…
YOLOv6代码解读[05] yolov6/core/engine.py文件解读
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
from ast import Pass
import os
import os.path as osp
import time
from copy import deepcopy
from tqdm import tqdm
import cv2
import numpy as np
import mathimport torch
from torch.cuda
新书速览|PyTorch语音识别实战（人工智能技术丛书）
实战语音唤醒、音频特征抽取、语音情绪分类、Whisper语音转换、鸟叫多标签分类、多模态语音文字转换 01
本书内容 《PyTorch语音识别实战》使用PyTorch 2.0作为语音识别的基本框架，循序渐进地引导读者从搭建环境开始，逐步深入到语音识别基本理论、算法以…
基于PyTorch深度学习实战入门系列-(2)Numpy基础上
导入Numpy模块 import numpy as np创建数组（一维数组、小数数组、二维数组） # 创建一个一维数组
n1 np.array([1, 2, 3])
# 创建一个含有小数的一维数组
n2 np.array([0.1, 0.2, 0.3])
# 创建一个简单的二维数组
n3 np.array([[1, 2], [3, 4]])
print…
b站小土堆pytorch学习记录——P7-P8 Tensorboard的使用
文章目录 一、前置知识1.Tensorboard是什么2.SummaryWriter3.add_scalar()4.add_image() 二、代码1.一次函数2.蚂蚁和蜜蜂图片 一、前置知识
1.Tensorboard是什么
TensorBoard 是 TensorFlow 的可视化工具，它允许开发者可视化模型的图（graph࿰…
YOLOv9有效提点|加入BAM、CloFormer、Reversible Column Networks、Lskblock等几十种注意力机制（二）
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，主力高效涨点！！！ 一、本文介绍 本文只有代码及注意力模块简介，YOLOv9中的添加教程：可以看这篇文章。 YOLOv9有效提点|加入SE、CBAM、ECA、SimA…
物体检测-系列教程20：YOLOV5 源码解析10 （Model类前向传播、forward_once函数、_initialize_biases函数）
😎😎😎物体检测-系列教程 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 14、Model类
14.2 前向传播 def forward(self, x, augmentFalse, profileFalse):if augm…
ChatGPT支持下的PyTorch机器学习与深度学习技术应用
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受…
【RT-DETR有效改进】全新的SOATA轻量化下采样操作ADown（轻量又涨点，附手撕结构图）
一、本文介绍
本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的ADown模块来改进我们的Conv模块，其中YOLOv9针对于这个模块并没有介绍，只是在其项目文件中用到了，我将其整理出来用于我们的RT-DETR的项目，经过实验我发现该卷积模块（作为下采样模块）…
YOLOv9独家改进|动态蛇形卷积Dynamic Snake Convolution与空间和通道重建卷积SCConv与RepNCSPELAN4融合
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，主力高效涨点！！！ 一、改进点介绍 Dynamic Snake Convolution是一种针对细长微弱的局部结构特征与复杂多变的全局形态特征设计的卷积模块。 SCConv是一种即插即用的空间…
b站小土堆pytorch学习记录——P14 torchvision中的数据集使用
文章目录 一、前置知识如何查看torchvision的数据集 二、代码（附注释）及运行结果 一、前置知识
如何查看torchvision的数据集
（1）打开官网 https://pytorch.org/
pytorch官网
（2）打开torchvision
在Do…
b站小土堆pytorch学习记录—— P16 神经网络的基本骨架 nn.Module的使用
文章目录 一、前置知识1.nn是什么2.nn如何使用 二、代码 一、前置知识
1.nn是什么
在深度学习中，“nn” 通常是指神经网络（Neural Network）的缩写。神经网络是一种由大量神经元（neurons）相互连接而成的模型ÿ…
pytorch中torch.bernoulli的使用方法-随机丢弃数据中的部分数据
今天在学习深度学习代码时，使用到如何将数据中的嵌入信息进行随机的丢弃。 在 PyTorch 中，torch.bernoulli 是用于生成服从伯努利分布的随机张量的函数。伯努利分布是一种二元分布，产生的值为0或1，具有概率 p 和 1-p。
语法
tor…
pytorch_神经网络构建6
文章目录 强化学习概念实现qLearning基于这个思路,那么解决这个问题的代码如下 强化学习概念
强化学习有一个非常直观的表现，就是从出发点到目标之间存在着一个连续的状态转换，比如说从状态一到状态456，而每一个状态都有多种的行为ÿ…
过于老旧的pytorch_ssim包 请从github下载源码
有些冷门算法真的不要随便pip，有可能下载到史前版本…最好还是找源代码 汗 今天要用到SSIM损失函数，从网上简单看了一下原理就想测试一下，偷了一下懒就直接在命令行输入pip install pytorch_ssim了，结果报了一堆错误（汗…
【PyTorch知识点汇总】
PyTorch是一个广泛使用的深度学习框架，它提供了许多功能强大的工具和函数，用于构建和训练神经网络。以下是一些PyTorch的常用知识点和示例说明： 张量（Tensors） 创建张量：使用torch.tensor()、torch.Tenso…
经典语义分割(一)利用pytorch复现全卷积神经网络FCN
经典语义分割(一)利用pytorch复现全卷积神经网络FCN
这里选择B站up主[霹雳吧啦Wz]根据pytorch官方torchvision模块中实现的FCN源码。
Github连接：FCN源码
1 FCN模型搭建
1.1 FCN网络图
pytorch官方实现的FCN网络图，如下所示。
1.2 backbone
FCN原…
pytorch 自定义函数
pytorch 自定义函数
介绍：https://zhuanlan.zhihu.com/p/344802526 主要构建 static method forward 和 backward
比如 layernorm: 参考：https://github.com/zhangyi-3/KBNet/blob/main/basicsr/models/archs/kb_utils.py
导数的推导：http…
【学习笔记】深度学习实战 | LeNet
简要声明 学习相关网址 [双语字幕]吴恩达深度学习deeplearning.aiPapers With CodeDatasets 深度学习网络基于PyTorch学习架构，代码测试可跑。本学习笔记单纯是为了能对学到的内容有更深入的理解，如果有错误的地方，恳请包容和指正。
参考文献…
YOLOv9独家原创改进|加入幽灵卷积Ghost Convolution模块，轻量化！
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，主力高效涨点！！！ 一、论文摘要 由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络是困难的。特征图中的冗余是那些成功的细胞神经网络的一个重要特征…
Pytorch学习 day03（Tensorboard）
Tensorboard
Tensorboard能够可视化loss的变化过程，便于我们查看模型的训练状态，也能查看模型当前的输入和输出结果 在Pycharm中，可以通过按住ctrl，并左键点击某个库来进入源文件查看该库的使用方法 SummaryWriter是用来向log_di…
大语言模型LLM代码：PyTorch库与ChatGLM模型
文章目录 通过阅读大语言模型的代码，熟悉并理解PyTorch大语言模型LLM代码：PyTorch库与ChatGLM模型大语言模型中的PyTorchChatGLM3-6B模型代码ChatGLMModel类总览ChatGLMModel类说明ChatGLMModel类核心代码片段通过阅读大语言模型的代码，熟悉并理解PyTorch
大语言模型LLM代码…
深度学习-Pytorch实现经典VGGNet网络
深度学习-Pytorch实现经典VGGNet网络
深度学习中，经典网络引领一波又一波的技术革命，从LetNet到当前最火的GPT所用的Transformer，它们把AI技术不断推向高潮。2012年AlexNet大放异彩，它把深度学习技术引领第一个高峰，打…
Fastwhisper + Pyannote 实现 ASR + 说话者识别
文章目录 前言一、faster-whisper简单介绍二、pyannote.audio介绍三、faster-whisper pyannote.audio 实现语者识别四、多说几句 前言
最近在研究ASR相关的业务，也是调研了不少模型，踩了不少坑，ASR这块，目前中文普通话效果最好的…
pytorch项目代码记录
1.超过二维的张量写进csv
#(20,204,273) -> (4080,273)
ycsv []for i in range(20):ycsv.append(y[i, 8, :, :].reshape(204,273))with open(y.csv,w,encodingutf-8) as y_obj:writer csv.writer(y_obj)for j in range(20):writer.writerows(ycsv[j])data pd.read_csv(y…
全连接神经网络算法原理(激活函数、前向传播、梯度下降法、损失函数、反向传播
文章目录 前言1、全连接神经网络的整体结构：全连接神经网络模型是由输入层、隐藏层、输出层所组成，全连接神经网络结构如下图所示：全连接神经网络的每一层都是由一个一个的神经元所组成的，因此只要搞清楚神经元的本质就可以搞清楚…
《PyTorch深度学习实践》第十一讲卷积神经网络进阶
一、 1、卷积核超参数选择困难，自动找到卷积的最佳组合。
2、1x1卷积核，不同通道的信息融合。使用1x1卷积核虽然参数量增加了，但是能够显著的降低计算量(operations)
3、Inception Moudel由4个分支组成，要分清哪些是在Init里定义…
《PyTorch深度学习实践》第十讲卷积神经网络基础
一、
0、Feature Extraction特征提取器，Classification分类器 1、每一个卷积核它的通道数量要求和输入通道是一样的。这种卷积核的总数有多少个和你输出通道的数量是一样的。
2、卷积(convolution)后，C(Channels)变，W(width)和H(Height)可变…
在pytorch中利用GPU训练神经网络时代码的执行顺序并提高训练效率
在pytorch中利用GPU训练神经网络时代码的执行顺序并提高训练效率
在 PyTorch 中，大多数操作在 GPU 上默认是异步执行的，但这并不意味着它们是并行执行的。要理解代码是同步还是异步执行，以及是串行还是并行执行，我们需要考虑几个…
【Pytorch入门】常见Transforms/ __call__方法
在Python中，__call__方法是一个特殊方法，用于使对象可以像函数一样被调用。当一个对象实现了__call__方法时，可以直接使用括号运算符将对象作为函数调用。
通过实现__call__方法，可以为对象提供函数式的行为，使其更加…
Python】深度学习基础知识——随机梯度下降详解和示例
本文通过原理和示例对随机梯度下降进行了详解，并和梯度下降进行了对比分析，简单易懂。 随机梯度下降原理示例 动态学习率动态学习率示例 总结 随机梯度下降
原理 示例
import torch
import torch.nn as nn
import matplotlib.pyplot as pltdef train_2…
risc-v编译pytorch
准备
su进入root，避免遇到权限不足情况
python3 -m venv -xxx (创建的就是一个python环境和pytorch无关，可以安装任意环境的pytorch） source进入虚拟环境
sudo apt-get install libopenblas-dev libblas-dev m4 cmake cython3 ccache 修改…
PyTorch中的模型保存：一键保存、两种选择/保存整个模型和保存模型参数
探索PyTorch中的模型保存：一键保存、两种选择
目录
一键保存整个模型：保留全貌只保存模型参数：轻装上阵转换的奇妙之处 保存整个模型转换为保存模型参数保存模型参数转换为保存整个模型 结语
一键保存整个模型：保留全貌
当我们…
pytorch_retinaface训练Resnet50_Final.pth过程+无图版安装Nvidia+CUDA驱动GPU
背景
当前处于人脸检测分支，项目就是retinaface官方的代码加上数据集目录结构，目的是训练出最后的模型文件Resnet50_Final.pth
代码
https://gitee.com/congminglst/pytorch_-retinaface.git
项目结构与设计
图片数据集采用widerface， 前…
pytorch什么是梯度
目录 1.导数、偏微分、梯度1.1 导数1.2 偏微分1.3 梯度 2. 通过梯度求极小值3. learning rate3. 局部最小值4. Saddle point鞍点 1.导数、偏微分、梯度
1.1 导数
对于yx 2 2 2 的导数，描述了y随x值变化的一个变化趋势，导数是个标量反应的是变化的程度&…
记录踩过的坑-PyTorch
安装报错
按PyTorch官网给出的命令
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
报错
ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
ERROR: No matching distributio…
Pytorch将数据（张量）写入视频
Pytorch将数据写入视频 1. 安装与报错解决2. torch.io程序3. cv2 img文件转视频参考资料 1. 安装与报错解决
安装
pip install PyAV报错问题1的解决 报错信息如下：
...tf2_py38\lib\site-packages\torchvision\io\video.py", line 41, in _check_av_availab…
Pytorch学习 day04（Totensor、Normalize、Resize、Compose）
Totensor
把一个PIL格式的图片，或者ndarray格式的图片转换为tensor格式使用方法，如下：
from PIL import Image
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriterimg Image.open("images/00130…
PyTorch搭建LeNet测试集实现
搭建神经网络请看PyTorch搭建LeNet神经网络-CSDN博客
实现训练集请看PyTorch搭建LeNet训练集详细实现-CSDN博客
测试集比较简单，直接上代码。
代码实现
# 导包 不必多说
import torch
import torchvision.transforms as transforms
from PIL import Image
from …
LSTM进行字符级文本生成_3（pytorch实现）
文章目录
基于pytorch的LSTM进行字符集文本生成前言一、数据集二、代码实现 1.到入库和LSTM进行模型构建2.数据预处理函数3.训练函数4.预测函数5.文本生成函数6.主函数完整代码总结 前言
本文介绍了机器学习中深度学习的内容使用pytorch构建LSTM模型进行字符级文本生成任务 一…
b站小土堆pytorch学习记录—— P25-P26 网络模型的使用和修改、保存和读取
文章目录 一、修改1.方法2.代码 二、保存和读取1.方法2.代码（1）保存（2）加载 3.陷阱 一、修改
1.方法
add_module(name: str, module: Module) -> None
name 是要添加的子模块的名称。 module 是要添加的子模块。 调用 add_m…
pytorch（四、五）用pytorch实现线性回归和逻辑斯蒂回归（分类）
文章目录 线性回归代码过程准备数据设计模型设计构造函数与优化器训练过程训练代码和结果pytorch中的Linear层的底层原理（个人喜欢，不用看）普通矩阵乘法实现Linear层实现 回调机制 逻辑斯蒂回归模型损失函数代码和结果 线性回归
代码过程 训…
Pytorch线性回归实现（原理）
设置梯度
直接在tensor中设置 requires_gradTrue，每次操作这个数的时候，就会保存每一步的数据。也就是保存了梯度相关的数据。
import torch
x torch.ones(2, 2, requires_gradTrue) #初始化参数x并设置requires_gradTrue用来追踪其计算历史
print(x…
【Pytorch】论文复现 Vision Transformer (ViT)
文章目录 0. 进行设置1. 获取数据2. 创建Dataset和DataLoader3. 复现 ViT 论文：概述4. Equation 1: 将数据拆分为 patch 并创建类、位置和 patch 嵌入5. Equation 2: Multi-Head Attention (MSA)6. Equation 3: Multilayer Perceptron (MLP)7. 创建 Transformer 编码…
加速HPC计算机集群运行WRF模型，全闪存储阵列与高校科研关系密切
专门从事大气和空间科学的基础和应用研究的印度国家级研究实验室，具有举足轻重的地位，该实验室运行本地 HPC 数据中心。为了满足天气预报和大气研究的需要，该实验室利用了数值天气预报框架——天气研究和预报 （WRF） 模…
动手学深度学习PyTorch版
基本的数据操作
import torch
# 创建一个行向量，默认为从0开始的12个整数
# n维数组也称为张量
x torch.arange(12)
x
# 张量的形状
x.shape# 张量的大小,张量所有元素的个数
x.numel()#修改张量的形状
x x.reshape(3,4)#生成形状为3*4的两个向量，向…
【论文整理】自动驾驶场景中Collaborative Methods多智能体协同感知文章创新点整理
Collaborative Methods F-CooperV2VNetWhen2commDiscoNetAttFusionV2X-ViTCRCNetCoBERTWhere2commDouble-MCoCa3D 这篇文章主要想整理一下，根据时间顺序这些文章是怎么说明自己的创新点的，又是怎么说明自己的文章比别的文章优越的。显然似乎很多文章只是…
Pytorch线性回归实现（Pycharm实现）
步骤都在注释里写清楚了，可以自己调整循环的次数观察输出的w与b和loss的值
import torch#学习率，用来进行w和b的更新
learning_rate 0.01
#1. 准备数据
#这里使用y3x0.8.也就是w3，b0.8.创造一个500行1列的数据
xtorch.rand([500,1])
y_true…
【深度学习】Pytorch基础
张量
运算与操作 加减乘除 pytorch中tensor运算逐元素进行，或者一一对应计算 常用操作 典型维度为N X C X H X W，N为图像张数，C为图像通道数，HW为图高宽。
sum() 一般，指定维度，且keepdimTrue该维度上元…
强化学习_06_pytorch-PPO实践(Hopper-v4)
一、PPO优化
PPO的简介和实践可以看笔者之前的文章 强化学习_06_pytorch-PPO实践(Pendulum-v1) 针对之前的PPO做了主要以下优化：
batch_normalize: 在mini_batch 函数中进行adv的normalize, 加速模型对adv的学习policyNet采用beta分布(0~1): 同时增加MaxMinScale …
Swin-UMamba—基于 Mamba 的 UNet 和基于 ImageNet 的预训练—论文精读和代码实践
Swin-UMamba 期刊分析摘要贡献方法Swin-UMamba整体框架1. 基于 Mamba 的 VSS 块2. 集成基于 ImageNet 的预训练3. Swin-UMamba解码器4. Swin-UMamba†：带有基于 Mamba 的解码器的 Swin-UMamba 实验代码实践 可借鉴参考 期刊分析
Swin-UMamba只是名字中含有swin&…
YOLOv8改进 | 独家创新篇 | 给YOLOv8增加辅助可逆分支结构（PGI,1:1改进）（全网独家创新，附视频讲解）
一、本文介绍
本文给大家带来的是结合最新SOTA模型YOLOv9提出的辅助可逆分支结构（也就是增加辅助训练分支，PGI），该结构改动内容非常大，首先需要修改我们的yaml文件，之后需要修改检测头因为辅助可逆分支需要使用YOLOv9的DualDDetect检测头，之后我们还需要修改损失函数的…
DeepLearning in Pytorch|我的第一个NN-共享单车预测
目录
概要
一、数据准备
导入数据
数据可视化
二、设计神经网络
版本一
版本二（正片）
三、测试
小结 概要
我的第一个深度学习神经网络模型---利用Pytorch设计人工神经网络对某地区租赁单车的使用情况进行预测
输入节点为1个，隐含…
pytorch CV入门3-预训练模型与迁移学习.md
专栏链接：https://blog.csdn.net/qq_33345365/category_12578430.html
初次编辑：2024/3/7；最后编辑：2024/3/8
参考网站-微软教程：https://learn.microsoft.com/en-us/training/modules/intro-computer-vision-pytorc…
PyTorch基础（20）-- torch.gt() / torch.ge() / torch.le() / torch.lt()方法
一、前言
嗯……最近遇到的奇奇怪怪的方法很多了，学无止境啊！学不完啊，根本学不完！本篇文章介绍四个方法：torch.gt()、torch.ge()、torch.le()和torch.lt()方法，由于这四个方法很相似，所以放到…
GIS之深度学习08：安装GPU环境下的pytorch
环境：
cuda：12.1.1
cudnn：12.x
pytorch：2.2.0
torchvision：0.17.0
Python：3.8
操作系统：win （本文安装一半才发现pytorch与cuda未对应，重新安装了cuda后才开始的&a…
1.1 深度学习和神经网络
首先要说的是：深度学习的内容，真的不难。你要坚持下去。
神经网络 这就是一个神经网络。里面的白色圆圈就是神经元。神经元是其中最小的单位。 神经网络
单层神经网络： 感知机 （双层神经网络） 全连接层： …
【Pytorch、torchvision、CUDA 各个版本对应关系以及安装指令】
Pytorch、torchvision、CUDA 各个版本对应关系以及安装指令
1、名词解释
1.1 CUDA
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的用于并行计算的平台和编程模型。CUDA旨在利用NVIDIA GPU（图形处理单元）的强大计算…
AlexNet 网络结构详解
一、基本了解 什么是过拟合？ 解决方法
AlexNet网络结构通过使用dropout方法，使一些神经元失活，变相的减少了网络训练的参数化，从而实现减少过拟合。 二、AlexNet网络结构的详细解释 他是由上下两组GPU进行运算的，所以…
解决方案TypeError: string indices must be integers
文章目录 一、现象：二、解决方案 一、现象：
PyTorch深度学习框架，运行bert-mini，本地环境是torch1.4-gpu，发现报错显示：TypeError: string indices must be integers
后面报字符问题，百度过找…
Pytorch学习 day09（简单神经网络模型的搭建）
简单神经网络模型的搭建
针对CIFAR 10数据集的神经网络模型结构如下图： 由于上图的结构没有给出具体的padding、stride的值，所以我们需要根据以下公式，手动推算： 注意：当stride太大时，padding也会变得很大…
pytorch（九）卷积神经网络
文章目录 卷积神经网络全连接神经网络与卷积神经网络的区别概念性知识mnist数据集(卷积神经网络) GoogLeNetInception 残差网络ResNet残差块结构 卷积神经网络
全连接神经网络与卷积神经网络的区别
全连接神经网络是一种最为基础的前馈神经网络，他的每一个神经元都…
【Pytorch】新手入门：基于sklearn实现鸢尾花数据集的加载
【Pytorch】新手入门：基于sklearn实现鸢尾花数据集的加载 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希望…
分割模型TransNetR的pytorch代码学习笔记
这个模型在U-net的基础上融合了Transformer模块和残差网络的原理。
论文地址：https://arxiv.org/pdf/2303.07428.pdf
具体的网络结构如下： 网络的原理还是比较简单的，
编码分支用的是预训练的resnet模块，解码分支则重新设计了。…
什么是deterministic training（确定性训练），pytorch如何实现
deterministic training（确定性训练）是一种训练机器学习模型的方式，其主要特点是确保在相同的初始条件下，每次训练都会得到相同的结果。换句话说，确定性训练旨在消除随机性，使得模型的训练过程是可重复和可…
Pytorch 复习总结 6
Pytorch 复习总结，仅供笔者使用，参考教材：
《动手学深度学习》Stanford University: Practical Machine Learning
本文主要内容为：Pytorch 计算机视觉。
本文先介绍了计算机视觉中两种常见的改进模型泛化性能的方法：…
pytorch单机多卡训练 logger日志记录和wandb可视化
PyTorch 单机多卡训练示例 1、工具：2、代码3、启动 1、工具：
wandb：云端保存训练记录，可实时刷新logging：记录训练日志argparse：设置全局参数
2、代码
import os
import time
import torch
import wandb…
使用Pytorch进行梯度下降的计算
全手工模拟：https://blog.csdn.net/qq_37397652/article/details/136606208 import torch# Here we replace the manually computed gradient with autograd# Linear regression
# f w * x # here : f 2 * x
X torch.tensor([1, 2, 3, 4], dtypetorch.float32)
Y…
pytorch的理解
工具的查看与使用帮助
1. dir
import torch
torch.cuda.is_available()dir(torch)
dir(torch.cuda) #可以看到有"is_available"
2. help
help(torch.cuda.is_available)
安装pytorch省流版
第一次安装pytorch，直接在anaconda里面直接使用官网中获取到的命令，安装未果！！！然而，在立神神的指导下，知道了原来我是没有安装驱动CUDA才导致的安装失败，接下来，我来总结…
PyTorch 多个网络反向传播时出现梯度计算错误
torch具体报错内容如下
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of AsStridedBackward0, is at version
2; expected version 1 instead. Hint: …
YOLOv9改进项目|关于本周更新计划的说明24/3/12
目前售价售价59.9，改进点30个 专栏地址：
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，主力高效涨点！！！ 日期：24/3/12
本周更新计划说明： 1. 更新华为Gold YOLO中的…
Pytorch入门-Transforms
文章目录 ComposeToTensorNormalizeResize 在PyTorch中，transforms是一个用于图像预处理和数据增强的模块，通常与torchvision库一起使用。torchvision提供了大量预先定义的transforms，它们可以方便地应用于图像数据，以进行预处理或…
【多智能体强化学习02---训练范式+独立学习+多智能体策略梯度算法】
文章目录 多智能体强化学习训练和执行范式CTCEDTDECTDE MARL符号表示分布式学习（Independent Learning)基于值函数的分布式学习（Independent value-based learning)基于策略梯度的分布式学习（Independent policy gradient learning) 多智能体…
Pytorch实战01——LenNet神经网络
目录
1、model.py文件 （预训练的模型）
2、train.py文件（会产生训练好的.th文件）
3、predict.py文件（预测文件）
4、结果展示： 1、model.py文件 （预训练的模型）
impor…
Linux下使用open3d进行点云可视化（.bin文件）
整个场景可视化：
import numpy as np
import open3d as o3ddef read_kitti_bin_point_cloud(bin_file):# 加载.bin文件point_cloud_np np.fromfile(bin_file, dtypenp.float32).reshape(-1, 4)# 仅使用X, Y, Z坐标，忽略反射率point_cloud_o3d o3d.geo…
opencv dnn模块 示例(25) 目标检测 object_detection 之 yolov9
文章目录 1、YOLOv9 介绍2、测试2.1、官方Python测试2.1.1、正确的脚本2.2、Opencv dnn测试2.2.1、导出onnx模型2.2.2、c测试代码 2.3、测试统计 3、自定义数据及训练3.1、准备工作3.2、训练3.3、模型重参数化 1、YOLOv9 介绍
YOLOv9 是 YOLOv7 研究团队推出的最新目标检测网络…
pytorch深度学习入门（5）之-Torchaudio音频加载
Torchaudio简介
Torchaudio是一个用于处理音频数据的Python库，它是基于PyTorch的扩展库，提供了丰富的音频处理功能和一系列预处理方法，方便用户在音频领域进行机器学习和深度学习的研究。具体来说，Torchaudio提供了从音频文件的读…
pytorch之诗词生成6--eval
先上代码： import tensorflow as tf
from dataset import tokenizer
import settings
import utils# 加载训练好的模型
model tf.keras.models.load_model(r"E:\best_model.h5")
# 随机生成一首诗
print(utils.generate_random_poetry(tokenizer, model)…
Anaconda下载安装及配置pytorch环境
先解释一下Python、Anaconda、Pytorch是啥 Python是一种广泛使用的编程语言，在许多领域都有应用。它具有简洁的语法，易于学习，并且有大量的第三方库可以使用。 Anaconda是一个Python的包和环境管理软件，提供了许多用于数据科学&a…
训练保存模型checkpoint时报错SyntaxError: invalid syntax
在使用pytorch训练保存checkpoint时，出现如下报错：
rootautodl-container-745411b452-c5cebfed:~/kvasir-seg-main# python train_transunet.py --loss_function"IoULoss" --training_augmentation0File "train_transunet.py", lin…
PyTorch 源码解读之 torch.cuda.amp: 自动混合精度详解
PyTorch 源码解读之 torch.cuda.amp: 自动混合精度详解
Nvidia 在 Volta 架构中引入 Tensor Core 单元，来支持 FP32 和 FP16 混合精度计算。也在 2018 年提出一个 PyTorch 拓展 apex，来支持模型参数自动混合精度训练。自动混合精度（Automati…
【Pytorch深度学习开发实践学习】【VGG】经典算法复现-Pytorch实现VGG主干网络（1）model.py
模型结构
VGG网络是计算机视觉领域一种主流的特征提取的主干网络 它最早来自牛津大学视觉组的论文《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》
他们利用3*3卷积核、最大池化和全连接层构建了5种类型的VGG神经网络， 下面就具体实…
SAM（Segment Anything Model）大模型使用--point prompt
概述
本系列将做一个专题，主要关于介绍如何在代码上运行并使用SAM模型以及如何用自己的数据集微调SAM模型，也是本人的毕设内容，这是一个持续更新系列，欢迎大家关注~ SAM（Segment Anything Model）
SAM基于…
Pytorch学习 day10（L1Loss、MSELoss、交叉熵Loss、反向传播）
Loss
loss的作用如下： 计算实际输出和真实值之间的差距为我们更新模型提供一定的依据（反向传播）
L1Loss
绝对值损失函数：在每一个batch_size内，求每个输入x和标签y的差的绝对值，最后返回他们平均值
M…
基于PyTorch深度学习实战入门系列-(3)Numpy基础下
使用mat创建矩阵 a np.mat([[5, 6], [7, 8]])
b np.mat([[1, 2], [3, 4]])
print(a)
print(b)
print(type(a))
print(type(b))矩阵的加减乘除运算 data1 np.mat([[1, 2], [3, 4], [5, 6]])
data2 np.mat([1, 2])
data3 np.mat([[5, 6], [7, 8]])
print(data1 data2)
prin…
b站小土堆pytorch学习记录—— P27-P29 完整的模型训练套路
文章目录 一、定义模型（放在model.py文件中）二、训练三、测试四、完整的训练和测试代码 一、定义模型（放在model.py文件中）
import torch
from torch import nnclass Guodong(nn.Module):def __init__(self):super(Guodong,self)…
Pytorch入门实战 P1-实现手写数字识别
目录
一、前期准备（环境数据）
1、首先查看我们电脑的配置；
2、使用datasets导入MNIST数据集
3、使用dataloader加载数据集
4、数据可视化
二、构建简单的CNN网络
三、训练模型
1、设置超参数
2、编写训练函数
3、编写测试函数
4、…
用miniconda建立PyTorch、Keras、TensorFlow三个环境
一、配置清华镜像conda源
由于网络问题，直接使用conda默认的源下载包可能会非常慢。为了解决这个问题，可以配置国内镜像源来加速包的下载。清华大学TUNA协会提供了一个常用的conda镜像源。下面是如何配置清华镜像源的步骤： 1. 配置清华conda…
离线下载的pytorch/torchvision/torchaudio
链接：https://download.pytorch.org/whl/torch_stable.html
下载pytorch-torchvision-torchaudio等一系列一定要版本匹配，并且如果是在gpu上跑的话，一定要都是cu版本
参考链接：https://blog.csdn.net/AiTanXiing/article/detail…
Pytorch搭建AlexNet 预测实现
1.导包
import torch
import matplotlib.pyplot as plt
import json
from model import AlexNet
from PIL import Image
from torchvision import transforms
2.数据预处理
data_transform transforms.Compose([transforms.Resize((224, 224)), # 将图片重新裁剪transform…
简单的torch网络模型记录
线性dense网络结构，输入(B,W)
class Model(nn.Module):def __init__(self):super().__init__()self.media_type_embed nn.Embedding(num_media_type, embed_dim)self.mid_scroe_embed nn.Embedding(num_mid_score, embed_dim)#self.cat torch.cat()self.model …
pytorch之诗词生成--2
先上代码:
# -*- coding: utf-8 -*-
# File : dataset.py
# Author : AaronJny
# Time : 2019/12/30
# Desc : 构建数据集
from collections import Counter
import math
import numpy as np
import tensorflow as tf
import settingsclass Tokenizer:""&…
配置python环境的小插曲
小插曲：一个下划线浪费了我一晚上 Problems
ModuleNotFoundError: No module named torch_geometric.utils.subgraph
原因分析
1.库没安装好
直接pip install torch_geometric
然后仍然报出同样的错误
2.torch版本不够，pip版本不够，得弄…
彻底解决 ModuleNotFoundError: No module named ‘torch_scatter‘
之前做实验报了一个错误，卡了很久。
具体就是这行代码
from torch_scatter import scatter_add
这个torch_scatter是非官方的库，经常安装失败，
找了很多的安装方法，都不好使，特别是对新版的pytorchcuda环境
机缘巧…
Transformer模型的Pytorch实现
Transformer的Pytorch实现有多个开源版本，基本大同小异，我参考的是这份英译中的工程。
为了代码讲解的直观性，还是先把Transformer的结构贴上来。 针对上述结构，我们从粗到细地来看一下模型的代码实现。
1. 模型整体构造
clas…
BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM
文章目录 iGPU是什么？一、环境准备1.1 Visual Studio 2022 Community 安装1.2 安装或更新最新版本的GPU驱动程序1.3 安装英特尔oneAPI工具包2024.0版本1.4 安装Anaconda 二、BigDL -LLM 安装2.1 创建虚拟环境2.2 激活虚拟环境2.3 安装bigdl-llm[xpu] 三、运行环境配…
【相关问题解答1】bert中文文本摘要代码：import时无法找到包时，几个潜在的原因和解决方法
【相关问题解答1】bert中文文本摘要代码 写在最前面问题1问题描述一些建议import时无法找到包时，几个潜在的原因和解决方法1. 模块或包的命名冲突解决方法： 2. 错误的导入路径解决方法： 3. 第三方库的使用错误解决方法： 4. 包未正…
Pytorch学习 day14（模型的验证步骤）
如何利用已经训练好的模型，验证它的结果，步骤如下：
步骤一：加载测试输入并更改为合适尺寸
保存图片到指定文件夹下，注意是否为同级目录注意：返回上一级目录为“…/xxx"有时，我们自己的输…
pytorch升级打怪（三）
数据集合数据加载器 简介加载数据集迭代和可视化数据集为您的文件创建自定义数据集__init____len____getitem__ 准备您的数据以使用DataLoaders进行训练通过DataLoader进行遍载 简介
处理数据样本的代码可能会变得混乱且难以维护；理想情况下，我们希望我…
01——LenNet网络结构，图片识别
目录
1、model.py文件 （预训练的模型）
2、train.py文件（会产生训练好的.th文件）
3、predict.py文件（预测文件）
4、结果展示： 1、model.py文件 （预训练的模型）
impor…
CrossEntropyLoss 和NLLLoss的关系
交叉熵损失在做一件什么事?
看公式: x是预测(不需要softmax归一化),y是label, N是batch维度的数量,交叉熵损失,干了三件事.
1. 对输入在类别维度求softmax
2. 多softmax后的数,求log
3. 对(样本数, 类别数)为shape的tensor计算NLLLoss.
其中,NLLloss做的就是log取负, 和o…
pytorch之诗词生成3--utils
先上代码： import numpy as np
import settingsdef generate_random_poetry(tokenizer, model, s):"""随机生成一首诗:param tokenizer: 分词器:param model: 用于生成古诗的模型:param s: 用于生成古诗的起始字符串，默认为空串:return: …
【模型转换】PyTorch模型转Caffe模型
一、Caffe模型转换源码下载
GitHub:https://github.com/xxradon/PytorchToCaffe GitHub上拉取PytorchToCaffe的源码，将Caffe文件夹和pytorch_to_caffe.py文件放到项目根目录
二、将VGG的PyTorch模型转为Caffe模型
import sys
sys.path.insert(0,.)
import torch…
深度学习PyTorch 之 LSTM-中文多分类
LSTM 代码流程与RNN代码基本一致，只是这里做了几点优化
1、数据准备
数据从导入到分词，流程是一致的
# 加载数据
file_path ./data/news.csv
data pd.read_csv(file_path)# 显示数据的前几行
data.head()# 划分数据集
X_train, X_test, y_train, y_…
深度学习框架大战：究竟选择TensorFlow还是PyTorch？
深度学习框架大战：究竟选择TensorFlow还是PyTorch？ 一、TensorFlow概述二、PyTorch概述三、TensorFlow vs PyTorch四、选择指南五、未来展望六、总结 在当今这个由数据驱动的时代，人工智能编程已经成为了技术发展的核心。深度学习框架作为实现…
PyTorch学习笔记之基础函数篇（七）
5. 基本数学运算
5.1 torch.add()函数
torch.add() 是 PyTorch 中的一个函数，用于执行逐元素的加法操作。这个函数可以接受多个张量（tensors）作为输入，并返回一个新的张量，其中每个元素都是输入张量对应元素之和。
…
pytorch之诗词生成5--train
先上代码： import tensorflow as tf
from dataset import PoetryDataGenerator, poetry, tokenizer
from model import model
import settings
import utilsclass Evaluate(tf.keras.callbacks.Callback):"""在每个epoch训练完成后，保留最…
pytorch（十）循环神经网络
文章目录 卷积神经网络与循环神经网络的区别RNN cell结构构造RNN例子 seq2seq 卷积神经网络与循环神经网络的区别 卷积神经网络：在卷积神经网络中，全连接层的参数占比是最多的。 卷积神经网络主要用语处理图像、语音等空间数据，它的特点是局部…
深度学习专家学习计划
深度学习专家学习计划
一、学习背景与目标
作为一名有6年工作经验的Java开发人员，您已具备基本的编程能力和数据处理经验。现计划转岗至深度学习领域，成为深度学习专家。本计划将结合您的工作背景和现有知识，为您制定详细且精确的学习计划，帮助您逐步达到专家水平。
二、…
VSSM VMamba实现
文章目录 VSSM维度变换初始化模型参数初始化模型搭建def_make_layerdef _make_downsample patch embed第一至四阶段分类器 VSSBlockdef __ init__ssm分支mlp分支 def forward VSSM
Mamba实现可以参照之前的 mamba_minimal系列 论文地址： VMamba 论文阅读࿱…
第N4周：中文文本分类-Pytorch实现
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA) 中的学习记录博客** >- **🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)** # -*- coding: utf-8 -…
PyTorch学习笔记之基础函数篇（九）
统计运算
5.1 torch.mean()函数
torch.mean() 是 PyTorch 中的一个函数，用于计算张量（Tensor）的平均值。你可以用它来计算一个张量所有元素的平均值，或者指定某个维度上的平均值。
torch.mean() 函数在 PyTorch 中的签名如下&a…
sdxl-turbo、playground文生图模型使用案例
1、sdxl-turbo
SDXL-Turbo是一种快速生成的文本到图像模型，可以在单个网络评估中从文本提示合成逼真的图像。
参考：https://huggingface.co/stabilityai/sdxl-turbo
对比效果相比PixArt模型差很多，参考https://blog.csdn.net/weixin_42357472/article/details/135520142 …
pytorch中dataloader的prefetch_factor出错
今天跑huggingface的示例的时候，遇到了最让我头疼的问题，国内网上还没有对应的解释，我可能是第一人（汗）先看看报错：
Traceback (most recent call last):File "F:\transformer\transformers\examples…
YOLOv8改进 | 进阶实战篇 | 利用辅助超推理算法SAHI推理让小目标无所谓遁形（支持视频和图片）
欢迎大家订阅我的专栏一起学习YOLO！
一、本文介绍
本文给大家带来的是进阶实战篇，利用辅助超推理算法SAHI进行推理，同时官方提供的版本中支持视频，我将其进行改造后不仅支持视频同时支持图片的推理方式，SAHI主要的推理场景是针对于小目标检测（检测物体较大的不适用，…
Pytorch的常用模块和用途说明
关注B站可以观看更多实战教学视频：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com) Hi，兄弟们，这里是肆十二，今天我们来讨论一下深Pytorch中的常用模块。
PyTorch是一个开源的深度学习平台，提供了许多…
pytorch chunk的使用举例
在 PyTorch 中，chunk 是一个用于将张量（tensor）按指定维度进行切片的函数。它可以将一个张量切分成多个块。
下面是一个使用 chunk 函数的示例：
python import torch
# 创建一个大小为 (6, 8) 的张量 tensor torch.arange(48)…
深度学习之pytorch实现逻辑斯蒂回归
深度学习之pytorch实现逻辑斯蒂回归 解决的问题数学公式logiatic函数损失值 代码与线性回归代码的区别数据损失值构造回归的函数 结果分析 解决的问题 logistic 适用于分类问题，这里案例( y为0和1 ，0和 1 分别代表一类） 于解决二分类…
Pytorch 配置 GPU 环境
1、Pytorch
深度学习跑代码的时候，因为简单的操作不适合cpu运行，我们更习惯用GPU加速代码。
本章将介绍怎么安装pytorch的gpu环境，以及常见的问题
关于conda的安装，参考之前文章：深度学习环境配置：Anaco…
【Pytorch】各种维度变换函数总结
维度变换千万不要混着用，尤其是交换维度的transpose和更改观察视角的view或者reshape！混用了以后虽然不会报错，但是数据是乱的, 建议用einops中的rearrange，符合人的直观，不容易出错。 一个例子：
>>…
【Pytorch 基础教程2】10分钟掌握Tensor基础 VSCode +Pytorch配置
Pytorch 基础教程 02 Tensor PyTorch 作为Numpy的代替品，可以使用GPU的强大计算能力 提供最大的灵活性和告诉的深度学习研究平台 这里补充上实验环境调试：第一次使用VS Code可以参考：PyTorch（超详细）部署与激活 举起Py…
【Pytorch】从MoCo看无监督对比学习；从SupCon看有监督对比学习
目录 无监督对比学习：Moco文章内容理解代码解释 有监督对比学习：Supervised Contrastive Learning文章内容理解 无监督对比学习：Moco
文章内容理解
以下内容全部来自于：自监督学习-MoCo-论文笔记. 侵删 论文：Momentu…
【深度学习】Pytorch教程（九）：PyTorch数据结构：3、张量的统计计算详解
文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
PyTorch中保存模型的两种方式
文章目录 一、状态字典（State Dictionary）二、序列化模型（Serialized Model）三、示例代码 一、状态字典（State Dictionary）
这种保存形式将模型的参数保存为一个字典，其中包含了所有模型的权重…
torchvision pytorch预训练模型目标检测使用
参考： https://pytorch.org/vision/0.13/models.html https://blog.csdn.net/weixin_42357472/article/details/131747022 有分类、检测、分割相关预训练模型
1、目标检测
https://pytorch.org/vision/0.13/models.html#object-detection-instance-segmentation-…
【学习】PyTorch中的nn.Embedding的用法
基本理解
nn.Embedding(num_embeddings, embedding_dim)其中 num_embeddings 是词表的大小，即 len(vocab)；embedding_dim 是词向量的维度。
nn.Embedding()产生一个权重矩阵weight，其shape为（num_embeddings, embedding_dim&…
深度学习每周学习总结P1（pytorch手写数字识别）
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 | 接辅导、项目定制 目录 0. 总结1. 数据导入部分2. 模型构建部分3. 训练前的准备4. 定义训练函数5. 定义测试函数6. 训练过程 0. 总结
总结: 数据导入部分&a…
PyTorch Dataset、DataLoader长度
pytorch 可以直接对 Dataset 对象用 len() 求数据集大小，而 DataLoader 对象也可以用 len()，不过求得的是用这个 loader 在一个 epoch 能有几多 iteration，容易混淆。本文记录几种情况的对比。
from torch.utils.data import Dataset, DataL…
下载指定版本的pytorch
下载网址：https://download.pytorch.org/whl/torch_stable.html 参考博客网址：https://blog.csdn.net/wusuoweiieq/article/details/132773977
pytorch 实现线性回归（Pytorch 03）
一 线性回归框架
线性模型的四个模块：训练的数据集，线性模型，损失函数，优化算法。
1.1 数据集
使用房价预测数据集，我们希望根据房屋的面积和房龄等来估算房屋价格。 1.2 线性模型
预测公式， 价格 权重…
PyTorch学习笔记之基础函数篇（十四）
文章目录 7.14 torch.fmod() 函数7.15 torch.remainder() 函数7.16 torch.frac() 函数7.17 torch.round() 函数 7.14 torch.fmod() 函数
在PyTorch中，torch.fmod 函数用于计算张量（tensor）中每个元素除以另一个张量或标量后的浮点余数1。
函…
【PyTorch】成功解决ModuleNotFoundError: No module named ‘torch’
【PyTorch】成功解决ModuleNotFoundError: No module named ‘torch’ 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希…
pytorch CV入门 - 汇总
初次编辑：2024/2/14；最后编辑：2024/3/9
参考网站-微软教程：https://learn.microsoft.com/en-us/training/modules/intro-computer-vision-pytorch
更多的内容可以参考本作者其他专栏：
Pytorch基础：https…
深度学习pytorch——索引与切片
indexing
import torch
a torch.rand(4,3,28,28) # 表示4张28*28的rgb图
print(a[0].shape) # a[0]获得第一张图片
print(a[0,0].shape) # a[0,0]获得第一张图片的r图
print(a[0,0,2,4]) # 获得第一张图片第一个通道的一个像素点…
PyTorch学习笔记目录
PyTorch学习笔记
01.基础函数篇
PyTorch学习笔记之基础函数篇（一）TensorPyTorch学习笔记之基础函数篇（二）算子01PyTorch学习笔记之基础函数篇（三）算子02PyTorch学习笔记之基础函数篇（四&#…
PyTorch学习笔记之基础函数篇（四）
文章目录 2.8 torch.logspace函数讲解2.9 torch.ones函数2.10 torch.rand函数2.11 torch.randn函数2.12 torch.zeros函数 2.8 torch.logspace函数讲解
torch.logspace 函数在 PyTorch 中用于生成一个在对数尺度上均匀分布的张量（tensor）。这意味着张量中…
Gemma模型论文详解（附源码）
原文链接：Gemma模型论文详解（附源码）
1. 背景介绍
Gemma模型是在2023.2.21号Google新发布的大语言模型, Gemma复用了Gemini相同的技术(Gemini也是Google发布的多模态模型)，Gemma这次发布了了2B和7B两个版本的参数，不…
三种标注格式VOC、COCO、YOLO及其转换
最近在做基于深度学习的目标检测，数据标注软件选择的LabelImg。 常用的几种标注格式及目录安排
一、VOC(标注文件xml结尾)
首先看一下VOC格式的分布： 在VOC这些文件夹中，我们主要用到：
① JPEGImages文件夹：图片
②…
谈谈Pytorch中的dataset
关注B站查看更多手把手教学： 肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com) 基本用法
torch.utils.data.Dataset 是 PyTorch 中一个非常重要的抽象类，它用于表示数据集，方便数据加载和预处理。通过实现这个类的两个方法 _…
PyTorch之完整的神经网络模型训练
简单的示例：
在PyTorch中，可以使用nn.Module类来定义神经网络模型。以下是一个示例的神经网络模型定义的代码：
import torch
import torch.nn as nnclass MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()# 定义神经…
Pytorch学习 day01（Jupyter安装、常用函数、三种编辑器的对比）
Jupyter
安装过程中遇到的问题： Anaconda的base环境会自动安装Jupyter，但是如果我们要在其他环境中安装Jupyter，就需要注意，该环境的python版本不能高于3.11，且用以下代码安装：
conda install nb_conda_…
RMSNorm 类中引入一些参数
在 RMSNorm 类中，引入可学习的参数，以增强模型的表达能力和适应性。以下是一些常见的方法： 可学习的缩放参数（Scale）： 除了 self.weight，可以为每个维度引入一个可学习的缩放参数。这可以通过创…
Pytorch_1_基本语法
一、Pytorch的基本元素操作 1.引入torch
from __future__ import print_function
import torch
2.创建矩阵
x torch.empty(5,3)
print(x)
3.输出结果： tensor([[7.9191e34, 1.1259e24, 1.2359e-42], [4.0824e-40, 1.1379e-35, 2.5353e30], [8.…
【简易 教程：Pytorch 配置 GPU版本】
Pytorch 配置 GPU 版本
博主 是 通过 Anaconda 来管理配置Python工具包的。至于Anaconda 的下载安装，比较简单，在其官网下载，基本就是一步接着一步就好~ 这里我不记录咯 ~如果大家有需求的话，留言就好 ~
------>>首先&…
Pytorch安装20221029
此次安装成功之前失败了很多次，思来想去跟本次安装的操作基本一样，不知道为什么torch.cuda.is_available()一直是False。唯一区别就是失败的时候装的Anaconda里边的是python3.8版本的。多次失败之后卸载Anaconda以及所有相关文件，重新安装Ana…
光流方法Flownet的简单调用
文章目录1 概述2 代码下载3 数据下载4 预训练模型下载5 代码讲解6 输出示意1 概述
如果是自己训练，30G的FLyingChairs数据集还是很吃设备，这里只介绍如何使用该算法。
TIps：假设已经安装好了所有库。
2 代码下载
Torch： https…
YOLOv8改进 | Conv篇 | 全新的SOATA轻量化下采样操作ADown（参数量下降百分之二十，附手撕结构图）
一、本文介绍
本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的ADown模块来改进我们的Conv模块，其中YOLOv9针对于这个模块并没有介绍，只是在其项目文件中用到了，我将其整理出来用于我们的YOLOv8的项目，经过实验我发现该卷积模块（作为下采样模块）…
Pytorch训练RCAN QAT超分模型
Pytorch训练RCAN QAT超分模型 版本信息测试步骤准备数据集创建容器生成文件列表创建文件列表的代码执行脚本,生成文件列表训练RCAN模型准备工作修改开源代码编写训练代码执行训练脚本可视化本文以RCAN超分模型为例,演示了QAT的训练过程,步骤如下: 先训练FP32模型再加载FP32训练…
ubuntu22.04安装cuda11.5+cudnn8.8.0
因为pytorch1.11.0与cuda版本的关系 需要用到cuda11.5
否则报错
"addmm_sparse_cuda" not implemented for Half
cuda11.5.0及以前的版本不会出现这个问题
因此重新安装，步骤如下：
安装CUDA-11.5.0
wget https://developer.download.nvi…
pytorch使用cat()和stack()拼接tensors
有时我们在处理数据时，需要对指定的tensor按照指定维度进行拼接，对于这个需求，pytorch中提供了两个函数供我们使用，一个是torch.cat()，另外一个是torch.stack()，这两者都可以拼接tensor，但是这二…
Pytorch添加自定义算子之（5）-配置GPU形式的简单add自定义算子
参考：https://zhuanlan.zhihu.com/p/358778742
一、头文件
命名为：add2.h
void launch_add2(float *c,const float *a,const float *b,int n);
使用pytorch实现一个线性回归训练函数
使用sklearn.dataset 的make_regression创建用于线性回归的数据集
def create_dataset():x, y, coef make_regression(n_samples100, noise10, coefTrue, bias14.5, n_features1, random_state0)return torch.tensor(x), torch.tensor(y), coef
加载数据集，并拆分…
Rust 从 PyTorch 到 Burn
一、性能轮盘赌
机器码相同，但放置在不同的地址上，性能可能截然不同。
作为软件开发人员，我们经常假设特定代码的性能仅由代码本身和运行它的硬件决定。这种假设让我们在优化代码以获得更好性能时感到有控制力。虽然在大多数情况下这种假设…
用来检查 CUDA、Conda 和 PyTorch 的版本的python文件
提供的 Python 代码片段包括几个语句，用来检查 CUDA、Conda 和 PyTorch 的版本，以及一些与 CUDA 相关的系统配置。让我们分解一下：PyTorch 版本和配置：torch.__config__.show()：显示 PyTorch 的构建配置。
torch.__ver…
Keras 3.0发布：全面拥抱 PyTorch！
Keras 3.0 介绍 https://keras.io/keras_3/ Keras 3.0 升级是对 Keras 的全面重写，引入了一系列令人振奋的新特性，为深度学习领域带来了全新的可能性。
多框架支持
Keras 3.0 的最大亮点之一是支持多框架。Keras 3 实现了完整的 Keras API，…
安装CUDA后，torch.cuda.is_available()返回false
1、承接上文，torch无法使用GPU
背景：CUDA和cuDNN版本都是对应的，而且验证都没问题，但是torch仍无法使用GPU。
import torch# 检查torch是否有CUDA支持，即是否能用GPU
print(torch.cuda.is_available())# 如果CUDA可用…
论文阅读NAM:Normalization-based Attention Module
Abstarct
识别不太显著的特征是模型压缩的关键。然而，在革命性的注意力机制中却没有对其进行研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了不太显著的权重。它对注意力模块应用了权重稀…
pytorch 介绍以及常用工具包展示
1. 引言
1.1 背景：神经网络和深度学习的崛起
介绍神经网络和深度学习在计算机科学和人工智能中的重要性。
1.2 PyTorch简介：张量计算框架的演进 回顾PyTorch作为张量计算框架的发展历程。 强调其灵活性、动态计算图和深度学习社区的支持。
2. PyTo…
pytorch 多卡训练相关概念
1、World，Rank，Local Rank
1.1 world
World可以认为是一个集合，由一组能够互相发消息的进程组成。 world size就表示这组能够互相通信的进程的总数。
1.2 rank
Rank可以认为是这组能够互相通信的进程在World中的序号。
1.3 local rank
…
【Pytorch深度学习开发实践学习】【AlexNet】经典算法复现-Pytorch实现AlexNet神经网络（2）train.py
train.py的全部代码如下：
import os
import sys
import jsonimport torch
import torch.nn as nn
from torchvision import transforms, datasets, utils
import matplotlib.pyplot as plt
import numpy as np
import torch.optim as optim
from tqdm import tqdmf…
特征值和特征向量及其在机器学习中的应用
特征值和特征向量是线性代数中的概念，用于分析和理解线性变换，特别是由方阵表示的线性变换。它们被用于许多不同的数学领域，包括机器学习和人工智能。
在机器学习中，特征值和特征向量用于表示数据、对数据执行操作以及训练机器学…
Pytorch 复习总结 4
Pytorch 复习总结，仅供笔者使用，参考教材：
《动手学深度学习》Stanford University: Practical Machine Learning
本文主要内容为：Pytorch 深度学习计算。
本文先介绍了深度学习中自定义层和块的方法，然后介绍了一些…
numpy和pytorch的tensor哪个效率更高？
找到了第 1 篇资料：tensorflow2与pytorch训练速度哪个更快? - 知乎
找到了第 2 篇资料：优化PyTorch速度和内存效率的技巧汇总 - 知乎
找到了第 3 篇资料：NumPy 高效和优雅的终极指南 - 知乎
找到了第 4 篇资料：为什么numpy的a…
pytorch实战（二）——搭建卷积神经网络（CNN）
笔者以前都是用tensorflow做深度学习，tensorflow系列教程见tensorflow实战——一位安分的码农 后来做目标检测用yolo的时候，发现pytorch真香。yolo系列教程见yolov5实战——一位安分的码农 终于抽出时间系统学习pytorch了，开干！ 此…
python模型训练
目录 1、新建模型 train_model.py
2、运行模型
（1）首先会下载data文件库
（2）完成之后会开始训练模型（10次）
3、 训练好之后，进入命令集 4、输入命令：python -m tensorboard.ma…
pytorch梯度累积
梯度累加其实是为了变相扩大batch_size，用来解决显存受限问题。
常规训练方式，每次从train_loader读取出一个batch的数据：
for x,y in train_loader:pred model(x)loss criterion(pred, label)# 反向传播loss.backward()# 根据新的梯度更…
【机器学习】CIFAR-10数据集简介、下载方法(自动)
【机器学习】CIFAR-10数据集简介、下载方法(自动) 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希望得到您的订阅和支…
基于pytorch实现手写数字识别
1，先安装pytorch，在pytorch环境中安装库：
1）进入所安装的pytorch环境，我的是pytorch
所以激活它：
conda activate pytorch 2）使用pip安装numpy,torch,torchvision,matplotlib库
pip instal…
关于yolov8的DFL模块(pytorch以及tensorrt)
先看代码
class DFL(nn.Module):"""Integral module of Distribution Focal Loss (DFL).Proposed in Generalized Focal Loss https://ieeexplore.ieee.org/document/9792391"""def __init__(self, c116):"""Initialize a convo…
seq2seq翻译实战-Pytorch复现
🍨 本文为[🔗365天深度学习训练营学习记录博客 🍦 参考文章：365天深度学习训练营 🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/…
Dataset 读取数据
Dataset 读取数据
from torch.utils.data import Dataset
from PIL import Image
import osclass Mydata(Dataset):def __init__(self,root_dir,label_dir):self.root_dir root_dir #根目录 dataset/trainself.label_dir label_dir #标签的后面链接目录 ants_ima…
LayerNorm的图是不是画错了
这是网上一张很流行的说明几个 Normalization 区别的图 这图出自Kaiming的文章 Group Norm
但是他这个 Layer Norm 的图是不是画错了? 我大四写毕设的时候就想问🤣🤣🤣 这都几年过去了
我觉得图应该是这样画的，相同颜色的区域…
Linux上安装torch-geometric（pyg）1.7.2踩坑记录
重点：1.一定要在创建虚拟环境的时候设置好python版本。2.一定要先确定使用1.X还是2.X的pyg库，二者不兼容。3.一定要将cuda、torch、pyg之间的版本对应好。所以，先确定pyg版本，再确定torch和cuda的版本。
结论：如果在u…
【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
文章目录 0. 前言1. 级联神经网络介绍2. MTCNN介绍2.1 MTCNN提出背景2.2 MTCNN结构 3. MTCNN PyTorch实战3.1 facenet_pytorch库中的MTCNN3.2 识别图像数据3.3 人脸识别3.4 关键点定位 0. 前言 按照国际惯例，首先声明：本文只是我自己学习的理解ÿ…
PyTorch-神经网络
神经网络，这也是深度学习的基石，所谓的深度学习，也可以理解为很深层的神经网络。说起这里，有一个小段子，神经网络曾经被打入了冷宫，因为SVM派的崛起，SVM不了解的同学可以去google一下࿰…
【Miniconda】基于conda避免运行多个PyTorch项目时发生版本冲突
【Miniconda】基于conda避免运行多个PyTorch项目时发生版本冲突 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程👈 希望得到…
【CenterFusion】模型的创建、导入、保存CenterFusion/src/lib/model/model.py
文件内容：CenterFusion/src/lib/model/model.py 文件作用：模型的创建、导入、保存
model.py 具体内容如下：
from __future__ import absolute_import
from __future__ import division
from __future__ import print_functionimport torchv…
【PyTorch】基础学习：一文详细介绍 load_state_dict() 的用法和应用
【PyTorch】基础学习：一文详细介绍 load_state_dict() 的用法和应用 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&#…
pytorch之求梯度和nn.Linear的理解
文章目录前言pytorch求梯度例1例2nn.Linear()总结前言 假设有这么个简单的神经网络结构。 这篇文章可以说是机器学习之神经网络的公式推导与python代码（手写pytorch）实现
补充。
pytorch求梯度
例1
pytorch里的数据结构称之为张量（tensor…
昇腾ACL应用开发之硬件编解码dvpp
1.前言 在我们进行实际的应用开发时，都会随着对一款产品或者AI芯片的了解加深，大家都会想到有什么可以加速预处理啊或者后处理的手段？常见的不同厂家对于应用开发的时候，都会提供一个硬件解码和硬件编码的能力，这也是抛…
pytorch1.13安装
pip3 install torch1.13.0 torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
官网的安装不上
pytorch初学笔记（三）Tranforms的使用
目录
一、transform的用法
1. tranforms的结构
2. transforms的使用步骤
二、 transforms.ToTensor()的使用
1. 内置__call__方法简介
2. ToTensor()使用
2.1 将PIL类型图像转换为tensor型
2.2 将numpy类型图像转换为tensor型
2.3 使用tensorboard显示tensor型图片…
HuggingFace——Tokenizer的简单记录
Tokenizer [ 中文Course | API|详述文档]
下载使用
针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问： commit_hash kwargs.get("_commit_hash", None)resolved_config_file cached_file(pretrained_model_name_or_pa…
深度学习pytorch——Tensor维度变换（持续更新）
view()打平函数
需要注意的是打平之后的tensor是需要有物理意义的，根据需要进行打平，并且打平后总体的大小是不发生改变的。
并且一定要谨记打平会导致维度的丢失，造成数据污染，如果想要恢复到原来的数据形式，是需要…
【PyTorch】进阶学习：一文详细介绍 torch.save() 的应用场景、实战代码示例
【PyTorch】进阶学习：一文详细介绍 torch.save() 的应用场景、实战代码示例 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程…
《PyTorch 深度学习实战》- 第一章 深度学习回顾和PyTorch简介
《PyTorch 深度学习实战》- 第一章 深度学习回顾和PyTorch简介
1.1 PyTorch的历史
pytorch前身是Torch，Torch使用Lua和C语言，而后因为python的兴起，演变成为PyTorch。事实上，pytorch是提供动态图功能的chainer分支。
pytorch与…
ICANN备稿时debug遇到的问题
包问题
装包：先用fastai出现单击没有跳转的情况：安装pylance即可出现了用pip3 uninstall后pip3 list还有原来的numpy，然后用conda uninstall之后就行了。pip, pip3, conda这几个来回用。 精度问题 打印tensor数组自动保留后四位：…
【GPT-SOVITS-04】SOVITS 模块-鉴别模型解析
说明：该系列文章从本人知乎账号迁入，主要原因是知乎图片附件过于模糊。
知乎专栏地址： 语音生成专栏
系列文章地址： 【GPT-SOVITS-01】源码梳理 【GPT-SOVITS-02】GPT模块解析 【GPT-SOVITS-03】SOVITS 模块-生成模型解析 【G…
![[pytorch] detr源码浅析](https://img-blog.csdnimg.cn/direct/5a5e7332291f4706a4f3848527cf32af.png)
[pytorch] detr源码浅析
[pytorch] detr源码浅析 1. backbone部分2. encoder部分3. decoder部分4. 输出预测 为之后SAM的代码分析做铺垫 1. backbone部分
detr.py中的DETR class
class DETR(nn.Module):def __init__(self, backbone, transformer, num_classes, num_queries, aux_lossFalse):...def …
pytorch单层感知机
目录 1.单层感知机模型2. 推导单层感知机梯度3. 实战 1.单层感知机模型 2. 推导单层感知机梯度
公式前加了一个1/2是为了消除平方2，不加也是可以的，不会改变函数的单调性
3. 实战
初始化1行10列的x和wsigmod中xw.t() w做了转置操作是为了将[1,10]转换…
pytorch 入门基础知识二（Pytorch 02）
一 微积分
1.1 导数和微分
微分就是求导：
%matplotlib inline
import numpy as np
from matplotlib_inline import backend_inline
from d2l import torch as d2l
def f(x):return 3 * x ** 2 - 4 * x
定义：
然后求 f(x) 在 x 1 时的导数ÿ…
PyTorch究竟是什么？
PyTorch介绍
什么是PyTorch？ PyTorch是由Facebook人工智能研究实验室（FAIR）开发的开源机器学习库。它提供了一个灵活而动态的框架，用于构建和训练神经网络。与TensorFlow等其他框架不同，PyTorch使用动态计算图，使模型构建和调试更直观。
关键特性： 动态计算图： PyTor…
深度学习1650ti在win10安装pytorch复盘
深度学习1650ti在win10安装pytorch复盘 前言1. 安装anaconda2. 检查更新显卡驱动3. 根据pytorch选择CUDA版本4. 安装CUDA5. 安装cuDNN6. conda安装pytorch结语 前言
建议有条件的，可以在安装过程中，开启梯子。例如cuDNN安装时登录 or 注册，会…
PyTorch学习笔记之基础函数篇（十三）
文章目录 7.7 torch.ceil() 函数7.8 torch.floor() 函数7.9 torch.clamp() 函数7.10 torch.neg() 函数7.11 torch.reciprocal() 函数7.12 torch.rsqrt() 函数7.13 torch.sqrt() 函数 7.7 torch.ceil() 函数
在PyTorch中，torch.ceil 函数用于对张量（tens…
ChatGLM3-6B独立部署提供HTTP服务failed to open nvrtc-builtins64_121.dll
背景 我在本地windoes部署ChatGLM3-bB，且希望部署后能提供HTTP server的能力。 模型部署且启动是成功了，但是在访问生成接口/v1/chat/completions时报错failed to open nvrtc-builtins64_121.dll。 问题详细描述 找不到nvrtc-builtins64_121.dll Runtime…
机器学习 - PyTorch里的aggregation
在PyTorch里，可以在tensor里找到min, max, mean, sum 等aggregation值。
直接上代码
import torch x torch.arange(0, 100, 10)
print(x)
print(f"Minimum: {x.min()}")
print(f"Minimum: {torch.min(x)}")
print(f"Maximum: {x.max()}…
pytorch 鲜见操作
对两个 tensor 做逻辑运算，比如 & (与)
import torch# 定义两个张量
tensor_a torch.tensor([1, 0, 1, 0], dtypetorch.bool)
tensor_b torch.tensor([1, 1, 0, 0], dtypetorch.bool)# 执行逻辑与操作
result tensor_a & tensor_bprint(result)结果输出…
机器学习 - PyTorch使用流程
通常的 PyTorch Workflow 是这样的. But the workflow steps can be repeated and changed depending on the problem you’re working on.
Get data ready (turn into tensors)Build or pick a pretrained model to suit your problem 2.1 Pick a loss function & optimi…
NeRF学习——NeRF-Pytorch的源码解读
学习 github 上 NeRF 的 pytorch 实现项目（https://github.com/yenchenlin/nerf-pytorch）的一些笔记
1 参数
部分参数配置： 训练参数： netdepth：神经网络的层数。默认值为8 netwidth：每层的通道数。默认…
Pytorch NLP入门3：用嵌入表示单词
初次编辑时间：2024/3/17；最后编辑时间：2024/3/17
本栏目链接：https://blog.csdn.net/qq_33345365/category_12597850.html
本人的其他栏目：
pytorch 基础的栏目链接：https://blog.csdn.net/qq_33345365/…
超分辨率(3)--基于RCAN网络实现图像超分辨率重建
目录
一.项目介绍
二.项目流程详解
2.1.数据处理模块
2.2.损失函数设置
2.3.网络模型构建
三.测试网络 一.项目介绍
RCAN：Residual Channel Attention Network（残差通道注意网络 )
卷积神经网络(CNN)的深度对于图像超分辨率(SR)是极其关键的因素…
pytorch升级打怪（五）
构建模型 构建神经网络获取培训设备定义类模型层nn.扁平nn.线性nn.ReLUnn.顺序nn.Softmax模型参数 构建神经网络
神经网络由执行数据操作的层/模块组成。torch.nn命名空间提供了构建自己的神经网络所需的所有构建块。PyTorch中的每个模块都是nn.Module子类。神经网络是由其他模…
Pytorch常用的函数(七)空洞卷积详解
Pytorch常用的函数(七)空洞卷积详解
1 初识空洞卷积
1.1 空洞卷积与语义分割任务
语义分割面临的困境： 与检测模型类似，语义分割模型也是建立是分类模型基础上的，即利用CNN网络来提取特征进行分类。在CNN分类模型中，一般情况下…
pytorch升级打怪（六）
自动分化 torch.autograd张量、函数和计算图计算梯度禁用梯度跟踪 torch.autograd
在训练神经网络时，最常用的算法是反向传播。在该算法中，根据损失函数相对于给定参数的梯度调整参数（模型权重）。
为了计算这些梯度，…
卸载torch并更新版本，torch-gpu的下载安装--亲测有效！！
以前一直抱怨实验室的cuda版本，以前是10.1，导致只能安装最低配版本的torch，也就是torch1.8.1，现在内核版本和驱动都更新了，变成了cuda11.4，以前的环境都没办法跑代码，只能重新进行卸载安装。
1…
Python深度学习之路：TensorFlow与PyTorch对比【第140篇—Python实现】
Python深度学习之路：TensorFlow与PyTorch对比
在深度学习领域，TensorFlow和PyTorch是两个备受青睐的框架，它们为开发人员提供了强大的工具来构建和训练神经网络模型。本文将对这两个框架进行对比，探讨它们的优势和劣势࿰…
11-pytorch-使用自己的数据集测试
b站小土堆pytorch教程学习笔记 import torch
import torchvision
from PIL import Image
from torch import nnimg_path ../imgs/dog.png
imageImage.open(img_path)
print(image)
# imageimage.convert(RGB)transformtorchvision.transforms.Compose([torchvision.transforms.…
TensorFlow 和 pytorch
1. TensorFlow是什么？
TensorFlow 是由 Google 开发的一个开源库，用于构建和训练机器学习模型。它的基本概念是使用数据流图来表示计算任务，其中节点表示操作，边表示数据流。
TensorFlow 的使用场景非常广泛，可以用于…
【pytorch】常用代码
文章目录 条件与概率torch.tensor()torch.rand()torch.randn()torch.randint()torch.multinominal() 逻辑运算torch.argmax()torch.max()torch.sum()torch.tanh()torch.pow() 功能性操作 torch.nn.functionalF.normalize()F.elu()F.relu()F.softmax() 张量计算torch.zeros()tor…
【Pytorch Lighting】第 5 章：时间序列模型
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
win10 pytorch安装说明
本文主要是方便自己后续的重装使用。
1. anacondapycharm的下载与安装
参考博文：https://zhuanlan.zhihu.com/p/569142358?utm_id0
主要实现内容：
(1) anaconda的下载安装(python已自带);
(2) 虚拟环境的激活;
(3) pycharm的下载安装(未配置环境…
Yolov5：强大到你难以想象──新冠疫情下的口罩检测
初识Yolov5是看到一个视频可以检测街道上所有的行人，并实时框选出来。之后学习了CNN卷积神经网络，在完成一个项目需求时，发现卷积神经网络在切割图像方面仍然不太好用。于是我想到了之前看到的Yolov5，实战后不禁感慨一句ÿ…
pytorch环境安装和配置
线性函数和非线性函数
线性line 是指量与量之间按照比例成直线关系，在数学上可理解为一阶导数是个常数；非线性no-line 指不按照比例不成直线关系，一阶导数不为常数。 anaconda
安装好了anaconda，就安装好了各种package
安装适合…
用LeNet做CIFAR10图像分类，并用streamlit搭建成web
目录
1. 介绍
2. 搭建LeNet 预测网络
3. 搭建本地的web
error
4. 部署到cloud上 1. 介绍
之前做的用PyQT做的GUI窗口分类图像，然后打包成exe的方法有些过时了
这次用的方法时用streamlit将神经网络部署成一个web
项目包含的文件：
LeNet.pth 是…
【Pytorch Lighting】第 7 章：半监督学习
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
torchvision中数据集的使用
一、pytorch官网学习
1.1 模块
处理语音核心模块处理文本处理视觉图像的
1.2 torchvision
tensorboardtochvision 就是来源于这里 1.2.1 dataset模块 1.2.2 io模块
1.3 提供常规的神经网络 二、【实验1】导入cifar数据集并输出部分信息
2.1 代码
import torchvision# 使…
PyTorch搭建卷积神经网络（ResNet-50网络）进行图像分类实战（附源码和数据集）
需要数据集和源码请点赞关注收藏后评论区留言~~~ 一、实验数据准备
我们使用的是MIT67数据集，这是一个标准的室内场景检测数据集，一个有67个室内场景，每类包括80张训练图片和20张测试图片 读者可通过以下网址下载
但是数据集较大࿰…
【Transformers】第 9 章 ：处理很少或没有标签
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
深入浅出Pytorch函数——torch.arange
分类目录：《深入浅出Pytorch函数》总目录 语法
torch.arange(start0, end, step1, *, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse)返回值
返回起始值为start\text{start}start、差值为step\text{step}step、长度为⌈end−startste…
PyTorch - Conv2d 和 MaxPool2d
文章目录Conv2d计算Conv2d 函数解析代码示例MaxPool2d计算函数说明卷积过程动画Transposed convolution animationsTransposed convolution animations参考视频：土堆说 卷积计算 https://www.bilibili.com/video/BV1hE411t7RN 关于 torch.nn 和 torch.nn.function t…
极智AI | 昇腾 CANN ATC 模型转换
欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下 昇腾 CANN ATC 模型转换。 昇腾 CANN 的全称是 Compute Architecture for Neural Networks，是昇腾针对 AI 场景推出的异构计算架构&#x…
基于pytorch预训练模型使用Faster RCNN调用摄像头进行目标检测【无敌详细！简单！超少代码！】
基于pytorch预训练模型使用Faster RCNN调用摄像头进行目标检测【无敌详细！简单！超少代码！】
详细完整项目链接：https://download.csdn.net/download/weixin_46570668/86954697?spm1001.2014.3001.5503
使用 Pytorch 自带的预训…
Pytorch CIFAR10图像分类 工具函数utils更新v2.0篇
Pytorch CIFAR10图像分类 工具函数utils更新v2.0篇 文章目录 Pytorch CIFAR10图像分类 工具函数utils更新v2.0篇设置随机种子（保证可复现性）得到分类的精度（适配高版本）训练函数最新版本（增加tensorboard函数和tqdm可视化进度条）可视化准确率、损失、学习率变化这里贴一下…
基于MMDetection训练VOC格式数据集
一 环境说明 基于前述安装MMDetection，数据集为VOC格式，主要版本如下：
Python：3.7.8
CUDA：11.3
cuDNN：8.4.0
torch：1.12.0
torchvision：0.13.0
mmcv-full：1.6.0
MMDetec…
UNet - 训练数据train
目录
1. train 训练数据
2. Loss 值
3. 完整代码 1. train 训练数据
训练的代码只是在之前图像分类的基础上做了一些更改，具体的可以看下面的文章
pytorch 搭建 LeNet 网络对 CIFAR-10 图片分类https://blog.csdn.net/qq_44886601/article/details/127498256
…
【Pytorch with fastai】第 15 章 ：深入探讨应用程序架构
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
深入浅出PyTorch——主要模块和基础实战
一、深度学习模型训练流程“八股文”
1.1 机器学习的开发应用步骤： 数据搜集——>数据预处理——>特征工程——>划分训练集和测试集——>选择模型——>建立模型（模型超参数设置）——>设置损失函数——>进行训练以及预测…
【深度学习】U-net网络结构搭建 | pytorch
文章目录前言一、U-net网络结构复现（上采样部分采用转置卷积nn.ConvTranspose2d）1.1、整体结构介绍1.2、encoder部分实现（左边网络部分）1.3、decoder部分实现（右边网络部分）1.4、整个网络搭建二、U-net网络…
【Pytorch with fastai】第 19 章 ：从零开始的 fastai 学习者
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
PyTorch 官方库「上新」，TorchMultimodal 助力多模态人工智能
多模态人工智能是一种新型 AI 范式，是指图像、文本、语音、视频等多种数据类型，与多种智能处理算法相结合，以期实现更高的性能。 近日，PyTorch 官方发布了一个 domain library–TorchMultimodal，用于 SoTA 多任务、多模…
pytorch快速上手（8）-----pytorch优化器简介
文章目录一、简介二、optimizer属性方法1. zero_grad()2. step()3. add_param_group()4. state_dict()5. load_state_dict()学习率动量三、常见优化器介绍1. BGD（Batch Gradient Descent）2. Stochastic Gradient Descent（SGD）3. M…
【动手学深度学习】权重衰减（含Pytorch从零开始实现的源代码）
目录：权重衰减一、理论知识二、高维线性回归的实现步骤2.1 准备数据2.2 初始化模型参数2.3 定义L2L_2L2范数惩罚2.4 定义训练代码实现2.5 是否加入正则化2.5.1 忽略正则化2.5.2 加入正则化三、简单实现四、源代码一、理论知识
前面我们已经介绍学习了过拟合的问题…
PyTorch深度学习中卷积神经网络（CNN）的讲解及图像处理实战（超详细 附源码）
需要源码和图片集请点赞关注收藏后评论区留言私信~~~ 一、卷积神经网络简介
卷积神经网络是深度学习中最常用的一种网络结构，它作为一种深度神经网络结构，擅长处理图像相关的问题，能够将目标图像降维并提取特征，以进行分类识别等…
基于DMF推荐算法的推荐系统 代码+数据 （可作为毕设）
案例知识点 推荐系统任务描述：通过用户的历史行为（比如浏览记录、购买记录等等）准确的预测出用户未来的行为；好的推荐系统不仅如此，而且能够拓展用户的视野，帮助他们发现可能感兴趣的却不容易发现的item；同时将埋没在长尾中的好商品推荐给可能感兴趣的用户。DMF推荐方法…
pytorch深度学习实战lesson27
第二十七课 批量归一化 下面来讲批量归一化，现在几乎所有主流的卷积神经网络都是或多或少的用了批量归一化这个层。虽然我们之前看到的那些层比如 pooling 或 convolution，其实他们在80年代就出现过了，只是现在我们把它做得更深更大。批量归一…
深度强化学习中深度Q网络（Q-Learning+CNN）的讲解以及在Atari游戏中的实战（超详细 附源码）
需要源码请点赞收藏关注后评论区留下QQ~~~ 深度强化学习将深度学习的感知（预测能力）与强化学习的决策能力相结合，利用深度神经网络具有有效识别高维数据的能力，使得强化学习算法在处理高纬度状态空间任务中更加有效
一、DQN算法简…
pytorch案例代码-3
双向循环神经网络 双向循环神经网络在RNN/LSTM/GRU里都有。比如RNN cell，只是把h0和x1传入做线性变换产生h1继续传入同一个cell做线性变换，线性变换的W和b共享，沿着这个方向就把所有隐层和最后的输出算出来了。 那么其中的每个结点࿰…
NNDL实验 知识点梳理
目录
实验内容
编程基础
机器学习基础
FNN
CNN
RNN
网络优化与正则化
扩展实验
建议自学实验
实验基本步骤
实验涉及知识点
知识点相关细节
更多细节 实验内容
编程基础
NNDL 实验一 numpy
NNDL 实验二 pytorch
机器学习基础
NNDL 实验三 线性回归
NNDL 实验…
【Pytorch】第 1 章 ：强化学习和 PyTorch 入门
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
P3 PyTorch 维度变换
前言 参考
课时21 维度变换-2_哔哩哔哩_bilibili
目录： view unsqueeze squeeze Expand repeat 转置 contiguous Permute 例子一 view 作用： 重新调整Tensor的形状，通过shape，或size属性可以看出来 …
pytorch应用（入门2） 一维线性回归
目录nn.Module（模组）torch.optim (优化)模型的保存和加载一维线性回归代码如下：均方差损失函数nn.MSELoss()model.parameters()的理解与使用torch.autograd.Variableoptimizer.zero_grad()model.eval的作用深度学习方法——pytorch下GPU与CPU…
P1：环境创建、两种工具
1、创建新的、独立的环境
1、创建环境（名字为practice，python版本为3.9）
（1）打开Anaconda命令行；
（2）输入：
conda create -n practice python3.9
一直按 “y” 即可…
anaconda下pytorchCPU GUP安装及问题记录
1 pytorch安装（CPU版本）
pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple2 torchvision、torchaudio、torchtext安装：解决ModuleNotFoundError: No module named ‘torchvision‘问题
（…
PyTorch学习笔记：nn.MSELoss——MSE损失
PyTorch学习笔记：nn.MSELoss——MSE损失
torch.nn.MSELoss(size_average None，reduce None，reduction mean)功能：创建一个平方误差(MSE)损失函数，又称为L2损失： l(x,y)L{l1,…,lN}T,ln(xn−yn)2l(x,y)L…
PyTorch学习笔记：nn.TripletMarginLoss——三元组损失
PyTorch学习笔记：nn.TripletMarginLoss——三元组损失
torch.nn.TripletMarginLoss(margin1.0, p2.0, eps1e-06, swapFalse, size_averageNone, reduceNone, reductionmean)功能：创建一个三元组损失函数(triplet loss)，用于衡量输入数据x1,x…
2.11知识点整理（关于pycharm,python,pytorch,conda）
pycharm 设置anaconda环境： File -> Settings->选择左侧的project xxx再选择打开Project Interpreter页->选择add添加解释器->添加Anaconda中Python解释器（Anaconda安装目录下的python.exe） (选择existing environment ÿ…
Mask-RCNN(2) : 代码使用
Mask- RCNN原理及网络详解，参见：Mask- RCNN网络详解
1. Mask-RCNN代码使用
该项目参考自pytorch官方torchvision模块中的源码(使用pycocotools处略有不同)
环境配置
Python3.6/3.7/3.8Pytorch1.10或以上pycocotools(Linux:pip install pycocotools; …
Pytorch分布式数据并行(DistributedDataParallel)
1 初始化进程组import os
from torch import distributedtry:world_size int(os.environ["WORLD_SIZE"]) # 全局进程个数rank int(os.environ["RANK"]) # 当前进程编号(全局)local_rank int(os.environ["LOCAL_RANK"]) # 每台机器上的进程…
PyTorch中的masked_select、masked_fill_()、 masked_fill()的区别
mask_fill的整体意思是使用 value 填充mask值为True的位置，所以需要注意mask的值，有时候需要~取反 masked_fill_(mask, value) - 函数名后面加下划线。in-place version 在 PyTorch 中是指当改变一个 tensor 的值的时候，不经过复制操作&#…
【图像分类】基于PyTorch搭建GRU实现MNIST手写数字体识别（单/双向GRU，附完整代码和数据集）
写在前面： 首先感谢兄弟们的关注和订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。
在https://blog.csdn.net/AugustMe/article/details/128969138文章中，我们使用了基于PyTorch搭建LSTM实现MNIST手…
【CUDA】《PyTorch自定义CUDA算子教程与运行时间分析》- 知识点目录
《PyTorch自定义CUDA算子教程与运行时间分析》
在PyTorch中自定义CUDA算子
运行时间分析（python）
SAC代码 pytorch框架，2023年了还在用假的SAC？
呀他温，博主这次真要红温了，中路一个红温兰博请求对线！！！！！！
莫烦老师的强化学习视频不出SAC，我只能去看看别的程序员讲解SAC算法。结果。。。。
唉，&#…
365天深度学习训练营-第J8周：Inception v1算法实战与解析
目录
一、前言
二、论文解读
1. Inception 模块
2. 网络深度问题
3. 全局平均池化
4. 卷积层的并行结构
5. 1x1 卷积核
6.详细的网络结构
三、代码复现 一、前言
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者&#x…
PyTorch模型保存方法对比及其实现原理详解
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
pytorch零基础实现语义分割项目（三）——语义分割模型（U-net和deeplavb3+）
文章目录项目列表前言U-net模型概况下采样过程上采样过程模型代码上采样代码U-net模型构建deeplabv3模型概况模型代码resNetASPPdeeplabv3模型构建结尾项目列表
语义分割项目（一）——数据概况及预处理
语义分割项目（二）——标签…
Facenet+Retinaface：人脸识别模型在Pytorch当中的实现 附完整代码
本项目自带主干为mobilenet的retinaface模型与facenet模型。可以直接运行，如果想要使用主干为resnet50的retinafa和主干为inception_resnetv1的facenet模型需要。 目录 注意事项 Attention所需环境 Environment<
基于Pytorch，从头开始实现Transformer（编码器部分）
Transformer理论部分参考知乎上的这篇文章
Transformer的Attention和Masked Attention部分参考知乎上的这篇文章
Transformer代码实现参考这篇文章，不过这篇文章多头注意力实现部分是错误的，需要注意。
完整代码放到github上了，链接 Trans…
Pytorch 基础之维度变化
Pytorch 张量维度变化是比较常用和重要的操作，本文主要介绍几种常用的维度变化方法：
1. view()
方法释义：返回当前张量的视图张量；
Pytorch 允许一个 tensor 成为现有 tensor 的一个视图，视图张量与其基础张量共享同…
Yolo v5 pytorch模型转onnx用c++进行推理
本文介绍如何使用u版的yolov5 模型转成 onnx模型，使用python代码推理onnx模型，然后再使用c代码推理onnx模型,本文使用yolov5 s版本，在m,l,x都试过可行环境配置 :1 u版的yolov5 4.0 版本，其他版本没有试过 https://github.com/ultr…
Pytorch入门实战｜第P5周：运动鞋识别
🍺要求： 了解如何设置动态学习率（重点）调整代码使测试集accuracy到达84%。🍻拔高（可选）： 保存训练过程中的最佳模型权重调整代码使测试集accuracy到达86%。🏡 我的环境： 语言环境：Python3.8编译器：Jupyter Lab深度学习环境：Pytorch数据集：🔗K同学的百度网盘…
pytorch深度学习案例（二）——航拍街道语义分割
数据集
使用的数据集是kaggle的Semantic segmentation of aerial imagery 其数据的组织形式为
项目结构 utils
dataConvert.py
dataConvert中主要包含数据的变换过程
函数作用loadColorMap用于加载标签的颜色映射voc_colormap2label获取颜色标签到数值标签的映射关系voc_…
1080T、2080T、4070T显卡的深度学习性能测试和结论
先说结论：
4070T显卡FP32的训练和推理速度跟3090应该基本类似。但由于显存12G偏低，4070T不太适合如今的深度学习模型训练（新手列外，大部分模型都能训练起来，耗电也相对很低），更适合测试最新的一…
神经网络的基本骨架—nn.Module使用
一、pytorch官网中torch.nn的相关简介可以看到torch.nn中有许多模块：二、Containers模块1、MODULE（CLASS : torch.nn.Module）import torch.nn as nn
import torch.nn.functional as Fclass Model(nn.Module):#nn.Module---所有神经网络模块的…
PyTorch-----torch.randn()函数详解
torch.randn(*size, outNone, dtypeNone, layouttorch.strided, deviceNone, requires_gradFalse, pin_memoryFalse)返回一个符合均值为0，方差为1的正态分布（标准正态分布）中填充随机数的张量。
Parameters size:指定输出张量维度的列表或元…
深度学习pytorch——高阶OP（where gather）（持续更新）
where
1、我们为什么需要where？
我们经常需要一个数据来自好几个的取值，而这些取值通常是不规律的，这就会导致使用传统的拆分和合并会非常的麻烦。我们也可以使用for循环嵌套来取值，也是可以的，但是使用for循环就意味…
Pytorch基础-汇总
本教程翻译自微软教程：https://learn.microsoft.com/en-us/training/paths/pytorch-fundamentals/
初次编辑：2024/3/1；最后编辑：2024/3/4 本教程包含以下内容：
介绍pytorch基础和张量操作介绍数据集介绍归一化介绍构…
基于PyTorch的视频分类实战
1、数据集下载
官方链接：https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#Downloads
百度网盘连接：
https://pan.baidu.com/s/1sSn--u_oLvTDjH-BgOAv_Q?pwdxsri
提取码: xsri 官方链接有详细的数据集介绍…
【单点知识】基于实例讲解PyTorch中的ImageFolder类
文章目录 0. 前言1. ImageFolder功能2 基本使用方法及参数解析2.1 基本调用方式2.2 构造参数说明2.3 属性2.4 方法 3. PyTorch实例说明3.1 实例数据集3.2 实例说明 4. 总结 0. 前言 按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考…
pytorch深度学习——dataset(附数据集下载)
在学习深度学习的时候，我们需要考虑如何去处理数据去训练我们的模型，pytorch为我们提供了Dataset和DataLoader两个类来对数据进行处理，前者作用是提供了一种方式来获取数据及其label，后者的作用是为网络提供不同的数据形式。本文主…
YOLO算法改进Backbone系列之：CAT
Transformer广泛应用于NLP后，在CV领域也引起了广泛关注，但是将单词token替换为图像的patch使得Transformer计算量大幅增加。本文提出一种新的注意力机制Cross Attention，不再计算全局注意力而是将注意力的计算局限在patch内部来捕获局部信息&…
基于PyTorch深度学习实战入门系列-PyTorch基础下
Torch的基本使用 通过指定均值和标准差生成随机数：
# 通过指定均值和标准差生成随机数
torch.manual_seed(456)
# 均值为0 标准差为1
a torch.normal(mean0, stdtorch.tensor(1.0))
print(a)生成0-1上均匀分布的张量：
# 生成0-1上均匀分布的张量
ten…
深度学习pytorch——过拟合欠拟合测试深度学习模型（持续更新）
随着项数越来越多，函数的图形就更加复杂，多项式也更加的复杂。 课时55 过拟合与欠拟合_哔哩哔哩_bilibili 如果利用多项式建造复杂模型，从仅仅一个常数至一个多次方函数，将会发现在线上的点会变得越来越多，这种逐渐接…
pytorch 实现多层神经网络MLP（Pytorch 05）
一 多层感知机
最简单的深度网络称为多层感知机。多层感知机由 多层神经元 组成，每一层与它的上一层相连，从中接收输入；同时每一层也与它的下一层相连，影响当前层的神经元。
softmax 实现了 如何处理数据，如何将 输出…
深度学习pytorch——可视化visdom（持续更新）
安装可看：e: Error while finding module specification for ‘visdom.server‘ (ModuleNotFoundError: No module name-CSDN博客
在命令行窗口使用python -m visdom.server，会出现一个web地址，在浏览器中访问，即可看见在python中…
基于PyTorch深度学习实战入门系列-PyTorch基础全
Torch的基本使用 判断GPU是否可用 torch.cuda.is_available()张量 Torch 定义了 10 种张量类型，包括 CPU 和 GPU 形式，如下表所示： 数据类型dtypeCPU张量GPU张量32位浮点数torch.float32、torch.floattorch.FloatTensortorch.cuda.FloatTenso…
Pytorch基础 - 6. torch.reshape() 和 torch.view()
目录
1. torch.reshape(shape) 和 torch.view(shape)函数用法
2. 当处理的tensor是连续性的(contiguous)
3. 当处理的tensor是非连续性的(contiguous)
4. PyTorch中的contiguous 在本文开始之前，需要了解最基础的Tensor存储方式，具体见 Tensor数据类…
【pytorch】nn.SmoothL1Loss 函数使用
SmoothL1 Loss1、Smooth L1 Loss2、nn.SmoothL1Loss 函数使用1、Smooth L1 Loss
本方法由微软rgb大神提出，Fast RCNN论文提出该方法
1）假设x为预测框和真实框之间的数值差异，常用的 L1 loss、L2 Loss 和 smooth L1 loss 定义分别为…
葡萄酒（WINE）数据集分类（PyTorch实现）
一、数据集介绍 Data Set Information: These data are the results of a chemical analysis of wines grown in the same region in Italy but derived from three different cultivars. The analysis determined the quantities of 13 constituents found in each of …
刘二大人《Pytorch深度学习实践》第十讲卷积神经网络（基础篇）
文章目录卷积神经网络基础卷积层池化层课上代码GPU版本代码卷积神经网络基础 全连接的网络将图片的的本身二维空间结构进行了破坏，而这些空间结构是有用的，因此，要定义新的操作图像的计算节点，因此引入了卷积神经网络，…
pytorch进阶学习（七）：神经网络模型验证过程中混淆矩阵、召回率、精准率、ROC曲线等指标的绘制与代码
参考笔记
【机器学习】五分钟搞懂如何评价二分类模型！混淆矩阵、召回率、精确率、准确率超简单解释，入门必看！_哔哩哔哩_bilibili
混淆矩阵的概念_GIS_JH的博客-CSDN博客
机器学习中的混淆矩阵，准确率，精确率&#…
Pytorch 基础之数学运算
每门语言都少不了加减乘除等数学运算，Pytorch 作为一个开源的机器学习库，除了这些基本的数学运算，还涉及到矩阵运算、三角函数、傅立叶变换等等。
对于我们来说，先从最简单的、常用的数学运算入手，主要是学习其 api 的…
【Pytorch】Pytorch深度学习实战教程：超分辨率重建AI与环境搭建
一、基础开发环境搭建
1）cuda安装
需要根据自己的显卡的型号选择支持的CUDA版本
显卡驱动查看：
鼠标右键 CUDA安装版本查看：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html 注意看自己的电脑配置，我的…
【Pytorch】搭建网络模型的实战
【Pytorch】搭建网络模型的实战CIFAR10 model structure搭建网络使用Sequential进行搭建网络模型使用tensorboard查看网络结构对CIFAR10数据集进行分类，根据图片内容识别这是哪一类
CIFAR10 model structure 输入input:3通道的32 x 32 图片卷积操作的通道数不变 那…
【pytorch 入门系列】02 手把手多分类从0到1
温故而知新，通过手把手写一个多分类任务来复习之前所学过的知识。
前置知识
factorize的妙用：把文本数据枚举化
labels, uniques pd.factorize([b, b, a, c, b])
labels,uniques(array([0, 0, 1, 2, 0]), array([‘b’, ‘a’, ‘c’], dtypeobject))…
pytorch-多层感知机，最简单的深度学习模型，将非线性激活函数引入到模型中。
多层感知机，线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。 隐藏层 多层感知机在单层…
小白学Pytorch 系列--Torch API
小白学Pytorch 系列–Torch API Torch version 1.13
Tensors
TORCH.IS_TENSOR
如果obj是PyTorch张量，则返回True。 注意，这个函数只是简单地执行isinstance(obj, Tensor)。使用isinstance 更适合用mypy进行类型检查，而且更显式-所以建议使…
pytorch-模型构建，参数访问，模型存取API接口，对比学习
多层感知机的简洁实现pytorch-多层感知机，最简单的深度学习模型，将非线性激活函数引入到模型中。_羞儿的博客-CSDN博客中含单隐藏层的多层感知机的实现方法。首先构造Sequential实例，然后依次添加两个全连接层。其中第一层的输出大小为256&am…
使用Stacking集成学习(SVM、随机森林)对鸢尾花数据集进行分类
文章目录Stacking集成学习的步骤使用SVM、随机森林对鸢尾花数据集进行分类Stacking集成学习的步骤
Stacking（堆叠）是一种集成学习方法，它通常使用多个基础分类器和一个元分类器来提高模型的预测性能。下面是Stacking的一般步骤： …
刘二大人《Pytorch深度学习实践》第六讲逻辑斯蒂回归
文章目录线性回归和逻辑斯蒂回归的区别课上代码交叉熵函数的理解线性回归和逻辑斯蒂回归的区别
线性回归一般用于预测连续值变量，如房价预测问题。 线性回归的一般表达式为： 代价函数为MSE（均方误差）： 其中权重thet…
pytorch模型转为onnx模型格式+PPQ量化工具安装使用与跑通量化demo
目录前言安装使用跑量化demo1. 转换onnx模型2.量化demo前言
最近在做量化相关工作，QQP量化工具是非常全且有文档的repo。目前量化相关的内容太少了，也感谢当前网络上所有量化内容输出作者。这篇文档记录PPQ量化工具安装使用和跑demo，下一篇记…
PyTorch正则化和批标准化
PyTorch正则化和批标准化
Regularization-正则化：减小方差的策略
误差可分为解为：偏差，方差与噪声之和，即误差偏差方差噪声之和；
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画…
ccc-pytorch-LSTM（8）
文章目录一、LSTM简介二、LSTM中的核心结构三、如何解决RNN中的梯度消失/爆炸问题四、情感分类实战（google colab）一、LSTM简介
LSTM（long short-term memory）长短期记忆网络，RNN的改进，克服了RNN中“记忆…
【深度强化学习】(3) Policy Gradients 模型解析，附Pytorch完整代码
大家好，今天和各位分享一下基于策略的深度强化学习方法，策略梯度法是对策略进行建模，然后通过梯度上升更新策略网络的参数。我们使用了 OpenAI 的 gym 库，基于策略梯度法完成了一个小游戏。完整代码可以从我的 GitHub 中获得&…
卷积神经网络构建（pytorch）
两层简单卷积网络构建：impot torch
from torch import nndata torch.ones(size(10,3,28,28))conv1 nn.Conv2d(3,6,3)在卷积层con1中，三个数字分别代表参数in_channles（输出通道）,out_channles（输入通道）…
如何将传统代码加载到GPU中加速
设置cuda
device torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model.to(device)numpy转化为cuda
由于numpy比较基础和通用，但是GPU上跑实验必须使用tensor，故还是直接用torch里面的函数更加直接快速…
![[chapter22][PyTorch][Logistic Regression]](https://img-blog.csdnimg.cn/img_convert/97090d5825714232beec8186e5d01cd7.png)
[chapter22][PyTorch][Logistic Regression]
参考：https://www.bilibili.com/video/BV12B4y1k7b5?p47&vd_sourcea624c4a1aea4b867c580cc82f03c1745前言Logistic Regression 是机器学习最早接触的一个模型，这个模型有的地方也叫Classfication容易误解。这里参考视频观点做下澄清一 Logistic Reg…
No matching distribution found for torch==1.10.1+cu111
目录PyTorch 安装 gpu版本的问题我的电脑配置不想看我的经历可以直接使用下方命令对应1.10版本的torch对应1.9.1版本的torch对应1.6.0版本的torch安装PyTorch-cu之路接下来就不是废话了第一种办法第二种办法补充第二种方法问题: 基于python 3.8 cuda111<112的版本和torch-cu…
mmSegmentation安装和使用
安装步骤： 该部分引用自开始：安装和运行 MMSeg — MMSegmentation 1.0.0 文档 步骤 0. 从官方网站下载并安装 Miniconda 步骤 1. 创建一个 conda 环境，并激活 conda create --name openmmlab python3.8 -y
conda activate openmmlab Step 2. …
旋转目标检测-环境配置-数据集制作
一、环境配置
Ubuntu 22.04Torch 1.10CUDA 11.3python 3.9环境配置参考下面链接（建议Linux系统）yolov5_obb/install.md at master hukaixuan19970627/yolov5_obb (github.com)https://github.com/hukaixuan19970627/yolov5_obb/blob/master/docs/insta…
【三维几何学习】从零开始网格上的深度学习-1:输入篇(Pytorch)
本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052 从零开始网格上的深度学习-1:输入篇引言一、概述1.1 三角网格1.2 DataLoader二、核心代码2.1 读取Mesh，计算特征2.2 DataLoader三、一个简单的网格分类实验3.1 分类结果3.…
Pytorch教程之张量
Pytorch教程之张量
说明：本文内容全部是搬运的，仅仅是记录一下，更多详细内容可以参考pytorch教程。
1、简介
Tensor中文翻译张量，是一个词不达意的名字。张量在不同学科中有不同的意义，在深度学习中张量表示的是一个…
【netron】模型可视化工具netron
1、简介
在实际的项目中，经常会遇到各种网络模型，需要我们快速去了解网络结构。如果单纯的去看模型文件，脑海中很难直观的浮现网络的架构。这时，就可以使用netron可视化工具，可以清晰的看到每一层的输入输出ÿ…
小白学Pytorch系列--Torch API (12)
小白学Pytorch系列–Torch API (12) Utilities
compiled_with_cxx11_abi
result_type
result_type
promote_types
use_deterministic_algorithms
are_deterministic_algorithms_enabled
is_deterministic_algorithms_warn_only_enabled
set_deterministic_debug_mode
…
模型量化(5): 敏感层分析
在实际PTQ或者QAT过程中，我们不知道哪些层属于敏感层，从而在量化的过程中跳过这些层，所以就需要进行敏感层分析。通过分析每层是否量化对map或者是精度的影响程度，从而确定敏感层。
在做PTQ或者QAT前，建议先进行敏感层分析，从而跳过这些敏感层不量化，使得最终的量化精度…
PyTorch入门（七）TensorBoard入门
PyTorch模型的可视化工具：
VisdomTensorBoardPytorchvizNetron
TensorBoard简介 TensorBoard是TensorFlow自带的一个强大的可视化工具，也是一个Web应用程序套件，可以记录训练过程的数字、图像等内容，以方便研究人员观察神经网络…
Linux之PyTorch安装
一、PyTorch简介 PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出PyTorch。PyTorch的前身是Torch，其底层和Torch框架…
PyTorch 深度学习实战 |用 TensorFlow 训练神经网络
为了更好地理解神经网络如何解决现实世界中的问题，同时也为了熟悉 TensorFlow 的 API，本篇我们将会做一个有关如何训练神经网络的练习，并以此为例，训练一个类似的神经网络。我们即将看到的神经网络，是一个预训练好的用…
【pytorch】使用deepsort算法进行目标跟踪，原理+pytorch实现
目录deepsort流程一、匈牙利算法二、卡尔曼滤波车速预测例子动态模型的概念卡尔曼滤波在deepsort中的动态模型三、预测值及测量值的含义deepsort在pytorch中的运行deepsort流程
DeepSORT是一种常用的目标跟踪算法，它结合了深度学习和传统的目标跟踪方法。DeepSORT的…
基于pytorch和lenet实现的银行卡号的识别
（一）数据处理
1.图像增强：
from keras.preprocessing import image
import os
import matplotlib.pyplot as plt
import numpy as np
from imageio import imwrite"""
数据增强实现
将 1084 张图片扩为 1084*80 张
"&q…
一篇文章搞定《动手学深度学习》-（李牧）PyTorch版本的所有内容
目录 目录
简介
阅读指南
1. 深度学习简介
2. 预备知识
3. 深度学习基础
4. 深度学习计算
5. 卷积神经网络
6. 循环神经网络
7. 优化算法
8. 计算性能
9. 计算机视觉
10. 自然语言处理
环境
参考（大家可以在这里下载代码）
原书地址&#…
MONAI-LayerFactory设计与实现
LayerFactory
用于创建图层的工厂对象，这使用给定的工厂函数来实际产生类型或构建可调用程序。这些函数是通过名称来参考的，可以在任何时候添加。
用到的关键技术点：
装饰器(Decorators), 例如：property装饰器，创建…
PyTorch：深度学习框架的优雅演进与设计理念
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
【GCU体验】基于PyTorch + GCU跑通ResNet50或Bert_base模型并测试GCU性能
一、环境
地址：启智社区:https://openi.pcl.ac.cn/
二、计算卡介绍 云燧T20是基于邃思2.0芯片打造的面向数据中心的第二代人工智能训练加速卡，具有模型覆盖面广、性能强、软件生态开放等特点，可支持多种人工智能训练场景。同时具备灵活的可…
ch02-PyTorch数据预处理
ch02-PyTorch数据预处理0.引言1.数据读取机制 Dataloader 与 Dataset1.1.纸币二分类1.2.DataSet与DataLoader1.2.1.torch.utils.data.DataLoader：构建可迭代的数据装载器1.2.2.torch.utils.data.Dataset：Dataset抽象类1.2.3.以人民币分类为例2.数据预处理…
小白学Pytorch系列--Torch.nn API Dropout Layers(11)
小白学Pytorch系列–Torch.nn API Dropout Layers(11) 方法注释nn.Dropout在训练过程中，使用来自伯努利分布的样本，以概率p随机归零输入张量的一些元素。nn.Dropout1d随机归零整个通道(一个通道是一个1D特征映射，例如，批处理输入中…
小白学Pytorch系列--Torch.nn API Recurrent Layers(8)
小白学Pytorch系列–Torch.nn API Recurrent Layers(8) 方法注释nn.RNNBasenn.RNN将具有tanh tanh或ReLU ReLU非线性的多层Elman RNN应用于输入序列。nn.LSTM将多层长短期记忆(LSTM) RNN应用于输入序列。nn.GRU将多层门控循环单元(GRU) RNN应用于输入序列。nn.RNNCell具有tanh或…
通过实例学习Pytorch加载权重.load_state_dict()与保存权重.save()
目录
0. 前言
1. Pytorch框架加载与保存权重的方法
2. 实例问题说明
3. 加载权重数据
4. 保存权重数据 0. 前言
在深度学习实际应用中，往往涉及到的神经元网络模型都很大，权重参数众多，因此会导致训练epoch次数很多，训练时间…
【Pytorch】神经网络的基本骨架
【Pytorch】神经网络的基本骨架nn.module的基本使用卷积操作神经网络卷积层最大池化的使用-池化层nn.module的基本使用
nn.module是所有神经网络的基本类，其他的所有神经网络都是继承该类，在此基础上进行修改。 上面的forward函数，首先进行卷…
CentOS7下载地址及安装教程，nginx搭建文件服务器。
CentOS7下载地址及安装教程
CentOS7下载地址 https://mirrors.huaweicloud.com/os/image 安装教程 https://blog.csdn.net/weixin_58024114/article/details/125172058?ops_request_misc&request_id&biz_id102&utm_term%E5%9C%A8VM%E4%B8%AD%E8%A3%85centos7&…
嵌入式深度学习：2、完成CIFAR10分类任务数据解析
1、任务介绍
CIFAR-10和CIFAR-100是由Alex Krizhevsky, Vinod Nair和Geoffrey Hinton收集的图像分类数据集，其中CIFAR-10数据集包含60000张32x32彩色图像，分为10个类，每类有50000张训练图片和10000张测试图片，如下图。 CIFAR-10常…
![[图神经网络]ViG(Vision GNN)网络代码实现](https://img-blog.csdnimg.cn/1ae45fb6da464bbe87769b5597ca1d75.png)
[图神经网络]ViG(Vision GNN)网络代码实现
论文解读：
[图神经网络]视觉图神经网络ViG(Vision GNN)--论文阅读https://blog.csdn.net/weixin_37878740/article/details/130124772?spm1001.2014.3001.5501代码地址：
ViGhttps://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/vig_p…
pyinstaller打包为.exe过程中的问题与解决方法
目录 问题一：.exe文件过大问题二：pyinstaller与opencv-python版本不兼容问题三：打开文件时提示***.pyd文件已存在问题四：pyinstaller打包时提示UPX is not available.另：查看CUDA成功配置的方法 pyinsatller -F -w mai…
DDP学习/PyTorch多GPU训练/查看模型在哪个GPU上
参考：
pytorch如何查看tensor和model在哪个GPU上 https://blog.csdn.net/weixin_37889356/article/details/121792888Part 3: Multi-GPU training with DDP (code walkthrough) [pytorch官方教程，有股咖喱味的Inglish, 推荐] https://www.youtube.com/w…
使用Segment Anything(SAM)模型进行自动标注
1.下载项目
项目1：https://github.com/zhouayi/SAM-Tool
项目2：https://github.com/facebookresearch/segment-anything
git clone https://github.com/zhouayi/SAM-Tool.gitgit clone https://github.com/facebookresearch/segment-anything.git
cd …
【计算机视觉 | Pytorch】timm 包的具体介绍和图像分类案例（含源代码）
一、具体介绍
timm 是一个 PyTorch 原生实现的计算机视觉模型库。它提供了预训练模型和各种网络组件，可以用于各种计算机视觉任务，例如图像分类、物体检测、语义分割等等。
timm 的特点如下：
PyTorch 原生实现：timm 的实现方式…
【Python PyTorch】零基础也能轻松掌握的学习路线与参考资料
文章目录 一、PyTorch的基础知识二、PyTorch数据处理三、PyTorch模型构建四、PyTorch模型训练和评估五、总结 作为当前最流行的深度学习框架之一，PyTorch已成为许多数据科学家和深度学习工程师的首选。本文将提供一条针对初学者的完整的学习路线，包括PyT…
【Python | 深度学习】safetensors 包的介绍和使用案例（含源代码）
safetensors 是一种用于安全存储张量（与 pickle 相反）的新型简单格式，并且仍然很快（零拷贝）。
safetensors 真的很快。
一、安装
1.1 pip 安装
pip install safetensors1.2 conda 安装
conda install -c huggingf…
Pytorch代码——持续更新
1 连续两个argsort
返回张量中每个元素对应的排名
torch.argsort(torch.argsort(pred, dim1, descendingTrue),dim1,descendingFalse)
例子
使用一个argsort后得到的是张量中按列降序排序后的索引，
再使用一个argsort后是张量中每一个元素的排名。
例如第2行中…
【计算机视觉】如何利用 CLIP 做简单的人脸任务？（含源代码）
文章目录 一、数据集介绍二、源代码 结果三、代码逐行解读 一、数据集介绍
CELEBA 数据集（CelebFaces Attributes Dataset）是一个大规模的人脸图像数据集，旨在用于训练和评估人脸相关的计算机视觉模型。该数据集由众多名人的脸部图像组成&a…
Pytorch实现CNN：LeNet（附代码实现与讲解）
目录
一、准备MNIST数据集 二、LeNet模型构建
三、完整代码 本篇博客教大家使用MNIST数据集基于Pytorch框架实现比较经典的一种卷积神经网络：LeNet。
运行环境：python 3.6.12，pytorch 1.6.0，torchvision 0.7.0
一、准备MNIST数…
Pytorch入门实战 | 第P8周：YOLOv5-C3模块实现
**本次我将利用YOLOv5算法中的C3模块搭建网络，主要让大家先了解C3的结构，方便后续YOLOv5算法的学习。
🏡 我的环境： 语言环境：Python3.8编译器：Jupyter Lab数据集：天气识别数据集深度学习环境：Pytorch torch==1.12.1+cu113torchvision==0.13.1+cu113一、 前期准备
1…
小白学Pytorch系列--Torch.optim API Algorithms(2)
小白学Pytorch系列–Torch.optim API Algorithms(2) 方法注释Adadelta实现Adadelta算法。Adagrad实现Adagrad算法。Adam实现Adam算法。AdamW实现AdamW算法。SparseAdam实现了适用于稀疏张量的懒惰版Adam算法。Adamax实现Adamax算法(一种基于无限范数的Adam算法)。ASGD实现平均随…
DeepLearning in Pytorch|手写数字识别器_minst_convnet
目录 概要 一、代码概览 二、使用步骤 1.引入库 2.超参数的定义和数据集的预处理 3.构建网络 4.训练 5.测试 三、剖析 1.各层运算 2.健壮性实验 总结 概要
系列文章为《深度学习原理与Pytorch实践》学习笔记
Pytorch 2.2.1 (CPU) Python 3.6.13|Anaconda 环境 一、代码概览
…
PYTorch训练和推理 指定GPU
前言
在训练模型和推理测试时，电脑中有多个显卡，需要指定某个GPU，以免出现显出不够问题。 查询显卡情况
使用下面的命令，查询显卡情况
nvidia-smi
会看到显卡的ID号、温度、名称、电压、显存、使用情况等信息
--------------…
Pytorch实现LetNet5细节及卷积原理
LetNet-5
参考链接：https://paddlepedia.readthedocs.io/en/latest/tutorials/CNN/convolution_operator/Convolution.html
Model
import torch
from torch import nnclass LetNet5(nn.Module):def __init__(self):super(LetNet5, self).__init__()# padding2是为…
机器学习 - 神经网络分类
什么叫做分类问题？ A classification problem involves predicting whether something is one thing or another.
Problem typeWhat is it?ExampleBinary classificationTarget can be one of two options, e.g. yes or noPredict whether or not someone has hea…
Jetson AGX ORIN 配置 FGVC-PIM 神经网络（包含 arm64 下面 torch 和 torchvision 配置内容）
Jetson AGX ORIN 配置 FGVC-PIM 神经网络 文章目录 Jetson AGX ORIN 配置 FGVC-PIM 神经网络配置 ORIN 环境创建 FGVC-PIM 虚拟环境安装 PyTorch安装 torchvision安装其他依赖包 配置 ORIN 环境
首先先配置 ORIN 的环境，可以参考这个链接：
Jetson AGX …
基于YOLOv8模型的头盔行人检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的头盔行人检测系统可用于日常生活中检测与定位头盔与行人目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练…
HarmonyOS NEXT应用开发—图片压缩方案
介绍
图片压缩在应用开发中是一个非常常见的需求，特别是在处理用户上传图片时，需要上传指定大小以内的图片。目前图片压缩支持jpeg、webp、png格式。本例中以jpeg图片为例介绍如何通过packing和scale实现图片压缩到目标大小以内。
效果图预览 使用说明…
Using torch_extensions\Cache\py39_cu121 as PyTorch extensions root...卡住问题解决
Using C:\Users\13090\AppData\Local\torch_extensions\torch_extensions\Cache\py39_cu121 as PyTorch extensions root… 没有报错，只是load运行后一直停在这一步 解决方案： 打开C:\Users\13090\AppData\Local\torch_extensions\torch_extensions 我的…
什么是自然语言处理（NLP)？自然语言处理（NLP）的概述
什么是自然语言处理？
自然语言处理（NLP）是人工智能（AI）和计算语言学领域的一个分支，它致力于使计算机能够理解、解释和生成人类语言。随着技术的发展，NLP已经从简单的模式匹配发展到了能够理解…
pytorch实战-2张量类型处理
1 图像类型
有多种库可加载图像，如imageio， torchvision等。张量对图像维度排序一般为通道数x图像长x图像宽
1.1 imageio
import imageioimg_t imageio.imread(img_path)
1.2 改变布局
可对tensor调用permute方法改变张量某个维度元素排序 和转置类…
Pytorch的named_children， named_modules和named_children
在 PyTorch 中，named_children、named_modules 和 named_parameters 是用于获取神经网络模型组件和参数的三种不同的方法。下面是它们各自的作用和区别：
named_parameters：递归地列出所有参数名称和tensornamed_modules：递归地列…
PyTorch中nn.ReLU函数说明
torch.nn.ReLU(inplaceFalse)ReLU(x)max(0,x)
输入：
inplace：是否改变输入数据，如果设置为True，则会直接修改输入数据；如果设置为False，则不对输入数据做修改。默认为False
注意：
输入可以是…
人工智能(pytorch)搭建模型26-基于pytorch搭建胶囊模型(CapsNet)的实践，CapsNet模型结构介绍
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型26-基于pytorch搭建胶囊模型(CapsNet)的实践，CapsNet模型结构介绍。CapsNet（Capsule Network）是一种创新的深度学习模型，由计算机科学家Geo…
无脑003---windows11安装wsl虚拟机运行RTMDet的demo样本图片推理测试
背景：因为想跑一下RTMDet，结果实验室的服务器不大行，目前没有GPU用，就用自己的windows来测试一下推理效果，同时也是因为听闻wsl挺好用的，所以想试试。RTMDet的复现方法多亏了哔哩哔哩大佬小鸡炖技术&#x…
图注意网络GAT理解及Pytorch代码实现【PyGAT代码详细注释】
文章目录GAT代码实现【PyGAT】GraphAttentionLayer【一个图注意力层实现】用上面实现的单层网络测试加入Multi-head机制的GAT对数据集Cora的处理csr_matrix()处理稀疏矩阵encode_onehot()对label编号build graph邻接矩阵构造GAT的推广GAT
题：Graph Attention Netwo…
pytorch TensorRT PQT,QAT + 相关资源
这篇文章里使用了pythorch提供的量化工具。我首先看到了 pytorch文档的这篇文章，但文档中仅有部分执行文件，我安装环境后，对代码进行修改，并执行到了PQT的部分，但是QAT训练总是报错(可能和我电脑上环境依赖有关系&…
Ubuntu20.04LTS安装CUDA并支持多版本切换
文章目录1.前置知识2.查看显卡驱动版本号3.查看显卡驱动版本号和CUDA版本对应关系4.查看经典的CUDA版本号5.安装CUDA5.1.下载CUDA安装包5.2.执行CUDA安装5.3.配置环境变量5.4.CUDA多版本管理1.前置知识
如果Ubuntu系统还没有安装显卡驱动，参考这篇文章：…
Pytorch基础 - 3. torch.utils.tensorboard
目录
1. 简介
2. 基本步骤
3. 示例1 - 可视化单条曲线
4. 示例2 - 可视化多条曲线
5. 示例3 - 可视化网络结构 1. 简介
Tensorboard是Tensorflow的可视化工具，常用来可视化网络的损失函数，网络结构，图像等。后来将Tensorboard集成到了P…
win11：Torch not compiled with CUDA enabled
1、我的环境
系统为win11，使用anaconda环境，python版本3.8，已经通过anaconda安装了pytorch 2.0，但是通过命令行nvcc -V以及文件查看发现未安装CUDA
整体思路：先安装的pytorch2.0，然后发现未安装CUDA&…
MobileNetV3详解及在pytorch下基于CIFAR10数据集的实现
1 MobileNetV3介绍 MobileNetV3 是由 google 团队在 2019 年提出的轻量化网络模型，传统的卷积神经网络，内容需求大，运算量大，无法再移动设备以及嵌入式设备上运行，为了解决这一问题，MobileNet网络应运而生。…
ONNX转NCNN记录
【pytorch 转 onnx】pytorch-onnx 【onnx 转 ncnn】onnx-ncnn 【ncnn 加载模型】ncnn-load 一、python安装依赖项
pip install onnxruntime onnx opencv-python
二、创建模型并训练，加载模型参数并输出onnx
#### pytorch 转 onnx
import torch
import torch.onnx…
PageRank算法介绍
互联网上有数百亿个网页，可以分为这么几类：不含有用信息的，比如垃圾邮件；少数人比较感兴趣的，但范围不是很广的，比如个人博客、婚礼公告或家庭像册；很多人感兴趣的并且十分有用的，比…
时间序列预测任务PyTorch数据集类——TimeSeriesDataSet 类详解
时间序列预测任务PyTorch数据集类——TimeSeriesDataSet 类详解
当进行时间序列预测或时间序列分析时，通常需要对数据进行预处理和转换以提高模型的效果和准确性。TimeSeriesDataSet 类是为这些目的而创建的 PyTorch 数据集类，提供了一些自动化的功能&a…
Pytorch 容器 - 2. Module的属性访问 modules(), children(), parameters(), buffers()等
目录
1. modules() 和 named_modules()
2. children() 和 named_children()
3. parameters() 和 named_parameters()
4. buffers() 和 named_buffers() Module类内置了很多函数，其中本文主要介绍常用的属性访问函数，包括： modules(), nam…
基于YOLOV5的头盔佩戴检测识别系统源码+训练好的数据+权重文件
yolov5训练自己的数据集
1.下载yolo v5源码
基于YOLOV5的头盔佩戴检测识别系统源码训练好的数据权重文件。若下载的是yolov5-5.0.zip文件，下载完成后解压至代码编辑的地方。
2.使用Anaconda创建虚拟环境
若无anaconda环境，也可直接使用python环境
在…
ch05-学习率调整策略、可视化与Hook
ch05-学习率调整策略、可视化与Hook0.引言1.学习率调整策略1.1.为什么要调整学习率？1.2.Pytorch提供的六种学习率调整策略1.3.学习率调整策略总结2.TensorBoard 介绍1.1.SummaryWriter1.2.add_scalar1.3.add_scalars1.4.add_histogram1.5.模型指标监控1.6.add_image…
【PyTorch】课堂测试一：线性回归的求解
作者🕵️♂️：让机器理解语言か 专栏🎇：PyTorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
GPU服务器安装Anaconda
1.下载Anaconda安装包，官网地址，清华源地址。
在官网下载到本地之后，可以通过文件传输上传安装包到服务器，使用清华源地址可以直接使用wget下载所需版本，例如：
wget https://mirrors.tuna.tsinghua.edu.c…
【PyTorch】第九节：Softmax 函数与交叉熵函数
作者🕵️♂️：让机器理解语言か 专栏🎇：PyTorch 描述🎨：PyTorch 是一个基于 Torch 的 Python 开源机器学习库。 寄语💓：🐾没有白走的路，每一步都算数&#…
Show, Attend, and Tell | a PyTorch Tutorial to Image Captioning代码调试（跑通）
Show, Attend, and Tell | a PyTorch Tutorial to Image Captioning代码调试（跑通） 文章目录Show, Attend, and Tell | a PyTorch Tutorial to Image Captioning代码调试（跑通）前言1. 创建、安装所用的包1.1 创建环境，…
pytorch注意力机制
pytorch注意力机制
最近看了一篇大佬的注意力机制的文章然后自己花了一上午的时间把按照大佬的图把大佬提到的注意力机制都复现了一遍，大佬有一些写的复杂的网络我按照自己的理解写了几个简单的版本接下来就放出我写的代码。顺便从大佬手里盗走一些图片，…
香橙派5使用RK3588S内置NPU加速yolov5推理，实时识别数字达到50fps
前言： 香橙派5采用了RK3588S，内置的NPU达到了6Tops的算力，博主这里记录一下自己的踩坑过程，好不容易做出来的不能以后忘记了（手动狗头）。这里博主还在B站上发布了效果视频，大家感兴趣的话可以看…
目标检测框架yolov5环境搭建
目前，目标检测框架中，yolov5 是很火的，它基于pytorch框架，集成opencv等框架，项目地址：https://github.com/ultralytics/yolov5，对我来说，机器学习、深度学习才开始接触，本…
强化学习之蒙特卡罗（MC）、动态规划（DP）、时间差分（TD）
强化学习笔记1.马尔可夫决策过程(MDP)1.马尔可夫性质2.马尔可夫过程3.马尔可夫奖励过程(MRP)4.马尔可夫决策过程(MDP)2.蒙特卡罗（MC）、动态规划（DP）、时间差分（TD）1.蒙特卡罗(MC)2.动态规划(DP)3.时间差分(…
显存不够用？一种大模型加载时节约一半显存的方法
Loading huge PyTorch models with linear memory consumption
本文主要介绍了一种用于加载巨大模型权重时节约接近一半显存的方法
首先，创建一个模型:
import torch
from torch import nnclass BoringModel(nn.Sequential):def __init__(self):super().__init__…
【youcans的深度学习 D01】PyTorch例程：从极简线性模型开始
欢迎关注『youcans的深度学习』系列 【youcans的深度学习 D01】PyTorch 例程：从极简线性模型开始 1. PyTorch 建模的基本步骤2. 线性模型的结构3. 建立 PyTorch 线性模型3.1 准备数据集3.2 定义线性模型类3.3 建立一个线性模型3.4 模型训练3.5 模型推断 4. PyTorch …
pytorch 39 yolov5_obb的onnx部署及其优化
进行部署要求配置opencv和onnxruntime环境，这里不累述。
1、模型导出
yolov5_obb项目的使用可以参考：https://hpg123.blog.csdn.net/article/details/129366477 下载yolov5s_csl_dotav1_best.pt，并执行以下命令，得到yolov5s_csl_dotav1_best.onnx
python export.py --we…
【Pytorch学习笔记】12.修改预训练模型权重参数的方法（用于对单通道灰度图使用预训练模型）
文章目录 1.导出模型参数，修改参数2.修改模型结构，导回参数 我们在训练单通道图像，即灰度图（如医学影像数据）时，常会使用预训练模型进行训练。 但是一般的预训练模型是以ImageNet数据集预训练的，…
AdelaiDet中BlendMask代码详解
BlendMask代码详解
以下代码出自官方AdelaiDet，添加了注释方便阅读理解，BlendMask代码主要包含以下三个文件：
blendmask.pyblender.pybasis_module.py
AdelaiDet/adet/modeling/blendmask/blendmask.py
# -*- coding: utf-8 -*-
# Cop…
【pytorch】反向传播遇到Nan的排查解决方式
在跑自己的课题时，突然发现自己的模型的最终输出全是[Nan,Nan,Nan…]，这时候就开始了逐步的排查： 参考链接：https://blog.csdn.net/qq_41682740/article/details/126304613。 一般模型输出为Nan有这么几个原因：
1.数据…
Yolo v5 长方形 训练修改
感谢，以下内容改自：http://t.csdn.cn/37m2w
Train.py
添加train，test (480,640) for each parser.add_argument(--imgsz, --img, --img-size, typeint, default[[480,640],[480,640]], helptrain, val image size (pixels))parser.add_argu…
pytorch坦尼克号幸存者预测（二分类）
文章目录 一、前言二、实现方法1.读取数据集2.数据清洗3.划分训练集、验证集 和 测试集4.创建模型5.指定训练参数6.定义损失函数、优化器7.训练8.验证准确率9.预测 一、前言
任务目标：根据泰《坦尼克号登船人员名单》上的个人信息预测其是否生还数据集：…
opencv-python加载pytorch训练好的onnx格式线性回归模型
opencv是一个开源的图形库，有针对java,c,python的库依赖，它本身对模型训练支持的不好，但是可以加载其他框架训练的模型来进行预测。 这里举一个最简单的线性回归的例子，使用深度学习框架pytorch训练模型，最后保存模型为…
ddp pytoch多卡分布式训练
python -m torch.distributed.launch --nproc_per_node2 main.py这是PyTorch分布式训练的启动命令。它使用了PyTorch内置的分布式训练工具来启动多个训练进程，并将它们连接在一起以进行并行训练。其中的参数解释如下：
python -m torch.distributed.laun…
【五一创作】跑alpaca-lora语言模型的常见问题（心得）
训练部署alpaca-lora语言模型常见问题
Alpaca-Lora是一个开源的自然语言处理框架，使用深度学习技术构建了一个端到端的语言模型。在训练和部署alpaca-lora语言模型时，可能会遇到一些常见问题。本文将介绍一些这些问题及其解决方法。
1. bitsandbytes版…
【图像分割】【深度学习】SAM官方Pytorch代码-Prompt encoder模块ProEnco网络解析
【图像分割】【深度学习】SAM官方Pytorch代码-Prompt encoder模块PromptEncoder网络解析 Segment Anything：建立了迄今为止最大的分割数据集，在1100万张图像上有超过1亿个掩码，模型的设计和训练是灵活的，其重要的特点是Zero-shot(…
Python使用pytorch深度学习框架构造Transformer神经网络模型预测红酒分类例子
1、红酒数据介绍
经典的红酒分类数据集是指UCI机器学习库中的Wine数据集。该数据集包含178个样本，每个样本有13个特征，可以用于分类任务。
具体每个字段的含义如下： alcohol：酒精含量百分比 malic_acid：苹果酸含量&a…
【五一创作】Pytroch nn.Unfold() 与 nn.Fold(）图码详解
文章目录 Unfold()与Fold()的用途nn.Unfold()Unfold()与Fold() 变化模式图解 nn.Fold()单通道 滑动窗口无重叠模拟图片数据（b,3,9,9），通道数 C 为3，滑动窗口无重叠。单通道 滑动窗口有重叠。 卷积等价于：Unfold Matri…
【视频解读】Window上安装和使用autogluon V0.7
1.使用conda安装的python环境
教程使用的是极简版miniconda,由于我们的电脑中安装了anaconda，所以不需要进行进一步安装。python版本为3.9，博客里面有anaconda和python版本的对应关系。注意查看版本autogluon V0.4需要3.8或者3.9和3.10，pip版…
如何使用 PyTorch 进行半精度、混(合)精度训练
https://featurize.cn/notebooks/368cbc81-2b27-4036-98a1-d77589b1f0c4
nvidia深度学习加速库apex简单介绍
NVIDIA深度学习加速库Apex是一个用于PyTorch的开源混合精度训练工具包，旨在加速训练并减少内存使用。Apex提供了许多用于混合精度训练的工具，…
图神经网络：在自定义数据集上动手实现图神经网络
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 文章目录 自定义数据集动手实现图神经网络自定义数据集训验测集拆分，创建Data的数据结构，观察Data的基本信息，可视化图网…
计算网络模型的参数数量并将其转换为兆字节（MB）和千字节（KB）
1. 计算网络模型的参数数量
def view_model_param(MODEL_NAME, net_params):model gnn_model(MODEL_NAME, net_params)total_param 0print("MODEL DETAILS:\n")#print(model)for param in model.parameters():# print(param.data.size())total_param np.prod(lis…
快速上手Pytorch实现BERT，以及BERT后接CNN/LSTM
快速上手Pytorch实现BERT，以及BERT后接CNN/LSTM
本项目采用HuggingFace提供的工具实现BERT模型案例，并在BERT后接CNN、LSTM等 HuggingFace官网
一、实现BERT（后接线性层）
1.引用案例源码：
from transformers impo…
将Python环境迁移到另一台设备上
本方法可以将一台电脑上的python环境迁移到另一台电脑上，可以省去一个一个包pip的麻烦。本文以pytorch的迁移为例。
一、从源环境备份安装包 在原来的电脑的Conda控制台中使用语句
pip freeze > c:\myrequirement.txt 后面跟的参数是文件的路径和文件名&#x…
704.二分查找 27. 移除元素（day1）
自己看到题目的第一想法之前用for循环遍历查找
class Solution(object):def search(self, nums, target):""":type nums: List[int]:type target: int:rtype: int"""flag0for i in range(len(nums)):if targetnums[i]:flag1return iif flag0:re…
pytorch模型转ONNX
目录
1. ONNX
2. pytorch 转 ONNX
3. 加载 ONNX 文件
4. Netron 1. ONNX
一般来说，pytorch训练好的模型是不能够直接用于生产环境，有很多的地方没有优化
而ONNX 格式可以兼顾不同框架的模型，相当于一个中间人的角色。这样部署到不同的环…
Reid strong baseline 代码详解
本项目是对Reid strong baseline代码的详解。项目暂未加入目标检测部分，后期会不定时更新，请持续关注。
本相比Reid所用数据集为Markt1501，支持Resnet系列作为训练的baseline网络。训练采用表征学习度量学习的方式。
目录
训练参数
训练代…
python里apply用法_Python apply函数的用法
Python编程语言Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的…
DINO损失函数构造解析
损失函数
首先看下模型的输出结果： output_cls：torch.Size([2, 900, 3]) output_box：torch.Size([2, 900, 4]) 即设置batch-size2，900个预测框 真值信息如下：第一张图片内有4个真值框，第二张图片亦然 随后…
pytorch 前向传播与反向传播代码+ fp16
optim.zero_grad() : 将模型的梯度参数设置为0，即清空之前计算的梯度值，在训练模型过程中，每次模型反向传播完成后，梯度都会累加到之前的梯度值上，如果不清空，这些过时的梯度将会影响下一次迭代的结果。因此…
PyTorch LSTM和LSTMP的原理及其手写复现
PyTorch LSTM和LSTMP的原理及其手写复现 0、前言全部参数的细致介绍代码实现Reference 0、前言 关于LSTM的原理以及公式其实在这篇博客一步一步详解LSTM网络【从RNN到LSTM到GRU等，直至attention】讲的非常清晰明了了。 这里就是写出LSTM的pytorch的实现，…
Python+Yolov5水稻病害侦测识别
程序示例精选 PythonYolov5水稻病害侦测识别 如需安装运行环境或远程调试，见文章底部个人QQ名片，由专业技术人员远程协助！ 前言
这篇博客针对<<PythonYolov5水稻病害侦测识别>>编写代码，代码整洁，规则&am…
AI根据图片自动建模
暂时放弃了，没显卡，直接装不了 用的是一个git上的老项目3年前的，最近更新6个月，由facebook开发
GitHub - facebookresearch/pifuhd: High-Resolution 3D Human Digitization from A Single Image.
他需要的环境有
Python 3PyTo…
【pytorch损失函数（3）】nn.L1Loss()和nn.SmoothL1Loss()
文章目录 【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解1. L1 Loss（Mean Absolute Error，MAE）1.1 数学定义1.2 、使用场景与问题1.3 、如何使用 2. L2 Loss（Mean Squared E…
ModuleNotFoundError: No module named ‘d2l’
目录
1. 下载李沐老师分享的源代码
step1：下载李沐老师分享的源代码：
step3：Anaconda Prompt中安装d2l(这个l是英文) step4：运行代码，成功：
（番外）ModuleNotFoundError: No mod…
构建一个pytorch手写网络的基本流程
文章目录 从简单手写数字识别开始基本网络框架的使用使用pytorch构建网络——基本组件定义一个简单的网络使用pytorch加载和处理数据数据流的基本单位：Tensor下载数据集 & 加载 使用pytorch训练及保存模型训练的基本逻辑——梯度下降 & 反向传播训练代码模型…
源码简读 - AlphaFold2的2.3.2版本源码解析 (1)
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/130323566 时间：2023.4.22
官网：https://github.com/deepmind/alphafold
AlphaFold2是一种基于深度学习的方法…
TimesNet：用于一般时间序列分析的时间二维变化模型（代码解析）
前言
TimesNet：用于一般时间序列分析的时间二维变化模型论文下载地址，Github项目地址，论文解读系列本文针对TimesNet模型参数与模型架构开源代码进行讲解，本人水平有限，若出现解读错误，欢迎指出开源代码中…
pytorch rpc如何实现分物理机器实现model parallel
因为业务需要，最近接到一项任务，是如何利用pytorch实现model parallel以及distributed training。搜罗了网上很多资料，以及阅读了pytorch官方的教程，都没有可参考的案例。讲的比较多的是data parallel，关于model paral…
使用Cycle GAN训练自己的数据
目录 克隆项目代码 配置环境
下载测试数据集和预训练模型
测试及训练
使用自己的数据集训练及测试
修改cyclegan生成图像的大小 克隆项目代码
如果太慢，也可以选择自己下载下来项目上传至服务器
git clone https://github.com/junyanz/pytorch-CycleGAN-and-p…
深度学习的环境搭建（window+pytorch)
1.检查是否安装CUDA
CUDA（Compute Unified Device Architecture）是由 NVIDIA 推出的一种并行计算平台和编程模型，用于利用 NVIDIA GPU（Graphics Processing Unit）的强大计算能力进行高性能计算任务。CUDA 的主要特点是…
第九章 番外篇：TORCHSCRIPT
下文中的代码都使用参考教程中的例子。 会给出一点自己的解释。 参考教程： 文章目录 Introduction复习一下nn.Module()Torchscripttorch.jit.ScriptModule()torch.jit.script()torch.jit.trace()一个小区别 使用示例tracing Modulesscripting ModuleMixing scripti…
pytorch 中的数据集
总述
需要 Dataset collate_fn Sampler DataLoader 联用, 才等价于 tf 的 dataset.
DataLoader, 对外服务的类. 通过 _get_iterator() 方法返回 iterator, 对其调用 next() 得到 tensor.Sampler, 数据集的采样策略, 给出每个 step 要使用的数据的索引 possibly_batched_in…
图神经网络：(节点分类)在Cora数据集上动手实现图神经网络
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook。超链。提取码8888。 文章目录 代码实操1：GCN的复杂实现代码实操2：GCN的简单实现…
人工智能学习07--pytorch18--目标检测：Faster RCNN源码解析(pytorch)
参考博客： https://blog.csdn.net/weixin_46676835/article/details/130175898
VOC2012 1、代码的使用
查看pytorch中的faster-rcnn源码： 在pytorch中导入：
import torchvision.models.detection.faster_rcnn即可找到faster rcnn所实现的源…
深度学习实战二：多元线性回归（基于Pytorch，含数据和详细注释）
系列文章目录
深度学习实战一：线性回归（基于Pytorch，含数据和详细注释） 文章目录 系列文章目录前言多元线性回归实例说明1. pytorch中unsqueeze函数的理解2. pytorch中torch.cat函数的理解3. pytorch中x.mm(W_target) + b_target.item()理解4. pytorch中F.smooth_l1_loss(…
图神经网络：(化学领域)再次认识图神经网络
文章说明： 1)参考资料：PYG官方文档。超链。 2)博主水平不高，如有错误还望批评指正。 3)我在百度网盘上传了这篇文章的jupyter notebook和有关文献。超链。提取码8848。 文章目录 Mutagenicity数据集搭建模型训练模型文献阅读重新回来 Mutagen…
Pytorch——在一个Tensor中随机保留一个True，其他全为False
需求
让一个[false,false,false,false,true,true]的tensor，变成随机只保留一个true的tensor，且可以并行处理：
要将一个布尔类型的张量 [False, False, False, False, True, True] 变成随机只保留一个 True 的张量，并且可以并行处…
Pytorch 中张量的数据结构
Pytorch 中的张量是多维数组，也就是 N 维矩阵。它是 PyTorch 广泛使用的核心数据结构，用于表示神经网络中的数据，包括输入数据，参数以及梯度等。与 NumPy 中的 ndarrays 类似，PyTorch 张量也可以进行类似的数学和操作。…
mmdetection3d框架安装与Demo模型运行--基于Ubuntu18.04+Cuda10.1
1.NVIDIA Driver和Cuda安装
在Ubuntu18.04机器上安装好NVIDIA Driver4.18和CUDA10.1，版本号分别为4.18和10.1
查看NVIDIA Driver版本号：nvidia-smi
查看CUDA版本号：nvcc -V 2.安装MiniConda，并创建和管理虚拟环境
2.1 安装Min…
![[PyTorch][chapter 35][Batch Normalize]](https://img-blog.csdnimg.cn/32f6c77a462e465e98644bf6de4f38fa.png)
[PyTorch][chapter 35][Batch Normalize]
前言： Batch Norm 是深度学习里面常用的技术之一，主要作用是
把指定维度参数约束到范围内,有效的解决了梯度弥散
现象 ,有助于加速模型的训练速度。 问题解释 特征缩放 Feature Scaling Batch Normalization Torch API 一 问题解释 如上图,输入范…
pytorch：nn.ModuleList和nn.Sequential、list的用法以及区别
文章目录 在构建网络的时候，pytorch有一些基础概念很重要，比如nn.Module，nn.ModuleList，nn.Sequential，这些类我们称为为容器（containers），可参考containers。本文中我们主要学习nn.…
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
文章目录 定义激活函数softmaxT-softmaxlog_softmax 损失函数NLLLossCrossEntropy交叉熵 定义
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）log_softmax：在softmax的基础上取对数NLLLoss：对log_…
pytroch实战12：基于pytorch的网络结构可视化
基于pytorch的网络结构可视化 前言 之前实现了一些常见的网络架构，但是有些网络架构并没有细说，并且网络传输过程中shape的变化也很少谈及过。
除此之外，前面的实现很少涉及到可视化的内容，比如损失值的可视化、网络结构的…
pytorch实现导热率优化控制问题的并行算法
问题来源于论文Reduced Basis Methods—An Application to Variational Discretization of Parametrized Elliptic Optimal Control Problems
问题描述 { min y ( μ ) , u ( μ
【深度学习】【人脸检测模型】SCRFD模型的训练与部署实战
文章目录 Linux安装环境pythoninsightface环境 训练数据集准备todo 训练 Linux安装环境
python
我的cuda版本11.6：
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Tue_Mar__8_18:18:20_PST_2022…
Docker利用DockerFile创建部署NVIDIA+PyTorch容器
Docker利用DockerFile创建部署NVIDIAPyTorch容器 1、创建 Dockerfile2、在 Dockerfile 中添加关键字和命令3、使用 Docker Build 命令构建镜像4、验证和测试 Docker 映像 1、创建 Dockerfile
首先在用户的主目录下创建一个名为 mycode 的文件夹，然后创建 Dockerfil…
记录使用Pytorch分布式训练（torch.distributed）踩过的坑
引言
最近由于想加速神经网络模型训练，便开始着手学习pytorch的分布式训练（DDP），结果踩了很多坑，在这里记录一下，便于以后查看，也同时分享给大家。
教程
我是通过下面几篇博客学习pytorch分布…
pytorch-简单回归问题-手写数字识别
pytorch-简单回归问题-手写数字识别 线性回归添加噪声简单例子分类问题引入-手写数字识别数据集 训练推导手写数字识别1加载数据集编写网络训练网络计算正确率 线性回归添加噪声 使用均方差损失函数来衡量损失
简单例子 通过最小化损失函数，求解出参数w b
下图表示…
pytorch conv2d计算shape,prefetch_factor提速，提高显卡利用率
N (W − F 2P )/S1 N ： output_shape 为 N x N W ： input_shape 为 WW F ： Filter 大小 FF P ： Padding 大小 S ： 步长 stride kernel_size 卷积核的大小，一般我们会使用5x5、3x3这种左右两…
deepin安装docker和pytorch
title: deepin安装docker和pytorch date: 2023-06-01 17:28:58 tags: [linux, torch,docker] deepin安装docker和pytorch
总体的流程图大致如下，首先是安装linux，这个直接跳过，接下来就是安装docker，之后，安装docker之…
人工智能(pytorch)搭建模型7-利用pytorch搭建一个BiLSTM+CRF模型，实现简单的命名实体识别
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型7-利用pytorch搭建一个BiLSTMCRF模型，实现简单的命名实体识别，BiLSTMCRF 模型是一种常用的序列标注算法，可用于词性标注、分词、命名实体识别等任务。本…
【阅读笔记】时间序列之TPA-LSTM(含Pytorch代码实现)
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，关于论文翻译可以查看参考文献。论文地址：https://arxiv.org/abs/1809.04206 TPA-LSTM 一. 全文总结二. 研究方法三. 结论四. 创新点…
3090显卡(CUDA11.1)安装Pytorch
3090显卡(CUDA11.1)安装Pytorch
由于官方暂时没有11.1版本的Pytorch安装方法，可以使用11.0版本的安装方法，经过测试，在3090上是可以正常使用的。 官方给出的安装方法：
pip install torch1.7.1cu110 torchvision0.8.2cu110 torch…
PyTorch深度学习实战（2）——PyTorch基础
PyTorch深度学习实战（2）——PyTorch基础 0. 前言1. 搭建 PyTorch 环境2. PyTorch 张量2.1 张量初始化2.2 张量运算2.3 张量对象的自动梯度计算 3. PyTorch 张量相对于 NumPy 数组的优势小结系列链接 0. 前言
PyTorch 是广泛应用于机器学习领域中的强大开…
pytorch-DataLoader（数据迭代器）详解
(152条消息) pytorch-DataLoader（数据迭代器）_学渣的博客-CSDN博客_pytorch 数据迭代器
写的特别好！！
PyTorch 深度学习 || 专题二：PyTorch 实验框架的搭建
PyTorch 实验框架的搭建
1. PyTorch简介
PyTorch是由Meta AI(Facebook)人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，PyTorch在API的设计上更加简洁、优雅和易懂。
1.1 PyTorch的发展
“…
YOLO8自定义检测实战
文章目录 资料模型介绍(或者叫weights)安装安装ultralytics（yolo）Torch测试命令 CLI命令行通过COCO128数据集体验yolov8标签predictsegment下载COCO 2017数据集ValTrain 自定义数据集标注标注软件labelimg分析训练结果 获得最佳训练结果提示 资料
Docs:…
【白话机器学习系列】白话Broadcasting
白话 Broadcasting 文章目录 什么是 BroadcastingBroadcasting 的规则逐元素操作向量与标量运算矩阵与向量运算行向量列向量 张量与向量运算张量与矩阵运算 矩阵与张量的点积总结 什么是 Broadcasting
在 《白话张量》 中我们讲过，张量之间进行运算需要满足一定的…
手把手教你部署FreeYOLO
作者:Kissrabbit 原文链接: https://zhuanlan.zhihu.com/p/578830729 本章将讲解如何将torch训练好的权重文件转换为ONNX文件，并如何部署回到OpenVINO、TensorRT等框架下。笔者将以自己的FreeYOLO项目为例，来完成本章的内容讲解，相关代码如下…
pytorch lightning 按照频率/epoch/step保存模型或checkpoint
需求
在训练深度神经网络时，如果训练时间较长，我们通常希望在训练过程中定期保存模型的参数，以便稍后从该点恢复训练或进行推理。PyTorch Lightning 提供了 ModelCheckpoint 回调函数来帮助我们自动保存模型参数。 在本文中，我们…
初探BERTPre-trainSelf-supervise
初探Bert
因为一次偶然的原因，自己有再次对Bert有了一个更深层地了解，特别是对预训练这个概念，首先说明，自己是看了李宏毅老师的讲解，这里只是尝试进行简单的总结复述并加一些自己的看法。
说Bert之前不得不说现在的…
pytorch自学笔记——线性回归
import numpy as np import torch from torch.utils import data #处理数据的模块 from d2l import torch as d2l #生成数据集，这里可以不用看 true_w torch.tensor([2, -3.4]) true_b 4.2 features, labels d2l.synthetic_data(true_w, true_b, 1000) …
度学习pytorch实战六：ResNet50网络图像分类篇自建花数据集图像分类（5类）超详细代码
1.数据集简介、训练集与测试集划分 2.模型相关知识 3.model.py——定义ResNet50网络模型 4.train.py——加载数据集并训练，训练集计算损失值loss，测试集计算accuracy，保存训练好的网络参数 5.predict.py——利用训练好的网络参数后࿰…
一篇文章带你入门Pytorch
本教程假设你有一些神经网络的基础基础知识 0.安装Pytorch
1.我们可以从官网安装点击出发2.我们也可以从镜像站安装，通过 pip install --upgrade torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
1.简单介绍Pytorch
pytorch是一个神经网络框架&a…
java elasticsearch 实现以图搜图效果
前言： 现在需要用javaelasticsearch的方式实现以图搜图的效果，根据下面的文章内容做了一点修改 相关文章：https://blog.csdn.net/m0_52640724/article/details/129357847 一、相关环境
java：jdk11 elasticsearch：7.17…
非连续内存上执行计算操作，和连续内存上执行计算操作有什么效率上的区别？
在计算机内存中，数据可以存储在连续（contiguous）或非连续（non-contiguous）的内存区域。两者在执行计算操作时的效率上存在一定的区别。
连续内存上执行计算操作的优势：
缓存局部性：处理器缓存…
没有“中间商赚差价”， OpenVINO™ 直接支持 PyTorch 模型对象
点击蓝字 关注我们,让开发变得更有趣 作者 | 杨亦诚 排版 | 李擎 没有“中间商赚差价”， OpenVINO™ 直接支持 PyTorch 模型对象 背景 作为最热门的开源深度学习框架之一，PyTorch 的易用性和灵活性使其深受学术和研究界的喜爱。之前 OpenVINO™ 对于 Py…
![[译] DeepSpeed：所有人都能用的超大规模模型训练工具](https://img-blog.csdnimg.cn/img_convert/2366fdf2b3f993aed18c4209c4355d8c.png)
[译] DeepSpeed：所有人都能用的超大规模模型训练工具
我们于今年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，其中包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地…
Python学习工具第四期 - Conda 和 Pip 安装更换源
Conda 和 Pip 安装更换源
小狐狸 哆啦A梦爱学习
使用pip下载安装Python包时速度经常会十分缓慢，这主要是因为国内网络不稳定，解决办法是将pip安装源设置为国内的源即可,下载和速度会大幅度提升，而使用Conda安装时，因为网络原因也…
win10 安装 langchain-chatglm 避坑指南（2023年6月21日最新版本）
官网看起来安装很简单，网上教程也是，但实际上我耗费了两天时间，查阅了当前网络上所有可查阅的资料，重复「安装-配置-卸载」十几遍，总结出的安装方法。 1、安装Anaconda（这个就不啰嗦了，网上安装…
第十章 番外篇：DDP
参考教程： what is DDP pytorch distributed overview 文章目录 DDP介绍什么是DDPDistributedSampler()DistributedDataParallel() 使用DDP代码示例multiprocessing.spawn()save and load checkpoints DDP介绍
什么是DDP
DDP的全称是DistributedDataParallel&…
继承自nn.Module的自定义Flatten模块
在Pytorch中构建网络时，nn.Sequential容器只能传入继承自nn.Module的模块(参数)，搭建一个流水线式的神经网络。
就一个简单的打平flatten操作来说，比如要将一个(N,C,H,W)的输入打平为 (N , C*H*W)，其实就是一行简单的 x x.view…
Pytorch学习系列之十：如何确定合适的epoch数、在加载的模型基础上继续训练
1，使用背景
当有以下两种情况时：
1） 不知道训练的epoch选取为何值时。过小，训练不充分，泛化能力差； 过大，训练过度，导致过拟合。所以需要动态观察每个epoch后，模型在验证集（也可以不严谨的说是测试集）上的精度，选取精度最大的epoch作为最终的训练结果。
2）在加…
LSTM-CRF实战
引言
在实现了CRF之后，本文我们来看一下如何应用它去做一个简单的命名实体识别。
参考了PyTorch官方教程： ADVANCED: MAKING DYNAMIC DECISIONS AND THE BI-LSTM CRF。
导入包
import torch
import torch.nn as nn
import torch.optim as optim# 设置…
基于深度学习的高精度绵羊检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度绵羊检测识别系统可用于日常生活中或野外来检测与定位绵羊目标，利用深度学习算法可实现图片、视频、摄像头等方式的绵羊目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型…
PyTorch 深度学习 || PyTorch 编程基础
PyTorch 编程基础 文章目录 PyTorch 编程基础1. backword 求梯度2. 常用的激活函数2.1 Sigmoid 函数2.2 ReLu 激活函数2.3 Leakly ReLu 激活函数 2. 常用损失函数2.1 均方误差损失函数2.2 L1范数误差损失函数2.3 交叉熵损失函数 3. 优化器 1. backword 求梯度
import torchw …
OpenAI的人工智能语音识别模型Whisper详解及使用
1 whisper介绍 拥有ChatGPT语言模型的OpenAI公司，开源了 Whisper 自动语音识别系统，OpenAI 强调 Whisper 的语音识别能力已达到人类水准。 Whisper是一个通用的语音识别模型，它使用了大量的多语言和多任务的监督数据来训练，能够在…
PyTorch 中的命名张量简介（原型）
PyTorch 中的命名张量简介（原型）
命名张量旨在通过允许用户将显式名称与张量维度相关联来使张量更易于使用。 在大多数情况下，采用尺寸参数的操作将接受尺寸名称，而无需按位置跟踪尺寸。 此外，命名张量使用名称来自动…
torchvision.utils.save_image()保存tensor显示图片异常问题解决
用torchvision.utils.save_image()保存图片时出现异常 有些像素点会显示为全黑（灰度图），如下图所示，第一张和第三张图 刚开始以为是图像数据分布范围的问题，在保存之前输出图像tensor的最大max和最小min值，…
视频与AI，与进程交互(二) pytorch 极简训练自己的数据集并识别
目标学习任务
检测出已经分割出的图像的分类
2 使用pytorch
pytorch 非常简单就可以做到训练和加载
2.1 准备数据 如上图所示，用来训练的文件放在了train中，验证的文件放在val中，train.txt 和 val.txt 分别放文件名称和分类类别ÿ…
python pytorch教程-带你从入门到实战（代码全部可运行）
python pytorch教程-带你从入门到实战（代码全部可运行）
其实这个教程以前博主写过一次，不过，这回再写一次，打算内容写的多一点，由浅入深，然后加入一些实践案例。
下面是我们的内容目录&#x…
YOLOv8 图像分割
一、背景 二、环境配置
官网：Previous PyTorch Versions | PyTorch cuda 11.7 pytorch 1.13.0 torchvision 0.14.0 pytorch-cuda 11.7 三、安装yolov8
官网：GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX &…
【机器学习】之Anaconda中使用的命令
操作之前，点击上图入口，进入Prompt。
//示例是在base环境下，cls清屏
(base) C:\Users\bubusa>cls1、base环境下的操作
//（1）列出所有虚拟环境
(base) C:\Users\bubusa>conda env list
# conda environments:
#…
yolov8 源码解读 (part1: backbone, head)
yolov8 除了目标检测之外，还有实例分割功能， 这里解读检测和分割代码。
先上一张结构图，这个图里没有分割模块，后面会在代码里说明分割模块。 本篇解读红色框内的部分。 可以看到每个模块右边都有一个数字：0，1，… 这个数字是模块的顺序编号，按0,1,…,21的顺序进行，而…
人工智能(pytorch)搭建模型13-pytorch搭建RBM(受限玻尔兹曼机)模型，调通模型的训练与测试
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型13-pytorch搭建RBM(受限玻尔兹曼机)模型，调通模型的训练与测试。RBM(受限玻尔兹曼机)可以在没有人工标注的情况下对数据进行学习。其原理类似于我们人类学习的过程，…
Pytorch学习笔记(一) 基础
PyTorch深度学习：60分钟入门
一、概述
实现强大的GPU加速、支持动态神经网络
两个高级功能：
具有强大的GPU加速的张量计算（如Numpy）包含自动求导系统的深度神经网络
缺点：
不支持快速傅里叶、沿维翻转张量和检查…
基于GPT2的中文闲聊机器人/GPT2 for Chinese chitchat
基于GPT2的中文闲聊机器人/GPT2 for Chinese chitchat
项目github地址：中文闲聊机器人
该项目被微软DialoGPT官方仓库引用
UPDATE 2019.12.17
基于微软的论文DialoGPT:Large-Scale Generative Pre-training for Conversational Response Generation添加了MMI Mo…
PyTorch----Softmax函数与交叉熵函数
二分类问题和多分类问题
二分类问题： 分类任务中有两个类别。比如前面感知机识别香蕉还是苹果，一般会训练一个分类器，输入一幅图像，输出该图像是苹果的概率为p，对p进行四舍五入，输出结果为0或者1ÿ…
PyTorch----数据预处理
为什么要进行数据预处理？ 有时候想要识别一个东西，在照明条件良好的情况下可能可以识别成功，但是在照明不好的时候模型没有训练过就可能识别不出来，所以使用图像的数据增强，给图片加上一点干扰来进行训练，可…
PyTorch----从零实现乳腺癌预测
分类问题
使用线性回归解决的都是线性问题，而乳腺癌预测是分类问题。
那么PyTorch是怎么求解一个非线性问题？ 乳腺癌预测
根据血常规的化验预测，查询出规律。有30多个特征，输出0或1 是否患有乳腺癌。
一、获取数据
import pa…
Pytorch 深度学习笔记
Pytorch 深度学习笔记1. 环境及相关依赖2. 前导3. 部分概念3.1 深度学习3.2 tensor3.3 SVM3.4 超参数3.5 迁移学习4. 基于迁移学习的实现4.1 多分类4.1.1 加载数据4.1.2 训练4.1.3 保存和加载模型4.1.4 预测4.2 多标签4.2.1 加载数据集4.2.2 训练4.2.3 保存加载模型4.2.4 预测5…
pytorch快速入门中文——05
通过示例学习 PyTorch 原文：https://pytorch.org/tutorials/beginner/pytorch_with_examples.html 作者：Justin Johnson
本教程通过独立的示例介绍 PyTorch 的基本概念。
PyTorch 的核心是提供两个主要功能：
n 维张量，类似于 N…
【材料整理】 --Pytorch基础知识1
文章目录 文章目录写在前面Pytorch加载数据初认识TensorboardTransformdataloader的使用写在前面
本系列内容主要是对小土堆的《Pytorch》课程的笔记整理。 b站地址：https://www.bilibili.com/video/BV1hE411t7RN?spm_id_from333.337.search-card.all.click
Pyto…
Pytorch 中 LSTMCell介绍
LSTM 和 LSTMCell的关系
很显然，LSTMCell是组成LSTM整个序列计算过程的基本组成单元，也就是进行sequence中一个word的计算 LSTMCell input_size: word embedding dimhidden_size: hidden_dim Parameters examples:
"""input_size:10 e…
Pytorch--模型微调finetune--迁移学习 （待继续学习）
https://www.bilibili.com/video/BV1Z84y1T7Zh/?spm_id_from333.788&vd_source3fd64243313f29b58861eb492f248b34
主要方法
torchvision 微调timm 微调半精度训练
背景（问题来源） 解决方案 大模型无法避免过拟合，
Pytorch分布式训练（一）
参考文献：
33、完整讲解PyTorch多GPU分布式训练代码编写_哔哩哔哩_bilibili
pytorch进程间通信 - 文举的博客 (liwenju0.com) 前言
2023年，训练模型时，使用DDP（DistributedDataParallel）已经成为Pytorch炼丹师的标准…
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
PyTorch深度学习实战（4）——常用激活函数和损失函数详解 0. 前言1. 常用激活函数1.1 Sigmoid 激活函数1.2 Tanh 激活函数1.3 ReLU 激活函数1.4 线性激活函数1.5 Softmax 激活函数 2. 常用损失函数2.1 均方误差2.2 平均绝对误差2.3 分类交叉熵 2.4 实现自…
【adapter-transformers】：Installation QuickStart（一、安装与快速启动）
【要求】：
adapter-transformers是Huggingface的transformers库的直接替代品。它目前支持Python 3.8和PyTorch 1.12.1。因此必须先安装PyTorch。 一、安装（使用pip）
pip install adapter-transformers
二、快速启动（使用训预练…
深度学习训练营之文本分类识别
深度学习训练营之文本分类识别 原文链接环境介绍前置工作设置环境设置GPU加载数据 构建词典生成数据批次和迭代器模型定义定义实例 定义训练函数和评估函数模型训练模型评估 原文链接 🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍦 参考…
基于深度学习的高精度抽烟行为检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度抽烟行为检测识别系统可用于日常生活中或野外来检测与定位抽烟行为目标，利用深度学习算法可实现图片、视频、摄像头等方式的抽烟行为目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5…
细粒度分类：MC-Loss源码笔记
细粒度分类：MC-Loss源码笔记——The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification 综述网络结构MC-Loss综述 论文题目：《The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification》 期刊与时间：…
pytorch中网络参数初始化
可以先定义两个函数：
import torch.nn.init as initdef xavier(param):init.xavier_uniform(param)# init.kaiming_uniform_() # 可以选择其他的def weights_init(m):if isinstance(m, nn.Conv2d):xavier(m.weight.data)m.bias.data.zero_()
初始化的时候可以直…
PyTorch翻译官网教程2-TENSORS
官网链接
https://pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html
张量
张量是一种特殊的数据结构，与数组和矩阵非常相似。在PyTorch中，我们使用张量来编码模型的输入和输出，以及模型的参数。
张量类似于NumPy中的ndarra…
自定义 C++ 和 CUDA 扩展
自定义 C 和 CUDA 扩展
PyTorch 提供了与神经网络，任意张量代数，数据整理和其他目的有关的大量操作。 但是，您仍然可能发现自己需要更多的自定义操作。 例如，您可能想使用论文中发现的新颖的激活函数，或者实现您在研究…
【发布】ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42%
自3月14日发布以来， ChatGLM-6B 深受广大开发者喜爱，截至 6 月24日，来自 Huggingface 上的下载量已经超过 300w。 为了更进一步促进大模型开源社区的发展，我们再次升级 ChatGLM-6B，发布 ChatGLM2-6B 。 在主要评估LLM模…
pytorch自定义Dataset，torch加载自己的numpy数据集，torch-cnn训练numpy进行回归
目录在这里前言简单介绍Show you the Code路径哦整份代码备注参考前言
纯粹想学习一下torch的数据集类，可能后面会用到吧。
简单介绍
我们在训练过程中除了写模型、训练等程序外，还会用到数据加载，而官方就几个数据加载的类，不…
Prompt不等于编程，“提示词工程师”淘汰程序员也是伪命题
Original 李建忠 李建忠研思 最近ChatGPT及基于大语言模型（Large Language Model，以下简写为LLM）的Github Copilot等工具出来之后，在软件开发领域也带来了非常大的震撼。著名的观点有Fixie创始人、前Google工程总监Matt Welsh在AC…
【YOLO系列】YOLOX（含代码解析）
文章目录 环境配置demo测试转换成onnx YOLOX数据增广decoupled headAnchor-free标签分配get_geometry_constraintSimOTA 总结参考 【YOLO系列】YOLO v3（网络结构图代码） 【YOLO 系列】YOLO v4-v5先验知识 【YOLO系列】YOLO v4（网络结构图代码…
基于深度学习的高精度安全帽背心检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度安全帽背心检测识别系统可用于日常生活中或野外来检测与定位安全帽背心目标，利用深度学习算法可实现图片、视频、摄像头等方式的安全帽背心目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用…
《Pytorch深度学习和图神经网络(卷 1)》学习笔记——第五章
全连接神经网络
隐藏层的节点数决定了模型拟合能力，如果在单隐藏层设置足够多的节点，理论上可以拟合世界上各种维度的数据进行任意规则的分类，但会过拟合。 隐藏层的数量决定了其泛化能力，层数越多，推理的能力越强&am…
Pytorch学习系列之十一：Visdom的使用方法
1，基本介绍
类似于TensorBoard, facebook开源的visdom，非常优雅，支持numpy和torch,是一款很好用的训练可视化工具，可以用来追踪训练过程中的损失值、验证精度等等指标。自然地，该工具还可以做图片的可视化显示。
Visdom采用CS架构，本身作为一个服务端（默认端口为8097，…
《Pytorch深度学习和图神经网络(卷 1)》学习笔记——第六章
实例5：识别黑白图中的服装图案
Fashion-MNIST是手写数字数据集MNIST的一个替代品，常常被用来测试网络模型，如果在该数据集上效果都不好，其他数据集上的效果可想而知。其单个样本为28X28，6万张训练集，1万张…
多元回归梯度下降算法实现（SGD优化）（数据集随机生成）
多元回归梯度下降算法实现（SGD优化）（数据集随机生成）
下面就是代码。其实博主做了很多实验，实验效果好不好，跟数据集的质量，跟学习率的选择，SGD 优化器batch的选择都很重要。
下面…
MKDCNet分割模型搭建
原论文：https://arxiv.org/abs/2206.06264v1源码：https://github.com/nikhilroxtomar/MKDCNet
直接步入正题~~~
一、基础模块
class Conv2D(nn.Module):def __init__(self, in_c, out_c, kernel_size3, padding1, dilation1, biasFalse, actTrue):sup…
pytorch笔记：文本分类项目及多GPU分布式训练代码
来自B站视频，API查阅，TORCH.NN
nn.init.xavier_uniform_(model.parameter_name)torchtext，torchvision 等有一些常用数据集和处理函数，如 get_tokenizer，build_vocab_from_iterator计算过程中的 loss 可以用指数移动平…
AnnaAraslanova/FBNet 程序分析
AnnaAraslanova/FBNet 是 FBNet 相对来说比较好的一个第三方实现。延迟测量采用 x86 处理器的结果近似。需要注意的是：
PyTorch GPU 并行对输入数据有要求；随机超网络直接使用 BN 层似乎不妥。
supernet_main_file.py
train_supernet 训练随机超网络。…
PC-DARTS 网络结构搜索程序分析
PC-DARTS 仍出自华为诺亚方舟，相比前作 PDARTS 更加优雅。额外引入的一组权重参数可以提高性能。
main if not torch.cuda.is_available():logging.info(no gpu device available)sys.exit(1)np.random.seed(args.seed)torch.cuda.set_device(args.gpu)cudnn.bench…
PDARTS 网络结构搜索程序分析
PDARTS 即 Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation，是对 DARTS 的改进。DARTS 内存占用过高，训练不了较大的模型；PDARTS 将训练划分为3个阶段，逐步搜索ÿ…
RetinaNet Examples：NVIDIA 一站式训练、推理及模型转换解决方案
retinanet-examples 是英伟达提供的目标检测工程范例，针对端到端 GPU 处理进行了优化：
使用基于 Python 多进程的 apex.parallel.DistributedDataParallel 加速分布式训练；apex.amp 优化混合精度训练；NVIDIA DALI 加速数据预处理…
pytorch distributed 分布式训练踩坑记录
错误
loss backward
one of the variables needed for gradient computation has been modified by an inplace operationRuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [2048]]…
【pytorch】随着epoch增加，显存逐渐增加？解决pytorch显存释放问题
训练时
在训练时，检测 “out of memory” 的error并通过torch.cuda.empty_cache()处理 如： try:outputs net(inputs)except RuntimeError as exception:if "out of memory" in str(exception):print(WARNING: out of memory, will pass this…
pytorch nn.DataParallel 测试时，用在读入模型参数之后
Missing key(s) in state_dict: "module.features.0.weight", "module.features.0.bias", ....
Unexpected key(s) in state_dict: "features.0.weight", "features.0.bias", ...nn.DataParallel是pytorch使用多gpu训练时所使用的方法…
动作识别0-00：mmaction2(SlowFast)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析mmaction2(SlowFast-动作识别)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿，所以…
姿态估计2-00：PVNet(6D姿态估计)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析PVNet(6D姿态估计-物体六自由度位姿估计)，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多，为了方便不臃肿&…
风格迁移1-00：Liquid Warping GAN(Impersonator)-目录-史上最新无死角讲解
接下来，我会为大家无死角的解析Liquid Warping GAN(Impersonator)，其属于姿态迁移系列，之前的文章，如下(以下是我工作的所有项目，每一个项目都是，我都做了百分百的详细解读，随着项目增多&#x…
行为分析(商用级别)06 -完成训练自定义数据集的config文件修改-落地核心关键(必读篇)
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公 众 号 − \color{blue}{公众号 -} 公众号−
行为分析(商用级别)05 -使用标注工具标注自己的数据集-落地核心关键(重点篇)
以下链接是个人关于行为分析(商用级别)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末附带 公 众 号 − \color{blue}{公众号 -} 公众号−
行人重识别02-09：fast-reid(BoT)-pytorch编程规范(fast-reid为例)6-模型测试评估-1
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
行人重识别02-03：fast-reid(BoT)-白话给你讲论文-翻译无死角
以下链接是个人关于fast-reid(BoT行人重识别) 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。文末…
第三周.03.异质图应用
文章目录创建简单数据集原始数据准备建图创建图分类数据集准备数据建图大图的处理：Sampling理论实操环境准备和数据载入采样MFG建模训练动态异质图的应用本文内容整理自深度之眼《GNN核心能力培养计划》创建简单数据集
创建自己的数据集，并用于节点分类…
基于VGG-Face的年龄估计（论文总结与代码解释）
目录
1.本文改进
2.模型结构
3.训练模型
4.预测数据
5.实验结果
6.模型比较
7.结论分析
8.数据集分析
9.完整代码 1.本文改进
本文主要是使用VGG-Face模型（卷积层不变，改变全连接层）在Adience数据库上进行年龄估计。 在深度神经…
pytorch基础知识（二）
1.Autograd（自动梯度算法）
autograd 是PyTorch 核心的包，用于实现前面我们提到的自动梯度算法。首先我们介绍其中的变量。
2.Variable（变量）
autograd.Variable 是Tensor 的封装，我们定义好了最终的变量…
pytorch中的F.grid_sample解释
1.一般用法
首先构造一个恒等采样的矩阵（左上角是（-1，-1），右下角是（1，1），记为grid），然后在该矩阵的基础上加上x,y方向的offset,构成一个新的采样…
【pytorch记录】模型的分布式训练DataParallel、DistributedDataParallel
使用多GPU对神经网络进行训练时，pytorch有相应的api将模型放到多GPU上运行： nn.DataParallel、torch.nn.parallel.DistributedDataParallel。后者好处多多，下来开始记录两者区别 ！！！拖延症要好好克服了 …
audoencoder自编码练习
1.自编码介绍
自编码是一种数据压缩算法，类似于主成分分析法特性 自编码与数据相关，你的自编器是通过训练才能使用的，如果你使用手写数字作为训练集，那么编码器在压缩手写数字是非常好的，对于其他数据是非常不好的。自…
RNN理解(基于莫凡的视频)
莫凡的笔记（pytorch and RNN）
通过sin函数预测cos函数
RNN简介
普通神经网络的弊端，普通的神经网络对于有关联的数据的输入，不能很好的处理RNN就是对上一次的输入产生了一定的记忆，然后去预测，下一次的结…
Kaggle-手写数字（基于Pytorch和CNN）
Kaggle-手写数字识别
本人是一名小白，今天写一下自己第一次提交Kaggle的流程和体会
1.首先我们先导入所需要的库
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.utils.data as …
解决安装tensorflow遇到的坑
1.国内pip安装tensorflow速度太慢
解决方案：使用国内镜像地址安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --upgrade tensorflow-cpu
国内镜像地址
清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mi…
【已解决】RuntimeError: stack expects each tensor to be equal size, but got [3, 256, 341] at entry 0
【报错】如下： RuntimeError: stack expects each tensor to be equal size, but got [3,256, 341] at entry 0 and [3, 256, 386] at entry 1 【分析】
train_dataset datasets.ImageFolder(traindir,transforms.Compose([transforms.Resize((224)) ###【原因】 …
《动手学深度学习》Task09：目标检测基础+图像风格迁移+图像分类案例1
1 目标检测基础
1.1 目标检测和边界框(9.3)
%matplotlib inline
from PIL import Imageimport sys
sys.path.append(/home/kesci/input/)
import d2lzh1981 as d2l# 展示用于目标检测的图
d2l.set_figsize()
img Image.open(/home/kesci/input/img2083/img/catdog.jpg)
d2l.…
《动手学深度学习》Task01：线性回归+Softmax与分类模型+多层感知机MLP
文章目录
1 线性回归
2 Softmax与分类模型
3 多层感知机MLP1 线性回归
1.1 定义 线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。线性回归中最常见的就是房价的问题。
1.2 模型 为了…
Python学习工具安装第六期 — Windows下 Cuda的下载与安装预导知识
Python学习工具安装第六期 — Windows下 Cuda的下载与安装预导知识
这一期我们来介绍如何在Windows上安装CUDA，使得对图像数据处理的速度大大加快，在正式的下载与安装之前，首先一起学习一下预导知识，让大家知道为什么使用GPU可以…
在cirfa10数据集上实现一个文艺复兴期间的CNN网络VGG
在cirfa10数据集上实现一个文艺复兴期间的CNN网络VGG 🙋♂️ 张同学，zhangruiyuanzju.edu.cn 有问题请联系我~ 这里是目录呀~在cirfa10数据集上实现一个文艺复兴期间的CNN网络VGG〇、背景介绍一、只使用torch.nn.XXX来构建网络结构二、使用Pytorch官方…
简单记录VGG网络，pytorch+VggNet+CIFAR10
目录
数据集：
Net
train
总结 数据集：
数据集使用的是CIFAR10，cifar 10 这个数据集一共有 50000 张训练集，10000 张测试集，两个数据集里面的图片都是 png 彩色图片，图片大小是 32 x 32 x 3，…
简单实现,pytorch+全连接网络+MNIST识别
目录
net.py：
train.py
test.py
总结： 在这里简单实现一下基于全连接层的手写体识别，一下是代码部分
定义三层网络结构，在这里设定了三个网络，
第一个 SimpleNet，单纯就是三层网络
第二个 Activatio…
基于深度学习的高精度老虎检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度老虎检测识别系统可用于日常生活中或野外来检测与定位老虎目标，利用深度学习算法可实现图片、视频、摄像头等方式的老虎目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型…
交叉熵、Focal Loss以及其Pytorch实现
交叉熵、Focal Loss以及其Pytorch实现 本文参考链接：https://towardsdatascience.com/focal-loss-a-better-alternative-for-cross-entropy-1d073d92d075 文章目录 交叉熵、Focal Loss以及其Pytorch实现一、交叉熵二、Focal loss三、Pytorch1.[交叉熵](https://pyto…
DeepAR代码详析（pytorch版）实现用电量预测
DeepAR代码详析（pytorch版）实现用电量预测 – 潘登同学的RNN学习笔记 文章目录DeepAR代码详析（pytorch版）实现用电量预测 -- 潘登同学的RNN学习笔记数据集说明数据预处理代码构造模型Loss函数评估指标相关utils工具类训练模型前言…
使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
更多、更及时内容欢迎留意微信公众号： 小窗幽记机器学习
背景
用BERT对句子进行向量化
实施
TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。
pip install bert-serving-server …
pytorch保存单通道灰度图片
前言
import torch
import torchvision.transforms as transforms
from torchvision.utils import save_image
image torch.randn(1, 256, 256) # 示例，随机生成一个单通道图像# 将图像张量保存为文件
save_image(image, "single_channel_image.png", …
docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？
问题描述
pytorch 镜像位置：
https://hub.docker.com/r/pytorch/pytorch/tags
拉取镜像：
docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime查看本地现有镜像清单：
创建一个容器：
docker run --gpus all -td --nam…
对比学习损失函数中超参数temperature的作用
目录背景超参数temperature的直观理解对比学习中的temperature参数理解背景
最近在看凯明大神的对比学习MOCO时，看到infoNCE loss的公式时，对其中参数T(应该是tao，打不出来，就浅用T代替一下)有点费解，于是查阅了一些资…
pytorch专属可视化入门：visdom （pycharm上操作）
安装visdom: 显示安装成功后，会在下面创久看到visdom,表示安装成功
打开visdom: 在Pycharm 主页面的左下角 找到‘Terminal’，也就是终端窗口，输入‘python -m visdom.server’, 然后回车。等待一小会后，出现下图中的数字3处的链…
Pytorch深度强化学习(3)：详解K摇臂赌博机模型和ϵ-贪心算法
目录 1 K-摇臂赌博机2 ϵ \epsilon ϵ-贪心算法3 softmax算法4 Python实现与分析 1 K-摇臂赌博机
单步强化学习是最简单的强化学习模型，其以贪心策略为核心最大化单步奖赏
如图所示，单步强化学习的理论模型是 K K K-摇臂赌博机( K K K-armed bandit)&…
深度学习笔记pytorch——图像增广(note)
深度学习pytorch——图像增广(note)
导入模块
import matplotlib.pyplot as plt
import torchvision
from PIL import Image读取图片路径
#自己从网上下了一张猫的图片，路径要改变
img Image.open(D:/###code/Python/TESTpytorch/img/cat.png)原图 图片展示
de…
错误使用 sort元胞数组不支持 DIM和 MODE参数（python代码问题）
MATLAB: 错误使用 sort元胞数组不支持 DIM和 MODE参数。
**原因：**本人此处的变量cat1含有多个数据类型，如下图： **方法：**将保存的变量类型统一下 （说明：本人这里是用python先保存的数据，然…
pytorch--常见的Tensor操作
这里写目录标题 创建张量:张量形状和维度操作:张量索引与切片:张量运算:Autograd 操作:逐元素操作归并函数比较线性代数 以下是一些常见的张量操作示例： 创建张量:
import torchx torch.tensor([1, 2, 3]) # 从列表创建张量
y torch.zeros(2, 3)…
【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程
文章目录 一、torch.nn.utils.clip_grad_norm_二、计算过程三、确定max_norm 众所周知，梯度裁剪是为了防止梯度爆炸。在训练FCOS算法时，因为训练过程出现了损失为NaN的情况，在github issue有很多都是这种训练过程出现loss为NaN，作…
pytorch搭建网络的几种方法
pytorch搭建网络的几种方法：https://blog.csdn.net/qq_37385726/article/details/81740233
感谢作者
将自己的数据转为VOC数据格式
将自己的数据转为VOC数据格式用来目标检测
from lxml.etree import Element, SubElement, tostring
from xml.dom.minidom import parseString
from xml.dom.minidom import Documentdef make_xml(infos):for image_id, image_info in infos.items():image_name image_info[i…
pytorch生成锚框
锚框是以图像的每个像素为中心生成不同形状的边界框
from PIL import Image
import numpy as np
import math
import matplotlib.pyplot as plt
import torchdef MultiBoxPrior(feature_map, sizes=[0.75, 0.5, 0.25], ratios=[1, 2, 0.5]):"""(xmin,ymin,xmax…
Pytorch 的repeat函数
Pytorch 的repeat函数看代码的时候，对于repeat函数的参数产生了疑问，再查阅资料的情况下算是搞清楚了，这篇博客作为一个学习笔记记录一下。
import torchdata torch.tensor([1, 2, 3])
data data.repeat(2, 3)
print(data)
print(data.siz…
《PyTorch深度学习实践》第九讲 多分类问题
b站刘二大人《PyTorch深度学习实践》课程第九讲多分类问题笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p9&vd_sourceb17f113d28933824d753a0915d5e3a90 二分类问题中计算出 P ( y 1 ) P(y1) P(y1)即可直接得到 P ( y 0 ) P(y0) P(y0)࿰…
深度学习常用代码（Pytorch）
1.获取模型的flops和parameters
方法1：get_model_complexity_info
安装基本库： pip install ptflops pip install --upgrade githttps://github.com/sovrasov/flops-counter.pytorch.git
import torchvision.models as models
import t…
【CV中的Attention机制】融合Non-Local和SENet的GCNet
前言: 之前已经介绍过SENet和Non Local Neural Network(NLNet)，两者都是有效的注意力模块。作者发现NLNet中attention maps在不同位置的响应几乎一致，并结合SENet后，提出了Global Context block，用于全局上下文建模，在…
《Pytorch 模型推理及多任务通用范式》第二节作业
1 课程学习
本节课主要对于大白AI课程：https://mp.weixin.qq.com/s/STbdSoI7xLeHrNyLlw9GOg 《Pytorch 模型推理及多任务通用范式》课程中的第二节课进行学习。
2 作业题目
必做题:
(1) 从 torchvision 中加载 resnet18 模型结构,并载入预训练好的模型权重 ‘re…
yolov5样本处理方式
类别不均衡是怎么处理的？
根据样本种类分布使用图像调用频率不同的方法解决。1、将样本中的groundtruth读出来，存为一个列表；2、统计训练样本列表中不同类别的矩形框个数，然后给每个类别按相应目标框数的倒数赋值，&am…
pytorch3d 安装报错 RuntimeError: Not compiled with GPU support pytorch3d
安装环境
NVIDIA GeForce RTX 3090 cuda 11.3 python 3.8.5 torch 1.11.0 torchvision 0.12.0
环境安装命令 conda install pytorch1.11.0 torchvision0.12.0 torchaudio0.11.0 cudatoolkit11.3 -c pytorch安装pytorch3d参考官网链接
https://github.com/facebookresearch/p…
论文阅读 HCGNet：《Gated Convolutional Networks with Hybrid Connectivity for Image Classification》
论文地址：https://arxiv.org/pdf/1908.09699.pdf 文章目录摘要介绍相关工作重温ResNet和DenseNet懒了，直接把我自己做的ppt截上来记录一下 :D摘要
ResNet DenseNet混合连接轻量级门结构
介绍
ResNet (He et al. 2016) 引入了残差连接来实现每个微块的…
Pytorch中的Exponential Moving Average（EMA）
EMA介绍
EMA，指数移动平均，常用于更新模型参数、梯度等。
EMA的优点是能提升模型的鲁棒性（融合了之前的模型权重信息）
代码示例
下面以yolov7/utils/torch_utils.py代码为例：
class ModelEMA:""" …
FrankMocap win10安装指导
本文是相当于将github上frankmocap的安装指导进行了翻译，增加了一下windows下安装遇到的坑以及注意事项。如果是linux系统应该安装官方的安装指导安装就可以，可以直接参考官方安装指导。
安装所有模块 本节会安装需要用到的所有模块，包括身体…
pytorch之Variable对象
Variable类封装了Tensor类，并且添加了一些方法 Variable类也重载了算术运算符，*/，但未重载“”和“”运算符，且不支持在原对象内存区域做修改
python精简技术总结八讲（二、输入输出）
对于编程语言，输入和输出近乎于人的手和腿，Python的输入和输出既独特又容易理解。我们需要了解输入输出的多种用法，熟练地掌握输入和输出对于日后的学习至关重要。 1.输入(input())Python使用input()函数来存入用户输入的信息。
input()的使…
PyTorch Week 3——Optimizer优化器
系列文章目录
PyTorch Week 3——权值初始化操作 PyTorch Week 3——nn.MaxPool2d、nn.AvgPool2d、nn.Linear、激活层 PyTorch Week 3——卷积 PyTorch Week 3——nn.Module的容器：Sequential、ModuleList、ModuleDice PyTorch Week 3——模型创建 PyTorch Week 2—…
PyTorch Week 3——卷积
系列文章目录
PyTorch Week 3——nn.Module的容器：Sequential、ModuleList、ModuleDice PyTorch Week 3——模型创建
PyTorch Week 2——Dataloader与Dataset
PyTorch Week 1 PyTorch Week 3——卷积系列文章目录前言一、1d、2d、3d卷积二、pytorch中的nn.Conv2d…
PyTorch Week 2——Dataloader与Dataset
系列文章目录
PyTorch Week 1 PyTorch Week 2——Dataloader与Dataset系列文章目录前言一、数据读取1 一个人民币二分类任务DataLoaderDataset代码调试，理解DataLoader的数据读取机制总结前言 本文记录在深度之眼PyTorch基础第二周课程学习的知识 一、数据读取
1 …
CUDA out of memory
记录一下 模型测试时出现了CUDA out of memory，也是很奇怪 原来是有数据在GPU中一直没有释放，每次调用测试代码时都会累计，久而久之导致了CUDA out of memory
pytorch的hook机制可能导致，显存爆炸，hook函数取出某一层…
手动搭建VGG16模型(pytorch)
文章目录一、VGG16模型结构二、代码示例三、参考链接一、VGG16模型结构 二、代码示例
import torch.nn as nn
from torchvision import models#vgg16 models.vgg16_bn(pretrainedFalse)class VGG16(nn.Module):def __init__(self):super(VGG16,self).__init__()self.features…
LaneATT代码阅读理解
LaneATT代码：https://github.com/lucastabelini/LaneATT
代码结构：
cfgs： 默认/预设配置文件figures：README用到的图片lib datasets culane.py : CULane数据集加载器lane_dataset.py : 将来自LaneDatasetLoader中的未经过处理的…
《PyTorch深度学习实践》第二讲 线性模型
b站刘二大人《PyTorch深度学习实践》课程第二讲线性模型笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p2&vd_sourceb17f113d28933824d753a0915d5e3a90 如果每周学习4个小时，那能够获得什么成绩？ y已知的是采样得到的数据&am…
LaneATT代码复现环境配置
前期环境踩过的坑 首先给大家介绍，我是仿照这篇博客进行LaneATT环境配置的。博客链接：
laneATT代码复现参考
操作很简单，就是远程登录服务器，进入到自己的用户环境下，在terminal端输入如下指令：
#代码下…
分类模型--ResNet系列--ResNet50
ResNet是什么？解决了？
Residual net（残差网络）：将靠前若干层的某一层数据输出直接跳过多层引入到后面的数据层的输入部分；表明了后面的特征层的内容会有一部分由前面的某一层线性贡献。结构如下࿱…
动手学深度学习之转置卷积
转置卷积
卷积不会增大输入的高宽，通常要么不变、要么减半转置卷积则可以用来增大输入高宽。假设我们有一个2*2的输入，有一个2*2的核，这个卷积核会进行一个滑动，在输入中的每一个元素会和卷积核中的每一个元素做乘法，…
PyTorch Design Philosophy
以下内容翻译自：PyTorch Design Philosophy 本文档旨在帮助贡献者和模块维护者理解 PyTorch 演化出的高层设计原则。这些规则并不是硬性规定的，而是用来作为指南，以帮助权衡不同的关注点，解决开发 PyTorch 时可能出现的分歧。有关…
跟着沐神动手学深度学习--数据操作+数据预处理
N维数组
N维数组样例
N维数组是机器学习与神经网络的主要数据结构
0维数组，即标量 eg:1.01维数组，即向量 eg:[1.0, 2.7, 3.4]2维数组，即矩阵 eg: [[1.0, 2.7, 3.4] [5.0, 0.2, 3.7] [1.7, 2.4, 5.9]]3维数组，例：RGB…
跟着沐神动手学深度学习--安装
动机
一直以来，深感自己在深度学习上，学习的不够深入。恰好最近看到AI大牛李沐在B站的深度学习课程，因此想要跟着沐神的课程，再系统的学习一下深度学习。 学习金字塔理论认为单纯的听讲下， 学习效率比较低࿰…
【学习分享】目标检测训练与测试
目录模型训练目标检测中涉及的超参数训练部分的实现使用训练结果实现目标检测的推理NMS非极大值抑制单图预测推理VOC测试集评测介绍map指标模型训练
经过前面章节的学习，我们已经对目标检测训练的各个重要的知识点进行了讲解，下面我们需要将整个流程串起…
open-vot：PyTorch 实现 Siamese-FC
open-vot 集成了 KCF、SiamFC、GOTURN 等8种跟踪算法，采用模块化设计，利于不同算法的比较及扩展。本文主要介绍其中的 SiamFC 实现。
运行要求
代码运行需安装以下依赖包：
conda install matplotlib shapely
conda install -c conda-forge…
【youcans动手学模型】ShuffleNet 模型
欢迎关注『youcans动手学模型』系列 本专栏内容和资源同步到 GitHub/youcans 【youcans动手学模型】ShuffleNet 模型 1. ShuffleNet 网络模型1.1 模型简介1.2 论文介绍 2. 在 PyTorch 中定义 ShuffleNet V1 模型类2.1 分组卷积与通道混洗2.2 ShuffleNet 单元2.3 自定义 Shuffle…
Ubuntu 18.04 机器学习环境设置
写在前面的话：环境为ubuntu18.04 cuda 10.0 anaconda cudnn pytorch python 3.8pycharm 版本不同的话也可以按照这个去安装
ubuntu设置
1.进入bios中关闭secure boot，这一步很关键 不然cuda起不来，如果你用扩展屏的话也起不来ÿ…
如何从ScannetV2数据集中获取点云信息
写在前面的话：本文将讲解如何从ScannetV2数据集中提取出xyz（坐标），rgb（颜色），sematic label（语义标签），instance label（实例标签），bounding box（边界框）， normal line（法线）。并附上提取代码。
付费专栏，请勿转载！
获取ScannetV2数据集
首先我们要获取数…
PyTorch GPU环境搭建 【Winds10 + Python3.6 + CUDA10.0 + PyTorch 0.4.1 (PyTroch 1.0 branch)】
以下链接是个人关于深度学习环境搭建的所有链接，包含了各个框架： 深度学习环境搭建-史上最全无死角系列 有兴趣的朋友可以添加微信 17575010159 相互交流，有交流群。
前言
首先要安装anconda，这个比较简单，大家自行百…
风格迁移0-03：stylegan-数据制作及训练
以下链接是个人关于stylegan所有见解，如有错误欢迎大家指出，我会第一时间纠正，如有兴趣可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞奥！因为这是对我最大的鼓励。 风格迁移0-0…
【人脸检测】MTCNN 全流程详解 Pytorch代码
目录：概述思路数据处理工具网络结构训练流程检测流程概述
MTCNN，Multi-task convolutional neural network（多任务卷积神经网络）。该模型利用级联思想，化繁为简，通过三个级联的网络：P-Net&…
YOLOv5 Jetson部署 TensorRT
用TensorRT部署YOLOv5，用的最多的方式就是通过： https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5
步骤和教程都已经很详细了，我只是记录一下遇到的问题。
我的环境： Jetson Xavier NX Jetpack 4.5 aarch64 Ubuntu1…
LSTM 手动实现车牌识别 Pytorch代码
循环神经网络RNN和长短期记忆网络LSTM的原理，许多文章都讲的很清晰，我就不到处抄了…… 听说实现车牌识别还挺简单的，来尝试一下叭~
首先找车牌图片，虽然有一些生成车牌的软件，但是一般不能批量生成，而且我…
小白搭建RTX3090环境对应的深度学习环境~tensorflow环境搭建/pytorch环境搭建
最近买了一块新出的RTX3090对应的GPU，主要就是想买块好点的GPU供以后的学习使用，而且最近由于RTX20系列的存货积压，普通用户基本上买3080以下系列的显卡都只能买黄牛手中的显卡，一张5000多的RTX3080能炒到8000多，所以综…
Pytorch训练是出现pytorch RuntimeError: expected scalar type Double but found Float
错误如下
RuntimeError: expected scalar type Double but found Float原因: tensor的数据类型dtype不正确
解决: 将数据类型转为float32
tensor tensor.to(torch.float32)
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
PPO算法基本原理
PPO（Proximal Policy Optimization）近端策略优化算法，是一种基于策略（policy-based）的强化学习算法，是一种off-policy算法。
详细的数学推导过程、为什么是off-policy算法、advantage函数…
Yolov5 最简推理代码
Yolov5模型加载与推理的简化代码，只需要一个文件即可，不依赖其他文件。 如果报下列错误，请下载精简版的models文件夹。下载地址：Yolov5最简推理代码-深度学习文档类资源-CSDN下载。
File "D:\ProgramData\Anaconda3\lib\sit…
Windows 10 Python 深度学习环境安装
Windows 10 Python 深度学习环境安装，详细步骤和过程如下所示：
1、安装Anaconda
https://repo.anaconda.com/archive/
https://repo.anaconda.com/archive/Anaconda3-2019.03-Windows-x86_64.exe
2、安装Cuda 10.1
CUDA Toolkit Archive | NVIDIA D…
AI分布式训练进阶篇
目录
AI分布式算法有哪些思想？
Parameter Server算法
Ring Allreduce算法
Ring Allreduce的算法思想演进
趋动科技OrionX助力AI分布式训练 之前已经给大家介绍了OrionX赋能深度学习分布式训练的相关知识OrionX（猎户座）AI加速器资源池化软…
二、PyTorch 深度学习 梯度下降法
第3讲 梯度下降法
来源：B站 刘二大人
源代码：
import matplotlib.pyplot as plt# prepare the training set
x_data [1.0, 2.0, 3.0]
y_data [2.0, 4.0, 6.0]# initial guess of weight
w 1.0# define the model linear model y w*x
def forward(…
《PyTorch深度学习实践》第三讲 梯度下降
b站刘二大人《PyTorch深度学习实践》课程第三讲梯度下降笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p3&vd_sourceb17f113d28933824d753a0915d5e3a90 上一讲例子中，初始权重 w w w是随机给的，然后计算每个样本 x x x的预测…
TXT文件转Pascal voc数据集XML格式标注文件
TXT的文件格式为 wmin，hmin，wmax，hmax 最终转换出来的效果为 代码： from xml.dom import minidomimport cv2txt_dirtoryrF:\9.txtjpg_dirtoryrF:\9.jpgimg_namejpg_dirtory.split(\\)[-1]floderjpg_dirtory.split(\\)[-2]im…
转置卷积：nn.ConvTranspose2d
总结：
1：转置卷积可以用正常卷积来理解，对于没有padding的卷积来说，其转置卷积等同于 a: 对输入进行四边补零，单边补零的数量为k-1 b:将卷积核旋转180，在新的输入上进行直接卷积
补零的原因其实是为了保证…
HarmonyOS/OpenHarmony应用开发-Stage模型应用程序包结构
基于Stage模型开发的应用，经编译打包后，其应用程序包结构如下图应用程序包结构（Stage模型）所示。开发者需要熟悉应用程序包结构相关的基本概念。
在开发态，一个应用包含一个或者多个Module，可以在DevEco S…
pytorch基本操作
读取数据
torch.utils.data.DataLoader
class torch.utils.data.DataLoader(dataset, batch_size1, shuffleFalse, samplerNone, batch_samplerNone, num_workers0, collate_fn<function default_collate>, pin_memoryFalse, drop_lastFalse)
dataset : 即上面自定义的…
python自动选择空闲显卡
os.system(nvidia-smi -q -d Memory |grep -A4 GPU|grep Free >tmp) os.environ[CUDA_VISIBLE_DEVICES]str(np.argmax([int(x.split()[2]) for x in open(tmp,r).readlines()])) os.system(rm tmp)
DL学习10-vggnet-mnist
对于vgg而言，他最重要的是VGGblock，总的来说就是通过循环生成一个多conv加一个relu的block层，然后将其使用flatten进行拉伸，最后送入线形层。 话不多说，看代码。
class reshape_data(nn.Module):def forward(self,X):…
如何使用Python内置缓存装饰器: @lru_cache，@cache 与 @cached_property
1. 为什么需要缓存技术？
使用缓存是优化Python程序速度的重要方法之一。如果使用得当，可以大幅减少计算资源的负载，有效加快代码运行速度
Python 的内置库 functools 模块附带了lru_cache，cache, cached_property 装饰器&#x…
Pytorch常用权重初始化方法
PyTorch 在 torch.nn.init 中提供了常用的初始化方法函数，在这里简单介绍，同时也方便自己以后查询使 用。
初始化方法分为两个部分：
1.Xavier，kaiming 系列；
2.其他方法分布
Xavier 初始化方法，论文在《…
【pytorch】使用stat、profile打印网络的参数量、Flops、MAdd、内存使用的情况
【目的】pytorch获取网络的参数量、MAdd、Flops 【可使用库】torchstat中的stat、thop中的profile 1 stat打印 【安装工具】pip install torchstat 【使用例子】我们的网络只有一层，该层的数据就是整个模型的数据。 这里并没有严格按照pytorch官方提供的公式计算&am…
点云目标检测BRNET || 1. 基于MMDetection的BRNet工程环境配置与测试
1. BRNET 的环境配置 工程链接：https://github.com/cheng052/BRNet 改工程是基于MMDetection3D的框架下实现的，所以在配置环境时，需要先安装MMDetection3D相关的内容。 先明确BRnet 使用 MMDetection3D的版本， 配置环境的教程链接…
H100显卡环境对应的cuda和torch版本
问题
新申请了几张H100的显卡，但运行程序会出现提示
NVIDIA H100 PCIe with CUDA capability sm_90 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70 sm_75 sm_80 sm…
detach()、data、with no_grad()、requires_grad之间关系
detach 、data、with no_grad、requires_grad之间关系一. requires_grad属性1. requires_grad 的作用探讨2. 结论：二. detach()方法三. with torch.no_grad()四. data属性五. 总结最近在学习pytorch的时候，遇到了几个新知识点，弄得我头大&…
将onnx文件通过推理引擎进行部署
前提假设已经得到.onnx的文件
模型调用流程如下：
1.将输入图片转化成定义在onnx中的np形式
2.创建推理器ort_session
3. 推理器中的run 方法执行推理过程，其中第一个参数为输出张量名的列表，第二个参数为一个字典值，key为输入…
Anaconda常用操作
conda中遇到的问题和常用命令
1.查看所有虚拟环境使用如下命令
conda info -e
2.激活某一个环境
conda activate name
这里name是你的env环境的名字
3.复制conda虚拟环境
使用如下Conda命令：conda create -n conda-env2 --clone conda-env1 这里conda-env2是…
【私人笔记】：pytorch + python 的一些用法
实现进度条效果，不在是每次更新则是输出一条信息提示：、 for i, (image, segment_image) in enumerate(data_loader): import tqdm
for i, (image, segment_image) in enumerate(tqdm.tqdm(data_loader)): CUDA和pytorch版本对应的铁汁： http…
Oracle甲骨文官网必须登录怎么办！！？
先上解决方案：http://bugmenot.com/view/oracle.com 想下个jdk1.8，结果点击下载oracle就跳转到了登录界面，想着随便注册个账号呢，结果（emmmm？）全部必填，awsl。
硬着头发网上一找找…
Pytorch 使用SummaryWriter记录日志信息
1. 向事件文件中写入事件和概要
import time
from torch.utils.tensorboard.writer import SummaryWriter# 获取Tensorboard的writer
def tb_writer():timestr time.strftime(%Y%m%d_%H)writer SummaryWriter(../logs/ timestr)return writerif __name__ "__main__&q…
PyTorch手写数字识别
1. MNIST数据集简介 包含了6W训练样本和1W条测试样本，共10类(0-9)，每张图片都做了尺寸归一化，都是28*28大小的灰度图。其中颜色通道为1，表示灰度；每个像素值的范围是0-255(0:黑色；255:白色) 2. 数据加载与探索
1. 数据加载
def load_data(data_path, batch_size):# 1.构…
Pytorch深度学习——优化算法、数据集类、数据加载器 05
文章目录1 常见的优化算法1.1 梯度下降算法（BGD）1.2 随机梯度下降（SGD）1.3 小批量梯度下降（MBGD）1.4 动量法1.5 AdaGrad1.6 RMSProp1.7 Adam2 Pytorch中的数据加载2.1 Dataset基类介绍2.2 数据集的案例2.2.…
PyTorch中如何查看神经网络模型的参数（两种高效的方法，简单上手）
文章目录1 用for循环打印parameters2 安装依赖：torchsummary2.1 如果是单输入，比如CNN 模型2.1.1 代码12.1.2 代码22.2 如果是多输入的情况，比如说RNN需要输入x和h_01 用for循环打印parameters
import torch
import torch.nn as nn
import t…
Pytorch中的nn.AdaptiveAvgPool2d(output_size)简单介绍
文章目录1 什么是池化？（Pooling）2 adaptivePooling和GeneralPooling3 代码调用1 什么是池化？（Pooling）
Pooling，池化层，又称下采样、汇聚层，是从样本中再选样本的过程。…
pytorch量化库使用（1）
量化简介
量化是指以低于浮点精度的位宽执行计算和存储张量的技术。量化模型以降低的精度而不是全精度（浮点）值对张量执行部分或全部运算。这允许更紧凑的模型表示以及在许多硬件平台上使用高性能矢量化操作。与典型的 FP32 模型相比，PyTorc…
基于深度学习的高精度鸡蛋检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度鸡蛋检测识别系统可用于日常生活中或野外来检测与定位鸡蛋目标，利用深度学习算法可实现图片、视频、摄像头等方式的鸡蛋目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型…
过年刷【千言数据集：文本相似度】比赛
过年刷千言数据集：文本相似度数据集1.比赛信息2. 数据集介绍3. 模型细节3.1 数据增强：3.2 模型：3.3 训练：3.4 模型融合：其他：可以提高的点 或者 没有用尝试。1.领域数据进一步预训练。2.半监督训练…
后门防御阅读笔记，Neural Cleanse Identifying and Mitigating Backdoor Attacks in Neural Networks
论文标题：Neural Cleanse Identifying and Mitigating Backdoor Attacks in Neural Networks
论文单位：UC Santa Barbara,University of Chicago
论文作者：Bolun Wang, Yuanshun Yao,Shawn Shan
收录会议：2019 IEEE Symposium …
类似投毒攻击阅读笔记，MANIPULATING SGD WITH DATA ORDERING ATTACKS
论文标题：MANIPULATING SGD WITH DATA ORDERING ATTACKS
论文单位：University of Cambridge
论文作者：Ilia Shumailov,Zakhar Shumaylov,Dmitry Kazhdan
收录会议：预印版
开源代码：未开源
使用数据排序攻击来操纵…
【pytorch】自定义autograd中的Function
前言
自定义pytorch中动态图的算子(operator)，也就是动态图的“边”，需要继承torch.autograd.Function类，并实现forward与backward方法。在使用自定义的算子时，需要使用apply方法。下面结合官网资料的两个例子加以说明。
实例…
《PyTorch深度学习实践》第十讲 卷积神经网络（基础篇 + 高级篇）
b站刘二大人《PyTorch深度学习实践》课程第十讲卷积神经网络（基础篇 高级篇）笔记与代码： https://www.bilibili.com/video/BV1Y7411d7Ys?p10&vd_sourceb17f113d28933824d753a0915d5e3a90 https://www.bilibili.com/video/BV1Y7411d7Ys?…
pytorch入门到放弃1：Tensor
目录 一、Tensor（张量）
二、Tensor的数据类型 一、Tensor（张量）
pytorch里面处理的最基本的操作对象就是Tensor（张量），Tensor表示的是一个多维的矩阵，比如零维就是一个点ÿ…
pytorch：搭建神经网络的常见方法
使用pytorch搭建神经网络的方法有很多，常见的有四种方法。
第一种：这种方法比较早，现在用的很少了，尤其是在复杂的网络中，是直接一层一层的堆起来的，不够模块化，而且不方便扩展，但是…
pytorch实现VGG网络
pytorch实现vgg网络：
class vgg(nn.Module):def __init__(self, n_class1000):super(vgg, self).__init__()self.n_class n_classself.features nn.Sequential(# conv1nn.Conv2d(in_channels3, out_channels64, kernel_size3, stride1, padding1),nn.ReLU(inplac…
pytorch Torch device的基本用法
Torch device的基本用法
print("Default Device:{}".format(torch.Tensor([4,5,6]).device))device torch.Tensor([1,2,3],device"cpu:0").device
print(device)cpu1 torch.device("cpu:0") # 标注指定为cpu
print(cpu1)gpu torch.device(0…
pytorch矩阵运算
目录：1.对角矩阵的设置2.矩阵的迹3.上三角矩阵与下三角矩阵4.矩阵的乘积mm和bmm5.矩阵的相乘再相加6.批量矩阵相乘再相加7.矩阵乘向量再相加8.特征值及特征向量1.对角矩阵的设置
a torch.rand(2)
print(a)
# diag设置对角矩阵，diagonal等于0࿰…
pytorch的数值比较运算
目录：1. 大于、大于等于、小于、小于等于、不相等2. 最大值，最小值3. 排序4. topk1. 大于、大于等于、小于、小于等于、不相等
# 元素相等返回1，不相等返回0.
x torch.Tensor([[2,3,5],[4,7,9]])
y torch.Tensor([[2,4,5],[4,8,9]])
z to…
pytorch的数学计算(元素级别)
目录1.绝对值、求和、三角函数2.相乘再相加、相除再相加3.向上取整、向下取整、夹逼函数、乘法、取相反数、取倒数、取平方根倒数和平方根4.除法、余数、取小数、四舍五入、指数运算5.自然对数、平滑对数、幂运算6.线性插值7.Sigmoid函数，sign函数，截断值…
pytorch数据的保存与加载（数据的持久化与高并发）
目录1. pytorch数据的保存与加载2.并发量的获取与设置1. pytorch数据的保存与加载
模型训练的权重参数需要持久化以产生模型文件后再次加载，进而通过预测任务进行预测
# 序列化模型(数据保存)
x torch.randn(2,3)
# 序列化即对此进行外部存储 使用torch.save方法…
pytorch的随机抽样
目录1.如何设置随机种子？2.如何进行伯努利分布采样？3.如何进行多项式分布抽样？4.如何进行标准分布抽样？1.如何设置随机种子？
torch.manual_seed(123) #manual 手控的
# 如没有手动设置，则返回系统生…
pytorch索引、切片、连接和换位
目录：1.torch.cat 使用dim对Tensor进行指定拼接2.如何将一个Tensor按指定维度切片？3.按照索引对元素进行聚合4，如何按照索引选择目标数据？5、如何选出满足矩阵条件的元素？6.如何找出矩阵中的非零元素的索引？…
pytorch的基本方法
目录：1.如何判断一个对象是否为Tensor？2.如何全局设置Tensor的数据类型？3.如何判断一个对象是否为 pytorch Storage 对象？4.如何获取Tensor中元素的个数？5.如何创建指定形状的单位矩阵？6.如何从NumPy多为数…
如何判断一个对象是否为Tensor？
如何判断一个对象是否为Tensor？
import torch
import numpy as np
obj np.arange(1,10) # arange() 主要是用于生成数组
# [1,2,3,4,5,6,7,8,9]
print(torch.is_tensor(obj))
obj1 torch.Tensor(10) # 生成单精度浮点类型的张量
# tensor([0., 0., 0., 0., 0…
pytorch实现逻辑回归
一、pytorch实现逻辑回归
逻辑回归是非常经典的分类算法，是用于分类任务，如垃圾分类任务，情感分类任务等都可以使用逻辑回归。
接下来使用逻辑回归模型完成一个二分类任务：
# 使用逻辑回归完成一个二分类任务
# 数据准备
impor…
pytorch 将标签转为one-hot编码
将标签转为one-hot编码
我定义为一个函数,返回为布尔值，需要类型转换
def one_hot(label, NNone): # 对标签进行独热编码label np.asarray(label) # np.asarray() 对于传入list为深拷贝， 传入array为浅拷贝，即改变传入的值&#…
Deep Supervised Cross-modal Retrieval ---2019CVPR
目录一、跨模态研究背景二、作者的动机三、实现方法四、损失函数五、本文作者的贡献六、实验结果消融实验复现代码（code）地址：一、跨模态研究背景
跨模态检索旨在实现跨不同模态的灵活检索(例如，文本与图像)。它将一种类型的数据…
使用pytorch快速搭建神经网络的两种方式
假设需要搭建一个3层神经网络：
输入层数为5，中间隐藏层的维度为10，输出层的维度为2，激活函数使用ReLU激活函数
第一种方法
使用nn.Sequential的方式定义，将网络以序列的方式进行组装，使用每个层前面的输…
ResNet：深度学习中的重要里程碑
目录
导言：
1. 应用
2. 结构介绍
3. 代码案例 导言：
深度学习的迅速发展在图像识别、语音处理和自然语言处理等领域取得了巨大的突破。然而，深度神经网络在训练过程中遇到了梯度消失和梯度爆炸等问题，限制了模型的性能和训练…
使用python多线程加载模型并测试
前言：之前只用过单线程处理，加载模型进行测试，运行时间上也可以接受。但是现在需要处理比较大量的数据，如果进行线性处理，可能测试一次就花10个小时，而且还不知道结果怎么样，所以多线程就必须使…
记一次d2l_softmax回归中的错误
错误代码与现象分析
def train_epoch_ch3(net, train_iter, loss, updater): #save"""训练模型一个迭代周期"""# 将模型设置为训练模式if isinstance(net, torch.nn.Module):net.train()# 训练损失总和、训练准确度总和、样本数metric Accumul…
Data Parallel 的那些事儿（梯度计算、同步 BN ......）
0、写在前面
本文是一个学习链接博客。网上已有许多参考文档，故不再重复。我从找到的学习链接中筛选出我认为写得清晰、通俗易懂的部分截取给大家，并加上了我学习过程中的笔记标注。来源已标注，感谢各位大佬博主！ 1、Data Parall…
风格迁移（Style Transfer）首次学习总结
0、写在前面
最近看了吴恩达老师风格迁移相关的讲解视频，深受启发，于是想着做做总结。 1、主要思想
目的：把一张内容图片（content image）的风格迁移成与另一张图片（style image）风格一致。
&…
1015-亏3000，郑棉低开，13986，前几天我亏八千的时候也是这个钱，怕什么的呢
集合竞价我就看到郑棉要低开。开始报的价比涨停稍微高一点价位，后来都比涨停价低了。然后低开22810， 我还设了划线止损在810下面几个价位，结果报价了没成交我立马手动止损，砍 了八百块钱，本来赚150，变成了亏八百。下午看到封单变到19000，棉纱开板我就应该想到晚上要低开…
pytorch源码解析：Python层
本文新版已迁移到我的新博客，查看更多技术文章请访问我的博客 尝试使用了pytorch，相比其他深度学习框架，pytorch显得简洁易懂。花时间读了部分源码，主要结合简单例子带着问题阅读，不涉及源码中C拓展库的实现。
一个简…
复现PointRcnn记录
1. 复现报错解决
1.1 sh build_and_install.sh错误
复现PointRcnn时，安装 sh build_and_install.sh时出现Fatal error: cuda.h, No such file or directory，以下方法解决。
1.在~/.bashrc中设置环境变量
export CUDA_HOME/home/usr/local/cuda-10.0
…
深度学习中模型权重数据读取、保存
优点：
1.长时间的训练，如果发生中断，继续训练时直接读取 2.通过迁移学习，利用别人训练好的数据进行训练，提高训练效果
三个方面说明
1.模型保存与加载 2.冻结一部分参数，训练另一部分参数 3.采用不同的学…
PCDet_Pointpillars调试
PCDet调试实现
在运行pointpillars时，根据github步骤能够在shell以及Pycharm Terminal中运行，在进入pycharm进行调试时报错。
问题一
在GitHub中，生成数据信息时，使用如下命令行
python -m pcdet.datasets.kitti.kitti_datase…
Segment Any Medical-Model (SAMM)在3D slicer上部署
参考：
GitHub - bingogome/samm: A 3D Slicer integration to Metas SAM.
https://www.cnblogs.com/odesey/p/17322413.html
一、下载代码仓库和权重文件
https://github.com/facebookresearch/segment-anything.git
https://github.com/bingogome/samm.git
htt…
PyTorch 中autograd.Variable模块的基本操作
在 PyTorch 中，autograd.Variable 是一个自动求导变量，用于构建计算图并进行梯度自动求导。Variable 提供了许多基本操作，下面介绍其中的一些常用操作： 创建变量： import torch
from torch.autograd import Variable# …
ros melodic Ubuntu18.04下rosdep init和rosdep update因为网络原因连接guthub失败解决方法
ros melodic Ubuntu18.04下rosdep init和rosdep update因为网络原因连接guthub失败解决方法
如果因为网络原因连接，可以使用阿里云作为跳转代理， ss和proxychains4安装和配置 安装ss和配置服务端 sudo apt install shadowsocks ssserver -p 1234 -k Hua…
pytorch学习1
pytorch学习 （第一个周）
1、步骤
下载数据集新建层训练测试
# utils
# 画曲线、绘图、one_hot 编码#头文件
import torch
from torch import nn
from torch.nn import functional as F
from torch inport optim
import torchivision
from matplotlib …
Pytorch中张量的构造与组织
前言：《神经网络与PyTorch实战》读书笔记之PyTorch中的张量操作 文章目录1. PyTorch中的张量2. 构造Tensor实例方法3. 组织张量元素（重点）3.1 重排张量3.2 选取部分张量3.3 张量扩展和拼接3.4 torch内置统计函数1. PyTorch中的张量
torch.Te…
Pytorch 分类网络训练方法（Resnet152为例）
Pytorch resnet 分类网络训练方法 文章目录Pytorch resnet 分类网络训练方法conda环境安装与配置新建conda环境并激活配置准备数据集训练修改训练脚本执行脚本训练测试效果转换模型conda环境安装与配置
新建conda环境并激活
conda create --name pytorch170_py3_7 python3.7
…
RealBasicVSR 实现超分辨率
文章目录MMEditing 安装1. 创建并激活 conda 虚拟环境2. 安装 PyTorch 和 torchvision3. 安装mmcv-full4. 克隆 MMEditing 仓库5. 安装相关依赖和 MMEditing6. 验证安装使用RealBasicVSR克隆RealBasicVSR仓库下载需要的模型文件修改源码限制测试的视频长度测试效果原视频&#…
Python机器学习之游戏自动驾驶（一）
先说一下总体思路，这一块需要读者有一定的机器学习基础。我们在玩游戏的时候，是眼睛看到了屏幕的画面之后，大脑思考应该怎么操作，然后发送指令到我们的手指，按下指定的按键。
利用机器学习玩游戏也是同样的道理&#…
二分类线性分类器python实现(二)
Pytorch实现
上一个博客我们用传统方法实现了一个线性分类器，这里我们用pytorch实现
我们用一个单层全连接层加一个sigmoid激活函数实现
网络的计算图如下： 代码如下：
import numpy as np
import matplotlib.pyplot as plt
import torch.…
【pytorch】torch.autograd的简单介绍
前言
pytorch中的自动微分引擎，主要是服务神经网络的训练的。神经网络可以看作一个复杂函数，给其输入，会输出对应的结果，给出预测结果的过程叫做前向传播。
网络预测的结果与实际的标注值可能会有出入，这样就会产生误…
【pytorch】模型保存与加载
前言
学习pytorch框架，掌握模型保存与加载是必不可少的环节，本文记录pytorch模型保存与加载的主要工具，和各种使用场景。
主要工具
torch.save
torch.save方法使用python中的pickle库，保存对象到硬盘文件，注意对…
PyTorch深度学习实践（三）
文章目录1 梯度下降引入2 计算图3 链式求导4 PyTorch中的Tensor4.1 代码片段学习5 整体代码6 二次方程的练习6.1 手写计算图6.2 完整代码写在前面：之前学习的都是简单的预测问题，涉及的函数是一维线性函数，在本节内容中，要开始介绍…
PyTorch的TensorBoard用法示例
原文： https://www.emperinter.info/2020/07/30/tensorboard-in-pytorch/ 缘由 自己上次安装好PyTorch以及训练了一下官方的数据，今天看到了这个TensorBoard来可视化的用法，感觉不错就尝试玩了一下！自己只是尝试了一下追踪模型训练…
torch中（required_grad_=True），根据mask替换掉部分值
举个例子
a torch.randn(2, 3, 4)
a.requires_gradTrue
a
tensor([[[ 1.2255, 1.5870, -0.5485, -0.4809],[-0.3167, -0.2933, -0.0604, 0.3498],[ 0.1436, 0.3083, 1.6776, -1.1144]],[[-1.5001, 0.7174, 0.2585, 0.2669],[-0.1319, -0.8247, 0.1929, -0.6142],[ 1.…
pytorch运行卡住，即不报错也不停止
程序运行到加载数据时卡住
for _, (support, query) in enumerate(eval_dataset)把dataloader里的num_workers0也没用，但是把eunmerate去掉有用了，但是运行到一半又停下了
screen 还有影响？ 一开始卡着，screen界面没有输出&…
torch.nn.LSTM
什么是 LSTM
Understanding LSTM Networks 和 人人都能看懂的LSTM 这两篇文章介绍了 LSTM 的原理。本文的着重点在于 LSTM 的输入输出维度以及 torch.nn.LSTM 的使用。
LSTM 的输入输出
首先来看这张图
input 序列的长度为 LLL ，包括 x1,x2,...,xn−1,xn(nL)x_…
【pytorch】加载部分模型参数及冻结部分参数
前言
结论：1）部分加载模型参数的关键就是自定义选取训练好的模型的state_dict的键值对，然后更新到需要加载模型参数的新模型的state_dict中。 2）冻结部分参数的关键就是自定义设置需冻结的参数的requires_grad属性值为False&…
PyTorch 0.4.0——windows安装
PyTorch 0.4.0 官方已经支持 Windows 系统
2018年4月25号，PyTorch 官方发布 0.4.0 版本，该版本的 PyTorch 有多项重大更新，其中最重要的改进是官方支持 Windows (详细改动见Pytorch官方GitHub)
Pytorch官网新增安装方式——Windows安装 安装…
训练技巧之百万级类别的分类模型的拆分训练
1. 背景
很多人脸识别算法都是以分类的方式进行训练的，分类的训练方式中存在一个很大的问题，就是模型的最后一个全连接层的参数量太大了，以512为特征为例：
类别数参数矩阵尺寸参数矩阵大小（MB）
100w类别…
CBAM、通道注意力、空间注意力学习
各模块简介：CBAM 是一个轻量级的通用模块，其中包含了空间注意力和通道注意力。 通道注意力是先对空间进行全局平均或最大池化后，在通道层面求得注意力。
空间注意力是先对通道进行全局平均或最大池化后，在空间层面求得注意力。
…
深度学习——线性神经网络：线性回归
文章目录一. 生成数据集二. 线性回归实现1. 批量读取2.初始化模型参数3.定义模型，损失函数，优化算法4. 训练三. 线性回归的框架实现1.读取数据集2.定义模型3.初始化参数4.定义损失函数及优化算法5.训练一. 生成数据集
我们使用线性模型参数 w[2,−3.4]⊤…
神经网络实现手写数字识别（代码-训练-效果）- PyTorch框架
目录
一、简介
二、原理及代码
1、数据准备
2、构造神经网络
3、Python代码实现（训练-效果）
参考 一、简介 PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人…
PyTorch Week 1
PyTorch Week 1目录一、张量简介与创建Tensor 与 Variable张量的创建二、张量操作与线性回归张量拼接与切分张量索引张量变换张量运算线性回归三、计算图与动态图机制计算图动态图 VS 静态图四、autograd五、逻辑回归对数几率回归与线性回归机器学习模型训练步骤作业1作业2作业…
PyGT 自定义数据集与简单建模
相关文章： Pytorch Geometric 自定义数据集 PyTorch Geometric Temporal 简介 创建时序数据
共5个节点，每个节点的时序长度为200，以天为单位。
node_dim5
df pd.DataFrame(np.arange(1000).reshape(-1, 5), indexpd.date_range(2021-1-1, …
【DataWhales】深入浅出Pytorch-第二章
【DataWhales】深入浅出Pytorch-第二章1. Pytorch的基本操作1.1 建立tensor类型（2种方法）1.2 tensor 与 numpy(array)之间的转换1.3 tensor常见的构造函数（4个函数）2. Tensor的基本操作2.1 查看tensor的维度信息（2种方…
pytorch学习-5：批训练+Optimizer 优化器
pytorch学习-5：批训练Optimizer 优化器
1. 批训练
1.1 DataLoader
DataLoader 是 torch 给你用来包装你的数据的工具. 所以你要讲自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 使用 DataLoader 有什么好处呢? 就是他们帮你有效…
21考研燕大计算机调剂贴（一个废柴的血与泪）
2021燕大计算机专硕调剂上岸
严格意义上来说，这不是一个初试、复试相关的经验贴，而是一个二战人一年半来的心理路程，如果你一战失败感到迷茫，可以来听听我的故事
由于部分内容涉及个人信息，因此我会模糊掉一些具体数…
PyTorch(Python)训练MNIST模型移动端IOS上使用Swift实时数字识别
识别手写数字是计算机视觉的基石问题，可以通过神经网络来解决。在此，我不会重复有关模型构建和训练的细节。
本文中，我的目的是将经过训练的模型移植到移动环境中。我使用 pytorch 构建模型，因为我想尝试一下 torchscript。对于 …
PyTorch自然语言处理
特点
展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探…
查看Python 代码的内存和模型显存消耗以及优化
前言
Python 的 memory_profiler这个库可以帮助我们了解内存的消耗， Pytorch-Memory-Utils和pynvml这个库可以帮助我们了解显存消耗
计算显存和内存
具体用法参考：
参考文档:https://blog.csdn.net/yrwang_xd/article/details/105949077 参考文档:ht…
PipeTransformer：适用于大规模模型分布式训练的自动化弹性管线
内容导读 本文围绕一篇论文展开，探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch.Distributed.Pipeline) 的加速混合。 本文首发自微信公众号「PyTorch 开发者社区」 论文题目：
PipeTransformer: Automated Elastic Pipelining for Dist…
探究PyTorch深度学习本质
预训练模型
张量
我们已经了解到，张量是PyTorch中的基本数据结构。 张量是一个数组：即一种数据结构，用于存储一组数字，这些数字可以使用索引单独访问，并且可以使用多个索引进行索引。
Python列表到PyTorch张量
让我…
【pytorch】pytorch使用记录（持续更新）
1、找不到moule.xxx 当训练模型在重新加载用于评估的时候出现少了一个module前缀，这个问题通常是由于训练的时候采用了数据并行操作，而评估模型的时候却没有用到。因此，只需要在训练代码中补充：
net nn.DataParallel(net)#加在模…
树莓派3B 实现通过GPU加速pytorch计算
嵌入式系统 树莓派3B 实现通过GPU加速pytorch计算
本项目仅用于学术用途
总思路
交叉编译环境为raspberry pi 3B docker镜像使用github上开源的GPU库QPULib在树莓派上安装pytorch，通过交叉编译加速过程通过pytorch提供的接口编译并且注册c端的程序通过nfs mount …
【pytorch】pytorch模型保存技巧
Pytorch会把模型相关信息保存为一个字典结构的数据，以用于继续训练或者推理。
1 保存与加载模型参数 这是最常见的模型保存与加载方式，保存方式如下：
state model.state_dict()
torch.save(state, ‘xxx.pth’) 模型参数加载之前需要先定义…
deform conv torch 1.7编译安装
1、deform conv 在pytorch 1.4 cuda10.1下可以直接通过python setup.py build等相关命令安装成功，但是当pytorch版本较高时会编译失败。
2、如果编译报：
error C3861: "AT_CHECK": 找不到标识符。
那么在相应的.cpp 文件（如defo…
GPU通识（学生党白票GPU资源）
什么是GPU？什么是CPU？
CPU是Central Process Unit，中央处理器，是个人计算机之中负责处理数据和计算的元件。你在计算机上执行的任何一个操作都需要经过CPU的处理和计算，才能展示给你结果，所以CPU越好&…
33. 多输入多输出通道 代码实现
1. 多输入通道
实现一下多输入通道互相关运算。 简而言之，我们所做的就是对每个通道执行互相关操作，然后将结果相加。
import torch
from d2l import torch as d2ldef corr2d_multi_in(X,K):return sum(d2l.corr2d(x,k) for x,k in zip(X,K))关于pytho…
FocalLoss 带mask的多分类 代码实现
关于介绍FocalLoss的博客很多，这里做一个简单的总结，并且实现了一个多分类的数据不均衡的FocalLoss。
FocalLoss用来解决的问题
FocalLoss这个损失函数是在目标检测领域（由Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Do…
pytorch 合集： pytorch的函数之torch
tensor 类型
参考pytorch tensor
pytorch 中定义了9种 CPU张量类型和对应的GPU 张量类型，具体如下图。GPU 类型就是 CPU类型中间加上cuda.torch.Tensor , torch.rand(), torch.randn() 默认生成torch.FloatTensor类型。相同数据类型的tensor 才能做运算tensor 数…
NLP笔记：浅谈交叉熵（cross entropy）
NLP笔记：浅谈交叉熵（cross entropy） 0. 引言1. 交叉熵的定义 1. 信息熵2. 相对熵（KL散度）3. 交叉熵 2. 交叉熵的实现 1. tensorflow实现2. pytorch实现 3. tensorflow与pytorch中交叉熵的区别4. 引申思考 1. 两次softm…
从线性回归案例理解深度学习思想
我不是主攻人工智能、深度学习方向，但是作为计算机相关领域的学习者，如果不了解下，总觉得已经跟不上时代了，况且，人工智能真的是大势所趋，学会了，能够尝试用在不同领域。
本文将使用回归的思想…
数据加载Dataset和DataLoader的使用
一、模型中使用数据加载器的目的 在前面的线性回归模型中，我们使用的数据很少，所以直接把全部数据放到模型中去使用。但是在深度学习中，数据量通常是都非常多，非常大的，如此大量的数据，不可能一次性的在模型…
查看电脑显卡（GPU）是否支持CUDA
创建于：2020.03.04 修改于：2021.04.28 文章目录1、背景知识2、查看方法2.1 查看电脑GPU2.2 去英伟达官网查看，选择自己的系列类型2.3 更详细的CUDA版本查看3、参考连接1、背景知识
win10环境下，在Anaconda环境里面，想…
深度学习：张量与计算图篇
文章目录1 张量1.1 pytorch的数据类型1.2 pytorch的标量算术计算2 计算图与流程控制2.1 静态计算图与TensorFlow2.2 动态计算图与PyTorch的流程控制3 代码013.1 pytorch 与计算图写在前面：最近在看一本书，做点笔记。《tensorflowpytorch深度学习从算法到…
pytorch笔记：数据导入实例和目标函数
来自B站视频，API查阅，TORCH.NN
class dataset(Dataset):def __init__(self):dfpd.read_csv()featdf.iloc[].valueslabeldf.iloc[].valuesself.xtorch.from_numpy(feat)self.ytorch.from_numpy(label)def __len(self):return len(self.y)def __getitem__…
pytorch常见分布式训练报错（另备忘模型分布式后，named_modules,前会加module.）
1、–nproc_per_node设置错误，比如就2块可见卡，设置3，那么代码中这行torch.cuda.set_device(args.local_rank) 就会报以下错误
Traceback (most recent call last):File "trainDDP.py", line 32, in <module>torch.cuda.set…
pytorch打印模型层参数，如卷积核尺寸
今天有个师弟问了如何打印模型参数的问题，他想在声明模型结构时做一些断言增强程序鲁棒性。实际这个问题的本质就是打印Conv3d、MaxPool3d等类的实例化对象的属性
conv1torch.nn.Conv3d(64, 128, kernel_size(3, 3, 3), padding(1, 1, 1))
pool1 torch.nn.MaxPool3…
ubuntu配置 pytouch
1. CPU 环境
pytouch 官网
1.1 进入官网 选择对应的基本信息，下方即可生成相应的安装命令； 1.2 键入对应命令
conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch2. GPU 环境
网址：CUDA Toolkit 10.1 update2 Arc…
python、pytorch代码笔记
文件读写： ①rb – 读取二进制文件，r – 读取文本文件 ②.pkl是python保存文件的一种文件格式，如果直接打开会显示一堆序列化的东西，需要使用r b类型来打开。③with open(data.txt dataset.pkl, rb) as f 读取文件④mat 数据…
深度学习环境配置：Ubuntu+anaconda+cuda8.0+cuDNN7.2.1+ pytorch源码安装+及过程中出现的错误和解决办法
我是想安装pytorch。需要用anaconda(比较强大) NVIDIA CUDA 7.5 or above NVIDIA cuDNN v6.x or above
由于anaconda比较简单。本文重点说明CUDA、cuDNN和pytorch的安装，可直接看对应部分。
ps：如果你们配置成功了或者出现了什么问题，希望…
Pytorch LR scheduler
torch.optim.lr_scheduler 模块提供了一些根据 epoch 迭代次数来调整学习率 lr 的方法。为了能够让损失函数最终达到收敛的效果，通常 lr 随着迭代次数的增加而减小时能够得到较好的效果。torch.optim.lr_scheduler.ReduceLROnPlateau 则提供了基于训练中某些测量值使…
使用pytorch遇到的各种问题及解决方案
自己在使用pytorch遇到的各种问题及解决方案： RuntimeError: Expected object of scalar type Float but got scalar type Double for argument #4 mat1 RuntimeError: The size of tensor a (12800) must match the size of tensor b (100) at non-singleton dimen…
pytorch(二)--batch normalization的理解
来源
《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》这是2015年的文献，提出的就是Batch Normalization层的概念。
为什么需要它？
神经网络学习的过程本质就是数据分布的学习过程。从最开始的感…
PyTorch(一)--一个程序说明numpy与Tensor的转换与他们的相互引用关系
import numpy as np
import torch
a np.ones(5)
b torch.from_numpy(a)# 使用from_numpy方法，Tensor只会指向numpy数据
a_ b.numpy() # a_使用Tensor中的数据
"""
a np.add(a,1) #只是将a中保存的指针指向新计算好的数据上去
print(a) #[2,2,2,2…
RuntimeError: Expected object of backend CPU but got backend CUDA for argument #4 'mat1'
根据错误提示找到问题处在F.linear(input, self.weight, self.bias)这里，参数input是在cuda里面的，进入linear.py，在参数self.weight, self.bias后面的赋值语句后面加上.cuda(0)，即torch.Tensor(…).cuda(0)，问题解决。…
第57步 深度学习图像识别：CNN可视化（Pytorch）
基于WIN10的64位系统演示
一、写在前面
由于不少模型使用的是Pytorch，因此这一期补上基于Pytorch实现CNN可视化的教程和代码，以SqueezeNet模型为例。
二、CNN可视化实战
继续使用胸片的数据集：肺结核病人和健康人的胸片的识别。其中&…
Win10 Python3.6下安装PyTorch
原文地址为：
Win10 Python3.6下安装PyTorch更新提醒：本文已过期，PyTorch0.4.0已经有官方的Windows支持，Windows下安装最新的PyTorch0.4.0请移步本人另一篇博客：Windows下安装PyTorch0.4.0。 2017年1月18日，…
pytorch杂记本
本博客用于记录在学习pytorch时遇到的零碎问题，持续更新（但愿） 目录测试代码的用时torch.utils.data.DataLoaderpin_memorydrop_last卷积偏置biasconv1d(k1)和lineardropoutdropout与BN一起使用时会出现的问题argparse模块测试代码的用时
参…
pytorch统计模型参数量并输出
有时候需要统计我们自己构建的模型参数,与baseline的网络比较
统计神经网络模型参数
方式一:
def get_parameter_number(net):total_num sum(p.numel() for p in net.parameters())trainable_num sum(p.numel() for p in net.parameters() if p.requires_grad)return {Tot…
pytoch python 笔记
一、pytorch中tensor.expand()和tensor.expand_as()函数解读
tensor.expend()函数，可以看出expand()函数括号里面为变形后的size大小，而且原来的tensor和tensor.expand()是不共享内存的。
>>> a torch.tensor([[2],[3],[4]])
>>> p…
工作问题汇总2 Python安装，环境配置、torch、cuda等
文章目录Python3.8版本torch1.9.0、cuda111测试是否安装好Cuda与GPU显卡驱动版本一览pip3安装requirement.txt安装python3.6升级到3.7Python3.8版本
sudo apt-get install -y python3-pip
sudo rm /usr/bin/python3
sudo ln -s /usr/bin/python3.8 /usr/bin/python3
sudo pyth…
Jetson Nano Pytorch+TensorRT环境配置系统移植到另一张TF卡
PS:使用本文章中dd写入的方式,可以用于备份TF卡/SD卡/硬盘里操作系统/环境变量和系统数据,随时备份,随时恢复,内容完全一样 ! ! 目录PS:使用本文章中dd写入的方式,可以用于备份TF卡/SD卡/硬盘里操作系统/环境变量和系统数据,随时备份,随时恢复,内容完全一样 ! !一. 配置Jetson深…
Pytorch之神经网络
Pytorch实现基础的神经网络 使用Pytorch配合MNIST数据集实现基础的神经网络 下面从四个方面实现
加载数据——Data Loader建立模型，定义损失函数和优化函数训练模型测试保存模型
加载数据——Data Loader 要求下载训练集 MNIST，创建符合要求的DataLoad…
Ubuntu18.04+RTX3060显卡配置pytorch、cuda、cudnn和miniconda
0. 前言
之前已经安装成功了，也发了篇博客梳理了整套流程如下。
ubuntu18.04安装pytorch、cuda、cudnn和miniconda_Toblerone_Wind的博客-CSDN博客_ubuntu18.04 安装pytorchhttps://blog.csdn.net/qq_42276781/article/details/124296431但后续发现tensor变量不能…
Anaconda虚拟环境配置踩坑
1.pip install 和 conda install
具体区别其实我也不是很清楚，我估摸着是包放的地方不一样，一般activate 后就用pip install，实践表明，pip不行就conda，碰一碰可能有一个就会成功，原因我也很迷
2.低版本的…
PackagesNotFoundError: The following packages are not available from current channels:
遇到的两种问题：
第一种：.condarc对应的配置如下
ssl_verify: true
show_channel_urls: truechannels:- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/- http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/ 我理解的…
机器学习深度学习——注意力提示、注意力池化（核回归）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——常见循环神经网络结构（RNN、LSTM、GRU） 📚订阅专栏：机器…
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector
文章目录 1、nn.Embedding2、使用场景 1、nn.Embedding
首先我们讲解一下关于嵌入向量embedding vector的概念 1）在自然语言处理NLP领域，是将单词、短语或其他文本单位映射到一个固定长度的实数向量空间中。嵌入向量具有较低的维度，通常在几…
kaggle实战：海星赛复盘
赛题背景：
本次比赛的目标是通过建立一个在珊瑚礁水下视频上训练的物体检测模型，实时准确地识别海星。
比赛方案：
工具库：mmdetection,yolov5
开源代码链接：the framework of ensemble | Kaggle
比赛最终的方案是…
pytorch入门-TensorBoard和Transforms
TensorBoard
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms# python的用法 -》 tensor数据类型
# 通过transforms.ToTensor 去解决两个问题
# 1. transforms该如何使用（python）
# 2. …
YOLOv8“炼丹“之扑克牌识别
最近沉迷炼丹， 效果图：
框架Ultralytics YOLOv8
来自GitHub的介绍： Ultralytics YOLOv8 is a cutting-edge, state-of-the-art (SOTA) model that builds upon the success of previous YOLO versions and introduces new features and improvements to further boost pe…
torch.stack（）方法和torch.cat（）方法的区别
torch.stack（）：函数stack()对序列数据内部的张量进行扩维拼接，指定维度由程序员选择（对 原始张量按照指定维度进行拼接，拼接后维度为原始维度加一，如原始维度为2*2，那么拼接后为n*2*…
使用自己的数据利用pytorch搭建全连接神经网络进行回归预测
使用自己的数据利用pytorch搭建全连接神经网络进行回归预测 1、导入库2、数据准备3、数据拆分4、数据标准化5、数据转换6、模型搭建7、模型训练8、模型预测9、完整代码 1、导入库
引入必要的库，包括PyTorch、Pandas等。
import numpy as np
import pandas as pd
f…
pytorch model代码内tensor device不一致的问题
在编写一段处理两个tensor的代码如下，需要在forward函数内编写函数创建一个新的tensor进行索引的掩码计算
# todo(liang)空间交换
def compute_sim_and_swap(t1, t2, threshold0.7):n, c, h, w t1.shapesim torch.nn.functional.cosine_similarity(t1, t2, dim1)…
成功解决！ C++ 调用 python 问题解决方案 ystemError: ＜built-in method locked of _thread.lock Python get module fa
1.导入模块失败 “Python get module failed.”
解决方案：
将整个项目设计到的路径都添加进去路径 分割符为 “/”路径不能含有中文项目导包涉及到的路径文件夹 也加入 sys.path PyRun_SimpleString("sys.path.append(B:/road/pytorch-yolov4-tiny-deepsort)…
【教学】深度学习小项目汇总_含源代码包运行
pyqt5实现手写汉字界面pytorch版 pyqt5实现手写数字界面pytorch版 水果识别小程序 基于python的hog+svm实现目标检测 yolov5_deepsort目标跟踪行人统计数量 人流跟踪pyqt界面_v5_deepsort CycleGAN_风格迁移+qt界面 yolov4口罩目标检测识别 中草药识别小程序 基于vgg的CT_COVID…
对openpose的test_pose.py的代码解读
heat_avgnp.zero((height,widh,19)) 声明height个widh*19个二维矩阵 关于对np.newaxis的理解
作用：在指定位置增加一个一维，也就是说np.newaxis所在的位置就要新list增加的维度
举例：引用https://www.jianshu.com/p/78e1e281f698
x1 np.a…
![[教学]基于crnn的中文汉字识别_pyqt界面交互界面python含代码](https://img-blog.csdnimg.cn/8281f32fa9f147b2ad0ee4e6563d1267.jpeg)
[教学]基于crnn的中文汉字识别_pyqt界面交互界面python含代码
上效果图: 代码十分的简洁，01train.py即可直接训练，02detect.py可以对单张图片进行识别，03文字识别界面程序.py是右侧的可视化交互pyqt界面，有4个按钮，选择图片，可以上传本地的汉字图片，识别图片，会对01train.py训练好的模型进行调用，然后识别结果显示在pyqt右下角的框…
【教程】Yolov5目标跟踪检测整个流程
这个专栏更新各种AI，以及各种有趣的教程，有兴趣的小伙伴可以订阅一下。 正题：
目标跟踪听名字顾名思义是用来检测跟踪目标物体的运动轨迹，通过其轨迹我们可以获取相应的数据。比如跟踪一条街道上的行人，可以检测当前路段通过的人流量，检测车辆，来统计车流量等等。
我们…
PyTorch 大杀器：用 AdaptDL 优化 GPU 集群中的 EDL
内容导读 AdaptDL 是一个资源自适应深度学习训练和调度框架，是 CASL 开源项目的一部分。AdaptDL 的目标是使分布式 DL 在动态资源环境中变得简单和高效。 本文首发自微信公众号 PyTorch 开发者社区
EDL 全称 Elastic Deep Learning，由 LF AI 基金会孵化…
PyTorch 深度度量学习无敌 Buff：九大模块、随意调用
内容导读 从度量学习到深度度量学习，本文介绍了一个 PyTorch 中的程序包，它可以极大简化使用深度度量学习的难度。 本文首发自微信公众号「PyTorch 开发者社区」
度量学习（Metric Learning）是机器学习过程中经常用到的一种方法&…
【torch.nn.PixelShuffle】和 【torch.nn.UnpixelShuffle】
文章目录 torch.nn.PixelShuffle直观解释官方文档 torch.nn.PixelUnshuffle直观解释官方文档 torch.nn.PixelShuffle
直观解释
PixelShuffle是一种上采样方法，它将形状为 ( ∗ , C r 2 , H , W ) (∗, C\times r^2, H, W) (∗,Cr2,H,W)的张量重新排列转换为形状为…
pytorch实战13：基于pytorch实现YOLOv1（长长文）
基于pytorch实现YOLOv1（长长文） 前言 本篇文章的目的是记录自己实现yolo v1的过程，在此过程中，参考了许多开源的代码和博客，赞美大佬们。 参考文献和代码 YOLO v1代码参考：（读书人的事情&…
PyTorch 微调终极指南：第 1 部分 — 预训练模型及其配置
一、说明 如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分&…
【机器学习】VAE算法的pytorch实现-MNIST手写数据识别
文章目录 序言1. 环境配置2. 数据集准备3. 构建网络4. 定义损失函数5. 模型训练/测试5.1 从头开始训练5.2 导入ckpt继续训练5.3 模型测试 6. 可视化显示7. 模型保存与加载8. 完整模型代码9. 用到的函数补充介绍9.1 transforms.Compose()9.2 nums_worker9.3 model.to(device) 或…
动手学深度学习Pytorch 4.4练习
1.这个多项式回归问题可以准确地解出吗？提⽰：使⽤线性代数。 可以,把多项式问题，用matlab的str2sym表示出来，再用solve求解。
2.考虑多项式的模型选择。
1. 绘制训练损失与模型复杂度（多项式的阶数）的关系…
深度学习之用PyTorch实现逻辑回归
0.1 学习视频源于：b站：刘二大人《PyTorch深度学习实践》
0.2 本章内容为自主学习总结内容，若有错误欢迎指正！
代码（类比线性回归）：
# 调用库
import torch
import torch.nn.functional as F#…
【深度学习注意力机制系列】—— SKNet注意力机制（附pytorch实现）
SKNet（Selective Kernel Network）是一种用于图像分类和目标检测任务的深度神经网络架构，其核心创新是引入了选择性的多尺度卷积核（Selective Kernel）以及一种新颖的注意力机制，从而在不增加网络复杂性的情况…
Pytorch量化之Post Train Static Quantization(训练后静态量化)
使用Pytorch训练出的模型权重为fp32，部署时，为了加快速度，一般会将模型量化至int8。与fp32相比，int8模型的大小为原来的1/4, 速度为2~4倍。 Pytorch支持三种量化方式：
动态量化（Dynamic Quantization&…
面部表情识别（Pytorch）：人脸检测模型+面部表情识别分类模型
目录 0 相关资料1 基于人脸检测面部表情分类识别方法2 项目安装2.1 平台与镜像2.2 项目下载2.3 模型下载2.4 上传待测试图片2.5 项目安装 3 demo测试 0 相关资料
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)：https://blog.csdn.net…
Deep Image Prior:《Deep Image Prior》经典文献阅读总结与实现
文章目录 Deep Image Prior1. 方法原理1.1 研究动机1.2 方法 2. 实验验证2.1 去噪2.2 超分辨率2.3 图像修复2.4 消融实验 3. 总结 Deep Image Prior
1. 方法原理 1.1 研究动机
动机
深度神经网络在图像复原和生成领域有非常好的表现一般归功于神经网络学习到了图像的先验信息…
机器学习笔记 - 基于C++的深度学习 一、向量运算
由于它们的可扩展性和灵活性，现在很少找到不使用TensorFlow、PyTorch、Paddle......（这里的省略号是指各种成熟的深度学习库）的项目。 花时间从头开始编写机器学习算法（即在没有任何基础框架的情况下）似乎有些重复造轮子的感觉。然而，事实并非如此。自己编写算法可以让我…
CS224W作业 class GCN
2023年CS22Wassignment中的所有colab答案以及注释已经上传到github：https://github.com/yuyu990116/CS224W-assignment CS224W课程地址：http://web.stanford.edu/class/cs224w/
class GCN(torch.nn.Module):def __init__(self, input_dim, hidden_dim, …
基于深度学习的高精度工人安全帽检测识别系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于深度学习的高精度工人安全帽检测识别系统可用于日常生活中或野外来检测与定位工人安全帽目标，利用深度学习算法可实现图片、视频、摄像头等方式的工人安全帽目标检测识别，另外支持结果可视化与图片或视频检测结果的导出。本系统采用…
【torch.nn : Pooling Layers】
文章目录 MaxPool2dAvgPool2dAdaptiveAvgPool2dMaxUnpool2d MaxPool2d
CLASS
torch.nn.MaxPool2d(kernel_size, strideNone, padding0, dilation1, return_indicesFalse, ceil_modeFalse)功能： 在由几个输入平面组成的输入信号上应用2D最大池化。 举个简单的例子&a…
RL 实践（7）—— CartPole【TPRO PPO】
本文介绍 PPO 这个 online RL 的经典算法，并在 CartPole-V0 上进行测试。由于 PPO 是源自 TPRO 的，因此也会在原理部分介绍 TPRO参考：张伟楠《动手学强化学习》、王树森《深度强化学习》完整代码下载：8_[Gym] CartPole-V0 (PPO) 文…
pytorch入门-神经网络
神经网络的基本骨架
import torch
from torch import nn #nn模块是PyTorch中用于构建神经网络模型的核心模块。它提供了各种类和函数，可以帮助你定义和训练神经网络。class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__() #调用 super(Tudui,…
11 从0开始学PyTorch | PyTorch使用nn模块、手工实现神经网络
上一小节对神经网络有了基本的了解，这一小节就看一下如何用代码来实现一个神经网络。 我们所用的案例还是那个温度转换的案例，只不过需要我们把之前的线性模型替换成神经网络模型，并重新训练以找到适合神经网络的权重。 依照我们的经验&#…
pytorch基础实践2
文章目录 tensor操作Reshape 操作Flatten 操作Concatenating 操作（级联）高阶张量的flattenelement-wise operationsArithmetic Operations(算术操作）Broadcasting Tensors（广播机制）Comparison OperationsElement-wise…
cuda+anaconda+pytorch按照教程
首先安装显卡对应的CUDA版本，关键点在于区别显卡支持的CUDA最高版本和运行版本
1、查看当前显卡支持的最高版本，有两种方式： 1）NVIDIA控制面板—>帮助—>系统信息—>组件—>NVCUDA.dll对应版本 请注意，12…
PyTorch翻译官网教程-NLP FROM SCRATCH: CLASSIFYING NAMES WITH A CHARACTER-LEVEL RNN
官网链接
NLP From Scratch: Classifying Names with a Character-Level RNN — PyTorch Tutorials 2.0.1cu117 documentation 使用CHARACTER-LEVEL RNN 对名字分类
我们将建立和训练一个基本的字符级递归神经网络(RNN)来分类单词。本教程以及另外两个“from scratch”的自然…
【人工智能前沿弄潮】—— SAM系列：玩转SAM(Segment Anything)
玩转SAM(Segment Anything)
官网链接：
Segment Anything | Meta AI (segment-anything.com)
github链接：
facebookresearch/segment-anything: The repository provides code for running inference with the SegmentAnything Model (SAM), links fo…
【yolo系列：运行报错AttributeError: module ‘torch.nn‘ has no attribute ‘Mish‘】
最近运行yolov7报错AttributeError: module ‘torch.nn‘ has no attribute ‘Mish‘
网上搜罗了一系列的报错方法但是都不怎么好解决，那么在这里给出具体解决方法，以及一些别人的参考文章。
这里先解释自己的，然后再给出别人的相对应的报错…
pytorch @操作符
今天发现一个操作符 import torch
a torch.tensor([[1,2],[2,3],[5,6]])
b torch.tensor([[2,1],[8,5],[3,2]])
c a*b
d a b.t() ## [3,2] [2,3]
print(*,c)
print(,d)结果如下
import torch# Define matrices
A torch.randn(3, 4)
B torch.randn(4, 5)# Matrix mult…
李沐线性回归1代码笔记
工具：jypter语言：python
%matplotlib inline
import random
import torch
from d2l import torch as d2l%matplotlib inline将图表内嵌到notebook中，省略plt.show() ipython环境中魔法命令以%或者%%开头 d2l包 《动手学深度学习》提供的包 …
动手学深度学习-pytorch版本（一）：引言 预备知识
参考引用 动手学深度学习利用 Anaconda 安装 pytorch 和 paddle 深度学习环境 pycharm 安装 0. 环境安装
利用 Anaconda 安装 pytorch 和 paddle 深度学习环境 pycharm 安装
1. 引言
机器学习（machine learning，ML）是⼀类强⼤的可以从经…
【AI】《动手学-深度学习-PyTorch版》笔记（十八）：卷积神经网络模型
AI学习目录汇总
1、LeNet
1.1 介绍
发布时间：1989年 模型目的：识别手写数字
1.2 网络结构 1.3 定义模型
1.3.1 相关函数原型
1）nn.Conv2d：卷积层
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, paddin
![[PyTorch][chapter 49][创建自己的数据集 1]](https://img-blog.csdnimg.cn/9044691cce7d44f989c4672fec3b273d.png)
[PyTorch][chapter 49][创建自己的数据集 1]
前言： 后面几章主要利用DataSet 创建自己的数据集，实现建模，
训练，迁移等功能。
目录: pokemon 数据集深度学习工程步骤 一 pokemon 数据集介绍 1.1 pokemon: 数据集地址： 百度网盘路径: https://pan.baidu.com/s/1…
如何从cpu改为gpu，pytorch，cuda
1.cmd输入nvcc -V 2.得到 cuda版本后，去pytorch官网 3.根据自己的cuda进行选择 4.复制上述链接，进入cmd 5.cmd中输入activate XXX,这里的"XXX"指代自己在工程中用到的环境 6.进入后，将刚才链接粘贴，回车等待下载结束 …
【深度学习】PyTorch快速入门
【深度学习】学习PyTorch基础 介绍PyTorch
深度学习框架是一种软件工具，旨在简化和加速构建、训练和部署深度学习模型的过程。深度学习框架提供了一系列的函数、类和工具，用于定义、优化和执行各种深度神经网络模型。这些框架帮助研究人员和开发人员专注…
【学习心得】安装cuda/cudann和pytorch
一、查看驱动信息 # 进入CMD输入命令
nvidia-smi 也可以右下角图标打开NVIDIA 设置进行查看 二、下载安装CUDA
1、下载
下载地址 https://developer.nvidia.com/ 2、安装 推荐自定义安装。建议只勾选Cuda，只安装这一个就好，以免报错安装失败。 3、验证…
pytorch单机多卡后台运行
nohup sh ./train_chat.sh > train_chat20230814.log 2>1&参考资料 Pytorch单机多卡后台运行的解决办法
【Pytorch】提取模型中间层输出(hook, .register_forward_hook(hook=hook))
1. 定义模型2. 定义hook函数 调用.register_forward_hook(hookhook)3. 模型跑数据4. 获取中间层输出 1. 定义模型
import torch
import torch.nn as nnclass StudentModel(nn.Module):def __init__(self, input25, output2):super().__init__()self.l1 nn.Linear(input, 16)s…
![[PyTorch][chapter 50][创建自己的数据集 2]](https://img-blog.csdnimg.cn/b28ab32903b142b8ac5f78fb0ea35d87.png)
[PyTorch][chapter 50][创建自己的数据集 2]
前言： 这里主要针对图像数据进行预处理.定义了一个 class Pokemon(Dataset) 类，实现
图像数据集加载,划分的基本方法. 目录： 整体框架 __init__ load_images save_csv divide_data __len__ denormalize __g…
论文复现--关于单视角动作捕捉工具箱--MMHuman3d的研究(基于Windows10和Linux18.04中配置)
分类：动作捕捉 github地址：https://github.com/open-mmlab/mmhuman3d 所需环境： Windows10，CUDA11.6，conda 4.13.0，Visual Studio 2017； Ubuntu18.04，conda22.9.0，CUDA11…
文本分类实战-NLP
数据集及任务分析
项目主题：新闻的主题分类，10分类任务 一般对于NLP项目来说的话需要进行数据预处理的，但是由于本项目的数据是经过处理过的，所以就不需要进行数据预处理了，但是数据预处理对NLP项目是重中之重的。 TH…
Deep Learning With Pytorch - 最基本的感知机、贯序模型/分类、拟合
文章目录 如何利用pytorch创建一个简单的网络模型？Step1. 感知机，多层感知机（MLP）的基本结构Step2. 超平面 ω T ⋅ x b 0 \omega^{T}xb0 ωT⋅xb0 or ω T ⋅ x b \omega^{T}xb ωT⋅xb感知机函数 Step3. 利用感知机进行决策…
基于YOLOv8模型和Caltech数据集的行人检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要
基于YOLOv8模型和Caltech数据集的行人检测系统可用于日常生活中检测与定位行人，利用深度学习算法可实现图片、视频、摄像头等方式的行人目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
基于YOLOv8模型和PCB电子线路板缺陷目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型PCB电子线路板缺陷目标检测系统可用于日常生活中检测与定位PCB线路板瑕疵，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检…
PyTorch学习笔记（十七）——完整的模型验证（测试，demo）套路
完整代码：
import torch
import torchvision
from PIL import Image
from torch import nnimage_path "../imgs/dog.png"
image Image.open(image_path)
print(image)# 因为png格式是四个通道，除了RGB三通道外，还有一个透明度通…
循环神经网络RNN完全解析：从基础理论到PyTorch实战
目录 一、循环神经网络全解1.1 什么是循环神经网络网络结构工作原理数学模型RNN的优缺点总结 1.2 循环神经网络的工作原理RNN的时间展开数学表述信息流动实现示例梯度问题：梯度消失和爆炸总结 1.3 循环神经网络的应用场景文本分析与生成1.3.1 自然语言处理1.3.2 机器…
Win10系统pytorch安装教程
前提：安装后Anaconda和NVIDIA显卡驱动
1. 确定支持的最高CUDA版本
确定支持的最高CUDA版本 记住这个CUDA版本，后面要用。
2. 新建conda虚拟环境
2.1 为conda配置清华镜像源
conda常用命令 打开Anaconda prompt窗口，使用如下命令…
扩散模型实战（四）：从零构建扩散模型
推荐阅读列表：
扩散模型实战（一）：基本原理介绍
扩散模型实战（二）：扩散模型的发展
扩散模型实战（三）：扩散模型的应用
本文以MNIST数据集为例，从…
使用 PyTorch 进行高效图像分割：第 4 部分
一、说明 在这个由 4 部分组成的系列中，我们将使用 PyTorch 中的深度学习技术从头开始逐步实现图像分割。本部分将重点介绍如何实现基于视觉转换器的图像分割模型。 图 1：使用视觉转换器模型架构运行图像分割的结果。 从上到下，输入图像、地面…
Pytorch-day06-复杂模型构建-checkpoint
1、PyTorch 复杂模型构建
1、模型截图2、模型部件实现3、模型组装
2、模型定义
2.1、Sequential
1、当模型的前向计算为简单串联各个层的计算时， Sequential 类可以通过更加简单的方式定义模型。2、可以接收一个子模块的有序字典(OrderedDict) 或者一系列子模块…
Lnton羚通算法算力云平台【PyTorch】教程：torch.nn.Softplus
torch.nn.Softplus 原型
CLASS torch.nn.Softplus(beta1, threshold20)
参数
beta (int) – Softplus里β \betaβ 值， 默认为 1. threshold (int) – 高于这个值恢复为线性函数，默认为 20.
图 代码
import torch
import torch.nn as nnm nn.Softp…
pytorch入门-网络模型训练
损失函数和反向传播
import torch
from torch.nn import L1Loss # L1Loss 是 PyTorch 中的一个损失函数，用于衡量预测值与目标值之间的绝对差异。
from torch import nninputs torch.tensor([1, 2, 3], dtypetorch.float32) #创建了一个名为 inputs 的张量&#x…
PyTorch bug记录
1、RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same
这个错误是因为模型的权重是在GPU上，但是输入数据在CPU上。在PyTorch中，Tensor的类型和所在的设备（CPU或GPU）需…
动手学深度学习-pytorch版本（二）：线性神经网络
参考引用 动手学深度学习 1. 线性神经网络
神经网络的整个训练过程，包括: 定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。经典统计学习技术中的线性回归和 softmax 回归可以视为线性神经网络
1.1 线性回归
回归 (regression) 是能为一个或多个…
Pytorch的grid_sample为什么可导？
本质上其运算过程是： 给定一个坐标k 得到值的过程是a*kb。a和b是坐标k临近点求出来的。 因此这个函数做了一个线性运算。所以其是可导的
【深入了解PyTorch】PyTorch实战项目示例：深入探索图像分类、目标检测和情感分析
【深入了解PyTorch】PyTorch实战项目示例：深入探索图像分类、目标检测和情感分析 PyTorch实战项目示例：深入探索图像分类、目标检测和情感分析项目一：图像分类数据集准备构建模型训练模型模型评估和预测项目二：目标检测数据集准备构建模型训练模型模型评估和预测项目三：情…
使用 PyTorch 进行高效图像分割：第 3 部分
一、说明 在这个由 4 部分组成的系列中，我们将使用 PyTorch 中的深度学习技术从头开始逐步实现图像分割。本部分将重点介绍如何使用深度可分离卷积来优化我们的 CNN 基线模型，以减少可训练参数的数量，使模型可部署在移动设备和其他边缘设备上…
用pytorch实现Resnet
ResNet（Residual Network）是一种深度卷积神经网络架构，由Kaiming He等人于2015年提出。它在计算机视觉领域引起了革命性的变革，使得训练更深的神经网络成为可能，超越了传统网络架构的限制。 ResNet的主要创新在于…
耕地单目标语义分割实践——Pytorch网络过程实现理解
一、卷积操作
（一）普通卷积（Convolution） （二）空洞卷积（Atrous Convolution） 根据空洞卷积的定义，显然可以意识到空洞卷积可以提取到同一输入的不同尺度下的特征图&…
【带着学Pytorch】1、pytorch的安装与入门
一、介绍与安装
1.1. pytorch优点： 上手简单：掌握语法和深度学习的概念，尤其是Numpy的使用与python的list切片有共同性。代码灵活：基本调用封装好的模块，动态图使编写更加灵活资源多： 硬件，软件，文档资料都很多。容易调试：动态运行在调试中可以观察数据的变化是否符…
深入浅出Pytorch函数——torch.nn.init.kaiming_normal_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
cuda、cuDNN、深度学习框架、pytorch、tentsorflow、keras这些概念之间的关系
当讨论CUDA、cuDNN、深度学习框架、pytorch、tensorflow、keras这些概念的时候，我们讨论的是与GPU加速深度学习相关的技术和工具。 CUDA（Compute Unified Device Architecture）： CUDA是由NVIDIA开发的一种并行计算平台和编程模型&…
PyTorch学习笔记（十五）——完整的模型训练套路
以 CIFAR10 数据集为例，分类问题（10分类） model.py
import torch
from torch import nn# 搭建神经网络
class MyNN(nn.Module):def __init__(self):super(MyNN, self).__init__()self.model nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.Ma…
[Python]pytorch与C交互
文章目录 C库ctypes基础数据类型参数与返回值类型数组指针结构体类型回调函数工具函数 示例 ctypes是Python的外部函数，提供了与C兼容的类型，并允许调用DLL库中的函数。
C库
要使函数能被Python调用，需要编译为动态库：
# -fPIC…
深入浅出Pytorch函数——torch.nn.init.kaiming_uniform_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
深入浅出Pytorch函数——torch.nn.init.orthogonal_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
YOLOv5、v8改进：引入SKAttention注意力机制
目录
1.简介
2.YOLOv5改进
2.1增加以下SKAttention.yaml文件
2.2common.py配置
2.3yolo.py配置 1.简介
论文链接：https://arxiv.org/pdf/1903.06586.pdf
最近对卷积神经网络中的“自适应调整感受野”这样的操作很感兴趣，从字面的意思可以理解&…
wsl2 安装cuda
1 设置为清华源
首先登录wsl 直接命令 wsl 就行
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo sed -i s/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list
sudo sed -i s/security.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /e…
李沐pytorch学习-卷积网络及其实现
一、卷积定义 卷积计算过程如图1所示，即输入矩阵和核函数对应的位置相乘，然后相加得到输出对应位置的数。 图1. 卷积计算过程 该过程可以形象地从图2中展现。 图2. 二维卷积示意图
二、代码实现
2.1 实现互相关运算
import torch
from torch import n…
深入浅出Pytorch函数——torch.nn.Linear
分类目录：《深入浅出Pytorch函数》总目录 对输入数据做线性变换 y x A T b yxA^Tb yxATb
语法
torch.nn.Linear(in_features, out_features, biasTrue, deviceNone, dtypeNone)参数
in_features：[int] 每个输入样本的大小out_features ：…
深入浅出Pytorch函数——torch.nn.init.eye_
分类目录：《深入浅出Pytorch函数》总目录 相关文章： 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…
PyTorch翻译官网教程-PROFILING YOUR PYTORCH MODULE
官网链接
Profiling your PyTorch Module — PyTorch Tutorials 2.0.1cu117 documentation 分析pytorch模块
PyTorch包含一个分析器API，用于识别代码中各种PyTorch操作的时间和内存成本。分析器可以很容易地集成到代码中，结果可以作为表格打印或以JSON…
PyTorch学习笔记（十六）——利用GPU训练
一、方式一
网络模型、损失函数、数据（包括输入、标注）
找到以上三种变量，调用它们的.cuda()，再返回即可
if torch.cuda.is_available():mynn mynn.cuda()
if torch.cuda.is_available():loss_function loss_function.cuda(…
李沐pytorch学习-BatchNormalization
一、意义 在使用较深的网络时，BatchNormalization（批量归一化）几乎是必需的，可以加速收敛。 对于图1所示的全连接层神经网络，输出节点的GroundTruth为，损失函数为，则损失对权重的梯度为…
# 【三维重建】【深度学习】NeRF代码Pytorch实现--数据加载(中)
【三维重建】【深度学习】NeRF代码Pytorch实现–数据加载(中) 论文提出了一种5D的神经辐射场来作为复杂场景的隐式表示，称为NeRF，其输⼊稀疏的多⻆度带pose的图像训练得到⼀个神经辐射场模型。简单来说就是通过输入同一场景不同视角下的二维图片和相机位…
基于YOLOv8模型和DarkFace数据集的黑夜人脸检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型和DarkFace数据集的黑夜人脸检测系统可用于日常生活中检测与定位黑夜下的人脸，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目…
AttributeError: module ‘torchvision.io.image‘ has no attribute ‘ImageReadMode‘
我的torch和torchvision版本
import torch
torch.__version__‘1.7.1cu110’
import torchvision
torchvision.__version__‘0.8.2cu110’
原代码
mode torchvision.io.image.ImageReadMode.RGB
labels.append(torchvision.io.read_image(os.path.join(voc_dir, Segmentat…
cs231n assignment3 q3 Image Captioning with Transformers
文章目录 先啰嗦直接看代码Q3 Image Captioning with TransformersMultiHeadAttention.forward题面解析代码输出 Positional Encoding题面解析代码输出 transformer.forward题面解析代码输出 先啰嗦直接看代码
Q3 Image Captioning with Transformers
MultiHeadAttention.for…
Pytorch-以数字识别更好地入门深度学习
目录
一、数据介绍
二、下载数据
三、可视化数据
四、模型构建
五、模型训练
六、模型预测 一、数据介绍
MNIST数据集是深度学习入门的经典案例，因为它具有以下优点：
1. 数据量小，计算速度快。MNIST数据集包含60000个训练样本和1000…
unet pytorch
1.单机多卡版本：代码中的DistributedDataParallel (DDP) 部分对应单机多卡的分布式训练方式
import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from torch.utils.data import Dataset, DataLoader
from torchvisi…
pytorch里面的nn.AdaptiveAvgPool2d
今天遇到nn.AdaptiveAvgPool2d((None, 1)) AdaptiveAvgPool2d函数详细解释：
2D自适应平均池化（2D adaptive average pooling）是一种对输入信号进行二维平均池化的操作，输入信号由多个输入平面（input planes࿰…
pytorch从0开始安装
文章目录 一. 安装anaconda1.安装pytorch前需要先安装anaonda，首先进入官网（Anaconda | The Worlds Most Popular Data Science Platform）进行安装相应的版本。2.接着按如图所示安装,遇到下面这个选项时，选择all users.3.选择自己…
Lnton羚通云算力平台【PyTorch】教程：torch.nn.SiLU
torch.nn.SiLU
原型 CLASS torch.nn.SiLU(inplaceFalse) torch.nn.SiLU 是 PyTorch 深度学习框架中的一个激活函数，它代表 Sigmoid-Weighted Linear Unit（SiLU），也称为 Swish 激活函数。SiLU 激活函数在深度学习中被广泛使用&…
使用Pytorch和OpenCV实现视频人脸替换
“DeepFaceLab”项目已经发布了很长时间了，作为研究的目的，本文将介绍他的原理，并使用Pytorch和OpenCV创建一个简化版本。
本文将分成3个部分，第一部分从两个视频中提取人脸并构建标准人脸数据集。第二部分使用数据集与神经网络一…
CAM实现的流程--基于Pytorch实现
CAM实现的流程 CAM类激活映射CAM是什么CAM与CNN CAM类激活映射
CAM是什么
可视化CNN的工具， CAM解释网络特征变化，CAM使得弱监督学习发展成为可能，可以慢慢减少对人工标注的依赖，能降低网络训练的成本。通过可视化，就…
Pytorch06-复杂模型构建
https://github.com/ExpressGit/Pytorch_Study_Demo
1、PyTorch 复杂模型构建
1、模型截图2、模型部件实现3、模型组装
2、模型定义
2.1、Sequential
1、当模型的前向计算为简单串联各个层的计算时， Sequential 类可以通过更加简单的方式定义模型。2、可以接收…
Pytorch学习：torchvison.transforms常用包（ToTensor、Resize、Compose和RandomCrop）
transforms常用包 1. torchvision.transforms.ToTensor2. torchvision.transforms.Resize3. torchvision.transforms.Compose4. torchvision.transforms.Normalize5. torchvision.transforms.RandomCrop 1. torchvision.transforms.ToTensor
将PIL Image或ndarray转换为张量并…
mmdetection基于 PyTorch 的目标检测开源工具箱 入门教程
安装环境
MMDetection 支持在 Linux，Windows 和 macOS 上运行。它需要 Python 3.7 以上，CUDA 9.2 以上和 PyTorch 1.8 及其以上。
1、安装依赖
步骤 0. 从官方网站下载并安装 Miniconda。
步骤 1. 创建并激活一个 conda 环境。
conda create --name…
Pytorch模型转ONNX模型并使用ONNXRuntime运行
Pytorch模型转ONNX模型
import torch
import torch.nn as nn
from backbone import OXI_Netmodel OXI_Net() # 实例化模型对象
model.load_state_dict(torch.load(./cnn_model_50.pth)) # 加载模型
model.eval() # 推理模式input_names [image] # 输入名称
output_names…
PyTorch深度学习实战（13）——可视化神经网络中间层输出
PyTorch深度学习实战（13）——可视化神经网络中间层输出 0. 前言1. 可视化特征学习的结果2. 可视化第一个卷积层的输出3. 可视化不同网络层的特征图小结系列链接 0. 前言
随着深度学习的快速发展，神经网络已成为解决各种复杂任务的重要工具。…
【实例分割】（二）Mask2Former
mask2former提出了一个统一的分割架构，能够在语义分割、实例分割、全景分割上取得sota的结果，在coco数据集上，全景分割57.8PQ、实例分割50.1AP、语义分割在ADE20K达57.7miou。 目录
1.🍓🍓 网络总体结构
2.&#x…
Pytorch——查找、替换module相关操作
nn.Module类可用操作
1. model.named_parameters()
# 遍历模型的所有参数并打印它们的名称和形状
for name, param in model.named_parameters():print(f"Parameter Name: {name}, Parameter Shape: {param.shape}")输出示例：
Parameter Name: conv1.w…
在 Pytorch 中使用 TensorBoard
机器学习的训练过程中会产生各类数据，包括 “标量scalar”、“图像image”、“统计图diagram”、“视频video”、“音频audio”、“文本text”、“嵌入Embedding” 等等。为了更好地追踪和分析这些数据，许多可视化工具应运而生，比如之前介绍的…
第60步 深度学习图像识别：误判病例分析（Pytorch）
基于WIN10的64位系统演示
一、写在前面
上期内容基于Tensorflow环境做了误判病例分析（传送门），考虑到不少模型在Tensorflow环境没有迁移学习的预训练模型，因此有必要在Pytorch环境也搞搞误判病例分析。
本期以SqueezeNet模型为…
基于PyTorch框架下网络模型的使用与修改
目录 1 损失函数和反向传播1.1 损失函数1.2 反向传播 2 优化器3 现有网络模型的使用及修改4 网络模型的保存与读取4.1 网络模型的保存4.2 网络模型的读取（加载） 5 完整的模型训练套路6 利用GPU训练模型7 完整的模型验证套路： 1 损失函数和反向…
卷积神经网络——中篇【深度学习】【PyTorch】【d2l】
文章目录 5、卷积神经网络5.5、经典卷积神经网络（LeNet）5.5.1、理论部分5.5.2、代码实现 5.6、深度卷积神经网络（AlexNet）5.6.1、理论部分5.6.2、代码实现 5.7、使用块的网络（VGG）5.7.1、理论部分5.7.2、代…
《动手学深度学习 Pytorch版》 4.6 暂退法
import torch
from torch import nn
from d2l import torch as d2l4.6.1 重新审视过拟合
整节理论，详见书本。
4.6.2 扰动的稳健性
整节理论，详见书本。
4.6.3 实践中的暂退法
整节理论，详见书本。
4.6.4 从零开始实现
def dropout_la…
Pytorch 机器学习专业基础知识+神经网络搭建相关知识
文章目录 一、三种学习方式二、机器学习的一些专业术语三、模型相关知识四、常用的保留策略五、数据处理六、解决过拟合与欠拟合七、成功的衡量标准 一、三种学习方式
有监督学习： 1、分类问题 2、回归问题 3、图像分割 4、语音识别 5、语言翻译 无监督学习 1、聚类…
python-pytorch 关于torch.load()和torch.load_state_dict()
python-pytorch 关于torch.load和torch.load_state_dict 1、关于模型保存和加载2、关于加载模型结构 最近在使用pytorch训练和加载模型时遇到了一些很玄学的问题，研究了一下，总结如下： 1、关于模型保存和加载
1、如果保存时使用了torch.save…
labml-nn：带注释的 pyTorch 论文实现
作者：CSDN _养乐多_
labml-nn库集合了多种神经网络和相关算法的简单 PyTorch 实现，可以帮助我们快速开发深度学习模型。并配有逐行解释代码的文档。
一、网站
给大家分享一个深度学习模型代码逐行解释网站（https://nn.labml.ai/ÿ…
NLP机器翻译全景：从基本原理到技术实战全解析
目录 一、机器翻译简介1. 什么是机器翻译 (MT)?2. 源语言和目标语言3. 翻译模型4. 上下文的重要性 二、基于规则的机器翻译 (RBMT)1. 规则的制定2. 词典和词汇选择3. 限制与挑战4. PyTorch实现 三、基于统计的机器翻译 (SMT)1. 数据驱动2. 短语对齐3. 评分和选择4. PyTorch实现…
《动手学深度学习 Pytorch版》 4.8 数值稳定性和模型初始化
4.8.1 梯度消失和梯度爆炸
整节理论，详见书本。
梯度消失
%matplotlib inline
import torch
from d2l import torch as d2lx torch.arange(-8.0, 8.0, 0.1, requires_gradTrue)
y torch.sigmoid(x)
y.backward(torch.ones_like(x))d2l.plot(x.detach().numpy()…
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务（从数据准备到训练测试部署的完整流程）
目标分类 一、目标分类介绍1.1 二分类和多分类的区别1.2 单标签和多标签输出的区别 二、代码获取三、数据集准备四、环境搭建4.1 环境测试 五、模型训练六、模型测试6.1 多标签训练-单标签输出结果6.2 多标签训练-多标签输出结果 一、目标分类介绍
目标分类是一种监督学习任务…
基于开源模型搭建实时人脸识别系统（六）：人脸识别（人脸特征提取）
文章目录 人脸识别的几个发展阶段基于深度学习的人脸识别技术的流程闭集和开集（Open set）识别人脸识别的损失Insightface人脸识别数据集模型选型参考文献结语人脸识别系统项目源码 前面我们讲过了人脸检测、人脸质量、人脸关键点、人脸跟踪，接…
（十八）mmdetection源码解读：forward_train
目录 一、forward_train调用过程二、forward_train函数详解2.1、extract_feat2.2、self.rpn_head.forward_train2.3、self.roi_head.forward_train 一、forward_train调用过程
书接上文，在函数_call_impl中，最核心的训练过程，self.forward函…
anaconda,cuda,torch,lightning的安装
本博客仅作为初学者参考使用，汇总了多位大牛的博客，如有侵权请联系我删除 anaconda,cuda,torch,lightning的安装 1、Anaconda2、cuda3、pytorch4、lightning5、解决pip执行后导致C盘空间变小问题 1、Anaconda
作用： 1、可创建python包的虚拟…
4基于pytorch的蚁群算法求解TSP(旅行商问题)，访问一座城市并回到最初位置的最佳路径，解决组合中的NP问题。程序已调通，替换自己的数据可以直接运行。
基于pytorch的蚁群算法求解TSP(旅行商问题)，访问一座城市并回到最初位置的最佳路径，解决组合中的NP问题。程序已调通，替换自己的数据可以直接运行。 4pytorchTSP路径优化 (xiaohongs4pytorchTSP路径优化 (xiaohongshu.com)4pytorchTSP路径优化…
项目实战— pytorch搭建CNN处理MNIST数据集
项目文件夹介绍 项目文件夹 CNN_MNIST_practice文件夹是整个项目的文件夹，里面存放了六个子文件夹以及四个 .py 程序，接下来我们分别来介绍这些文件的内容。 其中 minist_all_CPU.py 是CPU版本的模型训练＋测试程序，而 min…
4-3 nn.functional和nn.Module
一，nn.functional 和 nn.Module
前面我们介绍了Pytorch的张量的结构操作和数学运算中的一些常用API。利用这些张量的API我们可以构建出神经网络相关的组件(如激活函数，模型层，损失函数)。 其实：Pytorch和神经网络相关的功能组件大…
使用 PyTorch 实现 Word2Vec 中Skip-gram 模型
首先创建了一个使用 Word2VecDataset 类自定义的数据集，用于生成训练数据。然后，定义了 Skip-gram 模型，并使用交叉熵损失函数和 Adam 优化器进行训练。
在每个训练周期中，遍历数据加载器，对每个批次进行前向传播、计…
Pytorch 神经网络搭建步骤
文章目录 import numpy as np
import torch
from PIL.Image import Image
from torch.autograd import Variable# 获取数据
def get_data():train_Xnp.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1])train_Ynp.asarr…
深入解析NLP情感分析技术：从篇章到属性
目录 1. 情感分析概述1.1 什么是情感分析？- 情感分析的定义- 情感分析的应用领域 1.2 为什么情感分析如此重要？- 企业和研究的应用- 社交媒体和公共意见的影响 2. 篇章级情感分析2.1 技术概览- 文本分类的基本概念- 机器学习与深度学习方法- 词嵌入的力量…
【autodl/linux配环境心得：conda/本地配cuda，cudnn及pytorch心得】
linux配环境心得：conda/本地配cuda，cudnn及pytorch心得 我们服务器遇到的大多数找不到包的问题一，服务器安装cuda和cudnn使用conda在线安装cuda和cudnn使用conda进行本地安装检查conda安装的cuda和cudnn本地直接安装cuda和cudnn方法一&#x…
（二十二）mmdetection源码解读：faster_rcnn_r50_fpn.py详解roi_head
目录 一、model配置文件->roi_head二、roi_head详解 一、model配置文件->roi_head
目标检测的ROI head是指在区域提议网络（Region Proposal Network，RPN）生成的候选区域中，对候选区域进行分类和边界框回归的神经网络模块。…
Pytorch从零开始实战03
Pytorch从零开始实战——天气识别
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——天气识别环境准备数据集模型选择模型训练数据可视化总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.0.1cu118&…
【深度学习】Pytorch 系列教程（四）：PyTorch数据结构：2、张量操作（Tensor Operations）：（1）数学运算：
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
1. 数学运算
a. 基本运算
b. 向量运算
c. 矩阵运算
d. 广义矩阵运算
高阶张量的乘法
卷积
e. 梯度计算 …
【深度学习】Pytorch 系列教程（一）：PyTorch数据结构：1、Tensor（张量）：维度（Dimensions）、数据类型（Data Types）
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、Tensor（张量）
1. 维度（Dimensions）
0维（标量）
1维（向量）
2维（矩阵）
3维张量
2. 数据…
Pytorch模型转ONNX部署
开始以为会很困难，但是其实非常方便，下边分两步走：1. pytorch模型转onnx；2. 使用onnx进行inference
0. 准备工作
0.1 安装onnx
安装onnx和onnxruntime，onnx貌似是个环境。。倒是没有直接使用，onnxruntim…
《动手学深度学习 Pytorch版》 5.3 延后初始化
import torch
from torch import nn
from d2l import torch as d2l下面实例化的多层感知机的输入维度是未知的，因此框架尚未初始化任何参数，显示为“UninitializedParameter”。
net nn.Sequential(nn.LazyLinear(256), nn.ReLU(), nn.LazyLinear(10))…
基于YOLOv8模型的深海鱼目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型和BDD数据集的自动驾驶目标检测系统可用于日常生活与海洋中检测与定位深海鱼目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv…
pytorch的自动微分、计算图 | 代码解析
在深度学习和机器学习中，自动微分是一个关键的概念，用于计算函数相对于其输入变量的导数（梯度）从而利用各类优化算法如梯度下降降低损失函数。PyTorch中的张量（tensor）提供了自动微分功能，它使得…
【深度学习】Pytorch 系列教程（十四）：PyTorch数据结构：6、模块（Module）：前向传播
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
3、变量（Variable）
4、数据集（Dataset）
5、数据加载器&#x…
ImportError: cannot import name ‘Mapping‘ from ‘collections‘
PS D:\Pycharm_data\小土堆pytorch学习> tensorboard --logdirlogs
Traceback (most recent call last):File "D:\Anaconda3_2022.10\envs\pytorch_cuda11.8\Scripts\tensorboard-script.py", line 5, in <module>from tensorboard.main import run_mainFil…
一文解码语言模型：语言模型的原理、实战与评估
目录 一、语言模型概述什么是语言模型？核心概念和数学表示挑战：高维度和稀疏性链式法则与条件概率举例 应用场景小结 二、n元语言模型（n-gram Language Models）基本概念数学表示 代码示例：计算Bigram概率输入与输出 优…
手刻 Deep Learning -第壹章-PyTorch入门教学-基础概念与再探线性回归
一、前言 本章会需要 微分、线性回归与矩阵的基本观念 这次我们要来做 PyTorch 的简单教学，我们先从简单的计算与自动导数（ auto grad / 微分 ）开始，使用优化器与误差计算，然后使用 PyTorch 做线性回归，还有…
Pytorch学习整理笔记（二）
文章目录 损失函数与反向传播优化器VGG模型使用与修改模型保存与读取 损失函数与反向传播
常见的损失函数： nn.L1Loss简单的做差值，nn.MSELoss平方差，nn.CrossEntropyLoss交叉熵见下图 import torch
from torch.nn import L1Loss, MSELoss, …
【深度学习】Pytorch 系列教程（十三）：PyTorch数据结构：5、数据加载器（DataLoader）
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
3、变量（Variable）
4、数据集（Dataset）
5、数据加载器&#x…
Pytorch: Torchvision、torchaudio 和 torch的关系
Torchvision、torchaudio 和 torch 是 PyTorch 深度学习框架的三个重要组成部分，它们之间有密切的关系，各自具有不同的功能和用途。
Torch:
Torch 是 PyTorch 的核心库，它提供了张量（tensor）操作和计算图构建的功能。…
yolov8实战之torchserve服务化：使用yolov8x来预打标
前言
最近在做一个目标检测的任务，部署在边缘侧，对于模型的速度要求比较严格（yolov8n这种），所以模型的大小不能弄太大，所以原模型的性能受限，更多的重点放在增加数据上。实测yolov8x在数据集上…
YOLOV7改进-添加Deformable Conv V2
可变形卷积link
class DCNv2(nn.Module):def __init__(self, in_channels, out_channels, kernel_size, stride=1,padding=1, groups=1, act=True, dilation=1, deformable_groups=1):super(DCNv2, self).__init__()self.in_channels = in_channelsself.out_channels = out_ch…
学习pytorch6 torchvision中的数据集使用
torchvision中的数据集使用 1. torchvision中的数据集使用官网文档注意点1 totensor实例化不要忘记加括号注意点2 download可以一直保持为True代码执行结果 2. DataLoader的使用 1. torchvision中的数据集使用
官网文档
注意左上角的版本 https://pytorch.org/vision/0.9/ 注…
【操作记录】pytorch_geometric安装方法
pytorch_geometric安装方法
github地址
主要不要直接pip install安装，会由于依赖无法安装而失败 点击here手动安装依赖
选择对应的pytorch版本，我的是Win10 Python3.8.3Pytorch1.8.1CUDA10.2 手动下载四个依赖包本地安装： 主要不要直接&am…
使用 PyTorch C ++前端
使用 PyTorch C 前端
PyTorch C 前端是 PyTorch 机器学习框架的纯 C 接口。 虽然 PyTorch 的主要接口自然是 Python，但此 Python API 建立于大量的 C 代码库之上，提供基本的数据结构和功能，例如张量和自动微分。 C 前端公开了纯 C 11 API&a…
耕地单目标语义分割实践——Deeplab3+语义分割
耕地单目标语义分割实践系列文章：
[1*] 语义分割实践数据集制作—以Sentinel-2 MSI数据为例_doll ～CJ的博客-CSDN博客
[2*] 耕地单目标语义分割实践——Pytorch网络过程实现理解_doll ～CJ的博客-CSDN博客
[3*] 基于Pytorch的神经网络部分…
Ubuntu 22.04 x86_64 源码编译 pytorch-v2.0.1 笔记【2】编译成功
20230831继续：
当前状态
(pytorch-build) yeqiangyeqiang-MS-7B23:~/Downloads/src/pytorch$ pwd
/home/yeqiang/Downloads/src/pytorch
(pytorch-build) yeqiangyeqiang-MS-7B23:~/Downloads/src/pytorch$ python3 -V
Python 3.10.6
(pytorch-build) yeqiangyeqi…
![[PyTorch][chapter 54][Variational Auto-Encoder 实战]](https://img-blog.csdnimg.cn/c27f973ceff14d1e95b4aac79292b719.png)
[PyTorch][chapter 54][Variational Auto-Encoder 实战]
前言： 这里主要实现： Variational Autoencoders (VAEs) 变分自动编码器 其训练效果如下 训练的过程中要注意调节forward 中的kle ,调参。
整个工程两个文件： vae.py main.py 目录： vae main 一 vae 文件名： vae…
PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化实践技术应用
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
全面掌握胶囊网络：从基础理论到PyTorch实战
本文全面深入地探讨了胶囊网络（Capsule Networks）的原理、构建块、数学模型以及在PyTorch中的实现。通过本文，读者不仅能够理解胶囊网络的基础概念和高级数学原理，还能掌握其在实际问题中的应用方法。 关注TechLead，分…
深度学习推荐系统(三)NeuralCF及其在ml-1m电影数据集上的应用
深度学习推荐系统(三)NeuralCF及其在ml-1m电影数据集上的应用
在2016年， 随着微软的Deep Crossing， 谷歌的Wide&Deep以及FNN、PNN等一大批优秀的深度学习模型被提出， 推荐系统全面进入了深度学习时代， 时至今日， …
Google colab部署VITS——零门槛快速克隆任意角色声音
目录 序言 查看GPU配置
复制代码库并安装运行环境
选择预训练模型
上传视频链接（单个不应长于20分钟）
自动处理所有上传的数据
训练质量相关：实验发现目前使用CJ模型勾选ADD_AUXILIARY，对于中/日均能训练出最好的效果&#x…
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习前言源码下载地址网络构建一、什么是Stable Diffusion（SD）二、Stable Diffusion的组成三、img2img生成流程1、输入图片编码2、文本编码…
Server - PyTorch BFloat16 “TypeError: Got unsupported ScalarType BFloat16“ 解决方案
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132665807 BFloat16 类型是 16 位的浮点数格式，可以用来加速深度学习的计算和存储。BFloat16 类型的特点是保留 32 位浮点数ÿ…
pytorch搭建squeezenet网络的整套工程，及其转tensorrt进行cuda加速
本来，前辈们用caffe搭建了一个squeezenet的工程，用起来也还行，但考虑到caffe的停更后续转trt应用在工程上时可能会有版本的问题所以搭建了一个pytorch版本的。 以下的环境搭建不再细说，主要就是pyorch，其余的需要什么p…
ChatGLM2 源码解析：`ChatGLMModel`
# 完整的 GLM 模型，包括嵌入层、编码器、输出层
class ChatGLMModel(ChatGLMPreTrainedModel):def __init__(self, config: ChatGLMConfig, deviceNone, empty_initTrue):super().__init__(config)# 如果设置了empty_init，创建任何 PyTorch 模块时&#…
Hugging Face实战-系列教程3：AutoModelForSequenceClassification文本2分类
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在notebook中进行 本篇文章配套的代码资源已经上传 下篇内容： Hugging Face实战-系列教程4：padding与attention_mask
输出我…
aarch64 arm64 部署 stable diffusion webui 笔记 【1】准备 venv 安装pytorch 验证cuda
aarch64 pytorch(没有aarch64对应版本，自行编译)
pytorch-v2.0.1 cuda arm64 aarch64 torch 2.0.1cu118 源码编译笔记【2】验证cuda安装 成功_hkNaruto的博客-CSDN博客 创建venv
[rootceph3 stable-diffusion-webui]# /usr/local/Python-3.10.12/bin/python3 -m v…
安装对应版本pytorch和torchvision
遇见报错： ERROR: Could not find a version that satisfies the requirement torch (from versions: none) ERROR: No matching distribution found for torch
解决方法： 1、网站找到对应torch和torchvision版本，cp对应python版本ÿ…
（八）mmdetection源码解读：训练数据加载流程之pipeline（二）
目录 一、DefaultFormatBundle二、Collect 上一篇文章中介绍了pipeline的主要组成，最后两个流程有点难理解，这两个流程的作用就是把数据格式化成为训练需要的格式，都定义在’/mmdet/datasets/pipelines/formating.py’ 一、DefaultFormatBund…
pytorch-构建卷积神经网络
构建卷积神经网络
卷积网络中的输入和层与传统神经网络有些区别，需重新设计，训练模块基本一致 import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from torchvision import datasets,transforms
impor…
pytorch代码实现之空间通道重组卷积SCConv
空间通道重组卷积SCConv
空间通道重组卷积SCConv，全称Spatial and Channel Reconstruction Convolution，CPR2023年提出，可以即插即用，能够在减少参数的同时提升性能的模块。其核心思想是希望能够实现减少特征冗余从而提高算法的效…
pytorch-神经网络-手写数字分类任务
Mnist分类任务： 网络基本构建与训练方法，常用函数解析 torch.nn.functional模块 nn.Module模块 读取Mnist数据集 会自动进行下载 %matplotlib inlinefrom pathlib import Path
import requestsDATA_PATH Path("data")
PATH DATA_PATH / &…
现有模型的保存与加载（PyTorch版）
我们以VGG16网络为例，来说明现有模型的保存与加载操作。
保存与加载方式均有两种，接下来我们分别来学习这两种方式。注意：保存与加载不在同一个py文件中，我们设定保存操作在save.py文件中，而加载操作在load.py文件中。…
torch.nn中的L1Loss和MSELoss
我们打开Pytorch官网，找到torch.nn中的loss function，进去如下图所示。 L1LOSS
我们先来看看 L1LOSS 损失函数的使用。下图是官网给出的描述。 L1loss有两种方式，一种是将所有误差累加作为总损失，另一种是将所有误差累加之后求平…
初次安装Pytorch过程
第一次安装Pytorch，刚开始安装的时候装错了CUDA的版本号 这里最高支持12.2.138， 但是我装了一个12.2.140的CUDA，导致不兼容我在测试时发现
import torch# if torch.cuda.is_available():
# print("GPU可用")
# else:
# p…
深度学习论文: Rethinking Mobile Block for Efficient Attention-based Models及其PyTorch实现
深度学习论文: Rethinking Mobile Block for Efficient Attention-based Models及其PyTorch实现 Rethinking Mobile Block for Efficient Attention-based Models PDF: https://arxiv.org/pdf/2301.01146.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTor…
如何理解张量、张量索引、切片、张量维度变换
Tensor 张量 Tensor，中文翻译“张量”，是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，使用张量对模型的输入和输出以及模型的参数进行编码。 Tensor 是一个 Python Class。PyTorch 官方文档中定义“Tensor࿰…
举例说明PyTorch函数torch.cat与torch.stack的区别
一、torch.cat与torch.stack的区别
torch.cat用于在给定的维度上连接多个张量，它将这些张量沿着指定维度堆叠在一起。
torch.stack用于在新的维度上堆叠多个张量，它会创建一个新的维度，并将这些张量沿着这个新维度堆叠在一起。
二、torch.…
DQN算法概述及基于Pytorch的DQN迷宫实战代码
一. DQN算法概述 1.1 算法定义
Q-Learing是在一个表格中存储动作对应的奖励值，即状态-价值函数Q(s,a)，这种算法存在很大的局限性。在现实中很多情况下，强化学习任务所面临的状态空间是连续的，存在无穷多个状态，这种情…
pytorch再次学习
目录 数据可视化切换设备device定义类打印每层的参数大小自动微分计算梯度禁用梯度追踪优化模型参数 模型保存模型加载 数据可视化
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import…
深度学习：基于循环神经网络RNN实现自然语言生成
目录 1 循环神经网络介绍
1.1 什么是循环神经网络
1.2 RNN的网络结构
1.3 RNN的工作原理
编辑
1.4 RNN的应用场景
2 基于RNN实现语句生成
2.1 句子生成介绍
2.2 基于pytorch实现语句生成
2.3 完整代码
2.4 该模型的局限
3 总结 1 循环神经网络介绍
1.1 什么是循环…
Pytorch 分布式训练（DP/DDP）
概念
PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。
分布式训练根据并行策略的不同，可以分为模型并行和数据并行。
模型并行
模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景…
pytorch学习——LSTM和GRU
参考书籍：https://zh-v2.d2l.ai/chapter_recurrent-modern/lstm.html 参考论文： https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 简介： LSTM（长短期记忆网络）和GRU（门控循环单元）…
语义分割实践思考记录（个人备忘录）
一、任务管理器、NVDIA的GPU利用率显示[1][2] 若需要在任务管理器中查看基于Pytorch框架的GPU利用率，那么，我们需要将监控面板监测内容调整为cuda。图一（左）即为英伟达命令行工具面板。 图一 英伟达GPU使用率监控 二、基于混淆矩阵…
【autodl/linux配环境心得：conda/本地配cuda，cudnn及pytorch心得】-未完成
linux配环境心得：conda/本地配cuda，cudnn及pytorch心得 我们服务器遇到的大多数找不到包的问题一，服务器安装cuda和cudnn使用conda在线安装cuda和cudnn使用conda进行本地安装检查conda安装的cuda和cudnn本地直接安装cuda和cudnn方法一&#x…
在CIFAR-10数据集上构建ResNet-18模型（pytorch版）
文章目录 1. 构建ResNet模型1.1 前置条件1.2 构建Residual Block1.3 构建ResNet-181.4 模型测试 2. 训练与评估2.1 数据预处理与加载2.2 模型训练2.3 模型评估 参考文献 1. 构建ResNet模型
我们将使用PyTorch框架来实现一个简化版的ResNet-18模型。我们的目标是构建一个可以在…
Pytorch-基于RNN的不同语种人名生成模型
一、RNN背景介绍
循环神经网络（Recurrent Neural Networks, RNN） 是一种常用的神经网络结构，它源自于1982年由Saratha Sathasivam提出的霍普菲尔德网络。 其特有的循环概念及其最重要的结构——长短时记忆网络——使得它在处理和预测序列数据…
人工智能TensorFlow PyTorch物体分类和目标检测合集【持续更新】
1. 基于TensorFlow2.3.0的花卉识别
基于TensorFlow2.3.0的花卉识别Android APP设计_基于安卓的花卉识别_lilihewo的博客-CSDN博客 2. 基于TensorFlow2.3.0的垃圾分类
基于TensorFlow2.3.0的垃圾分类Android APP设计_def model_load(img_shape(224, 224, 3)_lilihewo的博客-CS…
基于PyTorch使用LSTM实现新闻文本分类任务
本文参考
PyTorch深度学习项目实战100例
https://weibaohang.blog.csdn.net/article/details/127154284?spm1001.2014.3001.5501 文章目录 本文参考任务介绍做数据的导入 环境介绍导入必要的包介绍torchnet和keras做数据的导入给必要的参数命名加载文本数据数据前处理模型训…
PyTorch深度学习实战（15）——迁移学习
PyTorch深度学习实战（15）——迁移学习 0. 前言1. 迁移学习1.1 迁移学习基本概念1.2 迁移学习的重要性1.3 ImageNet1.4 迁移学习流程 2. VGG16 架构3. 使用预训练 VGG16 模型实现猫狗分类小结系列链接 0. 前言
迁移学习( Transfer Learning )是一种利用从…
Pytorch框架详解
文章目录 引言1. 安装与配置1.1 如何安装PyTorch1.2 验证安装 2. 基础概念2.1 张量（Tensors）2.1.1 张量的基本特性2.1.2 创建张量2.1.3 张量操作 2.2 自动微分（Autograd）2.2.1 基本使用2.2.2 计算梯度2.2.3 停止追踪历史2.2.4 自定…
Pytorch intermediate(三) BiLSTM
Bi-directional Long Short-Term Memory，双向LSTM网络。 有些时候预测可能需要由前面若干输入和后面若干输入共同决定，这样会更加准确。因此提出了双向循环神经网络，网络结构如上图。 构建LSTM模型时，在参数中添加bidirectionalTr…
Pytorch intermediate(三) RNN分类
使用RNN对MNIST手写数字进行分类。RNN和LSTM模型结构
pytorch中的LSTM的使用让人有点头晕，这里讲述的是LSTM的模型参数的意义。 1、加载数据集
import torch
import torchvision
import torch.nn as nn
import torchvision.transforms as transforms
import torc…
Pytorch Advanced(二) Variational Auto-Encoder
自编码说白了就是一个特征提取器，也可以看作是一个降维器。下面找了一张很丑的图来说明自编码的过程。 自编码分为压缩和解码两个过程。从图中可以看出来，压缩过程就是将一组数据特征进行提取， 得到更深层次的特征。解码的过程就是利用之前的…
【深度学习】Pytorch 系列教程（十）：PyTorch数据结构：2、张量操作（Tensor Operations）：（4）索引和切片详解
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
1. 数学运算
2. 统计计算
3. 张量变形
4. 索引和切片
使用索引访问单个元素
使用切片访问子集
使用索引和…
Pytorch学习：torch.max(input，dim，keepdim=False)
文章目录 torch.max()dimkeepdimdim0dim1 out：返回命名元组 (values, indices) torch.max()
torch.max(input) → Tensor：返回 input 张量中所有元素的最大值。 注意输入的必须是张量形式，输出的也为张量形式 当输入为tuple类型时…
《动手学深度学习 Pytorch版》 6.6 卷积神经网络
import torch
from torch import nn
from d2l import torch as d2l6.6.1 LeNet
LetNet-5 由两个部分组成：
- 卷积编码器：由两个卷积核组成。
- 全连接层稠密块：由三个全连接层组成。模型结构如下流程图（每个卷积块由一个卷积层、…
5-2 Pytorch中的模型层layers
深度学习模型一般由各种模型层组合而成。 torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。 例如： nn.Linear, nn.Flatten, nn.Dropout, nn.BatchNorm2d, nn.Embedding nn.Conv2d,nn.AvgPool2d,nn.Conv1d,nn.ConvTr…
【pytorch】模型常用函数（conv2d、linear、loss、maxpooling等）
1、二维卷积函数——cnv2d(): in_channels (int): 输入通道数
out_channels (int): 输出通道数
kernel_size (int or tuple): 卷积核大小
stride (int or tuple, optional): 步长 Default: 1
padding (int, tuple or str, optional): 填充 Default: 0
padding_mode (str, optio…
循环神经网络——中篇【深度学习】【PyTorch】【d2l】
文章目录 6、循环神经网络6.4、循环神经网络（RNN）6.4.1、理论部分6.4.2、代码实现 6.5、长短期记忆网络（LSTM）6.5.1、理论部分6.5.2、代码实现 6.6、门控循环单元（GRU）6.6.1、理论部分6.6.2、代码实现 6、循…
Pytorch（GPU）环境安装
winR:启动cmd; 输入nvidia-smi 查看cuda的配置
(1) 安装CUDA
地址：https://developer.nvidia.com/cuda-downloads
详细参考：安装CUDA与CUDNN与Pytorch（最新超级详细图文版本2023年8月最新）_pytorch安装cudnn_LyaJpunov的博客-C…
(Pytorch)判断一个tensor中是否存在nan
文章目录 isnanany import torch有的时候写代码会遇到nan的情况，遇到这种情况你肯定要去解决的，说明你代码有问题。如果你不解决，大概率由于模型前向传播＋训练导致模型中所有tensor都是nan，甚至中途就报错了。
nan的原…
《动手学深度学习 Pytorch版》 6.3 填充和步幅
6.3.1 填充
虽然我们用的卷积核较小，每次只会丢失几像素，但是如果应用多层连续的卷积层，累积的像素丢失就会很多。解决此问题的方法为填充。
填充后的输出形状将为 ( n h − k h p h 1 ) ( n w − k w p w 1 ) (n_h-k_hp_h1)\times(n…
【PyTorch 攻略 （3/7）】线性组件、激活函数
一、说明 神经网络是由层连接的神经元的集合。每个神经元都是一个小型计算单元，执行简单的计算来共同解决问题。它们按图层组织。有三种类型的层：输入层、隐藏层和输出层。每层包含许多神经元，但输入层除外。神经网络模仿人脑处理信息的方式。…
pytorch环境搭建到pycharm项目映射配置（成功后回顾性记录/自用）
利用Anaconda创建pytorch虚拟环境 前提：成功安装Anaconda，确保可以打开NVIDIA控制面板 开始-》搜索“Anaconda Prompt” 打开后输入：conda create -n 你的虚拟环境名 python3.9。输入y，继续安装，完成。 输入&#…
循环神经网络——下篇【深度学习】【PyTorch】【d2l】
文章目录 6、循环神经网络6.7、深度循环神经网络6.7.1、理论部分6.7.2、代码实现 6.8、双向循环神经网络6.8.1、理论部分6.8.2、代码实现 6.9、机器翻译6.9.1、理论部分 6.10、编码器解码器架构6.10.1、理论部分 6、循环神经网络
6.7、深度循环神经网络
6.7.1、理论部分
设计…
解决Pycharm使用Conda激活环境失败的问题
Q:公司电脑终端使用powershell来激活conda环境时报错? 同时手动打开powershell报"profile.ps1” 无法被加载的错误
A:
1,手动打开powershell，设置管理员打开 2,打开powershell
打开 PowerShell 终端，并输入以下命令：Get-ExecutionPo…
深度学习中安装了包但是依然导入(import)失败这一问题，例如pytorch环境下已经安装了scikit-learn但是import不了
在跑深度学习模型的时候我们要先搭建pytorch环境，这个环境跟windows环境是不同的，我们默认在windows中安装的包在当前的虚拟环境中读取不到，所以导致我们明明安装了包但是依然在实际的导入中(import)报错。解决办法就是我们去虚拟环境中安装包…
学习pytorch10 神经网络-最大池化的作用
神经网络-最大池化的作用 官方文档参数说明运算演示公式最大池化 代码code 1执行结果code2执行结果 B站小土堆学习视频 https://www.bilibili.com/video/BV1hE411t7RN?p19&spm_id_frompageDriver&vd_source9607a6d9d829b667f8f0ccaaaa142fcb 官方文档 https://pytorch…
【PyTorch攻略（1/7）】 张量基本语法
一、说明 Tensor 是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，我们使用张量对模型的输入和输出以及模型的参数进行编码。 张量类似于 NumPy 和 ndarray，除了张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和…
【PyTorch攻略（2/7）】 加载数据集
一、说明 PyTorch提供了两个数据原语：torch.utils.data.DataLoader和torch.utils.data.Dataset，允许您使用预加载的数据集以及您自己的数据。数据集存储样本及其相应的标签，DataLoader 围绕数据集包装一个可迭代对象，以便轻松访问…
【Python深度学习】深度学习框架Tensorflow、Pytorch介绍
深度学习已经成为了人工智能领域的一股重要力量，而深度学习框架则是在这个领域中进行研究和应用的必备工具。常见的深度学习框架包括TensorFlow、PyTorch、Keras、Theano和Caffe等，其中TensorFlow和PyTorch是最受欢迎的两个框架。本文将着重介绍这两个框…
语义分割笔记(二)：DeepLab V3对图像进行分割（自定义数据集从零到一进行训练、验证和测试）
文章目录 一、语义分割介绍1.1 语义分割和实例分割的区别1.2 DeepLab系列对比 二、代码下载2.1 代码测试2.2 视频学习 三、数据集准备3.1 Json转png3.2 数据集划分 四、模型训练五、模型测试六、模型评估 一、语义分割介绍
语义分割是计算机视觉中的一项技术，旨在将…
【深度学习】实验12 使用PyTorch训练模型
文章目录 使用PyTorch训练模型1. 线性回归类2. 创建数据集3. 训练模型4. 测试模型 附：系列文章 使用PyTorch训练模型
PyTorch是一个基于Python的科学计算库，它是一个开源的机器学习框架，由Facebook公司于2016年开源。它提供了构建动态计算图…
PyTorch实战：卷积神经网络详解+Python实现卷积神经网络Cifar10彩色图片分类
目录
前言
一、卷积神经网络概述
二、卷积神经网络特点
卷积运算
单通道，二维卷积运算示例
单通道，二维，带偏置的卷积示例
带填充的单通道，二维卷积运算示例
Valid卷积
Same卷积
多通道卷积计算
1.局部感知域
2.参数共…
Pytorch学习：torch.randn()
torch.randn()返回一个张量，这个张量中填充了均值为0、方差为1的正态分布中的随机数。 张量的形状由变量size定义。
有时会遇到括号中有1个、2个、3个和4个情况。
当为torch.randn(1)时，产生一个size1服从标准正态分布的张量
import torcha torch.ra…
【动手学深度学习-Pytorch版】循环神经网络-从零开始实现
"""导包并设置batch和steps大小"""
import math
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l
# num_steps是输入的小批量句子的长度
batch_size, num_steps 32, 35# device torch.…
【动手学深度学习-Pytorch版】门控循环单元GRU
关于GRU的笔记
支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。 这些机制是可学习的，并且能够解决了上面列出的问题。 例如，如果第一个词元非常重要， 模型将学会在第一…
pytorch 实战【以图像处理为例】
pytorch 实战【以图像处理为例】 训练过程中保存模型具体在训练中断如何继续 训练过程中保存模型
在PyTorch中，模型训练过程中保存模型通常涉及以下几个步骤： 保存整个模型: 使用 torch.save 函数，你可以保存整个模型，包括模型的…
基于人脸5个关键点的人脸对齐（人脸纠正）
摘要：人脸检测模型输出人脸目标框坐标和5个人脸关键点，在进行人脸比对前，需要对检测得到的人脸框进行对齐（纠正），本文将通过5个人脸关键点信息对人脸就行对齐（纠正）。
一、输入图像…
《动手学深度学习 Pytorch版》 7.1 深度卷积神经网络(AlexNet)
7.1.1 学习表征
深度卷积神经网络的突破出现在2012年。突破可归因于以下两个关键因素：
缺少的成分：数据 数据集紧缺的情况在 2010 年前后兴起的大数据浪潮中得到改善。ImageNet 挑战赛中，ImageNet数据集由斯坦福大学教授李飞飞小组的研究人…
《动手学深度学习 Pytorch版》 6.2 图像卷积
import torch
from torch import nn
from d2l import torch as d2l6.2.1 互相关计算
X torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K torch.tensor([[0.0, 1.0], [2.0, 3.0]])此处应为： 012345678
*0123
19253743
即 0 0 1 1 3 …
Pytorch之LeNet-5图像分类
💂 个人主页:风间琉璃🤟 版权: 本文由【风间琉璃】原创、在CSDN首发、需要转载请联系博主💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦 目录
前言
一、LeNet-5
二、LeNet-5网络实现
1.定义LeNet-5模型
2.加载数…
使用 PyTorch 的计算机视觉简介 （4/6）
一、说明 在本单元中，我们将了解卷 积神经网络（CNN），它是专门为 计算机视觉设计的。 多层卷积层允许我们从图像中提取某些图像模式，池化层，以及在 CIFAR-10上的表现。 二、多层 CNN 在上一个单元中…
PyTorch 模型性能分析和优化 — 第 2 部分
一、说明 这是关于分析和优化在GPU上运行的PyTorch模型的系列文章的第二部分。在我们的第一篇文章中，我们展示了使用 PyTorch Profiler 和 TensorBoard 迭代分析和优化 PyTorch 模型的过程和巨大潜力。在这篇文章中，我们将重点讨论一种特定类型的性能问…
Pytorch源码编译Libtorch
创建虚拟环境：
conda create -n build-libtorch python3.8
cd build-libtorch安装相关依赖：
conda install astunparse numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing_extensions future six requests dataclasses下载 Pytorch&am…
将强化学习引入NLP：原理、技术和代码实现
目录 1. 强化学习简介1.1 什么是强化学习？1.2 强化学习的核心组件1.2.1 智能体 (Agent)1.2.2 状态 (State)1.2.3 动作 (Action)1.2.4 奖励 (Reward) 2. 强化学习与NLP的结合2.1 为什么在NLP中使用强化学习？2.2 强化学习在NLP中的应用场景2.2.1 对话系统2…
《动手学深度学习 Pytorch版》 7.4 含并行连接的网络(GoogLeNet)
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l7.4.1 Inception块
GoogLNet 中的基本卷积块叫做 Inception 块（大概率得名于盗梦空间），由 4 条并行路径组成。
前 3 条路径使用窗口…
使用 PyTorch 的计算机视觉简介 （5/6）
一、说明 本文主要介绍CNN中在pytorch的实现，其中VGG16网络，数据集来源，以及训练过程，模型生成和存储，模型调入等。 二、预训练模型和迁移学习 训练 CNN 可能需要大量时间，并且该任务需要大量数据。但是&am…
PyTorch中的pyi檔案生成機制
PyTorch中的pyi檔案生成機制 前言pyi檔由py生成pyi.in由pyi.in生成pyitorch/CMakeLists.txttools/pyi/gen_pyi.pygen_pyinative_functionsrand.names ＆ rand.names_outrand.generator_with_names & rand.generator_with_names_outrandrand.generatorrand.outran…
Pytorch实现图像语义分割（初体验）
Pytorch实现图像语义分割（初体验）
这些天在学习图像语义分割相关的知识，并简单写了篇概述。原本想先看几篇经典论文，如全卷积网络FCN，奈何英语水平有限，翻译起来实在费劲。想来不如先直接体验一下语义分割…
现代卷积网络实战系列4：PyTorch从零构建VGGNet训练MNIST数据集
1、VGGNet
2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet&…
CBOW （以txt文本小说为例） pytorch实战
CBOW （以txt文本小说为例 pytorch实战
今天博主做了一个不错的实验，我认为，很多小伙伴可能都可以从中学到东西。
我先说一下这个实验，我做了什么，在这个实验中，博主会从零，开始从一个txt文件开…
基于PyTorch搭建FasterRCNN实现目标检测
基于PyTorch搭建FasterRCNN实现目标检测
1. 图像分类 vs. 目标检测 图像分类是一个我们为输入图像分配类标签的问题。例如，给定猫的输入图像，图像分类算法的输出是标签“猫”。
在目标检测中，我们不仅对输入图像中存在的对象感兴趣。我们还…
基于YOLOv8模型的条形码二维码检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的条形码二维码检测系统可用于日常生活中检测与定位条形码与二维码目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测…
pytorch 使用DataParallel 单机多卡和单卡保存和加载模型的正确方法
1.单卡训练，单卡加载
这里我为了把三个模块save到同一个文件里，我选择对所有的模型先封装成一个checkpoint字典，然后保存到同一个文件里，这样就可以在加载时只需要加载一个参数文件。
保存：
states {state_dict_en…
使用 PyTorch 的计算机视觉简介 （2/6）
一、说明 在本单元中，我们从最简单的图像分类方法开始——一个全连接的神经网络，也称为感知器。我们将回顾一下 PyTorch 中定义神经网络的方式，以及训练算法的工作原理。
二、数据加载的实践 首先，我们使用 pytorchcv 助手来加载…
Pytorch学习记录-1-张量
1. 张量 (Tensor):
数学中指的是多维数组；
torch.Tensor
data: 被封装的 Tensor
dtype: 张量的数据类型
shape: 张量的形状
device: 张量所在的设备，GPU/CPU
requires_grad: 指示是否需要计算梯度
grad: data 的梯度
grad_fn: 创建 Tensor 的 Functio…
（二十七）mmdetection实用工具： Visualization
目录 一、基础绘制接口二、基础存储接口三、任意点位进行可视化 一、基础绘制接口
可视化器（Visualizer）：可视化器负责对模型的特征图、预测结果和训练过程中产生的结构化日志进行可视化，支持 Tensorboard 和 WanDB 等多种可视化…
pytorch 入门（一）
本文为🔗小白入门Pytorch内部限免文章 参考本文所写记录性文章，请在文章开头注明以下内容，复制粘贴即可
⬇️基础版模板⬇️ 🐳 我正在和鲸社区参加“小白入门Pytorch” https://www.heywhale.com/home/activity/detail/64e2ce39…
NLP文本生成全解析：从传统方法到预训练完整介绍
目录 1. 引言1.1 文本生成的定义和作用1.2 自然语言处理技术在文本生成领域的使用 2 传统方法 - 基于统计的方法2.1.1 N-gram模型2.1.2 平滑技术 3. 传统方法 - 基于模板的生成3.1 定义与特点3.2 动态模板 4. 神经网络方法 - 长短时记忆网络(LSTM)LSTM的核心概念PyTorch中的LST…
【PyTorch 攻略（5/7）】训练和模型
一、说明 训练模型是一个迭代过程。每次迭代称为纪元。该模型对输出进行猜测，计算其猜测中的误差（损失），收集误差相对于其参数的导数，并使用梯度下降优化这些参数。 我们从这里加载前面的代码。 %matplotlib inl…
Pytorch load模型出错：_pickle.UnpicklingError: invalid load key, ‘＜‘.
在torch.load时候报错：
Traceback (most recent call last):File "<stdin>", line 1, in <module>File "/usr/local/lib/python3.7/dist-packages/torch/serialization.py", line 795, in loadreturn _legacy_load(opened_file, m…
深度学习论文: ISTDU-Net：Infrared Small-Target Detection U-Net及其PyTorch实现
深度学习论文: ISTDU-Net：Infrared Small-Target Detection U-Net及其PyTorch实现 ISTDU-Net：Infrared Small-Target Detection U-Net PDF: https://doi.org/10.1109/LGRS.2022.3141584 PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTo…
PyTorch框架中torch、torchvision、torchaudio与python之间的版本对应关系（9月最新版）
随着python语言和pytorch框架的更新，torch\torchvision\torchaudio与python之间的版本对应关系也在不断地更新。
最新版本torch与torchvision对应关系如下： 稍旧版本torch与torchvision对应关系如下： 最新版本torch与torchaudio对应关系如下…
pytorch的卷积层池化层和非线性变化 和机器学习线性回归
卷积层： 两个输出的情况 就会有两个通道 可以改变通道数的 最简单的神经网络结构：
nn.Mudule就是继承父类
super执行的是 先执行父类函数里面的
forward执行的就是前向网络，就是往前推进的，当然也有反向转播，那就是…
Pytorch---空间特征金字塔SPP模块的实现
文章目录 一、SPP模块二、使用pytorch实现 一、SPP模块
SPP模块是指定空间特征金字塔模块，是由何凯明在2014年的论文中所提出的。 论文地址如下： 论文地址
该模块的主要作用是：在分类网络中，通过分类器之后，与全连接…
Pytorch 深度学习实践 day01（背景）
准备
线性代数，概率论与数理统计，Python理解随机变量和分布之间的关系
人类智能和人工智能
人类智能分为推理和预测 推理：通过外界信息的输入，来进行的推测 预测：例如，看到一个真实世界的实体ÿ…
【深度学习】Pytorch 系列教程（九）：PyTorch数据结构：2、张量操作（Tensor Operations）：（3）张量变形
目录
一、前言
二、实验环境
三、PyTorch数据结构
0、分类
1、张量（Tensor）
2、张量操作（Tensor Operations）
1. 数学运算
2. 统计计算
3. 张量变形
展开张量：flatten
改变张量的形状：view
改变…
pytorch迁移学习训练图像分类
pytorch迁移学习训练图像分类 一、环境配置二、迁移学习关键代码三、完整代码四、结果对比 代码和图片等资源均来源于哔哩哔哩up主：同济子豪兄 讲解视频：Pytorch迁移学习训练自己的图像分类模型
一、环境配置
1，安装所需的包
pip install …
《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)
LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征，然后用全连接层对特征进行处理。
AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络（NiN）则是在每个像素的通道上分别使用多层感知机。
import torch
fr…
《动手学深度学习 Pytorch版》 7.2 使用块的网络(VGG)
import torch
from torch import nn
from d2l import torch as d2l7.2.1 VGG 块
AlexNet 没有提供一个通用的模板来指导后续的研究人员设计新的网络，如今研究人员转向了块的角度思考问题。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代…
PyG-GCN-Cora(在Cora数据集上应用GCN做节点分类)
文章目录 model.pymain.py参数设置注意事项运行图 model.py
import torch.nn as nn
from torch_geometric.nn import GCNConv
import torch.nn.functional as F
class gcn_cls(nn.Module):def __init__(self,in_dim,hid_dim,out_dim,dropout_size0.5):super(gcn_cls,self).__i…
基于PyTorch搭建Mask-RCNN实现实例分割
基于PyTorch搭建Mask-RCNN实现实例分割
在这篇文章中，我们将讨论 Mask RCNN Pytorch 背后的理论以及如何在 PyTorch 中使用预训练的 Mask R-CNN 模型。
1. 语义分割、目标检测和实例分割
在之前的博客文章里介绍了语义分割和目标检测（如果感兴趣可以参…
yolov8 snpe Converter does not support ‘expand‘ op type
目录
Converter does not support expand op type
后来发现分辨率一旦固定，anchors也就固定了，提前生成anchors，后面调用就行了
循环神经网络--01 序列模型
生成数据
import torch
from torch import nn
from d2l import torch as d2lT 1000
time torch.arange(1,T1,dtypetorch.float32)
x torch.sin(0.01*time)torch.normal(0,0.2,(T,))
d2l.plot(time,x,time,xlim[1,1000],figsize(6,3))将序列转换为特征-标签对（fe…
pytorch学习---实现线性回归初体验
假设我们的基础模型就是y wx b,其中w和b均为参数，我们使用y 3x0.8来构造数据x、y，所以最后通过模型应该能够得出w和b应该分别接近3和0.8。
步骤如下：
准备数据计算预测值计算损失，把参数的梯度置为0，进行反向传播…
基于YOLOv8模型的烟火目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的烟火目标检测系统可用于日常生活中检测与定位烟火目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
5-3 pytorch中的损失函数
一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective Loss Regularization) Pytorch中的损失函数一般在训练模型时候指定。 注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tenso…
循环神经网络——上篇【深度学习】【PyTorch】【d2l】
文章目录 6、循环神经网络6.1、序列模型6.1.1、序列模型6.1.2、条件概率建模6.1.2、代码实现 6.2、文本预处理6.2.1、理论部分6.2.2、代码实现 6.3、语言模型和数据集 6、循环神经网络
6.1、序列模型
6.1.1、序列模型
序列模型主要用于处理具有时序结构的数据， *…
6-3 pytorch使用GPU训练模型
深度学习的训练过程常常非常耗时，一个模型训练几个小时是家常便饭，训练几天也是常有的事情，有时候甚至要训练几十天。 训练过程的耗时主要来自于两个部分，一部分来自数据准备，另一部分来自参数迭代。 当数据准备过程还…
能用就行——玄学问题：Compile with TORCH_USE_CUDA_DSA to enable device-side assertions
配置： python 3.9.0，torch2.0.1cu118
背景： 一直使用这个配置训练都没问题。搁置了一个月之后，再次使用就显示报错“Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.” 过程： 尝试了网上的各种方…
Pytorch搭建循环神经网络RNN（简单实战）
Pytorch搭建循环神经网络RNN（简单实战）
去年写了篇《循环神经网络》,里面主要介绍了循环神经网络的结构与Tensorflow实现。而本篇博客主要介绍基于Pytorch搭建RNN。
通过Sin预测Cos
import torch
import torch.nn as nn
import numpy as np
from matp…
【YOLOV5】YOLOV5添加OTA
当前YOLOV5版本为7.0 第一步 在utils/loss.py添加ComputeLossOTA
import torch.nn.functional as F
from utils.metrics import box_iou
from utils.torch_utils import de_parallel
from utils.general import xywh2xyxyclass ComputeLossOTA:# Compute lossesdef __init__(…
6-2 pytorch中训练模型的3种方法
Pytorch通常需要用户编写自定义训练循环，训练循环的代码风格因人而异。（养成自己的习惯） 有3类典型的训练循环代码风格：脚本形式训练循环，函数形式训练循环，类形式训练循环。 下面以minist数据集的多分类模…
【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）
序言
这一节是对于“编码器-解码器”模型的实际应用，编码器和解码器架构可以使用长度可变的序列作为输入，并将其转换为固定形状的隐状态（编码器实现）。本小节将使用“fra-eng”数据集（这也是《动手学习深度学习-Pytor…
KMeans算法全面解析与应用案例
目录 一、聚类与KMeans介绍聚类的基础概念KMeans算法的重要性 二、KMeans算法原理数据集和特征空间距离度量算法步骤 三、KMeans案例实战案例背景：客户细分数据集说明Python实现代码输出与解释 四、KMeans的优缺点优点计算效率高算法简单易于实现 缺点需要预设K值对…
anaconda安装及配置+pytorch安装与配置(自用笔记)
anaconda安装及配置
1、anaconda官网下载安装包 下载好后进行安装
2、anaconda安装地址(记住安装路径)： 3、配置环境变量 打开anaconda prompt: 输入命令conda list: 可以看到安装好的很多包！ 至此anaconda配置完成。
PyTorch的安装与配置
使用con…
自动求导，计算图示意图及pytorch实现
pytorch实现
x1 torch.tensor(3.0, requires_gradTrue)
y1 torch.tensor(2.0, requires_gradTrue)
a x1 ** 2
b 3 * a
c b * y1
c.backward()
print(x1.grad)
print(y1.grad)
print(x1.grad 6 * x1 * y1)
print(y1.grad 3 * (x1 ** 2))输出为： tensor(36.) …
Pytorch之AlexNet花朵分类
💂 个人主页:风间琉璃🤟 版权: 本文由【风间琉璃】原创、在CSDN首发、需要转载请联系博主💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦 目录
一、AlexNet
1.卷积模块
2.全连接模块
3.AlexNet创新点
1.更深的神经…
PyTorch 深度学习之用PyTorch实现线性回归Linear Regression with PyTorch(四)
0. Revision 1. PyTorch Fashion 2 Prepare dataset
广播机制 loss 3 Design model 文档 callable 4 Construct Loss and Optimizer 5 Training Cycle 总结 Test model
pytorch学习笔记——BCE与CE
BCELoss的话只需要网络输出一个通道，CE Loss(Cross Entropy Loss)需要输出n_class个通道。 对于二分类任务可以使用CE Loss输出两个通道，也可以使用BCE Loss输出一个通道。 https://www.jianshu.com/p/5b01705368bb https://zhuanlan.zhihu.com/p/372628…
Ascend-pytorch插件介绍及模型迁移
Ascend-pytorch插件介绍及模型迁移
用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。
links: AscendPyTorch官方仓库PyTorch官方主页PyTorch官方文档PyTorch官方仓库
当前(2023.9.20)AscendPyTorch支持的pytorch版本如下&#x…
pytorch各种loss函数
pytorch各种loss函数 各种loss函数 各种loss函数
Loss Functionsnn.L1Loss创建一个标准来测量输入中每个元素x和目标y之间的平均绝对误差(MAE)nn.MSELoss创建一个标准，用于测量输入中每个元素x和目标y之间的均方误差(L2范数的平方)。nn.CrossEntropyLoss该准则计算…
python中pytorch的广播机制——Broadcasting
广播机制
numpy 在算术运算期间采用“广播”来处理具有不同形状的 array ，即将较小的阵列在较大的阵列上“广播”，以便它们具有兼容的形状。Broadcasting是一种没有copy数据的expand 不过两个维度不相同，在前面插入维度1扩张维度1到相同的维…
强化学习问题（一）--- 输入conda activate base无法激活虚拟环境
起因：在Pycharm中，基于python新建了环境，输入conda activate base后突然无法激活虚拟环境了
解决：
1.找到Anaconda Prompt右击进入文件所在位置
2. 右击进入属性
3. 复制cmd.exe开始到最后的路径
4. 粘贴到pycharm-settings-…
Pytorch之GoogLeNet图像分类
💂 个人主页:风间琉璃🤟 版权: 本文由【风间琉璃】原创、在CSDN首发、需要转载请联系博主💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦 目录
前言
一、GoogLeNet网络结构
1.Inception 结构
(1)Inception v1
(2)…
pytorch固定随机数中种子
1、添加到yolov7的utils/general.py文件最下面
import pkg_resources as pkg
def check_version(current0.0.0, minimum0.0.0, nameversion , pinnedFalse, hardFalse, verboseFalse):# Check version vs. required versioncurrent, minimum (pkg.parse_version(x) for x in …
掌握Python机器学习：空间模拟与时间预测的实战指南
了解全文点击:《掌握Python机器学习：空间模拟与时间预测的实战指南》 文章目录 一、机器学习原理与概述二、Python编译工具组合安装教程三、掌握Python语法及常见科学计算方法四、机器学习数据清洗五、机器学习与深度学习方法六、机器学习空间模拟实践操作七、机器…
【Pytorch笔记】3.数学运算
深度之眼官方账号 - 01-03-mp4-张量操作与线性回归
torch.add()
功能：逐元素计算inputalphaother。
torch.add(input,alpha1,other,outNone)input：tensor； alpha：other的系数，是个实数； other࿱…
P0-PyTorch环境的配置及安装
2023年9月27日
0、安装Anaconda 出现(base)说明安装成功
1、有序的管理环境
不同项目可能对Python\Pytorch的版本要求不一样，为了能够很好地切换Python\Pytorch的版本，使用Anaconda集成的conda包，创建不同的环境、不同版本软件互相隔离。 …
pytorch入门篇
文章目录 张量张量的创建直接创建依据数值创建依概率分布创建张量 张量的操作张量的拼接与切分张量索引张量变换 线性回归模型 神经网络softmaxsoftmax实现自动求导transforms方法 迁移学习保存和加载模型 张量 张量（Tensors）类似于NumPy的ndarrays&…
Pytorch中关于forward函数的理解与用法
目录 前言1. 问题所示2. 原理分析2.1 forward函数理解2.2 forward函数用法 前言
深入深度学习框架的代码，发现forward函数没有被显示调用
但代码确重写了forward函数，于是好奇是不是python的魔术方法作用
1. 问题所示
代码如下所示：
cla…
目标检测算法改进系列之Backbone替换为EfficientViT
EfficientViT
Vision Transformer (ViT) 在许多视觉任务中都取得了卓越的性能。然而，在针对高分辨率移动视觉应用时，ViT 不如卷积神经网络 (CNN)。 ViT 的关键计算瓶颈是 softmax 注意力模块，其计算复杂度与输入分辨率成二次方。降低 ViT 的…
YOLOV3代码分析
文件夹和文件的作用 config:文件的配置： 1.coco.data:存放coco数据集的相关信息，如类别总数，数据集的路径等 2.yolov3.cfg: yolov3的网络架构 data：存放训练集和测试集 1.coco:存放coco训练集和测试集 labels中存放每个照片的标签…
动手学深度学习（pytorch版）第二章-2.2数据预处理Note-pandas
1. 创建
import osos.makedirs(os.path.join(.., data), exist_okTrue)
data_file os.path.join(.., data, house_tiny.csv)
with open(data_file, w) as f:f.write(NumRooms,Alley,Price\n) # 列名f.write(NA,Pave,127500\n) # 每行表示一个数据样本f.write(2,NA,106000\…
Pytorch梯度累积实现
前言
主要用于解决显卡内存不足的问题。 梯度累积可以使用单卡实现增大batchsize的效果
梯度累积原理
按顺序执行Mini-Batch，同时对梯度进行累积，累积的结果在最后一个Mini-Batch计算后求平均更新模型变量。 a c c u m u l a t e d ∑ i 0 N g r a…
小白入门pytorch(二)----神经网络
本文为🔗[小白入门Pytorch]学习记录博客 文章目录 前言一、神经网络的组成部分1.神经元2.神经网络层3.损失函数4.优化器 二、Pytorch构建神经网络中的网络层全连接层2.卷积层3.池化层4.循环神经网络5.转置卷积层6.归一化层7.激活函数层 三、数据加载与预处理1.数据加…
Pytorch CUDA11.4版本匹配
1.查看CUDA，并查找对应的torch的版本
首先判断自己是否适合使用GPU版本的torch，打开自己的cmd输入
NVIDIA-smi CUDA11.4版本比较特殊的版本，可以用CUDA11.3版本
2.下载orch、torchvision、torchaudio(三者版本要相关)
知道pytorch可以下载…
Unrecognized option ‘stream_loop‘.（版本不匹配，利用make编译安装）
执行如下命令：
ffmpeg -re -stream_loop -1 -i 1.mp4 -vcodec copy -acodec copy -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live1.sdp报如下错误：Unrecognized option ‘stream_loop’. 查看ffmpeg版本：ffmpeg -version
显示&am…
Pytorch基础：Tensor的reshape方法
相关阅读
Pytorch基础https://blog.csdn.net/weixin_45791458/category_12457644.html?spm1001.2014.3001.5482 在Pytorch中，reshape是Tensor的一个重要方法，它与Numpy中的reshape类似，用于返回一个改变了形状但数据和数据顺序和原来一致的…
Pytorch基础：Tensor的transpose方法
相关阅读
Pytorch基础https://blog.csdn.net/weixin_45791458/category_12457644.html?spm1001.2014.3001.5482 在Pytorch中，transpose是Tensor的一个重要方法，同时它也是一个torch模块中的一个函数，它们的语法如下所示。
Tensor.transpo…
yolov5-6.0使用改进
代码版本V6.0 源码
YOLOv5 v6.0 release 改动速览
推出了新的 P5 和 P6 ‘Nano’ 模型： YOLOV5n和YOLOV5n6。 Nano 将 YOLOv5s 的深度倍数保持为 0.33，但将 YOLOv5 的宽度倍数从 0.50 降低到 0.25，从而将参数从 7.5M 降低到 1.9M࿰…
保姆级Anaconda安装教程
一.anaconda下载
建议使用清华大学开源软件镜像站进行下载，使用官网下载速度比较慢。 anaconda清华大学开源软件镜像站 ： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
一路next即可，注意添加环境变量得选项都勾上。
二.验证…
【Pytorch笔记】4.梯度计算
深度之眼官方账号 - 01-04-mp4-计算图与动态图机制
前置知识：计算图 可以参考我的笔记： 【学习笔记】计算机视觉与深度学习(2.全连接神经网络)
计算图 以这棵计算图为例。这个计算图中，叶子节点为x和w。
import torchw torch.tensor([1.]…
Pytorch深度学习训练模型保存问题，找不到保存路径
执行torch.save(net.state_dict(), save_path_pth)报错： RuntimeError: Parent directory D:\xxxxxxxxxxx\weights does not exist. 将文件路径的中文改成全英文就可以了。
注意：这个代码在torch1.7版本无报错，但是在1.13.1版本报错。在linu…
如何实现torch.arange的tensor版本
文章目录 背景实现方案不可行的情况 背景
import torch我们都知道，torch.arange只支持数字，不支持tensor，如下：
torch.arange(0,5,1)tensor([0, 1, 2, 3, 4]) 但是如果使用tensor，就会报错：
torch.arang…
pytorch_神经网络构建1
文章目录 pytorch简介神经网络基础分类问题分析:逻辑回归模型逻辑回归实现多层神经网络多层网络搭建保存模型 pytorch简介
为什么神经网络要自定义数据类型torch.tensor? tensor可以放在gpu上训练,支持自动求导,方便快速训练,同时支持numpy的运算,是加强版,numpy不支持这些 为…
Tensorflow、Pytorch和Ray（张量，计算图）
1.深度学习框架（Tensorflow、Pytorch） 1.1由来 可以追溯到2016年，当年最著名的事件是alphago战胜人类围棋巅峰柯洁，在那之后，学界普遍认为人工智能已经可以在一些领域超过人类，未来也必将可以在更多领域超过…
pytorch中transform.Compose()用法
torchvision.transforms.Compose(transforms) 是 PyTorch 中 torchvision 包提供的一个函数，用于将多个图像变换操作组成一个变换操作序列。它接受一个变换操作列表 transforms 作为输入，并返回组合后的变换操作。这个组合操作可以应用于数据增强&#x…
AlexNet网络复现
1. 引言
在现代计算机视觉领域，深度学习已经成为了一个核心技术，其影响力远超过了传统的图像处理方法。但深度学习，特别是卷积神经网络（CNN）在计算机视觉的主导地位并不是从一开始就有的。在2012年之前，计…
Netron可视化深度学习网络结构
有时候，我们构建网络模型想要直观的查看网络详细结构图，但是苦于没有办法。但是有了Netron以后，我们就可以将对应的onnx模型直接可视化，这样不仅可以观察网络的详细结构图，还可以查看网络每一层的具体参数，…
模型训练环境相关（CUDA、PyTorch）
模型训练环境相关（CUDA、PyTorch） 1. 查看当前 GPU 所能支持的最高版本的 CUDA2. 如何判断是否安装了 CUDA3. 安装 PyTorch3.1 创建虚拟环境3.2 激活并进入虚拟环境3.3 安装 PyTorch 1. 查看当前 GPU 所能支持的最高版本的 CUDA
打开 NVIDIA 控制面板&a…
【动手学深度学习-Pytorch版】Transformer代码总结
本文是纯纯的撸代码讲解，没有任何Transformer的基础内容~ 是从0榨干Transformer代码系列，借用的是李沐老师上课时讲解的代码。 本文是根据每个模块的实现过程来进行讲解的。如果您想获取关于Transformer具体的实现细节（不含代码）可…
【torch】parameters与named_parameters的区别
【torch】parameters与named_parameters的区别
前言
为了详细的查看网络的结构参数等，因此本文研究一下 parameters()与 named_parameters 的区别。 此示例属于从 nn.Module 中继承的成员函数。函数位于：[python环境路径]/lib/python3.8/site-packages…
PyTorch入门之【tensor】
目录 tensor的创建tensor的相关信息tensor的运算 tensor的创建
1.手动创建
import torch
test1torch.tensor([1,2,3])#一维时为向量
test2torch.tensor([[1,2,3]])#二维时为矩阵
test3torch.tensor([[[1,2,3]]])#三维及以上统称为tensor
print(test1)
print(test2)
print(tes…
在conda虚拟环境下安装PyTorch-gpu版本
conda环境配置 在conda虚拟环境下安装PyTorch-gpu版本1. 下载好anaconda以及CUDA2. 创建并进入虚拟环境 选择python版本3. 找对python torch torchvision cuda的对应版本 并 下载安装4. 测试是否成功5. 参考资料 在conda虚拟环境下安装PyTorch-gpu版本
引言： 学会在…
Python：torch.nn.Conv1d(), torch.nn.Conv2d()和torch.nn.Conv3d()函数理解
Python：torch.nn.Conv1d(), torch.nn.Conv2d()和torch.nn.Conv3d()函数理解
1. 函数参数
在torch中的卷积操作有三个，torch.nn.Conv1d(),torch.nn.Conv2d()还有torch.nn.Conv3d(),这是搭建网络过程中常用的网络层，为了用好卷积层࿰…
从零开始学习线性回归：理论、实践与PyTorch实现
文章目录 🥦介绍🥦基本知识🥦代码实现🥦完整代码🥦总结 🥦介绍 线性回归是统计学和机器学习中最简单而强大的算法之一，用于建模和预测连续性数值输出与输入特征之间的关系。本博客将深入探讨线性…
基于YOLOv8模型的船只目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的船只目标检测系统可用于日常生活中检测与定位船只目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
PyTorch 深度学习实战
文章目录 前言1. 环境安装1.Anaconda2.pytorch cuda 环境3.测试 前言 1. 环境安装
1.Anaconda
可以参考这里：Anaconda学习
2.pytorch cuda 环境
我是按照下面的博客一步步完成，亲测有效 Pytorch安装教程（最全最详细版）
我的…
PyTorch深度学习实战（20）——从零开始实现R-CNN目标检测
PyTorch深度学习实战（20）——从零开始实现R-CNN目标检测 0. 前言1. R-CNN 目标检测模型1.1 核心思想1.2 算法流程 2. 实现 R-CNN 目标检测2.1 数据集准备2.2 获取区域提议和偏移量2.3 创建训练数据2.4 构建 R-CNN 架构 3. R-CNN目标检测模型测试小结系列…
基于YOLOv8模型和WiderPerson数据集的行人目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型和WiderPerson数据集的行人目标检测系统可用于日常生活中检测与定位行人目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标…
Pytorch笔记之回归
文章目录 前言一、导入库二、数据处理三、构建模型四、迭代训练五、结果预测总结 前言
以线性回归为例，记录Pytorch的基本使用方法。 一、导入库
import numpy as np
import matplotlib.pyplot as plt
import torch
from torch.autograd import Variable # 定义求…
Langchain-Chatchat项目：1-整体介绍
基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。
一.项目介绍 1.实现原理 本项目实现原理如下图所示，过程包括加载文件->读取文本->文本…
激活函数与loss的梯度
激活函数： 最开始由生物学家对青蛙的神经元机制进行研究发现，青蛙的神经元有多个输入x0、x1、x2，响应值是他们加权后的结果，但响应值如果小于阈值，则不会响应，而只有大于阈值时，才会有固定的响应…
one-hot独热编码
到目前为止，表示分类变量最常用的方法就是使用one-hot编码或N取一编码，也叫虚拟变量。虚拟变量背后的思想是将一个分类变量替换为一个或多个新特征，新特征取值为0或1.对于线性二分类（以及scikit-learn中其他所有模型）的…
梯度裁剪：torch.nn.utils.clip_grad_norm_详解
梯度裁剪是为了防止梯度爆炸。在训练FCOS算法时，因为训练过程出现了损失为NaN的情况，在github issue有很多都是这种训练过程出现loss为NaN，使用torch.nn.utils.clip_grad_norm_梯度裁剪函数，可以有效预防梯度爆炸的情况发生。
1 …
python pytorch- TextCNN TextRNN FastText Transfermer （中英文）文本情感分类实战（附数据集，代码皆可运行）
python pytorch- TextCNN TextRNN FastText Transfermer 文本情感分类实战（附数据集，代码皆可运行）
注：本次实验，主要注重代码实现这些模型，博主的数据集质量较差，模型评估效果并不是十分理想&…
pytorch_神经网络构建3
文章目录 卷积神经网络实现卷积层,池化层池化层:数据标准化AlexNet卷积网络深层网络结构vgggoogleNet网络结构ResNet网络结构DensNet网络结构训练卷积神经网络会遇到的一些问题学习率衰减 卷积神经网络
前面讲述了逻辑回归分类,模拟函数回归问题,单层,深层网络,它们以点和向量…
Transformer预测 | Pytorch实现基于Transformer的时间序列预测（含单步与多步实验）
文章目录 效果一览文章概述模型描述程序设计单步实验多步实验参考资料效果一览 文章概述 Transformer预测 | Pytorch实现基于Transformer的时间序列预测（含单步与多步实验） Transformer-singlestep.py 包含单步预测模型 Transformer-multistep.py 包含多步预测模型 这是单步预…
pytorch Nvidia 数据预处理加速
目录
安装：
预处理加速：
学习笔记： 参考：
深度学习预处理工具---DALI详解_nvidia.dali.fn_扫地的小何尚的博客-CSDN博客
安装：
pip install nvidia-pyindex pip install nvidia-dali-cuda110 import nvidia.dali…
函数reshape（-1，）里的-1的意思
reshape函数是对narray的数据结构进行维度变换，由于变换遵循对象元素个数不变，在进行变换时，假设一个数据对象narray的总元素个数为N，如果我们给出一个维度为（m，-1）时，我们就理解为将…
PyTorch模型的多种导出方式提供给其他程序使用
PyTorch模型的多种导出方式提供给其他程序使用
flyfish PyTorch模型的多种导出方式 PyTorch模型的多种导出方式提供给其他程序使用1 模型可视化2 预训练模型3 ONNX模型导出有输入有输出TRAINING导出方式EVAL导出方式 4 自定义输入输出的名字，并可批量推理5 导出JI…
【pytorch】深度学习准备：基本配置
深度学习中常用包
import os
import numpy as np
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader
import torch.optim as optimizer超参数设置 2种设置方式：将超参数直接设置在训练的代码中；用yaml、json&…
基于YOLOv8模型的二维码目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的二维码目标检测系统可用于日常生活中检测与定位车辆目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据…
Pytorch - 数据增广
增加一个已有数据集，使得有更多的多样性
在语言里面加入各种不同的背景噪音改变图片的颜色和形状
翻转
左右翻转上下翻转
但是并不总是可行的。 切割
从图片中切割一块，然后变形到固定形状
随机高宽比随机大小随机位置 颜色
改变色调、饱和度、明…
Pytorch代码入门学习之分类任务（二）：定义数据集
一、导包
import torch
import torchvision
import torchvision.transforms as transforms
二、下载数据集
2.1 代码展示
# 定义数据加载进来后的初始化操作：
transform transforms.Compose([# 张量转换：transforms.ToTensor(),# 归一化操作&#x…
Pytorch--3.使用CNN和LSTM对数据进行预测
这个系列前面的文章我们学会了使用全连接层来做简单的回归任务，但是在现实情况里，我们不仅需要做回归，可能还需要做预测工作。同时，我们的数据可能在时空上有着联系，但是简单的全连接层并不能满足我们的需求࿰…
【Pytorch】深度学习之数据读取
数据读入流程 使用DatasetDataLoader完成Pytorch中数据读入 Dataset定义数据格式和数据变换形式 DataLoader用iterative的方式不断读入批次数据，实现将数据集分为小批量进行训练
使用PyTorch自带数据集 使用Dataset完成数据格式和数据变换的定义
import torch
fro…
torch.hub.load报错urllib.error.HTTPError: HTTP Error 403: rate limit exceeded
在运行DINOv2的示例代码时，需要载入预训练的模型，比如：
backbone_model torch.hub.load(repo_or_dir"facebookresearch/dinov2", modelbackbone_name)
torch.hub.load报错“urllib.error.HTTPError: HTTP Error 403: rate limit…
卷积神经网络CNN基础知识
目录 1 前言2 卷积神经网络CNN2.1 LeNet-5相关介绍2.2 CNN基本结构2.2.1 卷积层2.2.2 池化层（下采样层）2.2.3 全连接层2.2.3.1激励层（非线性激活）2.2.3.2 线性层2.2.3.3 Dropout层2.2.3.4 总结 2.3 图像的上采样和下采样2.3.1 上采…
PyTorch 深度学习之处理多维特征的输入Multiple Dimension Input(六)
1.Multiple Dimension Logistic Regression Model 1.1 Mini-Batch (N samples) 8D->1D 8D->2D 8D->6D 1.2 Neural Network 学习能力太好也不行（学习到的是数据集中的噪声），最好的是要泛化能力，超参数尝试
Example, Arti…
PyTorch 深度学习之卷积神经网络(基础篇)Basic CNN(九)
0. Revision: Fully connected Neural Network 全连接 1. Convolution Neural Network
保留空间信息 1.1 Convolution Convolution-Single Input Channel 单通道
数乘 3 input Channels 3通道 N input Channels N input Channels and M output channel
M 个卷积核 1.2 conv…
Linux服务器快速搭建pytorch
Linux服务器搭建pytorch 文章目录 Linux服务器搭建pytorch一、使用FileZilla传输Anaconda二、激活Anaconda环境1.创建一个虚拟环境2.使用已有项目生成requirements.txt3.在虚拟环境中使用requirements.txt安装其他项目相关库 总结 一、使用FileZilla传输Anaconda
提示…
【PyTorchTensorBoard实战】GPU与CPU的计算速度对比（附代码）
0. 前言 按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容可能存在不准确的地方。如果发现文中错误，希望批评指正，共同进步。 本文基于PyTorch通过tensor点积所需要的时…
使用PyTorch处理多维特征输入的完美指南
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
Graph U-Net Code【图分类】
1. main.py # GNet是需要用到的model
net GNet(G_data.feat_dim, G_data.num_class, args) # graph, 特征维度，类别数，参数
trainer Trainer(args, net, G_data) #开始训练数据
# 正式开始训练数据
trainer.train()2. network.py
class GNet(nn.Modul…
Pytorch之MobileViT图像分类
文章目录 前言一、Transformer存在的问题二、MobileViT1.MobileViT网络结构🍓 Vision Transformer结构🍉MobileViT结构 2.MV2(MobileNet v2 block)3.MobileViT block🥇Local representations🥈Transformers as Convolutions (glob…
【Pytorch】深度学习之优化器
文章目录 Pytorch提供的优化器所有优化器的基类Optimizer 实际操作实验参考资料 优化器 根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值，使得模型输出更加接近真实标签的工具 学习目标 Pytorch提供的优化器
优化器的库torch.opt…
python openai宠物名字生成器
文章目录 OpenAICompletion宠物名字生成器提示词工程 prompt enginering 构建应用程序结果展示 OpenAI
OpenAI 已经训练了非常擅长理解和生成文本的领先的语言模型。我们的 API 提供对这些模型的访问，可用于处理几乎任何涉及”语言处理“的任务。
Completion
补全…
ReID的各种Loss的pytorch实现
为了提高ReID的性能通常会采用softmax loss 联合 Triplet Loss和Center Loss来提高算法的性能。
本文对Triplet Loss和Cnetr Loss做一个总结，以简洁的方式帮助理解。
Triplet Loss和Center Loss都是从人脸识别领域里面提出来的，后面在各种图像检索任务…
如何优雅地读取网络的中间特征？
0.前言
在调试深度神经网络工程时，常会在前向计算过程中将网络的中间层信息返回，便于打印或者可视化网络中间结果。实现该功能的一个常用方法是在构建model类时，在forward返回要保留的中间信息。
这里跟大家分享一个更优雅、便捷的方法&…
PyTorch 深度学习之循环神经网络(基础篇)Basic RNN(十一)
0.Revision: DNN dense 重义层 全连接 RNN处理带有序列的数据
1. What is RNNs?
linear layer 1.1 What is RNN?
tanh (-1, 1) 1.2 RNN Cell in PyTorch 1.3 How to use RNNCell *先把维度搞清楚 多了一个序列的维度
2. How to use RNN 2.1 How to use RNN - numLayers…
【超级简单】3步 安装conda + pytorch gpu版本
【超级简单】3步 安装conda pytorch gpu版本 1. 创建虚拟环境至于python 3.X和cuda对应 ？ 2. 下载cuda 驱动，cuda toolkit3. 虚拟环境中输入以下指令至于 怎么查看自己电脑对应的cuda版本号 ？有疑惑可以再看看这篇文章写的。 下载anaconda&a…
ubuntu下yolox tensorrt模型部署
TensorRT系列教程之 Windows10下yolov8 tensorrt模型加速部署TensorRT系列教程之 Linux下 yolov8 tensorrt模型加速部署TensorRT系列教程之 Linux下 yolov7 tensorrt模型加速部署TensorRT系列教程之 Linux下 yolov6 tensorrt模型加速部署TensorRT系列教程之 Linux下 yolov5 ten…
【机器学习】PyTorch-MNIST-手写字识别
文章目录 前言完成效果一、下载数据集手动下载代码下载MNIST数据集： 二、 展示图片三、DataLoader数据加载器四、搭建神经网络五、 训练和测试第一次运行： 六、优化模型第二次优化后运行： 七、完整代码八、手写板实现输入识别功能 前言
注意…
基于YOLOv8模型的老虎目标检测系统（PyTorch+Pyside6+YOLOv8模型）
摘要：基于YOLOv8模型的老虎目标检测系统可用于日常生活中检测与定位老虎目标，利用深度学习算法可实现图片、视频、摄像头等方式的目标检测，另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
人工智能(pytorch)搭建模型20-基于pytorch搭建文本生成视频的生成对抗网络，技术创新点介绍
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型20-基于pytorch搭建文本生成视频的生成对抗网络，技术创新点介绍，随着人工智能和深度学习技术的飞速发展，文本到视频生成已经成为计算机视觉领域中一个重…
pytorch分布式数据训练结合学习率周期及混合精度
正如标题所写，我们正常的普通训练都是单机单卡或单机多卡。而往往一个高精度的模型需要训练时间很长，所以DDP分布式数据并行和混合精度可以加速模型训练。混精可以增大batch size.
如下提供示例代码，经过官网查阅验证的。原始代码由百度文心…
![[PyTorch]即插即用的热力图生成](https://img-blog.csdnimg.cn/35ef71fe612245bfb21c75164ca0480d.png)
[PyTorch]即插即用的热力图生成
先上张效果图，本来打算移植霹雳老师的使用Pytorch实现Grad-CAM并绘制热力图。但是看了下代码，需要骨干网络按照标准写法（即将特征层封装为features数组），而我写的网络图省事并没有进行封装，改造网络的代价又…
TensorRT系列教程
仓库
TensorRT-Alpha：https://github.com/FeiYull/TensorRT-Alpha 该仓库使用CUDA C作图像处理加速，基于TensorRT推理模型，实现快速模型推理。
教程目录 TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 y…
轻量级超分网络：Edge-oriented Convolution Block for Real-timeMM21_ECBSR 和 eSR
文章目录 ECBSR（Edge-oriented Convolution Block for Real-timeMM21_ECBSR）1. 作者目的是开发一个高效的适合移动端的超分网络。2. 作者决定使用plain net ，但是效果不好，因此利用重参数化方法，丰富特征表示。3. re-p…
pretrained model的参数修改，满足自己创建的net
https://github.com/huynguyenbao/Practical-Deep-Raw-Image-Denoising-on-Mobile-Devices 中的网络模型是处理raw图的 4个通道 修改为处理rgb图的三个通道，如果要想加载作者提供的pretraine weight, 则需要修改一下 不匹配的层的参数。
if __name__ "__main…
一些经典的神经网络（第17天）
1. 经典神经网络LeNet
LeNet是早期成功的神经网络； 先使用卷积层来学习图片空间信息 然后使用全连接层来转到到类别空间
【通过在卷积层后加入激活函数，可以引入非线性、增加模型的表达能力、增强稀疏性和解决梯度消失等问题，从而提高卷积…
【机器学习】随机种子Random Seed介绍（在Python、Pytorch、TensorFlow中的设置代码汇总）
Random seed（随机种子） 是在生成随机数时使用的起始点。它用于控制随机数生成器产生随机数的序列。设置了随机种子后，每次生成的随机数序列将是确定性的，这意味着可以在不同的运行中获得相同的随机数序列，从而使实验可…
模型部署笔记--Pytorch-FX量化
目录
1--Pytorch-FX量化
2--校准模型
3--代码实例
3-1--主函数
3-2--prepare_dataloader函数
3-3--训练和测试函数 1--Pytorch-FX量化 Pytorch在torch.quantization.quantize_fx中提供了两个API，即prepare_fx和convert_fx。 prepare_fx的作用是准备量化&#…
PyTorch入门教学——TensorBoard使用
1、TensorBoard简介
TensorBoard是Google开发的一个机器学习可视化工具。其主要用于记录机器学习过程，例如： 记录损失变化、准确率变化等记录图片变化、语音变化、文本变化等。例如在做GAN时，可以过一段时间记录一张生成的图片绘制模型
2、…
Pytorch深度学习 - 学习笔记
文章目录 Pytorch深度学习1. Pytorch加载数据初认识2. TensorBoard3. Transforms常见的transform 4. torchvision中的数据集使用5. DataLoader使用6. 神经网络6.1 神经网络的基本骨架6.2 卷积层6.3 最大池化的使用6.4 非线性激活6.5 线性层及其他层6.6 小实战及Sequential 7. 损…
pytorch+LSTM实现使用单参数预测，以及多参数预测（代码注释版）
开发前准备：
环境管理：Anaconda python: 3.8 显卡：NVIDIA3060 pytorch: 到官网选择conda版本，使用的是CUDA11.8 编译器： PyCharm
简述：
本次使用seaborn库中的flights数据集来做试验，我们通过…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割1（综述篇）
在上一个关于3D 目标的任务，是基于普通CNN网络的3D分类任务。在这个任务中，分类数据采用的是CT结节的LIDC-IDRI数据集，其中对结节的良恶性、毛刺、分叶征等等特征进行了各自的等级分类。感兴趣的可以直接点击下方的链接，直达学习&…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割2（基础数据流篇）
构建pytorch训练模型读取的数据，是有模版可以参考的，是有套路的，这点相信使用过的人都知道。我也会给出一个套路的模版，方便学习和查询。
同时，也可以先去参考学习之前的一篇较为简单的3D分类任务的数据构建方法，链接在这里：【3D图像分类】基于Pytorch的3D立体图像分类…
FGSM快速梯度符号法非定向攻击代码（PyTorch）
数据集：手写字体识别MNIST
模型：LeNet
import torch.nn as nn
import torch.nn.functional as F
import torch
from torchvision import datasets, transforms
import matplotlib.pyplot as plt
use_cuda True
device torch.device("cuda"…
nn.AdaptiveAvgPool2d(output_size)详解
谨防原文失效：https://blog.csdn.net/m0_51004308/article/details/118000391 1、函数语法格式和作用
作用: 自适应平均池化，指定输出（H，W）
函数语言格式:nn.AdaptiveAvgPool2d(output_size)
2、参数解释 output_si…
torch的gpu上做fft，其中dim参数含义解释
在torch.fft.fftn函数中：
dim(0,)表示只在第一个维度（即行）上进行傅立叶变换。 dim(-1,)或者dim(1,)表示只在最后一个维度（即列）上进行傅立叶变换。 dim(-2, -1)或者dim(0, 1)表示在所有维度（即行和列&…
pytorch中的矩阵乘法
1. 运算符介绍
关于运算，*运算，torch.mul(), torch.mm(), torch.mv(), tensor.t() 和 *代表矩阵的两种相乘方式：
表示常规的数学上定义的矩阵相乘； *表示两个矩阵对应位置处的两个元素相乘。
1.1 矩阵点乘
*和torch.mul()等同…
深度学习遇到 DolphinDB AI DataLoader
深度学习模型有能力自动发现变量之间的关系，而这些关系通常是不可见的，这使得深度学习可以挖掘新的因子和规律，为量化投资策略提供更多可能性。在传统的量化策略开发流程中，通常会使用 Python 或第三方工具生成因子，并…
[Pytorch] 保存模型与加载模型
1、保存模型
# 定义模型
model BPNetModel(n_featuren_feature,n_hiddenn_hidden,n_outputn_output) #调用网络# 保存模型
torch.save(model, BPNetModel0.pth)
2、加载模型
import torch## 读取模型
model torch.load(BPNetModel0.pth)
3、保存模型参数 #调用网络
mode…
使用pytorch实现高斯混合模型分类器
本文是一个利用Pytorch构建高斯混合模型分类器的尝试。我们将从头开始构建高斯混合模型(GMM)。这样可以对高斯混合模型有一个最基本的理解，本文不会涉及数学，因为我们在以前的文章中进行过很详细的介绍。
本文将使用这些库 import torchimport numpy as…
目标检测算法改进系列之嵌入动态蛇形卷积模块DySnakeConv
动态蛇形卷积模块DySnakeConv
血管、道路等拓扑管状结构的精确分割在各个领域都至关重要，确保下游任务的准确性和效率。 然而，许多因素使任务变得复杂，包括薄的局部结构和可变的全局形态。在这项工作中，我们注意到管状结构的特殊…
TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(二)
目录 前言1. YOLOv7-PTQ量化流程2. 模型标定3. 敏感层分析 前言 手写 AI 推出的全新 TensorRT 模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。 该实战课程主要基于手写 AI 的 Latte 老师所出的 TensorRT下的模型量化，在其课程的基…
相似度loss汇总，pytorch code
用于约束图像生成，作为loss。
可梯度优化
pytorch structural similarity (SSIM) loss https://github.com/Po-Hsun-Su/pytorch-ssimhttps://github.com/harveyslash/Facial-Similarity-with-Siamese-Networks-in-Pytorch/blob/master/Siamese-networks-medium.ip…
基于Pytorch的驾驶员分心行为实时检测
本文使用深度学习和Pytorch(PyTorch 2.0.1\Torchvision 0.15.2)实时检测驾驶员的分心行为，并附录完整代码。 检测分心驾驶是现代汽车中最重要的功能之一。无论是自动驾驶汽车还是其它高端汽车，都配备了驾驶员监控系统，以持续跟踪驾驶员的行为。这对确保驾驶员保持目光在道路…
PyTorch基础（18）-- torch.stack()方法
一、方法详解
首先，看一下stack的直观解释，动词可以简单理解为：把……放成一堆、把……放成一摞。 有了对stack方法的直观感受，接下来，我们正式解析torch.stack方法。 PyTorch torch.stack() method joins (concaten…
《动手学深度学习 Pytorch版》 10.3 注意力评分函数
上一节使用的高斯核的指数部分可以视为注意力评分函数（attention scoring function），简称评分函数（scoring function）。
后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是…
（PyTorch）PyTorch中的常见运算（*、@、Mul、Matmul）
1. 矩阵与标量
矩阵（张量）每一个元素与标量进行操作。
import torch
a torch.tensor([1,2])
print(a1)
>>> tensor([2, 3])
2. 哈达玛积（Mul）
两个相同尺寸的张量相乘，然后对应元素的相乘就是这个哈达玛…
【人脸检测 FPS 1000+】ubuntu下libfacedetection tensorrt部署
TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署 TensorRT系列之 Linux下 yolov5 tensorrt模型加速…
《从零开始大模型开发与微调 ：基于PyTorch与ChatGLM》简介
内 容 简 介
大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，…
Pytorch入门实例的分解写法
数据集是受教育年限和收入,如下图 代码如下
import torch
import numpy as np
import matplotlib.pyplot as plt
import pandas as pddata pd.read_csv(./Income.csv)X torch.from_numpy(data.Education.values.reshape(-1,1).astype(np.float32))
Y torch.from_numpy(data…
搭建Pytorch的GPU环境超详细
效果 1、下载和安装VS2019
https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/
登录需要用户名和密码 安装后需要联网下载组件的，安装的时候要勾选使用C++的桌面开发
2、下载和安装显卡驱动
查看自己的显卡型号 从英伟达下载和安装最新驱动
PyTorch入门教学——torchvision中数据集的使用
1、torchvision.datasets
datasets是torchvision工具集中的一个工具。可以理解为调用官方数据集的一种方式，其中有很多开源的数据集，可供我们学习使用。datasets官网：Datasets — Torchvision 0.16 documentation (pytorch.org)
2、使用
…
【Python · PyTorch】线性代数 微积分
本文采用Python及PyTorch版本如下： Python：3.9.0 PyTorch：2.0.1cpu
本文为博主自用知识点提纲，无过于具体介绍，详细内容请参考其他文章。 线性代数 & 微积分 1. 线性代数1.1 基础1.1.1 标量1.1.2 向量长度&…
TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(一)
目录 前言1. YOLOv7-PTQ量化流程2. 准备工作3. 插入QDQ节点3.1 自动插入QDQ节点3.2 手动插入QDQ节点 前言 手写 AI 推出的全新 TensorRT 模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。 该实战课程主要基于手写 AI 的 Latte 老师所出的 Tens…
基于Pytorch框架的LSTM算法(二)——多维度单步预测
1.项目说明
**选用Close和Low两个特征，使用窗口time_steps窗口的2个特征，然后预测Close这一个特征数据未来一天的数据
当batch_firstTrue,则LSTM的inputs(batch_size,time_steps,input_size)
batch_size len(data)-time_steps time_steps 滑动窗口&…
pytorch 学习率衰减策略
##学习率衰减策略
import torch.nn.functional as F
import torch
import torch.nn as nn
import matplotlib.pyplot as plt#初始化模型
class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.conv1 = nn.Conv2d(1, 10, kernel_size=5)self.conv2 = nn.Co…
PyTorch入门学习（十八）：利用GPU训练
目录
一、数据准备
二、模型迁移至GPU
三、设置损失函数和优化器
四、GPU加速训练
五、保存模型 一、数据准备
首先，需要准备训练和测试数据集。在示例中，使用CIFAR-10数据集作为示例。数据准备包括数据下载、数据预处理和数据加载。
import torc…
conda环境中pytorch1.2.0版本安装包安装一直失败解决办法！！！
conda环境中pytorch1.2.0版本安装包安装一直失败解决办法
cuda10.0以及cudnn7.4现在以及安装完成，就差torch的安装了，现在torch我要装的是1.2.0版本的，安装包以及下载好了，安装包都是在这个网站里下载的（点此进入&…
问题记录（待解决）｜由 apt install nvidia-cuda-toolkit 引发的灾难
捣鼓环境的时候，按照网上的办法执行 sudo apt install nvidia-cuda-toolkit 后，28号机器的 nvidia-smi 命令直接无法使用了……
# nvidia-smi
Failed to initialize NVML: Driver/library version mismatchcuda 也无法被正确识别：
# python…
2.11、自定义图融合过程与量化管线
introduction
介绍如何自定义量化优化过程，以及如何手动调用优化过程
code
from typing import Callable, Iterableimport torch
import torchvisionfrom ppq import (BaseGraph, QuantizationOptimizationPass,QuantizationOptimizationPipeline, QuantizationSetting,Tar…
2.1 ppq量化pytorch-＞onnx
前言
torchvision中加载一个模型，转换为 onnx 格式、导出 quantized graph.
code
from typing import Iterableimport torch
import torchvision
from torch.utils.data import DataLoaderfrom ppq import BaseGraph, QuantizationSettingFactory, TargetPlatfor…
torch.nn中有哪些损失函数？
在PyTorch库的torch.nn模块中，提供了许多预定义的损失函数，用于不同的机器学习任务。以下是一些常见的损失函数：
MSELoss（均方误差损失）: 常用于回归问题，计算预测值与真实值之间的平均平方误差。
import…
2.10、自定义量化优化过程
introduction
如何自定义量化优化过程，以及如何手动调用优化过程
code
from typing import Callable, Iterableimport torch
import torchvision
from ppq import QuantizationSettingFactory, TargetPlatform
from ppq.api import (ENABLE_CUDA_KERNEL, QuantizationSetti…
pytorch 入门 （五）案例三：乳腺癌识别-VGG16实现
本文为🔗小白入门Pytorch内部限免文章 🍨 本文为🔗小白入门Pytorch中的学习记录博客🍦 参考文章：【小白入门Pytorch】乳腺癌识别🍖 原作者：K同学啊 在本案例中，我将带大家探索一下深…
使用自动编码器进行半监督异常检测
使用自动编码器进行半监督异常检测 前言前提条件相关介绍Semi-supervised Anomaly Detection using AutoEncoders项目结构训练模型测试模型 参考 前言 由于本人水平有限，难免出现错漏，敬请批评改正。更多精彩内容，可点击进入YOLO系列专栏、自…
pytorch复现4_Resnet
ResNet在《Deep Residual Learning for Image Recognition》论文中提出，是在CVPR 2016发表的一种影响深远的网络模型，由何凯明大神团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。Image…
《Pytorch新手入门》第一节-认识Tensor
《Pytorch新手入门》第一节 一、认识Tensor1.1Tensor定义1.2Tensor运算操作1.3Tensor与numpy转换 参考《深度学习框架PyTorch：入门与实践_陈云(著)》 一、认识Tensor
1.1Tensor定义
Tensor 是 PyTorch 中重要的数据结构，可认为是一个高维数组。它可以是…
PyTorch入门学习（十）：神经网络-非线性激活
目录
一、简介
二、常见的非线性激活函数
三、实现非线性激活函数
四、示例：应用非线性激活函数 一、简介
在神经网络中，激活函数的主要目的是引入非线性特性，从而使网络能够对非线性数据建模。如果只使用线性变换，那么整个神…
亲测解决Pytorch TypeError: object of type ‘numpy.int64‘ has no len()
这个问题是小虎在初始化自适应平均池化的时候遇到的，解决方法是限制初始化时池化大小的类型。
问题原文
Exception has occurred: TypeError
object of type numpy.int64 has no len()File "D:\Complier\LEF\lib\model\segmentation\heads\modules\fgModules…
Pytorch 注意力机制解析与代码实现
什么是注意力机制
注意力机制是深度学习常用的一个小技巧，它有多种多样的实现形式，尽管实现方式多样，但是每一种注意力机制的实现的核心都是类似的，就是注意力。
注意力机制的核心重点就是让网络关注到它更需要关注的地方。
当…
【深度学习】pytorch——实现CIFAR-10数据集的分类
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 往期文章： 【深度学习】pytorch——快速入门 CIFAR-10分类 CIFAR-10简介CIFAR-10数据集分类实现步骤一、数据加载及预处理实现数据加载及预处理归一化的理解访问数据集Dataset对象Dataloader对象 二、…
pytorch笔记：PackedSequence对象送入RNN
pytorch 笔记：PAD_PACKED_SEQUENCE 和PACK_PADDED_SEQUENCE-CSDN博客
当使用pack_padded_sequence得到一个PackedSequence对象并将其送入RNN（如LSTM或GRU）时，RNN内部会进行特定的操作来处理这种特殊的输入形式。 使用PackedSequ…
pytorch 笔记：PAD_PACKED_SEQUENCE 和PACK_PADDED_SEQUENCE
1 PACK_PADDED_SEQUENCE
1.0 功能
将填充的序列打包成一个更加紧凑的形式这样RNN、LSTM和GRU等模型可以更高效地处理它们，因为它们可以跳过不必要的计算
1.2 基本使用方法
torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_firstFalse, enforce_…
【ChatGLM2-6B】从0到1部署GPU版本
准备机器资源
显卡: 包含NVIDIA显卡的机器，如果是阿里云服务器可以选择ecs.gn6i-c4g1.xlarge规格硬盘: 大约50G左右操作系统: CentOS 7.9 64位CPU内存: 4C16G
更新操作系统
sudo yum update -y
sudo yum upgrade -y下载并安装anaconda
在命令行中，输…
Windows10安装Anaconda与Pytorch的记录
这是一篇关于安装Anaconda和Pytorch的记录与复盘，写的原因是我电脑恢复系统之后东西全没了，再装Pytorch的时候一脸懵逼忘了怎么弄了，写篇记录以备我下一次安装。
1、Anaconda的安装
1.1、Anaconda安装包下载
下载链接: Free Download | An…
pytorch学习第五篇：NN与CNN代码实例
这篇文章详细介绍了全链接神经网络实现方法，以及卷积的实现方法。最后我们发现，卷积的实现方法与全链接大同小异，因为 torch 为我们做了很多工作，我们来看看这两个有什么区别。 我们使用 torch 框架来实现两种神经网络，来对图形进行分类。
NN
首先我们引入依赖包
impor…
PyTorch入门学习（十二）：神经网络-搭建小实战和Sequential的使用
一、介绍
在深度学习领域，构建复杂的神经网络模型可能是一项艰巨的任务，尤其是当您有许多层和操作需要组织时。幸运的是，PyTorch提供了一个方便的工具，称为Sequential API，它简化了神经网络架构的构建过程。在本文中&…
pytorch笔记：allclose，isclose，eq，equal
1 allclose
1.1介绍
torch.allclose是一个PyTorch函数，用于检查两个张量是否在某个容忍度范围内近似相等
torch.allclose(input, other, rtol1e-05, atol1e-08, equal_nanFalse)input (Tensor) – 第一个输入张量other (Tensor) – 第二个输入张量rtol (float) –…
pytorch 笔记：torch.nn.utils.clip_grad_norm_
1 基本介绍
用于防止在训练神经网络时出现梯度爆炸的问题。
梯度裁剪通过限制梯度的范数来防止梯度的值变得过大
2 工作方式 计算所有参数的梯度的范数。范数可以是任意的p-范数，通过 norm_type 参数设置，默认为 2-范数（即欧几里得范数&am…
《Pytorch新手入门》第二节-动手搭建神经网络
《Pytorch新手入门》第二节-动手搭建神经网络 一、神经网络介绍二、使用torch.nn搭建神经网络2.1 定义网络2.2 torch.autograd.Variable2.3 损失函数与反向传播2.4 优化器torch.optim 三、实战-实现图像分类(CIFAR-10数据集)3.1 CIFAR-10数据集加载与预处理3.2 定义网络结构3.3…
使用pytorch处理自己的数据集
目录 1 返回本地文件中的数据集 2 根据当前已有的数据集创建每一个样本数据对应的标签 3 tensorboard的使用 4 transforms处理数据 tranfroms.Totensor的使用 transforms.Normalize的使用 transforms.Resize的使用 transforms.Compose使用 5 dataset_transforms使用 1 返回本地…
Anaconda安装及使用详解
文章目录 Anaconda介绍一、Anaconda安装1、下载（1）官网下载地址：https://www.anaconda.com/download （2）清华大学开源软件镜像站：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2、安装ÿ…
Dual Personalization on Federated Recommendation
联合推荐的双重个性化
代码链接 论文链接
主要创新
文章的主要创新是提出了一种双重个性化机制，用于增强联邦推荐系统的性能。这种机制能够在联邦学习框架中为每个本地模型学习用户特定的物品嵌入，从而显著提升推荐系统的效果。通过在四个数据集上进行…
将Pytorch搭建的ViT模型转为onnx模型
本文尝试将pytorch搭建的ViT模型转为onnx模型。
首先将博主上一篇文章中搭建的模型ViT Vision Transformer超详细解析，网络构建，可视化，数据预处理，全流程实例教程-CSDN博客转存为.pth
torch.save(model, my_vit_model.pth)
然…
第六章 解析glob.glob与os.walk(工具)
glob.glob
glob模块介绍
glob是python的标准库模块，只要安装python就可以使用该模块。glob模块主要用来查找目录和文件，可以使用*、？、[]这三种通配符对路径中的文件进行匹配。
*：代表0个或多个字符?：代表一个字符…
PyTorch 从tensor.grad 看 backward（权重参数） 和 gradient accumulated
1. 新建一个自变量 tensor x
import torchx torch.ones(1, requires_gradTrue)
print(x)1. 输出：
tensor([1.], requires_gradTrue)2. 写一个 forward
import torchx torch.ones(1, requires_gradTrue)
y x**2
z x**33. y, z 都 backward
import torchx to…
【深度学习】pytorch——线性回归
笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 深度学习专栏链接： http://t.csdnimg.cn/dscW7 pytorch——线性回归 线性回归简介公式说明完整代码代码解释 线性回归简介
线性回归是一种用于建立特征和目标变量之间线性关系的统计学习方法。它假设…
【深度学习基础】Pytorch框架CV开发（1）基础铺垫
📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨ 📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 📢：文章若有幸对你有帮助，可点赞 👍…
隐私保护多领域推荐的紧密度共聚类联邦概率偏好分布模型
论文链接
Federated Probabilistic Preference Distribution Modelling with Compactness Co-Clustering for Privacy-Preserving Multi-Domain Recommendation
引言
这篇论文提出的概率偏好分布是通过使用高斯分布来表示用户和项目的偏好。在论文中，作者提出了一…
pytorch-损失函数-分类和回归区别
torch.nn 库和 torch.nn.functional库的区别 torch.nn库：这个库提供了许多预定义的层，如全连接层（Linear）、卷积层（Conv2d）等，以及一些损失函数（如MSELoss、CrossEntropyLoss等&…
pytorch 中 nn.Conv2d 解释
1. pytorch nn.Con2d 中填充模式 torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue, padding_mode‘zeros’, deviceNone, dtypeNone) 1.1 padding 参数的含义
首先 ，padd N, 代表的是 分别在 上下&…
Transformer的最简洁pytorch实现
目录 前言
1. 数据预处理
2. 模型参数
3. Positional Encoding
4. Pad Mask
5. Subsequence Mask
6. ScaledDotProductAttention
7. MultiHeadAttention
8. FeedForward Networks
9. Encoder Layer
10. Encoder
11. Decoder Layer
12. Decoder
13. Transformer
1…
pytorch直线拟合
目录
1、数据分析
2、pytorch直线拟合 1、数据分析
直线拟合的前提条件通常包括以下几点：
存在线性关系：这是进行直线拟合的基础，数据点之间应该存在一种线性关系，即数据的分布可以用直线来近似描述。这种线性关系可以是数据点…
[pytorch]手动构建一个神经网络并且训练
0.写在前面
上一篇博客全都是说明类型的,实际代码能不能跑起来两说,谨慎观看.本文中直接使用fashions数据实现softmax的简单训练并且完成结果输出.实现一个预测并且观测到输出结果.
并且更重要的是,在这里对一些训练的过程,数据的形式,以及我们在softmax中主要做什么以及怎么…
【Pytorch】计算机视觉项目——卷积神经网络CNN模型识别图像分类
目录 一、前言二、CNN可视化解释器1. 卷积层工作原理 三、详细步骤说明1. 数据集准备2.DataLoader3. 搭建模型CNN3.1 设置设备3.2 搭建CNN模型3.3 设置loss 和 optimizer3.4 训练和测试循环 4. 模型评估和结果输出 一、前言
在上一篇笔记《【Pytorch】整体工作流程代码详解&am…
pytorch复现_UNet
什么是UNet U-Net由收缩路径和扩张路径组成。收缩路径是一系列卷积层和汇集层，其中要素地图的分辨率逐渐降低。扩展路径是一系列上采样层和卷积层，其中特征地图的分辨率逐渐增加。 在扩展路径中的每一步，来自收缩路径的对应特征地图与当前特征…
nn.embedding函数详解(pytorch)
提示：文章附有源码！！！ 文章目录 前言一、nn.embedding函数解释二、nn.embedding函数使用方法四、模型训练与预测的权重变化探讨 前言
最近发现prompt工程(如sam模型)，也有transform的detr模型等都使用了nn.Embedding函…
pytoch安装指定版本教程pytorch1.3安装笔记
一、先生成一个环境
如果电脑里安装了其他的torch版本，另外生成一个环境可以防止原先torch版本被替换掉。
打开conda的终端窗口输入以下命令就可以生成一个名为torch_1.3的环境：
conda create -n torch_1.3 python3.6
输入以下命令进入到torch_1.3的…
第四章:人工智能深度学习教程-激活函数(第三节-Pytorch 中的激活函数)
在本文中，我们将了解 PyTorch 激活函数。
目录
什么是激活函数以及为什么使用它们？
Pytorch 激活函数的类型
ReLU 激活函数：
Python3
Leaky ReLU 激活函数：
Python3
S 形激活函数：
Python3
Tanh 激活函数&am…
Pytorch实战教程（三）-构建神经网络
0. 前言
我们已经学习了如何从零开始构建神经网络，神经网络通常包括输入层、隐藏层、输出层、激活函数、损失函数和学习率等基本组件。在本节中，我们将学习如何在简单数据集上使用 PyTorch 构建神经网络，利用张量对象操作和梯度值计算更新网络权重。
1. PyTorch 构建神经网…
pytorch优化器详解
1 什么是优化器
1.1 优化器介绍
在PyTorch中，优化器（Optimizer）是用于更新神经网络参数的工具。它根据计算得到的损失函数的梯度来调整模型的参数，以最小化损失函数并改善模型的性能。
即优化器是一种特定的机器学习算法&#…
torch DDP多卡训练教程记录
参考 简明教程看这里 --> pytorch分布式训练 和这篇： [PyTorch]> DDP系列第一篇：入门教程 --》 详细解答了pipeline DDP原理篇 --> DDP系列第二篇：实现原理与源代码解析 --》 主要讲 all_reduce 和 sample 的实现 减少GPU占用看这里…
SCAR的pytorch实现
本文所实现的网络来源于SCAR:Spatial-/Channel-wise Attention Regression Networks for Crowd Counting（Neurocompting 2019）
import torch;from torchvision import models
from torchvision.models import vgg16
import warnings;from torch import …
Pytorch R-CNN目标检测-汽车car
概述
目标检测(Object Detection)就是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,通俗点说就是给定一张图片要精确的定位到物体所在位置,并完成对物体类别的识别。其准确性和实时性是整个系统的一项重要能力。
R-CNN的全称是Region-CNN(区域卷积神经…
【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割10（测试推理篇）
对于直接将裁剪的patch，一个个的放到训练好的模型中进行预测，这部分代码可以直接参考前面的训练部分就行了。其实说白了，就是验证部分。不使用dataloader的方法，也只需要修改少部分代码即可。
但是，这种方法是不end t…
【pytorch深度学习】使用张量表征真实数据
使用张量表征真实数据
本文为书pytorch深度学习实战的一些学习笔记和扩展知识，涉及到的csv文件等在这里不会给出，但是我会尽量脱离这一些文件将书本想要表达的内容给展示出来。 文章目录 使用张量表征真实数据1. 加载图像文件2. 改变布局3. 加载目录下…
基于pytorch使用特征图输出进行特征图可视化
使用特征图输出进行特征图可视化 文章目录 前言效果展示获取某一层特征图输出原图方法一：使用IntermediateLayerGetter类方法二：使用hook机制（推荐） 总结 前言
提示：这里可以添加本文要记录的大概内容：
例…
BAM（Bottleneck Attention Module）
BAM（Bottleneck Attention Module）是一种用于计算机视觉领域的深度学习模型结构，它旨在提高神经网络对图像的特征提取和感受野处理能力。BAM模块引入了通道注意力机制，能够自适应地加强或减弱不同通道的特征响应，从而提…
深度学习环境配置(Anaconda+pytorch+pycharm+cuda)
NVIDIA驱动安装
首先查看电脑的显卡版本，步骤为：此电脑右击-->管理-->设备管理器-->显示适配器。就可以看到电脑显卡的版本了。
然后按照电脑信息，到地址 去安装相应的驱动，Notebooks是笔记本的意思，然后下…
使用pytorch利用神经网络原理进行图片的训练(持续学习中....)
1.做这件事的目的 语言只是工具,使用python训练图片数据,最终会得到.pth的训练文件,java有使用这个文件进行图片识别的工具,顺便整合,我觉得Neo4J正确率太低了,草莓都能识别成为苹果,而且速度慢,不能持续识别视频帧
2.什么是神经网络?(其实就是数学的排列组合最终得到统计结果…
【Pytorch】Visualization of Feature Maps（1）
学习参考来自
CNN可视化Convolutional Featureshttps://github.com/wmn7/ML_Practice/blob/master/2019_05_27/filter_visualizer.ipynb 文章目录 filter 的激活值 filter 的激活值
原理：找一张图片，使得某个 layer 的 filter 的激活值最大，…
深度学习之基于Pytorch的昆虫分类识别系统
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 一项目简介系统架构技术亮点 二、功能三、系统四. 总结 一项目简介 # 深度学习基于 Pytorch 的昆虫分类识别系统介绍
深度学习在图像分类领域取得了显著的成就&#…
昇腾搭建PyTorch环境（训练）
检查NPU是否正常在位： lspci | grep d801 如果服务器上有 N路NPU，回显N行含“d801”字段，表示NPU正常在位
一、安装驱动、固件
1.创建驱动运行用户HwHiAiUser
groupadd -g 1000 HwHiAiUser
useradd -g HwHiAiUser -u 1000 -d /home/HwHiA…
CIFAR-100数据集的加载和预处理教程
一、CIFAR-100数据集介绍
CIFAR-100（Canadian Institute for Advanced Research - 100 classes）是一个经典的图像分类数据集，用于计算机视觉领域的研究和算法测试。它是CIFAR-10数据集的扩展版本，包含了更多的类别，用…
Pytorch常用的函数(四)深度学习中常见的上采样方法总结
Pytorch常用的函数(四)深度学习中常见的上采样方法总结
我们知道在深度学习中下采样的方式比较常用的有两种： 池化 步长为2的卷积
而在上采样过程中常用的方式有三种： 插值 反池化 反卷积
不论是语义分割、目标检测还是三维重建等模型࿰…
【扩散模型】实战：创建一个类别条件扩散模型
创建一个类别条件扩散模型 1. 配置和数据准备2. 创建一个以类别为条件的UNet模型3. 训练和采样 本文介绍一种给扩散模型添加额外条件信息的方法。具体地，将在MNIST数据集上训练一个以类别为条件的扩散模型。并且可以在推理阶段指定想要生成的是哪个数字。 1. 配置和…
【PyTorch教程】如何使用PyTorch分布式并行模块DistributedDataParallel(DDP)进行多卡训练
本期目录 1. 导入核心库2. 初始化分布式进程组3. 包装模型4. 分发输入数据5. 保存模型参数6. 运行分布式训练7. DDP完整训练代码 本章的重点是学习如何使用 PyTorch 中的 Distributed Data Parallel (DDP) 库进行高效的分布式并行训练。以提高模型的训练速度。 1. 导入核心库 D…
构建Docker基础镜像（ubuntu20.04+python3.9.10+pytorch-gpu-cuda11.8）
文章目录 一、前置条件1.创建 ubuntu 镜像源文件【sources.list】2.下载 python 安装包【Python-3.9.10.tgz】 二、构建方法1.构建目录2.创建DockerFile3.打包镜像 一、前置条件
配置一下 ubuntu 的镜像源下载 python 安装包
1.创建 ubuntu 镜像源文件【sources.list】
内容…
OpenMMlab导出yolov3模型并用onnxruntime和tensorrt推理
导出onnx文件
直接使用脚本
import torch
from mmdet.apis import init_detector, inference_detectorconfig_file ./configs/yolo/yolov3_mobilenetv2_8xb24-ms-416-300e_coco.py
checkpoint_file yolov3_mobilenetv2_mstrain-416_300e_coco_20210718_010823-f68a07b3.pth…
记录pytorch实现自定义算子并转onnx文件输出
概览：记录了如何自定义一个算子，实现pytorch注册，通过C编译为库文件供python端调用，并转为onnx文件输出
整体大概流程：
定义算子实现为torch的C版本文件注册算子编译算子生成库文件调用自定义算子
一、编译环境准备…
DALL·E 2 文生图模型实践指南
前言：本篇博客记录使用dalle2模型进行推断时借鉴的相关资料和DEBUG流程。 相关博客：超详细！DALL E 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备环境搭建预训练模型下载 2. 代码3. BUG&DEBUGURLErrorCUDA errorRuntimeErrorPyd…
使用 PYTORCH 进行图像风格迁移
一、介绍 本教程介绍如何实现 由 Leon A. Gatys、Alexander S. Ecker 和 Matthias Bethge 开发的神经风格算法。神经风格或神经传输允许您拍摄图像并以新的艺术风格再现它。该算法采用三幅图像，即输入图像、内容图像和风格图像，并将输入更改为类似于内容…
YOLO改进系列之注意力机制（CloAttention模型介绍）
CloAttention来自清华大学的团队提出的一篇论文CloFormer，作者从频域编码的角度认为现有的轻量级视觉Transformer中，大多数方法都只关注设计稀疏注意力，来有效地处理低频全局信息，而使用相对简单的方法处理高频局部信息。很少有方…
Windows本地配置带GPU的Pytorch环境
首先需要安装并配置好Anaconda环境，安装教程教程随便找一个就好。
第一步：安装好之后创建conda虚拟环境：
conda create -n your_env_name pythonx.x 第二步：安装需要版本的pytorch：pytorch下载链接 cu100/torch-1.2…
pytorch中常见loss函数归纳（二分类、多分类、检测、分割、回归）
常见loss函数归类 二分类任务BCELossBCEWithLogitsLossFocal Loss 多分类任务CrossEntropyLossNLLLossLabel Smoothing Loss 检测任务FocalLossSSD LossSmoothL1Loss 分割任务Cross Entropy LossDiceLossBCEWithLogitsLoss 回归任务MSELossSmoothL1Loss PyTorch中的loss函数源码…
anaconda中安装pytorch和TensorFlow环境并在不同环境中安装kernel
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
计算机视觉的应用16-基于pytorch框架搭建的注意力机制，在汽车品牌与型号分类识别的应用
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用16-基于pytorch框架搭建的注意力机制，在汽车品牌与型号分类识别的应用，该项目主要引导大家使用pytorch深度学习框架，并熟悉注意力机制模型的搭建，这个…
使用FP8加速PyTorch训练
现代的人工智能硬件架构(例如，Nvidia Hopper, Nvidia Ada Lovelace和Habana Gaudi2)中，FP8张量内核能够显著提高每秒浮点运算(FLOPS)，以及为人工智能训练和推理工作负载提供内存优化和节能的机会。
在这篇文章中，我们将介绍如何修…
Anaconda的安装使用及pycharm设置conda虚拟环境
1.python和包以及anaconda的概念关系 python “工人” 包 “工具” 环境 “工具箱” anaconda “放很多工具箱的大箱子”
python等于工人这个好理解，就是编程需要用python来实现对应功能，即工人完成某项工程。
包等于工具，就是工人…
目标检测—YOLO系列(二 ) 全面解读论文与复现代码YOLOv1 PyTorch
精读论文
前言
从这篇开始，我们将进入YOLO的学习。YOLO是目前比较流行的目标检测算法，速度快且结构简单，其他的目标检测算法如RCNN系列，以后有时间的话再介绍。
本文主要介绍的是YOLOV1，这是由以Joseph Redmon为首的…
YOLO改进系列之注意力机制（EffectiveSE模型介绍）
模型结构
ESE(Effective Squeeze and Extraction) layer是CenterMask模型中的一个block，基于SE（Squeeze and Extraction）改进得到。与SE的区别在于，ESE block只有一个fc层，(CenterMask : Real-Time Anchor-Free Insta…
【深度学习】pytorch快速得到mobilenet_v2 pth 和onnx
在linux执行这个程序：
import torch
import torch.onnx
from torchvision import transforms, models
from PIL import Image
import os# Load MobileNetV2 model
model models.mobilenet_v2(pretrainedTrue)
model.eval()# Download an example image from the P…
PyTorch DataLoader整理函数详解【collate_fn】
DataLoader 是 PyTorch 中最常用的类之一。 而且，它是你首先学习的内容之一。 该类有很多参数，但最有可能的是，你将使用其中的大约三个参数（dataset、shuffle 和 batch_size）。 今天我想解释一下 collate_fn 的含义—根…
2023年11月11日~11月17日周报（基于matlab生成模拟数据、批量修改文件名、重写dataset）
目录
一、前言
二、基于matlab生成模拟数据
二、批量修改文件名
三、代码调试
四、重写dataset 一、前言 上周完成了FCNVMB的训练与测试，但是由于数据量较少，训练效果不明显。工作站运行forward.py代码生成模拟数据的时候出现错误，未解决…
Pytorch np.arange函数
一、np.arange函数
NumPy中的arange函数是一种类似于Python内置的range函数的函数，不过arange函数返回的是一个数组，而不是列表。在NumPy中非常常用的函数之一。
import numpy as np
arr np.arange(5)
print(arr)输出结果为：[0 1 2 3 4]
…
目标检测—YOLO系列(二 ) 全面解读复现YOLOv1 PyTorch
精读论文
前言
从这篇开始，我们将进入YOLO的学习。YOLO是目前比较流行的目标检测算法，速度快且结构简单，其他的目标检测算法如RCNN系列，以后有时间的话再介绍。
本文主要介绍的是YOLOV1，这是由以Joseph Redmon为首的…
PyTorch微调权威指南3：使用数据增强
如果你曾经参与过 PyTorch 模型的微调，可能会遇到 PyTorch 的内置变换函数，这使得数据增强变得轻而易举。 即使你之前没有使用过这些功能，也不必担心。 在本文中，我们将深入研究 PyTorch 变换换函数的世界。 我们将探索你可以使用…
YOLOv8改进 | EIoU、SIoU、WIoU、DIoU、FoucsIOU等二十余种损失函数
一、本文介绍
这篇文章介绍了YOLOv8的重大改进，特别是在损失函数方面的创新。它不仅包括了多种IoU损失函数的改进和变体，如SIoU、WIoU、GIoU、DIoU、EIOU、CIoU，还融合了“Focus”思想，创造了一系列新的损失函数。这些组合形式的…
PyTorch神经网络-激励函数
在PyTorch 神经网络当中，使用激励函数处理非线性的问题，普通的神经网络出来的数据一般是线性的关系，但是遇到比较复杂的数据的话，需要激励函数处理一些比较难以处理的问题，非线性结果就是其中的情况之一。 FAQ:为什么要…
【pytorch深度学习 应用篇02】训练中loss图的解读，训练中的问题与经验汇总
文章目录 loss图解析train loss ↘ \searrow ↘ ↗ \nearrow ↗ 先降后升 loss图解析 train loss ↘ \searrow ↘ 不断下降，test loss ↗ \nearrow ↗ 不断上升：原因很多，我是把workers1，batchSize8192train loss ↘ \searro…
【腾讯云 HAI域探秘】高性能服务器引领AI革新浪潮：从AI绘画、知识问答到PyTorch图像分类、视频检测的全方位探索
目录 1 HAI（高性能应用服务）简介2 HAI的应用场景2.1 HAI在AI作画中的灵活性与效率2.2 深入探索LLM语言模型的应用与性能2.3 HAI支持的AI模型开发环境与工具 3 基于stable difussio的AI 绘画应用实践3.1 使用AI模型中的stable diffusion模型服务3.2 设置和…
【深度学习实验】注意力机制（三）：打分函数——加性注意力模型
文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 理论介绍a. 认知神经学中的注意力b. 注意力机制 1. 注意力权重矩阵可视化（矩阵热图）2. 掩码Softmax 操作3. 打分函数——加性注意力模型1. 初始化2. 前向传播3. 内部组件…
时间序列预测实战(十七)PyTorch实现LSTM-GRU模型长期预测并可视化结果（附代码+数据集+详细讲解）
一、本文介绍
本文给大家带来的实战内容是利用PyTorch实现LSTM-GRU模型，LSTM和GRU都分别是RNN中最常用Cell之一，也都是时间序列预测中最常见的结构单元之一，本文的内容将会从实战的角度带你分析LSTM和GRU的机制和效果，同时如果你…
适合小白的超详细yolov8环境配置+实例运行教程，从零开始教你如何使用yolov8训练自己的数据集（Windows+conda+pycharm）
目录
一、前期准备所需环境配置
1.1. 虚拟环境创建
1.2 下载yolov8源码，在pycharm中进行配置
1.2.1 下载源码
1.2.2 在pycharm终端中配置conda
1.3 在pycharm的terminal中激活虚拟环境
1.4 安装requirements.txt中的相关包
1.5 pip安装其他包
1.6 预训练…
目标检测 Faster RCNN全面解读复现
Faster RCNN
解读
经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)&…
Pytorch完整的模型训练套路
Pytorch完整的模型训练套路 文章目录 Pytorch完整的模型训练套路以CIFAR10为例实践 数据集加载步骤
使用适当的库加载数据集，例如torchvision、TensorFlow的tf.data等。 将数据集分为训练集和测试集，并进行必要的预处理，如归一化、数据增强等…
【3D 图像分割】基于 Pytorch 的 3D 图像分割11（预测结果 recall 和 FPAR 评估）
如果要对预测结果，与标记结果进行评估，判断下模型的预测能力怎么样，该怎么办呢？在论文里面经常采用dice coeff这个值作为横向比较评判的标准。
而在实际的使用中，你们都会采用什么其他的评估方法，评价指标呢？本文采用更加直观的召回率和平均案例的假阳性率作为评价模型…
目标检测 详解SSD原理，数据处理与复现
原理详解
前言
今天我们要读的这篇VGGNet（《Very Deep Convolutional Networks For Large-Scale Image Recognition》），就是在AlexNet基础上对深度对网络性能的影响做了进一步的探索。它是ImageNet 2014年亚军，相比于AlexNet&am…
使用Pytorch从零开始构建DCGAN
在本文中，我们将深入研究生成建模的世界，并使用流行的 PyTorch 框架探索 DCGAN（生成对抗网络 (GAN) 的一种变体）的实现。具体来说，我们将使用 CelebA 数据集（名人面部图像的集合）来生成逼真的合…
使用Pytorch从零开始构建CGAN (conditional GAN)
GAN和DCGAN生成随机图像。因此，我们几乎无法控制生成哪些图像。然而，CGAN 可以让我们指定一个条件，以便我们可以告诉它要生成哪些图像。诀窍是使用可学习层将标签值转换为特征向量，以便生成器可以学习要生成什么图像。鉴别器还利用…
【DQN】基于pytorch的强化学习算法Demo
目录 简介代码 简介
DQN（Deep Q-Network）是一种基于深度神经网络的强化学习算法，于2013年由DeepMind提出。它的目标是解决具有离散动作空间的强化学习问题，并在多个任务中取得了令人瞩目的表现。
DQN的核心思想是使用深度神经网…
【深度学习】不用Conda在PP飞桨Al Studio三个步骤安装永久PyTorch环境
在 PaddlePaddle AI Studio 中使用 Python 虚拟环境安装 PyTorch
免责声明
在阅读和实践本文提供的内容之前，请注意以下免责声明： 侵权问题: 本文提供的信息仅供学习参考，不用做任何商业用途，如造成侵权，请私信我&am…
【笔记 Pytorch 08】深度学习模板 (未完）
文章目录 一、声明二、工程结构三、文件内容main.pymodel.pydataset.pyutils.py 四、问题汇总 一、声明
非常感谢这些资料的作者： 【参考1】、【PyTorch速成教程 (by Sung Kim)】
二、工程结构
├── main.py：实现训练 (train) 、验证(validation)和…
YOLOV7主干改进，使用fasternet轻量化改进主干（完整教程）
1，Pconv（来自Fasternet）（可作为模型中的基础卷积模块使用）
论文链接：https://arxiv.org/abs/2303.03667 2，为了大家方便的使用，这里我对原本的PConv的代码做了部分的改动࿰…
使用Pytorch从零开始构建Conditional PixelCNN
条件 PixelCNN
PixelCNN 是 PixelRNN 的卷积版本，它将图像中的像素视为一个序列，并在看到前面的像素后预测每个像素（定义如上和左，尽管这是任意的）。PixelRNN 是图像联合先验分布的自回归模型： p ( x ) …
使用Pytorch从零开始构建RNN
在这篇文章中，我们将了解 RNN（即循环神经网络），并尝试通过 PyTorch 从头开始实现其中的部分内容。是的，这并不完全是从头开始，因为我们仍然依赖 PyTorch autograd 来计算梯度并实现反向传播，…
【踩坑记录】pytorch 自定义嵌套网络时部分网络输出不变的问题
问题描述
使用如下的自定义的多层嵌套网络进行训练：
class FC1_bot(nn.Module):def __init__(self):super(FC1_bot, self).__init__()self.embeddings nn.Sequential(nn.Linear(10, 10))def forward(self, x):emb self.embeddings(x)return embclass FC1_top(nn…
超分辨率重建——SAN训练自己数据集及推理测试（详细图文教程）
目录 一、源码包下载二、数据集准备三、预训练权重文件四、训练环境五、训练5.1 超参数修改5.2 训练模型5.2.1 命令方式训练5.2.2 Configuration配置参数方式训练 5.3 模型保存 六、推理测试6.1 超参数修改6.2 测试6.2.1 命令方式测试6.2.2 Configuration配置参数方式测试 6.3 …
![[PyTorch][chapter 64][强化学习-DQN]](https://img-blog.csdnimg.cn/b5d6292946174382ba23a7ca9025f596.png)
[PyTorch][chapter 64][强化学习-DQN]
前言： DQN 就是结合了深度学习和强化学习的一种算法，最初是 DeepMind 在 NIPS 2013年提出，它的核心利润包括马尔科夫决策链以及贝尔曼公式。 Q-learning的核心在于Q表格，通过建立Q表格来为行动提供指引，但这适用于状态…
pytorch矩阵乘法
torch.matmul
torch.matmul是PyTorch中执行一般矩阵乘法的函数，它接受两个矩阵作为输入，并返回它们的乘积。它适用于任何两个矩阵，无论是密集矩阵还是稀疏矩阵。
import torch # 创建两个 2x2 矩阵
mat1 torch.tensor([[1, 2], [3, 4]]…
集成显卡Intel® UHD Graphics 630 安装Pytorch
安装Pytorch是为了搭建maskrcnn环境。
查了一圈发现： 显卡Intel UHD Graphics 630是集成显卡，所以不能安装cuda和cudann，也不能使用GPU加速
所以也需要放弃在该电脑上的用VMware新建Ubuntu虚拟机，然后安装有cuda版本的Pytorch&a…
图像去噪——PMRID训练自己数据集及推理测试（详细图文教程）
目录 一、源码包准备二、数据集准备2.1 提取数据集名称2.2 .txt报错问题2.2.1 正确格式2.2.2 错误格式 三、修改配置参数四、训练及保存模型权重4.1 训练4.2 保存模型权重文件 五、模型推理测试5.1 导入测试集5.2 测试5.3 测试结果5.3.1 测试场景15.3.2 测试场景2 5.4 推理速度…
Pytorch神经网络的模型架构(nn.Module和nn.Sequential的用法)
一、层和块 在构造自定义块之前，我们先回顾一下多层感知机的代码。下面的代码生成一个网络，其中包含一个具有256个单元和ReLU激活函数的全连接隐藏层，然后是一个具有10个隐藏单元且不带激活函数的全连接输出层。
import torch
from torch im…
Pytorch中的层和块(nn.Module和nn.Sequential的用法)
一、层和块 在构造自定义块之前，我们先回顾一下多层感知机的代码。下面的代码生成一个网络，其中包含一个具有256个单元和ReLU激活函数的全连接隐藏层，然后是一个具有10个隐藏单元且不带激活函数的全连接输出层。
import torch
from torch im…
使用Pytorch从零开始构建Normalizing Flow
归一化流 (Normalizing Flow) （Rezende & Mohamed，2015）学习可逆映射 f : X → Z f: X \rightarrow Z f:X→Z, 在这里X是我们的数据分布Z选定的潜在分布。
归一化流是生成模型家族的一部分，其中包括变分自动编码器 (VAE) (K…
vscode调试pytorch分布式训练
launch.json文件如下"cwd" "${fileDirname}"表示代码调试的根目录是当前你调试的文件，也就是pretrain.py所在的目录。其他路径参数都是相对这个目录的
如果改成"cwd" "${workspaceFolder}" 表示代码调试的根目录是打开的工…
pytorch强化学习（1）——DQNSARSA
实验环境
python3.10
torch2.1.1
gym0.26.2
gym[classic_control]
matplotlib3.8.0
numpy1.26.2DQN代码
首先是module.py代码，在这里定义了网络模型和DQN模型
import torch
import torch.nn as nn
import numpy as npclass Net(nn.Module):# 构造只有一个隐含层的…
从零构建属于自己的GPT系列5：模型本地化部署（文本生成函数解读、模型本地化部署、文本生成文本网页展示、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：数据预处理 从零构建属于自己的GPT系列2：模型训…
PyTorch深度学习实战——人体姿态估计
PyTorch深度学习实战——人体姿态估计 0. 前言1. 人体姿态估计2. 使用 Detectron2 实现人体姿态估计相关链接 0. 前言
我们已经学习了如何执行实例分割，在本节中，我们将了解如何利用 Detectron2 对图像执行人体姿态估计，检测图像中人物的身体…
【已解决】ModuleNotFoundError: No module named ‘scipy‘
问题描述 ModuleNotFoundError: No module named ‘scipy‘ 解决方法
pip install scipy
或
conda install scipy
完结撒花 我很不认可你的观点，但我不会反驳，因为我的修养在拉着我
with torch.no_grad()在Pytorch中的应用
with torch.no_grad()在Pytorch中的应用
参考： https://blog.csdn.net/qq_24761287/article/details/129773333 https://blog.csdn.net/sazass/article/details/116668755
在学习Pytorch时，老遇到 with torch.no_grad()，搞不清其作用&#…
YOLOv8改进 | 2023主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8（超级轻量化精度更高）
一、本文介绍
本文给大家带来利用RT-DETR模型主干HGNet去替换YOLOv8的主干，RT-DETR是今年由百度推出的第一款实时的ViT模型，其在实时检测的领域上号称是打败了YOLO系列，其利用两个主干一个是HGNet一个是ResNet，其中HGNet就是我们…
YOLO改进系列之注意力机制（GlobalContext模型介绍）
模型结构
通过捕获long-range dependency提取全局信息，对各种视觉任务都是很有帮助的，典型的方法是Non-local Network自注意力机制。对于每个查询位置（query position），Non-local network首先计算该位置和所有位置之间…
HarmonyOS 应用模型开发指南介绍
一、基本概念解析
新版文档中的知识点，介绍更全面，逻辑更清晰，提供了各类基本概念解析，帮助开发者更快学习、掌握系统能力。以下是新版文档部分概念展示。
1、HAP是什么？
开发者通过DevEco Studio把应用程序编译为一…
![[PyTorch][chapter 8][李宏毅深度学习][DNN 训练技巧]](https://img-blog.csdnimg.cn/direct/e52568b255b84ed6af2b669ef921720e.png)
[PyTorch][chapter 8][李宏毅深度学习][DNN 训练技巧]
前言： DNN 是神经网络的里面基础核心模型之一.这里面结合DNN 介绍一下如何解决
深度学习里面过拟合,欠拟合问题 目录： DNN 训练常见问题 过拟合处理 欠拟合处理 keras 项目 一 DNN 训练常见问题 我们在深度学习网络训练的时候经常会遇到下面…
YOLOv8改进 | 主干篇 | 利用SENetV1改进网络结构 (ILSVRC冠军得主)
一、本文介绍
本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一…
如何使用.pth训练模型
一.使用.pth训练模型的步骤如下：
1.导入必要的库和模型
import torch
import torchvision.models as models# 加载预训练模型
model models.resnet50(pretrainedTrue)
2.定义数据集和数据加载器
# 定义数据集和数据加载器
dataset MyDataset()
dataloader to…
ModuleNotFoundError: No module named ‘mdtex2html‘ module已经安装还是报错，怎么办？
用streamlit运行ChatGLM/basic_model/web_demo.py的时候，出现了module not found：
ModuleNotFoundError: No module named mdtex2html
Traceback:
File "/home/haiyue/.local/lib/python3.10/site-packages/streamlit/runtime/scriptrunner/script…
Pytorch：torch.utils.data.random_split()
random_split() 函数说明：
torch.utils.data.random_split(dataset, lengths, generator<torch._C.Generator object>)
参数：
dataset(Dataset) -要拆分的数据集lengths(序列) -要产生的分割长度generator(torch.Generator) -用于随机排列的生成…
【Pytorch】Visualization of Feature Maps（4）——Saliency Maps
学习参考来自
Saliency Maps的原理与简单实现(使用Pytorch实现)https://github.com/wmn7/ML_Practice/tree/master/2019_07_08/Saliency%20Maps Saliency Maps 原理
《Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps》&…
YOLO改进系列之ParNetAttention注意力机制
ParNet注意力是一种用于自然语言处理任务的注意力机制，它是由谷歌在2019年提出的。ParNet注意力旨在解决传统注意力机制在处理长序列时的效率问题。传统的注意力机制在计算注意力权重时，需要对所有输入序列的位置进行逐一计算，这导致了在长序…
informer辅助笔记：exp/exp_informer.py
0 导入库
from data.data_loader import Dataset_ETT_hour, Dataset_ETT_minute, Dataset_Custom, Dataset_Pred
from exp.exp_basic import Exp_Basic
from models.model import Informer, InformerStackfrom utils.tools import EarlyStopping, adjust_learning_rate
from u…
HarmonyOS 应用开发配置—Stage模型以及应用/组件级配置详解【鸿蒙专栏-18】
文章目录 HarmonyOS 应用模型解析应用模型的构成要素1. 应用组件2. 应用进程模型3. 应用线程模型4. 应用任务管理模型5. 应用配置文件HarmonyOS 应用模型概览对比 FA 模型 与 Stage 模型Stage模型开发概述基本概念1. UIAbility 组件和 ExtensionAbility 组件2. WindowStage3. C…
【PyTorch】（一）简介
文章目录 1. PyTorch是什么？2. PyTorch的特点3. PyTorch的架构 1. PyTorch是什么？
PyTorch是一个深度学习框架，由Facebook于2016年开源发布。PyTorch是基于Torch框架的Python接口，旨在提供易用的强大工具来进行神经网络的构建和训…
【Python】OpenCV库中常用函数详解和示例
在Python中，OpenCV（Open Source Computer Vision Library）是一个广泛使用的图像和视频处理库。它包含许多用于图像处理和计算机视觉任务的函数。本文对一些常用的OpenCV函数及其详细解释和示例，以帮助大家理解和使用。 目录 cv2.…
时间序列预测实战(二十二)TCN-LSTM实现单元和多元长期预测（专为新手编写的自研架构）
一、本文介绍
本篇文章给大家带来的是利用我个人编写的架构进行TCN-LSTM时间序列卷积进行时间序列建模（专门为了时间序列领域新人编写的架构，简单不同于市面上用GPT写的代码），包括结果可视化、支持单元预测、多元预测、模型拟合效…
IoU、GIoU、CIoU和DIoU
IoU（Intersection over Union，交并比）、GIoU（Generalized IoU，广义交并比）、CIoU（Complete IoU，完全交并比）和DIoU（Distance IoU，距离交并比&…
使用Pytorch从零开始实现BERT
生成式建模知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II…
tensor.topk 以及tensor.argmax
tensor.topk 以及tensor.argmax
topk(self, k, dimNone, largestTrue, sortedTrue):，返回两个值，values与indices。
argmax(self, dimNone, keepdimFalse): 返回Tensor 具体使用方法定义里写的很清楚，topk中largestFalse返回最小值…
利用pytorch实现卷积形式的ResNet
利用pytorch实现卷积形式的ResNet 1. 导入必需的库2. 定义残差块3. 构建 ResNet 网络4. 实例化网络和训练 要使用 PyTorch 实现卷积形式的 ResNet（残差网络），你需要遵循几个主要步骤。首先，让我们概述 ResNet 的基本结构。ResNet …
使用Pytoch实现Opencv warpAffine方法
随着深度学习的不断发展，GPU/NPU的算力也越来越强，对于一些传统CV计算也希望能够直接在GPU/NPU上进行，例如Opencv的warpAffine方法。Opencv的warpAffine的功能主要是做仿射变换，如果不了解仿射变换的请自行了解。由于Pytorch的图像…
从零构建属于自己的GPT系列1：数据预处理（文本数据预处理、文本数据tokenizer、逐行代码解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：文本数据预处理 从零构建属于自己的GPT系列2：语…
基于YOLOv7算法的的高精度实时通用目标检测识别系统（PyTorch+Pyside6+YOLOv7）
摘要：基于YOLOv7算法的高精度实时检测识别系统可用于日常生活中检测与定位多种目标，此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别，同时本系统还支持检测结果可视化与导出。本系统采用YOLOv7目标检测算法来训练数据集…
pytorch 模型量化quantization
pytorch 模型量化quantization 1.workflow1.1 PTQ1.2 QAT 2. demo2.1 构建resnet101_quantization模型2.2 PTQ2.3 QAT 参考文献 pytorch框架提供了三种量化方法，包括：
Dynamic QuantizationPost-Training Static Quantization（PTQ࿰…
从零构建属于自己的GPT系列3：模型训练2（训练函数解读、模型训练函数解读、代码逐行解读）
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在PyCharm中进行 本篇文章配套的代码资源已经上传 从零构建属于自己的GPT系列1：文本数据预处理 从零构建属于自己的GPT系列2：语…
【PyTorch】softmax回归
文章目录 1. 模型与代码实现1.1. 模型1.2. 代码实现 2. Q&A2.1. 运行过程中出现以下警告：2.2. 定义的神经网络中的nn.Flatten()的作用是什么？2.3. num_workers有什么作用？它的值怎么确定？ 1. 模型与代码实现
1.1. 模型
背景…
知识蒸馏的蒸馏损失方法代码总结(包括：基于logits的方法：KLDiv，dist，dkd等，基于中间层提示的方法：)
有两种知识蒸馏方法：一种利用教师模型的输出概率（基于logits的方法）[15,14,11]，另一种利用教师模型的中间表示（基于提示的方法）[12,13,18,17]。基于logits的方法利用教师的输出作为辅助信号来训练一个较小的…
Anaconda + Pytorch 超详细安装教程
Anaconda Pytorch 超详细安装教程
安装 Anaconda
略,自行百度即可
安装 Pytorch 虚拟环境
第一步 选择 env第二步 创建第三步 填写环境名称和选择 python 版本号 第四步 打开 https://pytorch.org/ 选择 pytorch 版本，我这里选择的是 GPU 版本 即 CUDA 11.8,也…
深度学习（二）：pytorch基础知识
pytorch基础知识 张量（Tensors）自动微分（Autograd）模型构建数据加载和处理损失函数优化器（Optimizers）训练循环GPU加速模型保存和加载部署和推理PyTorch生态系统学习率调度（Learning Rate Sched…
pytorch中，如何将一个网络参数传给另一个相同网络的参数?
要将一个网络的参数传递给另一个相同网络的参数，可以使用state_dict()方法和load_state_dict()方法。 假设有两个相同的网络net1和net2，它们具有相同的网络结构，但是它们的权重和偏差不同。 要将一个网络的参数传递给另一个相同网络的参数&am…
pytorch如何生成小批量数据并传入神经网络？
pytorch如何生成小批量数据并传入神经网络？ 第一部分：Excel表格数据的预处理1.1 加载Excel数据1.2 数据清洗1.2.1 删除无用数据1.2.2 填充缺失值1.2.3 数据类型转换 1.3 将数据转换为张量1.4 创建数据集和数据加载器1.4.1 创建数据集1.4.2 创建数据加载器…
import torch时NameError:name ‘_C‘ is not defined
1.问题描述 使用的是python3.8，对应的报错行是import torch， 单独在终端中进入python后import torch没有任何报错，但是一旦在pycharm中运行，就会出现上述问题。
2.论坛方案
后面以为是python版本问题，但是嫌降python…
pytorch学习11-完整的模型训练过程
系列文章目录
pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…
Windows 下 PyTorch 入门深度学习环境安装与配置 GPU 版
1.确定自己的硬件信息，确定电脑有英伟达 (NVIDIA)显卡 在任务栏上右键打开任务管理器 2.下载安装 Anaconda （建议安装迅雷下载，同时浏览器添加扩展 “迅雷Chrome支持”） https://www.anaconda.com/ https://repo.anaconda.com/arc…
动手学深度学习3 数据操作+数据预处理
数据操作数据预处理 1. 基础数据结构-N维数组2. 数据操作实现--基础的张量运算1. 张量--创建与赋值1. 数据生成--创建 torch.arange2. 张量的属性--shape、numel3. reshape--改变张量的shape但是不改变其值4. 初始化张量 ones zeros等5. 使用python列表或嵌套列表为张量赋值 2.…
Pytorch当中transpose()和permute()函数的区别
在 PyTorch 中，transpose() 和 permute() 都是用于张量维度的转换，但有一些区别： transpose() 方法： transpose() 方法允许你交换张量的两个维度，使其维度发生变化。当你使用 transpose(dim1, dim2) 时，它会…
【Python】Numpy库近50个常用函数详解和示例，可作为工具手册使用
本文以yolo系列代码为基础，在其中查找用到的numpy函数，包含近50个函数，本文花费多天，三万多字，通过丰富的函数原理和示例对这些函数进行详解。以帮助大家理解和使用。 目录 np.array()运行示例 np.asarray()函数解析运…
动手学深度学习——Anaconda、pytorch、paddle安装(cpu版本)
之前出了个Windows下的深度学习安装，但在继续学习的过程中发现，沐神的一些代码跑不起来，这里又提供pytorch和paddle的安装，各位用pytorch或者百度飞桨paddlepaddle来学习深度学习也是可以的。 安装Anaconda
1. 打开Anaconda链接&…
macos安装metal 加速版 pytorch
categories: [Python] tags: Python MacOS
写在前面
试试 m3 的 metal 加速效果如何 Mac computers with Apple silicon or AMD GPUsmacOS 12.3 or laterPython 3.7 or laterXcode command-line tools: xcode-select --install 安装 Python: conda-forge
brew install minif…
【PyTorch】模型训练过程优化分析
文章目录 1. 模型训练过程划分1.1. 定义过程1.1.1. 全局参数设置1.1.2. 模型定义 1.2. 数据集加载过程1.2.1. Dataset类：创建数据集1.2.2. Dataloader类：加载数据集 1.3. 训练循环 2. 模型训练过程优化的总体思路2.1. 提升数据从硬盘转移到CPU内存的效率…
PyTorch: 基于VGG16处理MNIST数据集的图像分类任务
引言
在本博客中，小编将向大家介绍如何使用VGG16处理MNIST数据集的图像分类任务。MNIST数据集是一个常用的手写数字分类数据集，包含60,000个训练样本和10,000个测试样本。我们将使用Python编程语言和PyTorch深度学习框架来实现这个任务。
在Conda虚拟环…
从二分类到多分类：探索Logistic回归到Softmax回归的演进
随着机器学习和深度学习的迅猛发展，我们需要越来越灵活和强大的模型来解决各种不同的问题。在分类问题中，Logistic回归一直是一个常见而有效的工具，尤其是在二分类场景中。然而，随着问题变得更加复杂，我们需要更先进的…
pytorch文本分类（二）：引入pytorch处理文本数据
pytorch文本数据处理 目录 pytorch文本数据处理1. Pytorch背景2. 数据分割3. 数据加载Dataset代码分析字典的用途代码修改的目的 Dataloader 4. 练习 原学习任务链接
相关数据链接：https://pan.baidu.com/s/1iwE3LdRv3uAkGGI2fF9BjA?pwdro0v 提取码：ro…
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出?
在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而…
下午好~ 我的论文【遥感】（第一期）
写在前面：下午浑浑噩噩，泡杯茶，读篇论文吧
首先说明，时间有限没有那么精力一一回复了，对不起各位了TAT 文章目录 遥感Bi-Dilation-formerCNN-GNN-FusionMulti-hierarchical cross transformerCoupled CNNs 遥感
Bi-D…
Windows11环境下配置深度学习环境（Pytorch）
目录 1. 下载安装Miniconda2. 新建Python3.9虚拟环境3. 下载英伟达驱动4. 安装CUDA版Pytorch5. CPU版本pytorch安装 1. 下载安装Miniconda
下载安装包：镜像文件地址 将Miniconda相关路径添加至系统变量的路径中。 打开Anaconda Powershell Prompt，输入…
【Pytorch】学习记录分享6——PyTorch经典网络 ResNet与手写体识别
【Pytorch】学习记录分享5——PyTorch经典网络 ResNet 1. ResNet （残差网络）基础知识2. 感受野3. 手写体数字识别3. 0 数据集（训练与测试集）3. 1 数据加载3. 2 函数实现：3. 3 训练及其测试： 1. ResNet &…
Pytorch 入门学习数据操作之算术操作-加法
算术操作-加法
在 PyTorch 中，同一种操作方式可能有很多种形式
官方文档相关信息地址：官方文档相关信息地址
方式一
def add_one():random_a torch.rand(4, 2)random_b torch.rand(4, 2)print(random_a random_b)if __name__ __main__:add_one()…
Pytorch从零开始实战13
Pytorch从零开始实战——ResNet与DenseNet探索
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——ResNet与DenseNet探索环境准备数据集模型选择开始训练可视化总结 环境准备
本文基于Jupyter notebook，使用Python3.8，P…
基于pytorch的房价预测
简介
本文主要介绍的基于pytorch和房价预测深度学习网络构建。
该系统使用的是网络上的开源数据：
实现了对房价数据的处理，包括词频统计、情感分析等，并将分析结果以图表形式进行展示。通过这个系统，用户可以便捷地进行分析和可…
PyTorch机器学习与深度学习
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受…
torch.einsum用法
目录
1. 向量点乘（内积）
2. 外积
3. 矩阵和向量的乘法
4. 矩阵乘法
5. 批量矩阵乘法
6. 求和操作 torch.einsum 是 PyTorch 中的一个强大工具，它允许你通过 Einstein summation convention（爱因斯坦求和约定）来执…
pytorch-模型预测概率值为负数
在进行ocr识别模型预测的时候，发现预测的结果是正确的，但是概率值是负数：
net_out net(img) #torch.Size([70, 1, 41])
logit, preds net_out.max(2) #41是类别 需要对类别取最大值
preds preds.transpose(1, 0).contiguous().view(-1) …
Pytorch常用的函数(五)np.meshgrid()和torch.meshgrid()函数解析
Pytorch常用的函数(五)np.meshgrid()和torch.meshgrid()函数解析
我们知道torch.meshgrid()函数的功能是生成网格，可以用于生成坐标；
在numpy中也有一样的函数np.meshgrid()，但是用法不太一样，我们直接上代码进行解释。
1、两者…
人工智能-机器学习-深度学习-分类与算法梳理
目前人工智能的概念层出不穷，容易搞混，理清脉络，有益新知识入脑。 为便于梳理，本文只有提纲，且笔者准备仓促，敬请勘误，不甚感激。 人工智能
三大派系
符号主义(Symbolists) 基于逻辑推理的智能…
PyTorch随机数生成：torch.rand，torch.randn，torch.randind，torch.rand_like
在用PyTorch做深度学习开发过程中，时常用到随机数生成功能，但经常记不住几个随机数生成函数的用法，现在正好有点时间，整理一下。
1. torch.rand()
torch.rand(*size, *, generatorNone, outNone, dtypeNone, layouttorch.stride…
Python深度学习029：pytorch中常用的模块或方法
PyTorch是一个广泛使用的深度学习库，提供了许多用于构建和训练神经网络的模块和方法。下面是一些PyTorch中常用的模块和方法的简要介绍：
PyTorch常用模块和方法 torch 用途：PyTorch的基础模块，提供了多种数学运算功能。常用方法： torch.tensor()：创建张量torch.randn()：…
pytorch 踩坑
pytorch 踩坑
在pytorch中，如果你定义了没用的组件，同样也会影响你的模型(我也不知道从哪里影响的)，看一个例子 def _make_layer(self, block, planes, blocks, stride1, dilateFalse):norm_layer self._norm_layer#downsample Noneprevio…
1. pytorch mnist 手写数字识别
文章目录 一、数据集介绍1.1、简介1.2 详细介绍1、数据量2、标注量3. 标注类别4.数据下载5.数据集解读 二、读取、加载数据集1、pytorch 自带库函数2、通过重构Dataset类读取特定的MNIST数据或者制作自己的MNIST数据集 三、模型构建四、 runtraintest评估模型的性能检查点的持续…
BCELoss，BCEWithLogitsLoss和CrossEntropyLoss
目录
二分类
1. BCELoss
2. BCEWithLogitsLoss
多分类
1. CrossEntropyLoss 举例 二分类
两个损失：BCELoss，BCEWithLogitsLoss
1. BCELoss
输入：（[B,C], [B,C]）,代表（prediction,target）…
python中的魔法函数及pytorch中forward()函数
python 中的魔法函数
本节参照 python杂记——魔法方法 进行总结和梳理。
魔法方法（magic methods）：python 中的魔法方法是指方法名以两个下划线开头并以两个下划线结尾的方法，因此也叫 Dunder Methods (Double Underscores)&am…
ViT的极简pytorch实现及其即插即用
先放一张ViT的网络图 可以看到是把图像分割成小块，像NLP的句子那样按顺序进入transformer，经过MLP后，输出类别。每个小块是16x16，进入Linear Projection of Flattened Patches, 在每个的开头加上cls token和位置信息，…
深度学习框架输出可视化中间层特征与类激活热力图
有时候为了分析深度学习框架的中间层特征，我们需要输出中间层特征进行分析，这里提供一个方法。
(1)输出中间特征层名字
导入所需的库并加载模型
import matplotlib.pyplot as plt
import torch
import torch.nn as nn
from torch.nn import functiona…
目标检测损失函数：IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU原理及Pytorch实现
前言
损失函数是用来评价模型的预测值和真实值一致程度，损失函数越小，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数主要是用在模型的训练阶段，如果我们想让预测值无限接近于真实值，就需要将损失值降到最低…
PyTorch中常用的工具（5）使用GPU加速：CUDA
文章目录 前言4 使用GPU加速：CUDA5 小结 前言
在训练神经网络的过程中需要用到很多的工具，最重要的是数据处理、可视化和GPU加速。本章主要介绍PyTorch在这些方面常用的工具模块，合理使用这些工具可以极大地提高编程效率。
由于内容较多&am…
PyTorch官网demo解读——第一个神经网络（4）
上一篇：PyTorch官网demo解读——第一个神经网络（3）-CSDN博客 上一篇我们聊了手写数字识别神经网络的损失函数和梯度下降算法，这一篇我们来聊聊激活函数。
大佬说激活函数的作用是让神经网络产生非线性，类似人脑神经元…
YOLOv8改进 | 细节创新篇 | iAFF迭代注意力特征融合助力多目标细节涨点
一、本文介绍
本文给大家带来的改进机制是iAFF（迭代注意力特征融合），其主要思想是通过改善特征融合过程来提高检测精度。传统的特征融合方法如加法或串联简单，未考虑到特定对象的融合适用性。iAFF通过引入多尺度通道注意力模块(我…
设置随机种子以确保结果的可复现性（pytorch、numpy、random、os）
在机器学习和深度学习任务中，随机性是一个常见的因素。在某些情况下，我们希望能够获得可复现的结果，以便于调试、复现实验结果或确保结果的一致性。为了实现这一目标，设置随机种子是一种常用的方法。
在本篇博客中，将…
Pytorch上采样
文章目录 Upsample特殊上采样 Upsample
所谓上采样，实则是一个插值过程。所以上采样对象在初始化时，需要指定一个插值类型，Upsample是torch.nn中最基础的上采样类，初始化参数如下
Upsample(sizeNone, scale_factorNone, modenea…
Pytorch详细安装过程
1、安装anaconda
官网（https://www.anaconda.com/products/distribution#Downloads）下载，使用管理员身份运行（不使用似乎也没事）
这里选择Just me（至于为啥，咱也不是很清楚） 更改路…
我用 Python 自动生成图文并茂的数据分析报告
reportlab是Python的一个标准库，可以画图、画表格、编辑文字，最后可以输出PDF格式。它的逻辑和编辑一个word文档或者PPT很像。有两种方法：
1）建立一个空白文档，然后在上面写文字、画图等； 2）建…
【解决--- CUDA out of memory---CUDA_VISIBLE_DEVICES=1】
车道线检测部署中权重文件的格式转换
pt权重文件------->onnx权重文件
由于服务器存在多块显卡，同时第一块显卡正在被占用训练网络，然而在进行权重文件转换的过程中出现了 CUDA out of memory 的问题！！！ÿ…
词嵌入位置编码的实现（基于pytorch）
背景介绍
在transformers架构当中，对于词向量的输入需要加上原本词对应的位置信息，作为输入到模型中训练的input，那具体的位置编码如何实现呢？本篇博客就跟大家一起分享一下对应的步骤 位置编码的公式
对于词向量的位置编码的方…
PyTorch|在张量运算中使用GPU
pytorch在张量运算时允许我们在GPU上进行计算，我们可以采用这些方法将数据无缝的移入或移出GPU。
当我们进入GPU时，我们可以使用cuda()方法，当我们进入CPU时，我们可以使用cpu()方法。
同时，我们还可以使用to()方法&a…
新手深入浅出理解PyTorch归一化层全解析
目录
torch.nn子模块normal层详解
nn.BatchNorm1d
BatchNorm1d 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码
nn.BatchNorm2d
BatchNorm2d 函数简介
函数工作原理
参数详解
使用技巧与注意事项
示例代码 nn.BatchNorm3d
BatchNorm3d 函数简介
参…
pytorch集智-1安装与简单使用
1 安装
1.1 简介
pytorch可用gpu加速，也可以不加速。gpu加速是通过cuda来实现，cuda是nvidia推出的一款运算平台，它可以利用gpu提升运算性能。
所以如果要装带加速的pytorch，需要先装cuda，再装pytorch，如…
基于albert的汽车评论情感分析【含代码】
汽车评论情感分析 汽车评论情感数据集代码加载库与参数设置数据集的读取超参数设置与数据集的构建模型的训练与验证 汽车评论情感数据集
链接：https://pan.baidu.com/s/1K5TWrXbXBRXkCUpMbZq2XA 提取码：9mt9
代码
加载库与参数设置
首先先把一些基础…
Pytorch的GPU版本安装，在安装anaconda的前提下安装pytorch
本文基于conda安装GPU版本的PyTorch
一、CUDA
1.下载CUDA 点击下载
找到对应的版本进行下载 （1）打开命令提示符查看自己的版本，输入 nvidia-smi
根据自己的版本进行下载 （2）点击适合自己的版本进行下载 &#…
pytorch导出onnx时遇到不支持的算子怎么解决
在使用pytorch模型训练完成之后，我们现在使用的比较多的一种方法是将pytorch模型转成onnx格式的模型中间文件，然后再根据使用的硬件来生成具体硬件使用的深度学习模型，比如TensorRT。 在从pytorch模型转为onnx时，我们可能会遇到部…
PyTorch|一些简单操作
在使用PyTorch构建自己的神经网络时，灵活度非常大，这给了用户更多的发挥空间，这里介绍一些简单的操作。 1，获取所安装PyToch版本 >>> torch.__version__1.11.0 2，判断Cuda在我们的系统上是否可用…
【Pytorch】学习记录分享11——GAN对抗生成网络
PyTorch GAN对抗生成网络 0. 工程实现1. GAN对抗生成网络结构2. GAN 构造损失函数（LOSS）3. GAN对抗生成网络核心逻辑3.1 参数加载：3.2 生成器：3.3 判别器： 0. 工程实现
原理解析： 论文解析：GAN…
实现pytorch版的mobileNetV1
mobileNet具体细节，在前面已做了分析记录：轻量化网络-MobileNet系列-CSDN博客
这里是根据网络结构，搭建模型，用于图像分类任务。
1. 网络结构和基本组件 2. 搭建组件
（1）普通的卷积组件：CBL …
YOLOv5改进 | 2023注意力篇 | MSDA多尺度空洞注意力（附多位置添加教程）
一、本文介绍
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查…
PyTorch 新手可理解的 Embedding 和 EmbeddingBag - 解析与实践
目录
torch.nn子模块Sparse Layers详解
nn.Embedding
用途
主要参数
注意事项
使用示例
从预训练权重创建嵌入
nn.EmbeddingBag
功能和用途
主要参数
使用示例
从预训练权重创建
总结 torch.nn子模块Sparse Layers详解
nn.Embedding
torch.nn.Embedding 是 PyTo…
pytorch 分布式 Node/Worker/Rank等基础概念
分布式训练相关基本参数的概念如下:
Definitions Node - A physical instance or a container; maps to the unit that the job manager works with. Worker - A worker in the context of distributed training. WorkerGroup - The set of workers that execute the same f…
RuntimeError: DataLoader worker (pid 29911) is killed by signal: Terminated.
RuntimeError: DataLoader worker (pid 29911) is killed by signal: Terminated. 这个错误通常是由于在使用 PyTorch 的 DataLoader 时，数据加载的工作进程（worker）被系统终止而引起的。这可能是由于多种原因造成的，包括内存不足…
PyTorch 简单易懂的 Embedding 和 EmbeddingBag - 解析与实践
目录
torch.nn子模块Sparse Layers详解
nn.Embedding
用途
主要参数
注意事项
使用示例
从预训练权重创建嵌入
nn.EmbeddingBag
功能和用途
主要参数
使用示例
从预训练权重创建
总结 torch.nn子模块Sparse Layers详解
nn.Embedding
torch.nn.Embedding 是 PyTo…
VScode/Xshell连接学校服务器
vscode连学校服务器 1.连接atrust VPN2.Xshell连接服务器2.1创建一个自己的用户 3.xftp传文件4.vscode连接服务器4.1下载remote-ssh4.2连接服务器4.3激活conda环境4.4运行代码 5. pytorch版本不兼容解决方案 1.连接atrust VPN
如果是使用的是校园网，可以不连接
2…
学校服务器安装anaconda并配置pytorch环境
学校服务器安装anaconda并配置pytorch环境 1.下载Anaconda2.传到xftp中3.在终端运行脚本命令4.安装pytorch4.1 查看cuda版本4.2 创建自己的环境4.3 下载pytorch4.4 验证pytorch是否安装成功 参考视频：远程服务器安装anaconda并配置pytorch环境 使用服务器运行项目&a…
简单易懂深入PyTorch中RNN、LSTM和GRU使用和理解
目录
torch.nn子模块Recurrent Layers
nn.RNNBase
RNNBase 类描述
RNNBase 类的功能和作用
flatten_parameters() 方法
示例代码
nn.RNN
RNN 类描述
RNN 类的功能和作用
RNN 类的参数
输入和输出
注意事项
示例代码
nn.LSTM
LSTM 类描述
LSTM 类的功能和作用
…
nn.Dropout、DropPath的理解与pytorch代码
文章目录 理论dropoutDropPath 代码问题：dropout中为什么要除以 keep_prob? 在vit的代码中看到了DropPath，想知道DropPath与nn.Dropout()有什么区别，于是查阅相关资料记录一下。 理论
dropout
dropout是最早的用于解决过拟合的方法&am…
Hugging face库
1. Transformers
是NLP, CV, audio，speech processing 任务的库。 它包含了超过10000个预训练的模型，涵盖了各种NLP任务，如文本分类，问答，文本生成，情感分析等。Transformers库支持多种深度学习框架&#…
PyTorch 参数化深度解析：自定义、管理和优化模型参数
目录
torch.nn子模块parametrize
parametrize.register_parametrization
主要特性和用途
使用场景
参数和关键字参数
注意事项
示例
parametrize.remove_parametrizations
功能和用途
参数
返回值
异常
使用示例
parametrize.cached
功能和用途
如何使用
示例…
YOLOv8改进 更换层次化视觉变换器的网络结构
一、SwinTransformer论文 论文地址：arxiv.org/pdf/2103.14030.pdf
二、 SwinTransformer网络结构
SwinTransformer是一种基于transformer的图像分类网络结构。SwinTransformer是由微软亚洲研究院提出的，其特点是具有高效的计算和参数效率。
SwinTransformer的网络结构主要…
《动手学深度学习(PyTorch版)》笔记3.1
Chapter3 Linear Neural Networks
3.1 Linear Regression
3.1.1 Basic Concepts
我们通常使用 n n n来表示数据集中的样本数。对索引为 i i i的样本，其输入表示为 x ( i ) [ x 1 ( i ) , x 2 ( i ) , . . . , x n ( i ) ] ⊤ \mathbf{x}^{(i)} [x_1^{(i)}, x_2…
流量预测中文文献阅读（郭郭专用）
目录 基于流量预测的超密集网络资源分配策略研究_2023_高雪亮_内蒙古大学（1）内容总结（2）流量预测部分1、数据集2、结果对其中的一个网格的CDR进行预测RMSE和R2近邻数据和周期数据对RMSE的影响 （3）基于流量预…
将图片转为tensor类型的方法
要将图片转换为 tensor，您可以使用 PyTorch 的 torchvision.transforms 模块中的 ToTensor 转换。ToTensor 转换会将 PIL 图像或 NumPy ndarray 转换为 torch tensor。它还会自动将像素值从 [0, 255] 缩放到 [0.0, 1.0] 的范围。以下是将图片转换为 tensor 的步骤&a…
UniRepLKNet实战：使用 UniRepLKNet实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…
pytorch-gpu版本安装
前言 PyTorch是一款广泛使用的python深度学习框架，它能够帮助研究者们快速构建和训练复杂的神经网络，在人工智能领域无疑是【宠儿】的存在。 但刚进门的小白们应该都有困惑：为什么有些基于pytorch框架吃CPU，油得却是吃GPU…
pytorch多GPU并行DistributedDataParallel应用和踩坑记录（本节-单机多卡实现）持续补充
一、 前言
说在前面：网上参考链接很多，参考之后可以实现分布式，但是对其原理还是云里雾里，有时间的建议去看一看原理。并且我实现分布式之后还是显示显存不足，不知道为什么。
参考链接：pytorch多GPU并行训…
YOLOv5改进 | 二次创新篇 | 结合iRMB和EMA形成全新的iEMA机制（全网独家创新）
一、本文介绍
本文给大家带来的改进机制是二次创新的机制，二次创新是我们发表论文中关键的一环，为什么这么说，从去年的三月份开始对于图像领域的论文发表其实是变难的了，在那之前大家可能搭搭积木的情况下就可以简单的发表一篇论文，但是从去年开始单纯的搭积木其实发表论…
PyTorch|构建自己的卷积神经网络——卷积层
在构建我们的网络时，我们需要用到卷积层提取特征，来看到一些特别的东西，当图片经过卷积层，图片尺寸一般会变化。
当我们构建网络时，我们需要确定各个层的参数，而这些参数，则是要提前计算的&…
YOLOv5改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)
一、本文改进
本文给大家带来的改进机制是CCFM配合Dyhead检测头实现融合涨点，这个结构配合在一起只能说是完美的融合，看过我之前的检测头篇的读者都知道Dyhead官方版本支持的输入通道数是需要保持一致的，但是CCFM作为RT-DETR的Neck结构其输出通道数就是一致的，所以将这两种…
基于YOLOv7算法的高精度实时烟雾目标检测识别系统（PyTorch+Pyside6+YOLOv7）
摘要：基于YOLOv7算法的高精度实时烟雾目标检测系统可用于日常生活中检测与定位烟雾，此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别，同时本系统还支持检测结果可视化与导出。本系统采用YOLOv7目标检测算法来训练数据集…
基于Pytorch的身份证及其他证件检测矫正模型应用
前言 在做身份证和其他证件识别的时候，图片基本都不是摆正的状态，此时在进行OCR文字识别的提取文字信息的时候会出现很多误差，如何将证件摆正，再进行OCR文字识别就可以大大提高准确率。
准备工作
1、Python环境，在P…
YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）
一、本文介绍
本文给大家带来的改进机制是TransNeXt特征提取网络,其发表于2023年的12月份是一个最新最前沿的网络模型，将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU&…
机器学习——支持向量机SVM
1 摘要：
支持向量机（SVM）是一种二类分类模型，其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，间隔最大使它有别于感知机，支持向量机也可通过核技巧使它成为非线性分类器。支持…
pytorch学习（一）线性模型
文章目录 线性模型 pytorch是一个基础的python的科学计算库，它有以下特点： 类似于numpy，但是它可以使用GPU可以用它来定义深度学习模型，可以灵活的进行深度学习模型的训练和使用 线性模型 线性模型的基本形式为： f ( x…
PyTorch损失函数（二）
损失函数
5、nn.L1Loss
nn.L1Loss是一个用于计算输入和目标之间差异的损失函数，它计算输入和目标之间的绝对值差异。
主要参数：
reduction：计算模式，可以是none、sum或mean。 none：逐个元素计算损失，返…
【pytorch】Pytorch 中的 grid 与 各种变换
Pytorch 中的 grid 与 各种变换
数学原理
**单应性（Homography） : 也就是透视变换。**单应性最初用来研究欧几里得几何中的透视和投影，而单应性一词，从词源学上来说，大致意思是“相似的绘图”。单应性的概念被引入来…
使用PyTorch实现混合专家(MoE)模型
Mixtral 8x7B 的推出在开放 AI 领域引发了广泛关注，特别是混合专家（Mixture-of-Experts：MoEs）这一概念被大家所认知。混合专家(MoE)概念是协作智能的象征，体现了“整体大于部分之和”的说法。MoE模型汇集了各种专家模型…
pytorch一致数据增强—独用增强
前作 [1] 介绍了一种用 pytorch 模仿 MONAI 实现多幅图（如：image 与 label）同用 random seed 保证一致变换的写法，核心是 MultiCompose 类和 to_multi 包装函数。不过 [1] 没考虑各图用不同 augmentation 的情况，如&am…
循环神经网络-单变量序列预测详解（pytorch）
参考博客 文章目录 （1）导入所需要的包（2）读取数据并展示（3）数据预处理（4）划分训练集和测试集（5）构建RNN回归模型（6）构造训练函数&…
PPO 跑CartPole-v1
gym-0.26.2 cartPole-v1 参考动手学强化学习书中的代码,并做了一些修改 代码
import gym
import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as np
import matplotlib.pyplot as plt
from tqdm import tqdmclass PolicyNet(nn.Module):def __…
PyTorch Tutorial 2.0
这里是对于PyTorch Tutorial-CSDN博客的补充，但是与其相关的NLP内容无关，只是一些基础的PyTorch用法的记录，主要目的是能够自己生成一些模拟的数据集。先介绍随机数的目的是因为based on随机数方法。
当然在看随机数的方法的时候，…
PyTorch 稀疏函数解析：embedding 、one_hot详解
目录
PyTorch子模块Sparse functions详解
embedding
参数
输出形状
示例
带有 padding_idx 的示例
embedding_bag
参数
输出形状
示例
使用 padding_idx 的示例
one_hot
参数
返回
示例
总结 PyTorch子模块Sparse functions详解
embedding
torch.nn.function…
【PyTorch】在PyTorch中使用线性层和交叉熵损失函数进行数据分类
在PyTorch中使用线性层和交叉熵损失函数进行数据分类
前言：
在机器学习的众多任务中，分类问题无疑是最基础也是最重要的一环。本文将介绍如何在PyTorch框架下，使用线性层和交叉熵损失函数来解决分类问题。我们将以简单的Iris数据集作为起点…
conda install命令无法安装pytorch
由于网络问题，直接采用conda install命令可能无法直接下载对应的cuda包。
方法一：采用pip命令替代
步骤1：切换pip的源为国内源：
若只是临时切换：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-p…
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干（改进暗光条件下的物体检测模型）
一、本文介绍
本文给大家带来的改进机制是低照度图像增强网络PE-YOLO中的PENet，PENet通过拉普拉斯金字塔将图像分解成多个分辨率的组件，增强图像细节和低频信息。它包括一个细节处理模块（DPM），用于通过上下文分支和边缘分支增强图像细节，以及一个低频增强滤波器（LEF），…
用Pytorch实现线性回归模型
目录 回顾Pytorch实现步骤1. 准备数据2. 设计模型class LinearModel代码 3. 构造损失函数和优化器4. 训练过程5. 输出和测试完整代码 练习 回顾
前面已经学习过线性模型相关的内容，实现线性模型的过程并没有使用到Pytorch。 这节课主要是利用Pytorch实现线性模型。…
第1周：Day 3 - PyTorch与TensorFlow的异同介绍（入门级）
第1周：Day 3 - PyTorch介绍 学习目标 理解PyTorch的基本概念和主要特点。 成功安装PyTorch环境。 PyTorch简介 PyTorch 是一个开源的机器学习库，广泛用于计算机视觉和自然语言处理等领域。 它由Facebook的人工智能研究团队开发，提供了丰富的A…
Pytorch 对比TensorFlow 学习：Day 17-18: 循环神经网络（RNN）和LSTM
Day 17-18: 循环神经网络（RNN）和LSTM
在这两天的学习中，我专注于理解循环神经网络（RNN）和长短期记忆网络（LSTM）的基本概念，并学习了它们在处理序列数据时的应用。
1.RNN和LSTM基础…
PyTorch视觉工具箱：图像变换与上采样技术详解（1）
目录
Pytorch中Vision functions详解
pixel_shuffle
用途
用法
使用技巧
注意事项
参数
数学理论公式
示例代码及输出
pixel_unshuffle
用途
用法
使用技巧
注意事项
参数
数学理论公式
示例代码及输出
pad
用途
用法
使用技巧
注意事项
参数
示例代码…
Pytorch第2周：深度学习基础 - Day 8-9: 神经网络基础
Pytorch第2周：深度学习基础 - Day 8-9: 神经网络基础 学习目标： 理解神经网络的基础概念。 学习如何使用PyTorch的nn模块构建神经网络。
学习内容： 神经网络基础概念：
神经元：构成神经网络的基本单元，模拟…
第4周：Pytorch——综合应用和实战项目 Day 28-30: 学习资源和社区参与
第4周：综合应用和实战项目 Day 28-30: 学习资源和社区参与 在这个阶段，我们将探索更多的学习资源并鼓励参与PyTorch和TensorFlow的社区，以进一步提升技术和融入开发者社群。
学习资源：
论文：阅读最新的机器学习和深度…
Pytorch从零开始实战17
Pytorch从零开始实战——生成对抗网络入门
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——生成对抗网络入门环境准备模型定义开始训练总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch1.8cpu…
日志记录logging
文章目录 1. logging基础使用1.1 日志的6个级别1.2 logging.basicConfig1.3 案例 2. logging的高级应用2.1 记录器Logger2.2 处理器- Handler2.3 格式器- Formatter2.4 创建关联2.4 案例 3.在项目中的应用3.1 定义全局使用的logger对象3.2 使用案例 参考 1. logging基础使用
1…
pytorch学习（二）、网络的构建和卷积层
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、nn.Module（网络的构建）二、torch.nn.functional.conv2d（卷积运算）三、神经网络--卷积层（一层卷积…
（超详细）7-YOLOV5改进-添加 CoTAttention注意力机制
1、在yolov5/models下面新建一个CoTAttention.py文件，在里面放入下面的代码
代码如下：
import numpy as np
import torch
from torch import flatten, nn
from torch.nn import init
from torch.nn.modules.activation import ReLU
from torch.nn.mod…
MODNet 剪枝再思考: 优化计算量的实验历程分享
目录 1 写在前面
2 模型分析
3 遇到问题
4 探索实验一
4.1 第一部分
4.2 第二部分
Error 1
Error 2
4.3 实验结果
①参数量与计算量
②模型大小
③推理时延
5 探索实验二
5.1 LR Branch
5.2 HR Branch
5.2.1 初步分析
5.2.2 第一部分 enc2x
5.2.3 第二部分 en…
何为PyTorch？
PyTorch的名字来源于它的功能和设计哲学。"Py"代表Python，因为PyTorch是一个基于Python的深度学习库，它充分利用了Python语言的灵活性和易用性，为开发者提供了简洁而强大的接口。“Torch”则代表其前身—— Torch，这是一…
PyTorch各种损失函数解析：深度学习模型优化的关键（1）
目录
详解pytorch中各种Loss functions
binary_cross_entropy
用途
用法
参数
数学理论
示例代码
binary_cross_entropy_with_logits
用途
用法
参数
数学理论
示例代码
poisson_nll_loss
用途
用法
参数
数学理论
示例代码
cosine_embedding_loss
用途
…
Google Colab运行Pytorch项目
Google Colab运行Pytorch项目 连接google drive切换到某一文件夹显示当前目录文件安装依赖执行py文件numpy相关numpy.random.randn() 参考文章：文章1 文章2
连接google drive
from google.colab import drive
import os
drive.mount(/content/drive)切换到某一文件…
YOLOv8改进 | Conv篇 | 2024.1月最新成果可变形卷积DCNv4（适用检测、Seg、分类、Pose、OBB）
一、本文介绍
本文给大家带来的改进机制是2024-1月的最新成果DCNv4，其是DCNv3的升级版本，效果可以说是在目前的卷积中名列前茅了，同时该卷积具有轻量化的效果！一个DCNv4参数量下降越15Wparameters左右，。它主要通过两个方面对前一版本DCNv3进行改进：首先，它移除了空间聚…
自定义数据集 - Dataset
文章目录 1. PASCAL VOC格式 划分训练集和验证集2. 自定义dataset 1. PASCAL VOC格式 划分训练集和验证集
import os
import randomdef main():random.seed(0) # 设置随机种子，保证随机结果可复现files_path "./VOCdevkit/VOC2012/Annotations" # 指定…
使用AFPN渐近特征金字塔网络优化YOLOv8改进小目标检测效果（不适合新手）
目录
简单概述
算法概述
优化效果
参考文献
文献地址：paper
废话少说，上demo源码链接： 简单概述 AFPN的核心思想：AFPN主要通过引入渐近的特征融合策略，逐步整合底层、高层和顶层的特征到目标检测过程中。这种融合…
深度学习|RCNNFast-RCNN
1.RCNN
2014年提出R-CNN网络，该网络不再使用暴力穷举的方法，而是使用候选区域方法（region proposal method）创建目标检测的区域来完成目标检测的任务，R-CNN是以深度神经网络为基础的目标检测的模型 ，以R-C…
《动手学深度学习(PyTorch版)》笔记1
Chapter1 Introduction
机器学习的关键组件
data 每个数据集由一个个样本（example, sample）组成，大多时候，它们遵循独立同分布(independently and identically distributed, i.i.d.)。 样本有时也叫做数据点（data po…
softmax回归实战-分类
1.数据集
MNIST数据集 (LeCun et al., 1998) 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。 我们将使用类似但更复杂的Fashion-MNIST数据集 (Xiao et al., 2017)。
import torch
import torchvision
from torch.utils import data
from torchvisi…
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建
系列文章目录
【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用 在一个人体姿态估计的任务中，需要用深度学习模型…
李沐《动手学深度学习》深度学习计算
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 李沐《动手学深度学习》线性神经网络 softmax回归 李沐《动手学深度学习》多层感知机 模型概念和代码实现 李沐《…
深度学习-Pytorch如何保存和加载模型
深度学习-Pytorch如何保存和加载模型
用pytorch构建模型，并训练模型，得到一个优化的模型，那么如何保存模型？然后如何又加载模型呢？
pytorch 目前在深度学习具有重要的地位，比起早先的caffe，te…
深度学习 pytorch的使用（张量2）
深度学习 pytorch的使用（张量1） 五、张量索引操作 简单行、列索引、列表索引、范围索引、布尔索引、多维索引 import torch
# 数据
data torch.randint(0,10,[4,5])
print(data) tensor([[7, 6, 9, 4, 6], [1, 9, 0, 9, 2], [5, 7, 1, …
【图像分割】【深度学习】Windows10下UNet代码Pytorch实现与源码讲解
【图像分割】【深度学习】Windows10下UNet代码Pytorch实现与源码讲解 提示:最近开始在【医学图像分割】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。 文章目录 【图像分割】【深度学习】Windows10下UNet代码Pytorch实现与源码讲解前言UNet模型运行环境搭…
pytorch-textregression，中文文本回归实践，支持多值输出
pytorch-textregression，中文文本回归实践，支持多值输出 pytorch-textregression是一个以pytorch和transformers为基础，专注于中文文本回归的轻量级自然语言处理工具，支持多值回归等。 目录
数据使用方式paper参考
项目地址
py…
YOLOv8加入AIFI模块，附带项目源码链接
YOLOv8" 是一个新一代的对象检测框架，属于YOLO（You Only Look Once）系列的最新版本。YOLOv8中提及的AIFI（Attention-based Intrascale Feature Interaction）模块是一种用于增强对象检测性能的机制，它是…
【Pytorch深度学习开发实践学习】B站刘二大人课程笔记整理lecture06 Logistic回归
【Pytorch深度学习开发实践学习】B站刘二大人课程笔记整理lecture06 Logistic回归
课程网址 Pytorch深度学习实践
部分课件内容： import torchx_data torch.tensor([[1.0],[2.0],[3.0]])
y_data torch.tensor([[0.0],[0.0],[1.0]])class LogisticRegressionModel(…
第N3周：Pytorch文本分类入门
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA) 中的学习记录博客** >- **🍖 原作者：[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)**
import torch
import…
pytorch 实现中文文本分类
🍨 本文为[🔗365天深度学习训练营学习记录博客🍦 参考文章：365天深度学习训练营🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/mi…
10-pytorch-完整模型训练
b站小土堆pytorch教程学习笔记 一、从零开始构建自己的神经网络
1.模型构建
#准备数据集
import torch
import torchvision
from torch.utils.tensorboard import SummaryWriterfrom model import *
from torch.utils.data import DataLoadertrain_datatorchvision.datasets.…
李沐《动手学深度学习》卷积神经网络 经典网络模型
系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理 李沐《动手学深度学习》预备知识 线性代数及微积分 李沐《动手学深度学习》线性神经网络 线性回归 李沐《动手学深度学习》线性神经网络 softmax回归 李沐《动手学深度学习》多层感知机 模型概念和代码实现 李沐《…
《动手学深度学习(PyTorch版)》笔记4.4
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
YOLOv8改进 | Conv篇 | 结合Dual思想利用HetConv创新一种全新轻量化结构CSPHet（参数量下降70W）
一、本文介绍
本文给大家带来的改进机制是我结合Dual的思想利用HetConv提出一种全新的结构CSPHet，我们将其用于替换我们的C2f结构，可以将参数降低越75W，GFLOPs降低至6.6GFLOPs，同时本文结构为我独家创新，全网无第二份，非常适合用于发表论文，该结构非常灵活，利用Dual卷…
小土堆pytorch学习笔记004
目录
1、神经网络的基本骨架-nn.Module的使用 2、卷积操作实例
3、神经网络-卷积层
4、神经网络-最大池化的使用
（1）最大池化画图理解：
（2）代码实现：
5、神经网络-非线性激活
（1…
《动手学深度学习(PyTorch版)》笔记4.8
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过。…
【Pytorch深度学习开发实践学习】B站刘二大人课程笔记整理lecture05 构建线性模型
lecture05 构建线性模型 课程网址 Pytorch深度学习实践
部分课件内容 import torchx_data torch.tensor([[1.0],[2.0],[3.0]])
y_data torch.tensor([[2.0],[4.0],[6.0]])class LinearModel(torch.nn.Module):def __init__(self):super(LinearModel, self).__init__()self.lin…
使用make_grid多批次显示网格图像（使用CIFAR数据集介绍）
背景介绍
在机器学习的训练数据集中，我们经常使用多批次的训练来实现更好的训练效果，具体到cv领域，我们的训练数据集通常是[B,C,W,H]格式，其中，B是每个训练批次的大小，C是图片的通道数，如果是1…
PyTorch 之 nn.Parameter
文章目录 使用方法：为什么使用 nn.Parameter：示例使用： 在 PyTorch 中，nn.Parameter 是一个类，用于将张量包装成可学习的参数。它是 torch.Tensor 的子类，但被设计成可以被优化器更新的参数。通过将张量包装…
PyTorch深度学习实战（33）——条件生成对抗网络(Conditional Generative Adversarial Network, CGAN)
PyTorch深度学习实战（33）——条件生成对抗网络 0. 前言1. 条件生成对抗网络1.1 模型介绍1.2 模型与数据集分析 2. 实现条件生成对抗网络小结系列链接 0. 前言
条件生成对抗网络 (Conditional Generative Adversarial Network, CGAN) 是一种生成对抗网络…
Dataloader加载数据集
文章目录 回顾Epoch, Batch-Size, Iterations糖尿病 Dataset 构建数据集实现代码DataLoader使用 糖尿病分类预测代码torchvision.datasets练习 练习 回顾
上节课使用全部数据进行训练。
Epoch, Batch-Size, Iterations
epoch:训练的总轮次，指所有的训练样本都进…
FlashInternImage实战：使用 FlashInternImage实现图像分类任务（二）
文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…
Transformer模型 | Pytorch实现Transformer模型进行时间序列预测
Transformer模型最初是为了处理自然语言处理任务而设计的，但它也可以用于时间序列预测。下面是将Transformer模型应用于时间序列预测的一般步骤：
数据准备：准备时间序列数据集，包括历史观测值和目标预测值。通常，你需要将时间序列转换为固定长度的滑动窗口序列，以便输入…
win11下 “pytorch导出模型“ 以及 “C++使用onnxruntime部署”
部分一：PyTorch导出模型
在Win11下，PyTorch是一个强大的深度学习框架，它提供了丰富的工具来训练和导出模型。在这一部分，我们将使用鸢尾花数据集，演示如何在PyTorch中训练一个简单的模型，并将其导出为ONNX…
PyTorch张量运算
诸神缄默不语-个人CSDN博文目录
在深度学习领域，张量是一种非常核心的数据结构，它是标量、向量和矩阵等数学概念的高维扩展。PyTorch作为一款流行的深度学习框架，提供了丰富的张量操作API，帮助研究人员和开发者有效地实现复杂的数…
人工智能(pytorch)搭建模型23-pytorch搭建生成对抗网络(GAN):手写数字生成的项目应用
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型23-pytorch搭建生成对抗网络(GAN):手写数字生成的项目应用。生成对抗网络（GAN）是一种强大的生成模型，在手写数字生成方面具有广泛的应用前景。通过生成…
【Pytorch】实验跟踪 Experiment Tracking
文章目录 1. 获取数据2. 创建Dataset和DataLoader3. 获取并定制预训练模型4. 训练模型并跟踪结果5. 在 TensorBoard 中查看模型的结果6. 创建辅助函数来构建 SummaryWriter() 实例7. 建立一系列建模实验8. 在TensorBoard中查看实验9. 加载最佳模型并用它进行预测补充 机器学习和…
AutoDL使用conda运行pytorch、dgl
环境配置要是出现兼容问题还是挺繁琐的。所以这里记录下成功的配置情况。
conda create --name Test python3.9 # 构建一个虚拟环境
conda init bash && source /root/.bashrc # 更新bashrc中的环境变量
conda activate Test # 切换到该虚拟环境
pip install torch…
【DeepLearning-8】MobileViT模块配置
完整代码：
import torch
import torch.nn as nn
from einops import rearrange
def conv_1x1_bn(inp, oup):return nn.Sequential(nn.Conv2d(inp, oup, 1, 1, 0, biasFalse),nn.BatchNorm2d(oup),nn.SiLU())
def conv_nxn_bn(inp, oup, kernal_size3, stride1):re…
Advanced CNN
文章目录 回顾Google NetInception1*1卷积Inception模块的实现网络构建完整代码 ResNet残差模块 Resedual Block残差网络的简单应用残差实现的代码 练习 回顾
这是一个简单的线性的卷积神经网络 然而有很多更为复杂的卷积神经网络。
Google Net
Google Net 也叫Inception V…
测试pytorch（GPU）安装，并输出版本号
目录
GPU版本pytorch安装测试
CUDA信息显示 GPU版本pytorch安装测试 我们一般完成pytorch(GPU)版本后，要进行测试，以下代码用于备注：
import torch
flag torch.cuda.is_available()
print(flag)ngpu 1
device torch.device("cuda:0…
【Pytorch】CNN中的Attention
目录 更大层面上的Attention在attention中，怎么分区channel-wise还是spatial-wise举一个Spatial-Channel Attention的例子 使用广泛的Dot-product Attentionattention机制中的query,key,value的概念解释Attention的一个例子 更大层面上的Attention
在attention中&a…
PyTorch的 torch.unsqueeze() 和 torch.squeeze()方法详解
torch.unsqueeze() 定义: torch.unsqueeze(input, dim) 返回一个新的张量，该张量为指定位置dim增加了一个大小为1的维度。 参数: input (Tensor): 输入张量。dim (int): 插入维度的索引。 返回值: Tensor。一个新的张量，它与输入张量input有着几乎相同的…
Pytorch从零开始实战18
Pytorch从零开始实战——人脸图像生成
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——人脸图像生成环境准备模型定义开始训练可视化总结 环境准备
本文基于Jupyter notebook，使用Python3.8，Pytorch2.0.1cu118&#…
pytorch调用gpu训练的流程以及示例
首先需要确保系统上安装了CUDA支持的NVIDIA GPU和相应的驱动程序。
基本步骤如下
检查CUDA是否可用： 使用 torch.cuda.is_available() 来检查CUDA是否可用。
指定设备： 可以使用 torch.device(“cuda:0”) 来指定要使用的GPU。如果系统有多个GPU&…
新书速览|PyTorch 2.0深度学习从零开始学
实战中文情感分类、拼音汉字转化、中文文本分类、拼音汉字翻译、强化学习、语音唤醒、人脸识别 01
本书简介
本书以通俗易懂的方式介绍PyTorch深度学习基础理论，并以项目实战的形式详细介绍PyTorch框架的使用。为读者揭示PyTorch 2.0进行深度学习项目实战的核心技…
pytorch_car_caring 排坑记录
pytorch_car_caring 排坑记录 任务踩坑回顾简单环境问题代码版本问题症状描述解决方法 cuda问题（异步问题）症状描述解决方法 任务
因为之前那个MPC代码跑出来的效果不理想，看了一天代码，大概看明白了，但要做改进还要有…
PyTorch深度学习实战（34）——Pix2Pix详解与实现
PyTorch深度学习实战（34）——Pix2Pix详解与实现 0. 前言1. 模型与数据集1.1 Pix2Pix 基本原理1.2 数据集分析1.3 模型构建策略 2. 实现 Pix2Pix 生成图像小结系列链接 0. 前言
Pix2Pix 是基于生成对抗网络 (Convolutional Generative Adversarial Netwo…
深度学习手写字符识别：训练模型
说明
本篇博客主要是跟着B站中国计量大学杨老师的视频实战深度学习手写字符识别。 第一个深度学习实例手写字符识别
深度学习环境配置
可以参考下篇博客，网上也有很多教程，很容易搭建好深度学习的环境。 Windows11搭建GPU版本PyTorch环境详细过程
数…
Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt，ROS
Anaconda：https://repo.anaconda.com/archive/ Cuda：https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048
1：安装Anaconda3
下载：Anaconda3-2021.11-Linux-aarch64.sh
chmod x Anaconda3-2021.11-Linux-aarch64.s…
TorchVision的使用方法、更改默认路径
TorchVision的使用 1. 转换和增强图像
torchvision.transforms.v2
参数作用Resize将输入调整为给定大小RandomShortestSize随机调整输入的大小RandomResize随机调整输入的大小RandomCrop在随机位置裁剪输入RandomResizedCrop裁剪输入的随机部分并将其调整为给定大小RandomIoU…
《动手学深度学习(PyTorch版)》笔记7.4
注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过&…
人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景，本文将介绍关于SKAttention注意力机制模型的搭建，SKAttention机制具有灵活性和通用性，可应用于计算机视…
报错ValueError: Unknown CUDA arch (8.6) or GPU not supported
文章目录 问题描述解决方案参考文献 问题描述
报错 ValueError: Unknown CUDA arch (8.6) or GPU not supported
本人显卡为 RTX 3060，CUDA 为 10.2，PyTorch 为 1.5 解决方案
修改 C:\Users\Administrator\Envs\test\Lib\site-packages\torch\utils\c…
PyTorch: torch.max()函数详解
torch.max函数详解：基于PyTorch的深入探索 🌵文章目录🌵 🌳引言🌳🌳torch.max()函数简介🌳🌳torch.max()的返回值🌳🌳torch.max()的应用示例🌳&am…
Pytorch 复习总结 1
Pytorch 复习总结，仅供笔者使用，参考教材：
《动手学深度学习》
本文主要内容为：Pytorch 张量的常见运算、线性代数、高等数学、概率论。
Pytorch 张量的常见运算、线性代数、高等数学、概率论 部分 见 Pytorch 复习总结 1&…
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南LLaMA的简介LLaMA模型的主要结构Transformer架构多层自注意力层前馈神经网络Layer Normalization和残差连接 LLaMA模型的变体Base版本Large版本Extra-Large版本 LLaMA模型的特点大规模数据训练 LLaMA模型常用数据集介绍公共数据来源已知的数据集案…
pytorch张量和numpy数组相互转换
pytorch张量和numpy数组相互转换 🌵文章目录🌵 🌳引言🌳🌳将numpy数组转换为Pytorch张量🌳1. 功能介绍2. 用法 🌳将Pytorch张量转换为numpy数组🌳1. 功能介绍2. 用法 🌳P…
Pytorch的可视化
1 使用 wandb进行可视化训练过程
本文章将从wandb的安装、wandb的使用、demo的演示进行讲解。
1.1 如何安装wandb？
wandb的安装比较简单，在终端中执行如下的命令即可：
pip install wandb在安装完成之后，我们需要，去…
ubuntu22.04下使用conda安装pytorch(cpu及gpu版本)
本文介绍了conda下安装cpu、gpu版本的pytorch；并介绍了如何设置镜像源 ubuntu环境安装pytorch的CPU版本与GPU版本
系统：ubuntu22.04 显卡：RTX 3050 依赖工具：miniconda
确认环境
lsb_release -a
No LSB modules are available.…
pytorch创建模型方式
1.继承自nn.Module的方式
from torch import nn
import torch.nn.functional as F
继承自nn.Moduleclass LModel(nn.Module):def __init__(self):super().__init__()self.L1 nn.Linear(10,10)self.L2 nn.Linear(10,64)self.L3 nn.Linear(64,10)self.L4 nn.Linear(10,5)se…
快速搭建PyTorch环境：Miniconda一步到位
快速搭建PyTorch环境：Miniconda一步到位 🌵文章目录🌵 🌳一、为何选择Miniconda搭建PyTorch环境？🌳🌳二、Miniconda安装指南：轻松上手🌳🌳三、PyTorch与Minic…
【深度学习】Pytorch 系列教程（三）：PyTorch数据结构：2、张量的数学运算（1）：向量运算（加减乘除、数乘、内积、外积、范数、广播机制）
文章目录 一、前言二、实验环境三、PyTorch数据结构0、分类1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算…
win10下wsl2使用记录（系统迁移到D盘、配置国内源、安装conda环境、配置pip源、安装pytorch-gpu环境、安装paddle-gpu环境）
wsl2
安装好后环境测试效果如下，支持命令nvidia-smi，不支持命令nvcc，usr/local目录下没有cuda文件夹。
系统迁移到非C盘
wsl安装的系统默认在c盘，为节省c盘空间进行迁移。 1、输出wsl -l 查看要迁移的系统名称 2、执行导出命…
Transformer实战-系列教程15：DETR 源码解读2（整体架构：DETR类）
🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类/ConvertCocoP…
深度学习(16)--基于经典网络架构resnet训练图像分类模型
目录
一.项目介绍
二.项目流程详解
2.1.引入所需的工具包
2.2.数据读取和预处理
2.3.加载resnet152模型
2.4.初始化模型
2.5.设置需要更新的参数
2.6.训练模块设置
2.7.再次训练所有层
2.8.测试网络效果
三.完整代码 一.项目介绍
使用PyTorch工具包调用经典网络架构…
MIT-BEVFusion系列九--CUDA-BEVFusion部署4 c++解析pytorch导出的tensor数据
目录 创建流打印 engine 信息打印结果内部流程 启动计时功能加载变换矩阵并更新数据（重要）内部实现 该系列文章与qwe一同创作，喜欢的话不妨点个赞。 在create_core方法结束后，我们的视角回到了main.cpp中。继续来看接下来的流程。…
【仿真基本功】【PyTorch】从头安装PyTorch（GPU版本）【2024/03/03更新】
【仿真基本功】【PyTorch】从头安装PyTorch（GPU版本）【2024/03/03更新】 安装步骤1. 安装Anaconda2. 查看显卡对CUDA版本的支持3. 查看PyTorch的安装需求4. 安装PyTorcha) 配置新环境b) 进入新环境c) 按照CUDA版本要求，必须小于等于显卡支持的…
pytorch使用文档
torch
张量操作（torch）
torch.tensor(): 用数据创建一个 torch.Tensor 对象。torch.from_numpy(): 从 numpy 数组创建张量。torch.zeros(), torch.ones(), torch.rand(), torch.randn(): 创建具有特定形状的全0、全1、均匀分布随机、标准正态分布随机张…
基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的犬种识别系统（附完整代码资源+UI界面+PyTorch代码）
摘要：本文介绍了一种基于深度学习的犬种识别系统系统的代码，采用最先进的YOLOv8算法并对比YOLOv7、YOLOv6、YOLOv5等算法的结果，能够准确识别图像、视频、实时视频流以及批量文件中的犬种。文章详细解释了YOLOv8算法的原理，并提供…
基于pytorch使用LSTM实现文本匹配任务
本文学习纪录
PyTorch深度学习项目实战100例
使用LSTM来实现文本匹配任务
使用LSTM（Long Short-Term Memory）网络来实现文本匹配任务是自然语言处理（NLP）中的一个常见应用。文本匹配任务的目标是确定两个文本段落是否在某种程度…
torch报错：[winerror 126] 找不到指定的模块torch_python.dll“ or one of its dependencies.
[winerror 126] 找不到指定的模块。 error loading "d:\miniconda\envs\action_env\lib\site-packages\torch\lib\torch_python.dll" or one of its dependencies.
在使用这个yolov5模块的时候发现了这个错误，错误原因是因为python版本和torch版本冲突。…
【Pytorch深度学习开发实践学习】B站刘二大人课程笔记整理lecture09 Softmax多分类
代码：
import torch
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
import torch.nn as nn
import torch.nn.functional as Fbatch_size 64
transform transforms.Compose([transforms.ToTensor(), transforms.Normali…
pytorch简单新型模型测试参数
import torch
from torch.nn import Conv2d,MaxPool2d,Sequential,Flatten,Linear
import torchvision
import torch.optim.optimizer
from torch.utils.data import DataLoader,dataset
from torch import nn
import torch.optim.optimizer# 建模
model nn.Linear(2,1)#损失
…
【深度学习笔记】3_10 多层感知机的PyTorch实现
注：本文为《动手学深度学习》开源内容，仅为个人学习记录，无抄袭搬运意图 3.10 多层感知机的简洁实现
下面我们使用PyTorch来实现上一节中的多层感知机。首先导入所需的包或模块。
import torch
from torch import nn
from torch.nn import …
pytorch -- torch.nn下的常用损失函数
1.基础
loss function损失函数：预测输出与实际输出 差距 越小越好
- 计算实际输出和目标之间的差距 - 为我们更新输出提供依据（反向传播）
1. L1 torch.nn.L1Loss(size_averageNone, reduceNone, reduction‘mean’) 2. 平方差（…
【PyTorch][chapter 18][李宏毅深度学习]【无监督学习][ VAE]
前言: VAE——Variational Auto-Encoder，变分自编码器，是由 Kingma 等人于 2014 年提出的基于变分贝叶斯（Variational Bayes，VB）推断的生成式网络结构。与传统的自编码器通过数值的方式描述潜在空间不同，它…
pytorch -- CIFAR10 完整的模型训练套路
网络结构 代码
# CIFAR 10完整的模型训练套路：
import torch.optim
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model import *# 1. 准备数据集
train_data torch…
PyTorch中Tensor（张量）数据结构内部观察
上图中是一个张量embeds，打开其内部存储空间，我们可以看到内部的构成。
1. PyTorch中张量（Tensor）的介绍
在PyTorch中，Tensor 具有许多属性和方法。以下是其中一些关键的属性和方法：
属性： H…
【Pytorch】模块化
文章目录 1. 获取数据2. 创建Dataset和DataLoader3. 定义模型4. 创建训练模型引擎函数5. 创建保存模型的函数6. 训练、评估并保存模型 模块化涉及将jupyter notebook代码转换为一系列提供类似功能的不同 Python 脚本。
可以将笔记本代码从一系列单元格转换为以下 Python 文件&…
6-pytorch-神经网络搭建
b站小土堆pytorch教程学习笔记 1.神经网络骨架搭建：Containers
官方文档代码：
import torch.nn as nn
import torch.nn.functional as Fclass Model(nn.Module):def __init__(self):super().__init__()self.conv1 nn.Conv2d(1, 20, 5)self.conv2 nn.…
在原有pytorch环境下安装DGL库和其对应的CUDA【自用】
前段时间看到一篇AAAI2024的论文Patch-wise Graph Contrastive Learning for Image Translation，它采用GNN的思想来进行image-to-image translation的任务，非常的新颖，但我进行复现的时候，发现直接下载它里面需要的DGL库是无法运行…
【Pytorch深度学习开发实践学习】Pytorch实现LeNet神经网络（1）
1.model.py
import torch.nn as nn
import torch.nn.functional as F引入pytorch的两个模块 关于这两个模块的作用，可以参考下面 Pytorch官方文档 torch.nn包含了构成计算图的基本模块 torch,nn.function包括了计算图中的各种主要函数，包括&#…
MNIST数据集下载(自动下载)
📚**MNIST数据集下载(自动下载)**📚 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程 👈 希望得到您的…
一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人
一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人 前言一、Deepfakes技术原理卷积神经网络（CNN）：细致的艺术学徒生成对抗网络（GAN）：画家与评审的双重角色…
【pytorch矩阵应用】
pytorch矩阵应用 Python代码示例PyTorch代码示例pytorch应用pytorch转onnx模型 矩阵点乘和叉乘是线性代数中的两种基本运算。
矩阵点乘（Element-wise Product）：两个矩阵对应位置的元素相乘，得到一个新的矩阵。要求两个矩阵的维度…
Pytorch 复习总结 5
Pytorch 复习总结，仅供笔者使用，参考教材：
《动手学深度学习》Stanford University: Practical Machine Learning
本文主要内容为：Pytorch 卷积神经网络。
本文先介绍了 Pytorch 语法汇总： Pytorch 张量的常见运算、…
pytorch的梯度图与autograd.grad和二阶求导
前向与反向 这里我们从 一次计算 开始比如 zf(x,y) 讨论若我们把任意对于tensor的计算都看为函数（如将 a*b（数值） 看为 mul(a,b)），那么都可以将其看为2个过程：forward-前向，backward-反向在pyto…
基于PyTorch深度学习实战入门系列-(1)环境配置
Pytorch环境安装配置2024最新版 下载安装Anaconda Anaconda下载网址：Free Download | Anaconda 创建虚拟环境 打开Anaconda Prompt # conda create -n 环境名 [需要的库]
# 例子：
conda create -n pytorchpy39 python3.9安装过程中需要确认输入 y 回车…
【PyTorch模型转换和部署】
PyTorch模型转换和部署】
在PyTorch中，模型转换和部署是一个从训练到实际应用的关键环节，通常涉及将训练好的模型导出成更通用的格式，以便在不同的环境（如C、移动端、云端服务等）下运行。以下是一些常见的模型转换与部…
pytorch基础1-pytorch介绍与张量操作
专题链接：https://blog.csdn.net/qq_33345365/category_12591348.html
本教程翻译自微软教程：https://learn.microsoft.com/en-us/training/paths/pytorch-fundamentals/
初次编辑：2024/3/1；最后编辑：2024/3/1 这是本…
《PyTorch深度学习实践》第十三讲RNN进阶
一、
双向循环神经网络（Bidirectional Recurrent Neural Network，BiRNN）是一种常见的循环神经网络结构。与传统的循环神经网络只考虑历史时刻的信息不同，双向循环神经网络不仅考虑历史时刻的信息，还考虑未来时刻的信息…
【模型复现】自制数据集上复现目标检测域自适应 SSDA-YOLO
【模型复现】自制数据集上复现目标检测域自适应 SSDA-YOLO 1. 环境安装2. 数据集制作2.1 数据准备2.2 数据结构 3. 模型训练3.1 数据文件配置3.2 训练超参数配置3.3 模型训练 4. 模型验证4.1 验证超参数配置4.2 模型验证 5. 模型推理5.1 推理超参数配置5.2 模型推理 6. 踩坑记录…
YOLO算法改进Backbone系列之：PVTv2
摘要：最近，Transformer在计算机视觉方面取得了令人鼓舞的进展。在本研究中，本文通过增加(1)线性复杂度注意层、(2)重叠贴片嵌入和(3)卷积前馈网络三种设计，改进了原始的金字塔视觉转换器(PVT v1)，提出了新的基线。通过…
《PyTorch深度学习实践》第十二讲循环神经网络基础
一、RNN简介
1、RNN网络最大的特点就是可以处理序列特征，就是我们的一组动态特征。比如，我们可以通过将前三天每天的特征（是否下雨，是否有太阳等）输入到网络，从而来预测第四天的天气。 我们可以看RN…
【Pytorch 第四讲】图像分类的Tricks
1. 标签平滑 在分类问题中，最后一层一般是全连接层，然后对应标签的one-hot编码，即把对应类别的值编码为1，其他为0。这种编码方式和通过降低交叉熵损失来调整参数的方式结合起来，会有一些问题。这种方式会鼓励模型对不同…
点燃技能火花：探索PyTorch学习网站，开启AI编程之旅！
介绍：PyTorch是一个开源的Python机器学习库，它基于Torch，专为深度学习和科学计算而设计，特别适合于自然语言处理等应用程序。以下是对PyTorch的详细介绍： 历史背景：PyTorch起源于Torch，一个用于…
神经网络之万能定理python-pytorch实现，可以拟合任意曲线
神经网络之万能定理python-pytorch实现，可以拟合任意曲线
博主，这几天一直在做这个曲线拟合的实验，讲道理，网上可能也有很多这方面的资料，但是博主其实试了很多，效果只能对一般的曲线还行，稍微…
C3_W2_Collaborative_RecSys_Assignment_吴恩达_中英_Pytorch
Practice lab: Collaborative Filtering Recommender Systems(实践实验室:协同过滤推荐系统)
In this exercise, you will implement collaborative filtering to build a recommender system for movies. 在本次实验中，你将实现协同过滤来构建一个电影推荐系统。 …
C2_W2_Assignment_吴恩达_中英_Pytorch
Neural Networks for Handwritten Digit Recognition, Multiclass
In this exercise, you will use a neural network to recognize the hand-written digits 0-9. 在本次练习中，您将使用神经网络来识别0-9的手写数字。
Outline 1 - Packages 2 - ReLU Activatio…
pytorch loss函数整理
变量名解释
logits：未经过normalize（未经过激活函数处理）的原始分数，例如一个mlp将特征映射到num_target_class维的输出tensor就是logits。 probs：probabilities的简写，logits经过sigmoid函数，…
PyTorch：人工智能领域的璀璨明星及其常用工具包大观
在人工智能的浩瀚星空中，PyTorch犹如一颗璀璨的明星，以其独特的魅力吸引着无数的开发者与研究者。作为由Facebook人工智能研究院研发的开源机器学习库，PyTorch不仅具备高效灵活的特性，更在深度学习领域展现出卓越的性能。本文将为大家详细介绍PyTorch及其常用工具包，带领大…
PyTorch 中的 apply
Abstract
nn.Module[List].apply(callable)Tensor.apply_(callable) → TensorFunction.apply(Tensor...)
nn.Module[List].apply()?
源码:
def apply(self: T, fn: Callable[[Module], None]) -> T:"""Typical use includes initializing the paramete…
mamba-ssm安装building wheel卡着不动后error...避坑解决方法
文章目录 方法1、下载whl文件到本地后pip install安装成功后验证： 方法2、拉取Docker镜像 对于项目中用到MambaIR的小伙伴，需要pip安装
causal_conv1d和
mamba-ssm两个包及其依赖： torch
packaging
transformersMambaIR-Github主页…
形态学算法应用之重建开操作的python实现——数字图像处理
原理
重建开操作是形态学图像处理中的一种操作，用于去除图像中的小型噪点或填补图像中的小型空洞。它基于两个主要的形态学操作：腐蚀和膨胀。 在重建开操作中，首先对原始图像进行腐蚀操作。腐蚀操作是通过将结构元素与图像进行逐像素的比较&…
pytorch中的可学习查找表实现之nn.Embedding
假设我们需要一个查找表（Lookup Table），我们可以根据索引数字快速定位查找表中某个具体位置并读取出来。最简单的方法，可以通过一个二维数组或者二维list来实现。但如果我希望查找表的值可以通过梯度反向传播来修改，那…
windows安装pytorch（anaconda安装）
文章目录 前言一、安装anaconda1、进入官网下载（1）点击view all Installers（2）下载需要的版本 2、一顿默认安装就行（到这一步这样填）3、进入开始找到Anaconda Prompt，点击进入到base环境 二、新…
【PyTorch】成功解决AttributeError: ‘Tuple‘ object has no attribute ‘cuda‘
【PyTorch】成功解决AttributeError: ‘Tuple‘ object has no attribute ‘cuda‘ 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&…
计算机视觉 了解OpenCV、COLMAP、PyTorch3D 和 OpenGL 中坐标系3D转换的简要指南
一、简述 由于坐标系不同，在OpenCV、COLMAP、PyTorch3D和OpenGL等 3D 框架的世界中进行转换可能会令人觉得头疼。这里比较它们的坐标系并提供它们之间转换的示例。核心还是找到在这些不同的 3D 环境中无缝工作所需的知识，让我们以清晰直接的方式探索和理解这些坐标系。 2D 成…
使用Pytorch导出自定义ONNX算子
在实际部署模型时有时可能会遇到想用的算子无法导出onnx，但实际部署的框架是支持该算子的。此时可以通过自定义onnx算子的方式导出onnx模型（注：自定义onnx算子导出onnx模型后是无法使用onnxruntime推理的）。下面给出个具体应用中的…
pytorch（四）用pytorch实现线性回归
文章目录 代码过程准备数据设计模型设计构造函数与优化器训练过程训练代码和结果pytorch中的Linear层的底层原理（个人喜欢，不用看）普通矩阵乘法实现Linear层实现 回调机制 代码过程 训练过程： 准备数据集设计模型（用来…
retinaNet FocalLoss源码详解
targets[positive_indices, assigned_annotations[positive_indices, 4].long()] 1
## 把正样本所对应的锚框所对应的类别的列置为1
# aim torch.randint(0, 1, (1, 80))
# tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
# 0…
pytorch续写tensorboard
模型训练到一半有 bug 停了，可以 resume 继续炼，本篇给出 pytorch 在 resume 训练时续写 tensorboard 的简例，参考 [1-3]，只要保证 writer 接收的 global step 是连着的就行。
Code
import numpy as np
from torch.utils.tensor…
pytorch标准化与模型训练推理以及中间层注意点
1.图像归一化和通道转换操作
a np.arange(3*3*3).reshape(3,3,3).astype(np.uint8)
print(a)
function transforms.ToTensor()#注意只能转换3维度的ndarray或者PIL的Image类型
c function(a)
print(c)
D:\anaconda3\python.exe E:\test\pythonProject\test.py
[[[ 0 1 2…
YOLOv9独家改进|使用HWD(小波下采样)模块改进ADown
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，主力高效涨点！！！ 一、改进点介绍 HWD是一种下采样模型，应用了小波变换的方法。 ADown是YOLOv9中的下采样模块，对不同的数据场景具有一定的可学…
基于pytorch的手写体识别
一、环境搭建 链接: python与深度学习——基础环境搭建
二、数据集准备 本次实验用的是MINIST数据集，利用MINIST数据集进行卷积神经网络的学习，就类似于学习单片机的点灯实验，学习一门机器语言输出hello world。MINIST数据集，可以…
PyTorch深度学习实战（38）——StyleGAN详解与实现
PyTorch深度学习实战（38）——StyleGAN详解与实现 0. 前言1. StyleGAN1.1 模型介绍1.2 模型策略分析 2. 实现 StyleGAN2.1 生成图像2.2 风格迁移 小结系列链接 0. 前言
StyleGAN (Style-Generative Adversarial Networks) 是生成对抗网络 (Generative Ad…
深度学习-Pytorch实现经典AlexNet网络：山高我为峰
深度学习-Pytorch实现经典AlexNet网络之山高我为峰
深度学习中，经典网络引领一波又一波的技术革命，从LetNet到当前最火的GPT所用的Transformer，它们把AI技术不断推向高潮。2012年AlexNet大放异彩，它把深度学习技术引领第一个高峰…
pytorch DDP模式下, 获取数据的的preftech + stream
直接上代码 - DDP forward
if self.device_ids:if len(self.device_ids) 1:inputs, kwargs self.to_kwargs(inputs, kwargs, self.device_ids[0])output self.module(*inputs[0], **kwargs[0])else:inputs, kwargs self.scatter(inputs, kwargs, self.device_ids)outputs …
中文文本分类_1（pytorch 实现）
import torch
import torch.nn as nn
import torchvision
from torchvision import transforms, datasets
import os, PIL, pathlib, warningswarnings.filterwarnings("ignore") # 忽略警告信息# win10系统
device torch.device("cuda" if torch.cuda.i…
【Pytorch】模型部署
文章目录 0. 进行设置1. 获取数据2. FoodVision Mini模型部署实验概要3. 创建 EffNetB2 特征提取器4. 创建 ViT 特征提取器5. 使用训练好模型进行预测并计时6. 比较模型结果、预测时间和大小7. 通过创建 Gradio 演示让 FoodVision Mini 呈现8. 将Gradio demo变成可部署的应用程…
pytorch（六、七）多维特征数据的输入、加载数据集的类
文章目录 多维特征数据的输入代码 加载数据集概念 多维特征数据的输入 对于一个多维数据，其行表示一个样本，列表示样本的特征 对于多维特征的运算，实质上可以当做特征的映射
代码
import torch
import torch.nn.functional as F
import …
PyTorch搭建LeNet神经网络
函数的参数
1、PyTorch Tensor的通道排序
[batch, channel, height, width] batch: 要处理的一批图像的个数 channel: 通道数（一般是R G B 三个通道） height: 图像的高度 width: 图像的宽度
2.Conv 2d 卷积层的参数
[in_channels, out_channels, ke…
Pytorch学习 day03（Tensorboard、Transforms）
Tensorboard
Tensorboard能够可视化loss的变化过程，便于我们查看模型的训练状态，也能查看模型当前的输入和输出结果 在Pycharm中，可以通过按住ctrl，并左键点击某个库来进入源文件查看该库的使用方法SummaryWriter是用来向log_dir…
全连接神经网络算法原理(激活函数、前向传播、梯度下降法、损失函数、反向传播)
文章目录 前言1、全连接神经网络的整体结构：全连接神经网络模型是由输入层、隐藏层、输出层所组成，全连接神经网络结构如下图所示：全连接神经网络的每一层都是由一个一个的神经元所组成的，因此只要搞清楚神经元的本质就可以搞清楚…
动手学深度学习-现代循环神经网络（GRU、LSTM、编码器-解码器等）
现代循环神经网络
上一章节（循环神经网络）介绍了循环神经网络的基础知识，这种网络可以更好的处理序列数据。我们在文本数据上实现了基于循环神经网络的语言模型，但是对于当今各种各样的序列学习问题，这些技术可能不够…
Pytorch学习 day05（RandomCrop、Transforms工具使用总结）
RandomCrop
将PIL或Tensor格式的输入图片，随机裁剪指定尺寸的部分输入尺寸可以为序列或单个整形数字代码如下：
from PIL import Image
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriterimg Image.open("i…
pytorch强化学习（2）——重写DQN
思路
在q-learning当中，Q函数的输入是状态state和action，输出是q-value。
而DQN就是使用神经网络来拟合Q函数，所以从直观上来说，我觉得神经网络的输入应该是状态state和action，输出应该是q-value。
但是，…
16 PyTorch 神经网络基础【李沐动手学深度学习v2】
1. 模型构造
在构造自定义块之前，我们先回顾一下多层感知机的代码。 下面的代码生成一个网络，其中包含一个具有256个单元和ReLU激活函数的全连接隐藏层， 然后是一个具有10个隐藏单元且不带激活函数的全连接输出层。 层和块
构造单层神经网咯…
b站小土堆pytorch学习记录—— P18-P22 神经网络+小实战
文章目录 一、卷积层 P181.卷积操作2.代码 二、池化层 P191.池化层简单介绍2.代码（1）池化操作中数字的变化（2）池化操作对图片的影响 三、非线性激活 P201.简要介绍2.代码 四、线性层及其他层介绍 P211.线性层2.代码 五、搭建小实战…
使用YOLOv7进行视频实时姿态估计
本文基于YOLOv7进行人体姿态的实时估计，并附录完整代码。 概述
YOLO（You Only Look Once）是一种用于目标检测的方法论，同时也是构建于该方法论之上的一系列模型。
自2015年YOLOv1诞生以来，其作者相继提出了YOLOv2（YOLO9000）和YOLOv3等后续版本，并在随后的几年里，深度…
Pytorch学习 day02（加载数据、数据集类）
加载数据 * Dataset提供一种方式：来获取数据及其label，给数据进行编号 * Dataloader为神经网络提供不同的数据形式
Dataset的组织形式有很多种，例如： 将label放在文件夹名上，如下：
#Dateset
# --train
#…
打造一款用于照片局部修复的“在线橡皮擦”应用（基于Django5和Pytorch，含完整代码）
目录 一、任务概述二、Django微服务开发2.1 创建项目2.1.1 创建Django项目2.1.2 创建主页面2.1.3 编写视图处理函数2.1.4 配置访问路由url2.1.5 启动项目 2.2 前端开发2.2.1 集成Bootstrap52.2.2 初始化各组件2.2.3 自适应展示图像2.2.4 橡皮擦涂抹2.2.5 使用Ajax传输图像 2.3 …
Pytorch从零开始实战20
Pytorch从零开始实战——指定生成手势图像
本系列来源于365天深度学习训练营
原作者K同学 文章目录 Pytorch从零开始实战——指定生成手势图像环境准备模型选择模型训练可视化分析生成指定图像总结 环境准备
本文基于Jupyter notebook，使用Python3.8，…
Pytorch学习 day07（神经网络基本骨架的搭建）
神经网络基本骨架的搭建
Module：给所有的神经网络提供一个基本的骨架，所有神经网络都需要继承Module，并定义_ _ init _ _方法、 forward() 方法在_ _ init _ _方法中定义，卷积层的具体变换，在forward() 方法中定义&am…
复现ConvE遇到问题：spodernet安装不上
问题： (py37) D:\Python\CodeHub\MTL\Siamese_MTL\ConvE>pip install -r requirements.txt Obtaining spodernet from gitgit://github.com/TimDettmers/spodernet.git#eggspodernet (from -r requirements.txt (line 2)) Cloning git://github.com/TimDettmers/…
pytorch CV入门3-预训练模型与迁移学习
专栏链接：https://blog.csdn.net/qq_33345365/category_12578430.html
初次编辑：2024/3/7；最后编辑：2024/3/8
参考网站-微软教程：https://learn.microsoft.com/en-us/training/modules/intro-computer-vision-pytorc…
Pytorch学习 day07（神经网络基本骨架的搭建、2D卷积操作、2D卷积层）
神经网络基本骨架的搭建
Module：给所有的神经网络提供一个基本的骨架，所有神经网络都需要继承Module，并定义_ _ init _ _方法、 forward() 方法在_ _ init _ _方法中定义，卷积层的具体变换，在forward() 方法中定义&am…
基于Pytorch搭建分布式训练环境
Pytorch系列 文章目录 Pytorch系列前言一、DDP是什么二、DPP原理terms、nodes 和 ranks等相关术语解读DDP 的局限性为什么要选择 DDP 而不是 DP代码演示1. 在一个单 GPU 的 Node 上进行训练（baseline）2. 在一个多 GPU 的 Node 上进行训练临门一脚&#x…
DeepLearning in Pytorch|共享单车预测NN详解（思路+代码剖析）
目录
概要
一、代码概览
二、详解
基本逻辑
1.数据准备
2.设计神经网络
初版
改进版
测试
总结 概要
原文链接：DeepLearning in Pytorch|我的第一个NN-共享单车预测 我的第一个深度学习神经网络模型---利用Pytorch设计人工神经网络对某地区租赁单车的使用…
deeplearning with pytorch (五)
.view()方法在PyTorch中用于重塑张量。这里它被用来将单个样本的张量重塑成模型所期望的输入形状。具体地，1,1,28,28意味着创建一个新的张量，其中：
第一个1代表批次大小（batch size），这里为1，因…
深度学习模型部署(零)模型部署常见方案及发展趋势综述
模型部署需要的技术栈还是比较复杂的，不仅需要底层并行知识，还需要模型算法知识，不过对于两者的要求都不是很高，只需要能看得懂最新进展，能跟着复现就行，模型部署，最重要的还是工程能力。 模型有…
Pytorch学习 day08（最大池化层、非线性激活层、正则化层、循环层、Transformer层、线性层、Dropout层）
最大池化层
最大池化，也叫上采样，是池化核在输入图像上不断移动，并取对应区域中的最大值，目的是：在保留输入特征的同时，减小输入数据量，加快训练。参数设置如下： kernel_size&#…
PyTorch完整的神经网络模型训练（使用GPU训练）
1.什么是CUDA：
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一种并行计算平台和编程模型。它允许开发者在NVIDIA GPU上进行通用目的的并行计算，包括深度学习、科学计算、图形处理和加密等任务。
CUDA通过提供一组…
PyTorch完整神经网络模型实战演练（图片类别识别）
1.训练神经网络模型 首先使用GPU训练且保存好神经网络模型：
# encodinggbk
# 开发时间：2024/3/10 19:51
# 使用GPU进行训练：网络模型
数据
损失函数
三者调用cuda()import torch
import torchvision
from torch import nn
from torch.nn imp…
torch.nn.Parameter()的用法
1.首先，一定记住：这个是 继承来自 torch.tensor的，所以本质是一个tensor. 不过，它可以train更新参数 2.参考文章：
(1)这篇文章 和 例子超级 简洁清晰
理解torch.nn.Parameter - 知乎 (zhihu.com)
里面的实例&#x…
使用pytorch实现线性回归（很基础模型搭建详解）
使用pytorch实现线性回归 步骤： 1.prepare dataset 2.design model using Class 目的是为了前向传播forward，即计算y hat（预测值） 3.Construct loss and optimizer (using pytorch API) 其中计算loss是为了进行反向传播࿰…
【PyTorch】进阶学习：BCEWithLogitsLoss在多标签分类任务中的正确使用---logits与标签形状指南
【PyTorch】进阶学习：BCEWithLogitsLoss在多标签分类任务中的正确使用—logits与标签形状指南 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTo…
pytorch实现分割模型TransUNet
TransUNet是一个非常经典的图像分割模型。该模型出现在Transformer引入图像领域的早期，所以结构比较简单，但是实际上效果却比很多后续花哨的模型更好。所以有必要捋一遍pytorch实现TransUNet的整体流程。
首先，按照惯例，先看一下…
Pytorch学习 day06（torchvision中的datasets、dataloader）
torchvision的datasets
使用torchvision提供的数据集API，比较方便，如果在pycharm中下载很慢，可以URL链接到迅雷中进行下载（有些URL链接在源码里）用来告诉程序，数据集存储的位置，共有多少样本等…
windows下pytorch的dataloader多进程（num_workers）问题，为何num_workers的值只能为0？
问题背景介绍
本人是windows系统，在使用torch.utils.data.Dataloader加载torchvision中的数据集时，将其中的形参num_workers设置为了大于0的数，然后出现以下错误。 原因
在 Windows 系统下，num_workers 参数在使用 PyTorch 的 t…
生成式 AI：使用 Pytorch 通过 GAN 生成合成数据
导 读
生成对抗网络（GAN）因其生成图像的能力而变得非常受欢迎，而语言模型（例如 ChatGPT）在各个领域的使用也越来越多。这些 GAN 模型可以说是人工智能/机器学习目前主流的原因；
因为它向每个人࿰…
PyTorch搭建AlexNet训练集
本次项目是使用AlexNet实现5种花类的识别。
训练集搭建与LeNet大致代码差不多，但是也有许多新的内容和知识点。
1.导包，不必多说。
import torch
import torch.nn as nn
from torchvision import transforms, datasets, utils
import matplotlib as p…
pytorch中tensor数据类型、常用运算函数以及使用案例
在深度学习中，Tensor是一个多维数组，用于存储神经网络中的数据。Tensor的数据类型非常重要，因为它决定了数据在计算过程中的行为，包括如何进行数学运算以及如何处理梯度下降等。以下是对Tensor数据类型、数据生成和数据运算的详细…
【Pytorch】进阶学习：实现矩阵乘法---torch.mul() 、 torch.mm() 和torch.matmul()的区别
【Pytorch】进阶学习：实现矩阵乘法—torch.mul() 、 torch.mm() 和torch.matmul()的区别 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零…
一文弄懂BatchNorm1d和BatchNorm2d
nn.BatchNorm1d()和nn.BatchNorm2d()的作用是使我们一批feature map满足均值为0，方差为1的分布规律，官方有说明用途和计算过程，但是题主觉得介绍过于官方，所以特写此文用以快速理解两个函数具体是怎么工作的，解释到底是…
【PyTorch】进阶学习：探索BCEWithLogitsLoss的正确使用---二元分类问题中的logits与标签形状问题
【PyTorch】进阶学习：探索BCEWithLogitsLoss的正确使用—二元分类问题中的logits与标签形状问题 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、Py…
PyTorch学习笔记（四）
2.8 torch.logspace函数讲解
torch.logspace 函数在 PyTorch 中用于生成一个在对数尺度上均匀分布的张量（tensor）。这意味着张量中的元素是按照对数间隔排列的，而不是线性间隔。这对于创建在数值上跨越多个数量级的序列特别有用，…
【YOLOv9】训练模型权重 YOLOv9.pt 重新参数化轻量转为 YOLOv9-converted.pt
【YOLOv9】训练模型权重 YOLOv9.pt 重新参数化轻量转为 YOLOv9-converted.pt 1. 模型权重准备2. 模型重新参数化2.1 文件准备2.2 参数修改2.3 重新参数化过程 3. 重新参数化后模型推理3.1 推理超参数配置3.2 模型推理及对比 4. onnx 模型导出（补充内容）4…
YOLOv9改进 添加可变形注意力机制DAttention
一、Deformable Attention Transformer论文 论文地址：arxiv.org/pdf/2201.00520.pdf
二、Deformable Attention Transformer注意力结构
Deformable Attention Transformer包含可变形注意力机制，允许模型根据输入的内容动态调整注意力权重。在传统的Transformer中，注意力是…
【李沐】动手学习ai思路softmax回归实现
来源：https://www.cnblogs.com/blzm742624643/p/15079086.html
一、从零开始实现
1.1 首先引入Fashion-MNIST数据集 1 import torch
2 from IPython import display
3 from d2l import torch as d2l
4
5 batch_size 256
6 train_iter, test_iter d2l.load_data…
安装PyTorch详细过程
安装anaconda
登录anaconda的官网下载，anaconda是一个集成的工具软件不需要我们再次下载。anaconda官网
跳转到这个页面如果你的Python版本正好是3.8版，那便可以直接根据系统去选择自己相应的下载版本就可以了。 但是如果你的Python版本号不是当前页面…
课堂行为动作识别数据集
一共8884张图片 xml .txt格式都有 Yolo可直接训练 已跑通 动作类别一共8类。
全部为教室监控真实照片，没有网络爬虫滥竽充数的图片，可直接用来训练。以上图片均一一手工标注，标签格式为VOC格式。适用于YOLO算法、SSD算法等各种目标检测算法…
最新ChatGPT支持下的PyTorch机器学习与深度学习
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受…
解决 ：nvrtc: error: invalid value for --gpu-architecture (-arch)
核心：在显卡安装的cuda版本适配的pytorch中，更换pytorch的版本
刚遇到这个错误时，在网上搜索了一下，感谢博主1和博主2的解决方法带给我的启发。
标题服务器cuda是11.3版本，配置其他环境“御用”的pytorch安装语句 co…
centos 7.x 上安装 AI insightface + pytorch + cuda
centos 英伟达检查工具
lsb_release -a nvidia-smi lspci | grep -i nvidia
CUDA v11.7 安装
首先在centos机器上必须先安装英伟达驱动，参考下面的文档 https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html# https://developer.nvidia.com/c…
pytorch诗词生成3--创建模型
先上代码： import tensorflow as tf
from dataset import tokenizer# 构建模型
model tf.keras.Sequential([# 不定长度的输入tf.keras.layers.Input((None,)),# 词嵌入层tf.keras.layers.Embedding(input_dimtokenizer.vocab_size, output_dim128),# 第一个LSTM层…
加速 PyTorch 模型预测常见方法梳理
目录
1. 使用 GPU 加速
2. 批量推理
3. 使用半精度浮点数 (FP16)
4. 禁用梯度计算
5. 模型简化与量化
6. 使用 TorchScript
7. 模型并行和数据并行
结论 在使用 PyTorch 进行模型预测时，可以通过多种方法来加快推理速度。以下是一些加速模型预测的常用方法&…
Pytorch报错RuntimeError: CUDA error: device-side assert triggered
参考:
https://blog.csdn.net/BetrayFree/article/details/134267306 完整报错如下：
Traceback (most recent call last):File "/home/yingmuzhi/SpecML2/test.py", line 150, in <module>trainer.fit(model, data)File "/home/yingmuzhi/Sp…
基于深度学习的图像去雨去雾
基于深度学习的图像去雨去雾 文末附有源码下载地址 b站视频地址：
https://www.bilibili.com/video/BV1Jr421p7cT/ 基于深度学习的图像去雨去雾，使用的网络为unet， 网络代码：
import torch
import torch.nn as nn
from torchsumm…
ChatGLM3 源码解析（五）
PrefixEncoder
# 根据前缀 ID 获取前缀嵌入
# 前缀嵌入将连接到分头之后的 K 和 V 上
class PrefixEncoder(torch.nn.Module):"""The torch.nn model to encode the prefixInput shape: (batch-size, prefix-length)Output shape: (batch-size, prefix-length,…
Cap2：Pytorch转TensorRT（上：Pytorch-＞ONNX）
文章目录 1、pytorch导出onnx模型2、使用onnxruntime推理onnx模型3、精度对齐4、总结 深度学习框架种类繁多，想实现任意框架之间的模型转换是一件困难的事情。但现在有一个中间格式ONNX，任何框架模型都支持转为ONNX，然后也支持从ONNX转为自身…
Pytorch学习 day14（使用GPU进行训练）
使用GPU进行训练，方式一：
需要在网络模型的实例创建处、数据（输入、标签）处、损失函数的实例创建处，更改为.cuda()，代码如下：注意：只有数据（输入、标签）需要…
torch.backends.cudnn.benchmark 作用
相关参数
torch.backends.cudnn.enabled
torch.backends.cudnn.benchmark
torch.backends.cudnn.deterministictorch.backends.cudnn.benchmark True：将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，…
基于word2vec 和 fast-pytorch-kmeans 的文本聚类实现，利用GPU加速提高聚类速度
文章目录 简介GPU加速 代码实现kmeans聚类结果kmeans 绘图函数相关资料参考 简介
本文使用text2vec模型，把文本转成向量。使用text2vec提供的训练好的模型权重进行文本编码，不重新训练word2vec模型。 直接用训练好的模型权重，方便又快捷 完整…
Pytorch学习 day11（优化器、使用和修改现有网络模型）
优化器
在模型的训练过程中，我们根据反向传播来获取每个网络节点的对应梯度，之后通过某种算法（优化器）根据对应梯度来不断更新节点的参数，最终达到最小loss的结果。优化器有很多，但有两个参数是所有优化器…
pytorch fasterrcnn-resnet50-fpn 神经网络 目标识别 应用 —— 逻辑概述
pytorch fasterrcnn-resnet50-fpn 神经网络 目标识别 应用 —— 逻辑概述 前提：工欲善其事必先利其器一、逻辑概述1 模型训练1) 训练数据2) 网络结构 2 推理识别 [下一章 推理识别代码讲解](https://blog.csdn.net/qq_42239488/article/details/126309847)ÿ…
大模型的实践应用19-基于pytorch框架下LayoutLM模型的搭建以及原理介绍
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用19-基于pytorch框架下LayoutLM模型的搭建以及原理介绍。LayoutLM是一个基于 Transformer 的预训练模型，它专门为处理布局丰富的文档信息而设计，例如扫描的文档、PDF 文件等。这个模型由微软亚洲研究院的研究团队开发，…
人工智能程序使用的编程语言
用C语言可以写人工智能程序吗？ 可以用C语言编写具有人工智能功能的程序，但是较为复杂。C语言是一种通用的编程语言，它在执行速度和资源控制方面表现出色，这使得它适合于需要高性能处理的人工智能应用，如游戏AI…
deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示： Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
错误表现： 出现在多卡训练过程的pytorch 扩展，deepspee…
PytorchAPI的使用及在GPU的使用和优化
API 调用API：和手动实现的思路是一样的。#1，#2这两个步骤是通用的步骤，相当于建立一个模型，之后你具体的数据直接丢进去就行了。只需要按着这样的样式打代码就行，死的东西，不需要你自己创造。
import torc…
Pytorch：多模态大模型预训练、大模型微调：加载数据的正确姿势
对于近期兴起的多模态大模型的预训练和微调，常见情况是训练数据规模极大，通常可以达到1m-100m级别。此时，训练数据通常用一个上百万行的jsonl文件存储，每行对应一条json格式的训练数据，其中可能包括数据关联的其他图、…
Transformer代码从零解读【Pytorch官方版本】
文章目录 1、Transformer大致有3大应用2、Transformer的整体结构图3、如何处理batch-size句子长度不一致问题4、MultiHeadAttention（多头注意力机制）5、前馈神经网络6、Encoder中的输入masked7、完整代码补充知识： 1、Transformer大致有3大应…
PyTorch学习笔记之基础函数篇（十二）
文章目录 7.5 torch.addcdiv() 函数7.6 torch.addcmul() 函数 7.5 torch.addcdiv() 函数
在PyTorch中，torch.addcdiv 是一个函数，它执行一个逐元素的操作，该操作涉及将两个张量（tensors）相除后的结果再与一个第三个张…
服务器机器学习环境搭建（包括AanConda的安装和Pytorch的安装）
服务器机器学习环境搭建
1 服务器与用户
在学校中，我们在学校中是以用户的身份进行访问学校的服务器的。整体框架大致如下：
我们与root用户共享服务器的一些资源，比如显卡驱动，Cuda以及一些其他的公共软件。
一般情况下&#…
【PyTorch】基础学习：在Pycharm等IDE中打印或查看Pytorch版本信息
【PyTorch】基础学习：在Pycharm等IDE中打印或查看Pytorch版本信息 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程…
PyTorch学习笔记之基础函数篇（十一）
文章目录 7 元素级别的数学运算7.1 torch.abs() 函数7.2 torch.cos() 函数7.3 torch.acos() 函数7.4 torch.add()函数 7 元素级别的数学运算
7.1 torch.abs() 函数
在PyTorch中，torch.abs 函数用于计算张量中每个元素的绝对值。这个函数会返回一个新的张量&#x…
pytorch中张量变换函数
在PyTorch中view(), transpose() 和 permute() 函数都是用于改变张量（Tensor）维度结构的，但它们的作用和使用场景有所不同。
torch.view() 功能：该函数用于将一个张量重塑为新的形状，但它必须保持原有元素数量不变。它…
扩散模型(Diffusion Model)详解：直观理解、数学原理、PyTorch 实现
在过去的大半年里，以Stable Diffusion为代表的AI绘画是世界上最为火热的AI方向之一。或许大家会有疑问，Stable Diffusion里的这个"Diffusion"是什么意思？其实，扩散模型(Diffusion Model)正是Stable Diffusion中负责生成…
【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列一：R-CNN图文详解
学习视频：Faster-RCNN理论合集
概念辨析
在目标检测中，proposals和anchors都是用于生成候选区域的概念，但它们在实现上有些许不同。 Anchors（锚框）： 锚框是在图像中预定义的一组框，它们通常以…
HarmonyOS NEXT应用开发—城市选择案例
介绍
本示例介绍城市选择场景的使用：通过AlphabetIndexer实现首字母快速定位城市的索引条导航。
效果图预览 使用说明
分两个功能
在搜索框中可以根据城市拼音模糊搜索出相近的城市，例如输入"a"，会出现"阿尔山"、“阿…
unet各模块内容的理解（包含注意力机制、残差、以及数据维度的变化）
文章目录 attention机制Unet的各个模块的设计①残差块②下块 做一次残差，做一次自注意力③上块：这里做了skip connect，做一次残差，做一次注意力④中块：做两次残差和一次自注意力⑤上采样：通道数不变&#x…
deepseek-coder模型量化
1 简介
DeepSeek-Coder在多种编程语言和各种基准测试中取得了开源代码模型中最先进的性能。 为尝试在开发板进行部署，首先利用llama.cpp对其进行量化。
2 llama.cpp安装
git clone之后进入文件夹make即可，再将依赖补全pip install -r requirements.tx…
安装Pytorch——CPU版本
安装Pytorch——CPU版本 1. 打开pytorch官网2. 选择pip安装pytorch-cpu3.复制安装命令4. 在cmd命令窗口，进入你的虚拟环境4.1 创建虚拟环境4.2 进行安装 5. 安装成功6. 进行测试——如下面步骤，如图6.1 输入 python6.2 输入 import torch6.2 输入 print …
text-generation-webui大模型部署
1 简介
text-generation-webui是一个挺好用的大模型部署UI，提供了很多便于交互的接口，安装部署好之后将model放置到对应的位置即可在网页访问，若是在服务器部署也可以通过ssh端口转发至公网服务器进行访问。 其中，模型的下载可参…
pytorch卸载cuda+cudnn并重新配置GPU环境，亲测有效
pytorch卸载cudacudnn
一、卸载cuda
进入【控制面板】，点击【卸载程序】
将红色框中带版本号的都卸载
二、删除cudnn配置
1、进入安装路径 将以下版本号文件直接删除
pytorch配置GPU环境
一、查看支持的cuda最高版本
1、winr，输入cmd…
深度学习pytorch——基本运算（持续更新）
基本运算——加、减、乘、除
建议直接使用运算符，函数和运算符的效果相同
代码演示：
#%%
# 加减乘除
a torch.rand(3,4)
b torch.rand(4)
# 这里a、b可以相加，别忘了pytorch的broadcast机制
print(ab)
print(torch.add(a,b))
print(torc…
DEiT中如何处理mask数据的？与MAE的不同
在DeiT里面，是通过mask的方式，将maskunmasked的patches输出进ViT中，但其实在下游任务输入的patches还是和训练时patches的数量N是一致的（encoder所有的patches）。
而MAE是在encoder中只encoder未被mask的patches 通过…
【PyTorch】进阶学习：一文详细介绍 torch.load() 的应用场景、实战代码示例
【PyTorch】进阶学习：一文详细介绍 torch.load() 的应用场景、实战代码示例 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程…
深度学习pytorch——Broadcast自动扩展
介绍
在 PyTorch 中，Broadcast 是指自动扩展（broadcasting）运算的功能。它允许用户在不同形状的张量之间执行运算，而无需手动将它们的形状改变为相同的大小。当进行运算时，PyTorch 会自动调整张量的形状，使…
PyTorch深度学习框架：综合入门与应用指南
引言：掌握PyTorch版本信息的必要性
在深度学习的广阔天地中，PyTorch以其卓越的灵活性和易用性，成为了研究人员和开发者的首选框架。了解正在使用的PyTorch版本对于保证代码的兼容性和项目的顺利进行至关重要。尤其是在多人合作和多环境切换的…
【PyTorch】基础学习：一文详细介绍 torch.load() 的用法和应用
【PyTorch】基础学习：一文详细介绍 torch.load() 的用法和应用 🌈 个人主页：高斯小哥 🔥 高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程ὄ…
PyTorch学习笔记之激活函数篇（四）
4、 Leaky ReLU 函数
4.1 公式
Leaky ReLU函数的公式： f ( x ) { x , x > 0 λ x , x < 0 , λ ∈ ( 0 , 1 ) f(x) \begin{cases} x&,x>0 \\ \lambda x&,x<0,\lambda \in(0,1) \end{cases} f(x){xλx,x>0,x<0,λ∈(0,1) Leakly R…
pytorch升级打怪（四）
数据加工（转变数据） transformsToTensor转换和增强图像 Lambda变换 transforms
数据并不总是以训练机器学习算法所需的最终处理形式出现。我们使用转换来对数据进行一些操作，并使其适合训练。
所有TorchVision数据集都有两个参数-transform…
PyTorch的向量化思维，以及Tensor、nn接口
文章目录 PyTorch的向量化思维，以及Tensor、nn接口大语言模型的向量化思路核心原理关键步骤关键技术PyTorch中的向量化`torch.nn` 是 PyTorch 中用于构建和训练神经网络的核心模块主要特点：1. 层（Layers）2. 模型（Modules）3. 损失函数（Loss Functions）4. 实用函数（Util…
pytorch_fid计算fid
pip install pytorch-fid from pytorch_fid import fid_score# 准备真实数据分布和生成模型的图像数据
real_images_folder xxx
generated_images_folder xxx# 计算FID距离值
fid_value fid_score.calculate_fid_given_paths([real_images_folder, generated_images_folder]…
深度学习实战模拟——softmax回归（图像识别并分类）
目录
1、数据集：
2、完整代码 1、数据集：
1.1 Fashion-MNIST是一个服装分类数据集，由10个类别的图像组成，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫…
pytorch升级打怪（八）
保存模型和加载已有模型 保存并加载模型保存加载 保存并加载模型
在本节中，我们将研究如何通过保存、加载和运行模型预测来保持模型状态。
import torch
import torchvision.models as models保存
PyTorch模型将学习的参数存储在内部状态字典中，称为s…
【ACL 2023获奖论文】再现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023?
【ACL 2023获奖论文】再现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023? 写在最前面动机主要发现和观点总结 正文1引言6 相关工作解读 2 注释一个新的测试集以度量泛化CoNLL数据集的创建数据集统计注释质量与评估者间协议目标与意义 3 实验装置…
机器学习 - 选择模型
接着这一篇博客做进一步说明： 机器学习 - 准备数据
PyTorch moduleExplaintorch.nnContains all of the building blocks for computational graphs (essentially a series of computations executed in a particular way). nn 模块为用户提供了丰富的神经网络组件…
机器学习 - 线性问题
矩阵做 transpose
import torch tensor_Matrix_A torch.tensor([[1,2],[4,5],[7,8]
], dtypetorch.float32)
print(tensor_Matrix_A.T)# 结果
tensor([[1., 4., 7.],[2., 5., 8.]])torch.nn.Linear() 模块也被称为 “feed-forward layer"或者"fully connected laye…
【单点知识】基于实例讲解PyTorch中的Transforms类
文章目录 0. 前言1. 基本用法1.1 转换为Tensor1.2 图像大小调整1.3 随机裁剪1.4 中心裁剪1.5 随机翻转1.6 随机旋转1.7 填充1.8 组合变换 2. 进阶用法2.1 归一化2.2 色彩空间转换2.3 颜色抖动2.4 随机仿射2.5 透视变换2.6 自定义变换 0. 前言 按照国际惯例，首先声明…
深度学习PyTorch 之 transformer-中文多分类
transformer的原理部分在前面基本已经介绍完了，接下来就是代码部分，因为transformer可以做的任务有很多，文本的分类、时序预测、NER、文本生成、翻译等，其相关代码也会有些不同，所以会分别进行介绍
但是对于不同的任务…
机器学习 - 训练模型
接着这一篇博客做进一步说明： 机器学习 - 选择模型
为了解决测试和预测之间的差距，可以通过更新 internal parameters, the weights set randomly use nn.Parameter() and bias set randomly use torch.randn(). Much of the time you won’t know what…
一种Pytorch的Tensorboard无法使用解决方案
首先说明一下情况，个人习惯使用vscode的jupyter进行编码，使用的深度学习库是Pytorch，已知Pytorch中内置有Tensorboard，但是始终无法启动，不得已选择了下面即将讲述的方案。 无法启动Tensorboard尝试过的方案有…
机器学习 - PyTorch中常使用到的名字解释
Tensor (张量): Tensor是一个类似于NumPy数组的多维数组结构，可以在CPU或GPU上进行并行计算。Tensor是PyTorch中最基本的数据结构。Tensor represents data in a numerical way. 它具有以下几个重要的特点和用途： 多维数组：Tensor可以是任意维…
【PyTorch】解决PyTorch安装中torch.cuda.is_available()返回False的问题
最近在安装PyTorch时遇到torch.cuda.is_available() False的问题，特此记录下解决方法，以帮助其他遇到相同问题的人。
问题描述
Ubuntu 20.04，3060 Laptop，安装了CUDA 11.4，在Anaconda下新建了Python 3.8的环境&…
深度学习pytorch——激活函数损失函数（持续更新）
论生物神经元与神经网络中的神经元联系——为什么使用激活函数？ 我们将生物体中的神经元与神经网络中的神经元共同分析。从下图可以看出神经网络中的神经元与生物体中的神经元有很多相似之处，由于只有刺激达到一定的程度人体才可以感受到刺激，…
【深度学习】pytorch，MNIST手写数字分类
efficientnet_b0的迁移学习 import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.transforms as transforms
from torchvision.datasets import MNIST
from torch.utils.data import DataLoader
from torchvision import models
import matplo…
深度学习pytorch——GPU加速（持续更新）
使用 .to(device)，以前使用 .cuda() ，但是现在基本不使用了。
代码示例： 查看电脑GPU运行情况：
使用Ctrl Shift ESC快捷键：
pytorch 实现线性回归 softmax（Pytorch 04）
一 softmax 定义
softmax 是多分类问题，对决策结果不是多少，而是分类，哪一个。
为了估计所有可能类别的条件概率，我们需要一个有 多个输出的模型，每个类别对应一个输出。为了解决线 性模型的分类问题，我们…
机器学习 - PyTorch 常见的操作
可以用PyTorch做加减乘除操作
import torchtensor_operation torch.tensor([1,2,3])
print(tensor_operation)print(tensor_operation 10)
print(torch.add(tensor_operation, 10))print(tensor_operation * 10)
print(torch.multiply(tensor_operation, 10))print(tensor_…
机器学习 - PyTorch一些常用的用法
如果我们要创建2维随机数
import torch random_tensor torch.rand(size(3,4))
print(random_tensor)# 输出
tensor([[0.0137, 0.7773, 0.0150, 0.2406],[0.6414, 0.7830, 0.7603, 0.1866],[0.8157, 0.8269, 0.0438, 0.0314]])有时候需要通过加入数字0和数字1到tensor里
# Cr…
pytorch中的gather函数的定义和作用是什么？
在PyTorch中，gather函数是一个用于从张量（tensor）中收集特定索引位置上的元素的函数。它主要用于高级索引和从张量中提取特定信息。
定义（python）
gather函数的基本定义如下： torch.gather(input, dim, i…
【目标检测基础篇】目标检测评价指标：mAP计算的超详细举例分析以及coco数据集标准详解（AP/AP50/APsmall.....)）
学习视频： 霹雳吧啦Wz-目标检测mAP计算以及coco评价标准 【目标检测】指标介绍：mAP
1 TP/FP/FN
TP(True Positive) : IoU>0.5的检测框数量(同一Ground truth只计算一次)FP(False Positive) : IoU<0.5的检测框(或者是检测到同一个GT的多余检测框的…
PyTorch学习笔记之激活函数篇（三）
文章目录 3、ReLU3.1 公式3.2 对应的图像3.3 对应的图像的代码3.4 优点与不足3.5 torch.relu()函数 3、ReLU
3.1 公式
ReLU函数的公式： f ( x ) { x , x > 0 0 , x < 0 f(x) \begin{cases} x&,x>0 \\ 0&,x<0 \end{cases} f(x){x0,x>…
机器学习 - PyTorch tensor 和 numpy
因为numpy是一个python numerical computing library, PyTorch 可以 interact with it nicely.
The two main methods you will want to use for NumPy to PyTorch (and back again) are:
torch.from_numpy(ndarray) - NumPy array -> PyTorch tensortorch.Tensor.numpy()…
【代码问题】mmcv+mmseg版本升级报错
真的离谱，狗屎库那么难维护 0.安装
我的版本
mmcv-full 1.7.2
mmengine 0.10.3
mmsegmentation 1.2.2安装mmcv：
pip install -U openmim
mim install "mmcv>2.0.0rc1"
…
PyTorch二次反向传播报错
First StagenetF, netC = backbone_net(args, return_type=001xy)base_network = nn.Sequential(netF, netC)optimizer_f = optim.Adam(netF
混合精度训练（AMP）
mmcv/runner/fp16_utils.py
cast_tensor_type 将tensor由src_type转到dst_type（只对类型src_type的tensor做转换）
def cast_tensor_type(inputs, src_type: torch.dtype, dst_type: torch.dtype):"""Recursively convert Tensor in inp…
【深度学习】NestedTensors
文章目录 NestedTensorsWhy NestedTensor初始化 NestedTensorNestedTensor 操作reshape转置查看维度其他 NestedTensors
DETR 中常见的数据格式为 NestedTensors，那么什么是 NestedTensors 呢？ NestedTensor，包括 tensor 和 mask 两个成员&a…
人脸表情识别系统项目完整实现详解——（一）深度学习数据集处理
摘要：从之前的表情识别系统升级到现在的v3.0版本，这个系列的博客介绍详细的实现过程。博客介绍了如何处理表情识别项目中的关键数据集，首先介绍了几个公开可用的表情识别数据集，包括JAFFE、KDEF、AffectNet、FERG、Fer2013和CK&am…
pytorch与大语言模型直接偏好优化DPO方法
文章目录 pytorch与大语言模型直接偏好优化DPO方法智谱ChatGLM官方发的一则通告应用方案SFT（指令微调, Instruction Fine-Tuning）DPO（直接偏好优化, Direct Preference Optimization）DPO步骤DPO 可以分为两个主要阶段首选项数据使用Transformers实施 DPO：分步指南训练 SFT…
Pytorch之Dataset和DataLoader的注意事项
1、数据集的保存形式：一行一行的。
比如说预测两个值的加法：abc，那么传进Dataset的形式应该是 a1,b1,c1 a2,b2,c2 ... an,bn,cn 2、代码
import numpy as np
import pandas as pd
import torch
from torch.utils.data import DataLoader, D…
Pytorch 中的forward 函数内部原理
PyTorch中的forward函数是nn.Module类的一部分，它定义了模型的前向传播规则。当你创建一个继承自nn.Module的类时，你实际上是在定义网络的结构。forward函数是这个结构中最关键的部分，因为它指定了数据如何通过网络流动。
单独设计 forward …
docker方式进行pytorch多机多卡分布式训练
docker ip共享与gpu指定 1）ip共享 docker网络有多种，这里选择host直接用宿主机的ip 2）指定gpu docker方式进行pytorch多机多卡分布式训练
nvidia docker 容器介绍链接：https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/ docker用的nvidia官方镜像…
【CNN轻量化】RepViT: Revisiting Mobile CNN From ViT Perspective
RepViT: Revisiting Mobile CNN From ViT Perspective
论文链接：https://arxiv.org/abs/2307.09283
代码链接：https://github.com/THU-MIG/RepViT
一、摘要 探究了许多轻量级ViTs和轻量级CNNs之间的结构联系。文中从ViT的视角重新审视轻量级CNNs的高效…
ThreaTrace复现记录
1. 环境配置
服务器环境
需要10.2的cuda版本 conda环境 包的版本： python 3.6.13 pytorch 1.9.1 torch-cluster 1.5.9 torch-scatter 2.0.9 torch-sparse 0.6.12 torch-spline-conv 1.2.1 torch-geometric 1.4.3 环境bug
这里环境搭建好以后，就可以正…
pytorch 训练实时checkpoint保存；训练中断恢复
1、训练实时checkpoint保存
一般是torch save保存相关权重及训练参数
# 训练和测试循环
for epoch in range(start_epoch, epochs + 1):train(model, device, train_loader, optimizer, criterion, epoch)test(model, device
001-Windows下PyTorch极简开发环境配置（上）
本节介绍Windows系统下配置一套基于Pytorch框架的极简深度学习开发环境。
目录
0.1 缘起
0.1 缘起
其实大概在2016就开始接触深度学习的相关知识，但一直到2018年左右，还停留在门外汉的状态太，原因很简单，感觉学习的门槛过高。…
PyTorch学习笔记之基础函数篇（十五）
文章目录 数值比较运算8.1 torch.equal()函数8.2 torch.ge()函数8.3 torch.gt()函数8.4 torch.le()函数8.5 torch.lt()函数8.6 torch.ne()函数8.7 torch.sort()函数8.8 torch.topk()函数 数值比较运算
8.1 torch.equal()函数
torch.equal(tensor1, tensor2) -> bool这个函…
练习4-权重衰减(李沐函数简要解析)
环境:练习1的环境
代码详解
0.导入库
import torch
from torch import nn
from d2l import torch as d2l1.初始化数据 这里初始化出train_iter test_iter 可以查一下之前的获取Fashion数据集后的数据格式与此对应
n_train, n_test, num_inputs, batch_size 20, 100, 200, …
使用 Python 快速开始机器学习
🔗 快速开始 PyTorch｜使用 Python 建立深度学习模型
认识 PyTorch 1.1 Torch 与 PyTorch 1.2 安装 PyTorch 1.3 验证安装并查看 PyTorch 版本PyTorch 深度学习模型的建立范式 2.1 准备数据 2.2 定义模型 2.3 训练模型 2.4 评估模型 2.5 做出预测为预测任…
pytorch图像数据集定义
文章目录 相关链接DatasetVisionDatasetDatsetFolderImageFolder torchvision.transformsPytorch LightningLightningDataModule 对于图像数据集来说，首先是在Dataset类对数据集进行定义，一般来说不定义transform，则数据为PIL Imageÿ…
HarmonyOS卡片刷新服务，信息实时更新一目了然
如今衣食住行娱乐影音等App占据了大多数人的手机，一部手机可以满足日常大多需求，但对需要经常查看或进行简单操作的场景来说，总需要用户点开App操作未免过于繁琐。
针对该问题， HarmonyOS SDK为用户提供了Form Kit（卡…
【单点知识】基于实例详解PyTorch中的DataLoader类
文章目录 0. 前言1. DataLoader的功能1.1 可处理映射式/可迭代式数据集1.2 可自定义数据加载顺序1.3 可自动批量化打包数据1.4 可支持多进程加载1.5 可pin住内存 2. DataLoader的调用2.1 DataLoader的调用方法2.2 DataLoader的参数说明 3. DataLoader的使用实例4. 总结 0. 前言…
RIPGeo代码理解（六）main.py（运行模型进行训练和测试）
代码链接：RIPGeo代码实现 ├── preprocess.py # 预处理数据集并为模型运行执行IP聚类 ├── main.py # 运行模型进行训练和测试 ├── test.py #加载检查点，然后测试
一、导入各种模块和数据库 import torch.nnfrom lib.utils import *
import argparse
i…
Pytorch：nn.Upsample() 和nn.ConvTranspose2d()
nn.Upsample
原理
nn.Upsample 是一个在PyTorch中进行上采样（增加数据维度）的层，其通过指定的方法（如nearest邻近插值或linear、bilinear、trilinear线性插值等）来增大tensor的尺寸。这个层可以在二维或三维数据上按…
搭建一个简单的网络结构（Pytorch实现二分类）
搭建一个简单的网络结构（Pytorch实现二分类）
搭建一个神经网络并进行训练的话，大致需要分为三步：
第一步是数据的处理，将数据整理成输入网络结构中合适的格式第二步是网络的搭建，包括每层网络的结构和前向…
机器学习 - 预测训练模型
接着上篇博客机器学习-训练模型做进一步说明。
There are three things to make predictions (also called performing inference) with a PyTorch model:
Set the model in evaluation mode (model.eval())Make the predictions using the inference mode context manager (…
pytorch中tensor类型转换的几个函数
目录
IntTensor转FloatTensor
FloatTensor转IntTensor
Tensor类型变为python的常规类型 IntTensor转FloatTensor
.float函数： FloatTensor转IntTensor
.int函数 Tensor类型变为python的常规类型
item函数
深度学习pytorch——多分类问题（持续更新）
回归问题 vs 分类问题（regression vs classification）
回归问题（regression）
1、回归问题的目标是使预测值等于真实值，即predy。
2、求解回归问题的方法是使预测值和真实值的误差最小，即minimize dist(p…
政安晨：【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（五）—— Dropout和批归一化
政安晨的个人主页：政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎 希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！ Dropout和批归一化是深度学习领域中常用的正则化技术…
Chinese-LLaMA-Alpaca-2模型量化部署测试
简介
Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目.
量化
模型的下载还是应用脚本
bash hfd.sh hfl/chinese-alpaca-2-13b --tool aria2c -x 8应用llama.cpp进行量化, 主要参考该教程. 其中比较折腾的是与BLAS…
构建Pytorch虚拟环境教程
构建PyTorch虚拟环境通常涉及使用诸如Anaconda或venv等工具来管理Python环境，以便在一个独立的空间中安装PyTorch和其他依赖项。以下是使用Anaconda创建PyTorch虚拟环境的步骤（适用于不同操作系统，包括Windows、Linux和MacOS）&…
![【PyTorch][chapter 24][李宏毅深度学习][ CycleGAN]【理论】](https://img-blog.csdnimg.cn/direct/04d3c96000264df3b9a7dfd097952ebf.png)
【PyTorch][chapter 24][李宏毅深度学习][ CycleGAN]【理论】
摘要(Abstract)： 本篇主要参考论文分享一下CycleGAN. CycleGAN是实现不同图像之间风格的转换,并且样本数据无需配对即可实现转换 图像到图像的转换是一类视觉和图形问题，其目标是使用对齐图像对的训练集来学习输入图像和输出图像之间的映射（P…
深度学习pytorch——链式法则（Chain rule）（持续更新）
这篇文章将会以深度学习的角度解析链式法则。
基本的求导法则
高中的时候就学过，大学高数也巩固了一遍，这里不再赘述。 深度学习中的链式法则
为什么要讲述深度学习中的链式法则？ 通过链式法则，我们可以得到中间层信息&#x…
PyTorch深度学习：遥感影像地物分类的高效工具
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
PyTorch深度学习：如何实现遥感影像的自动化地物分类？
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
![[医学分割大模型系列] (1) SAM 分割大模型解析](https://img-blog.csdnimg.cn/direct/0d8c6c157e1742b5a524e36b41a233f8.png)
[医学分割大模型系列] (1) SAM 分割大模型解析
[医学大模型系列] [1] SAM 分割大模型解析 1. 特点2. 网络结构2.1 Image encoder2.2 Prompt encoder2.3 Mask decoder 3. 数据引擎4. 讨论 论文地址：Segment Anything
开源地址：https://github.com/facebookresearch/segment-anything
demo地址&#x…
网络模型之Transformer（2017）
Attention is all you need.注意力是你所需要的一切Vaswani A, Shazeer N, Parmar N, et al.Advances in neural information processing systems, 2017, 30. 文章目录 摘要1. 引言2. 背景3. 模型结构3.1 encoder和decoder块3.2 Attention3.2.1 缩放点积注意力(Scaled Dot-Prod…
YOLOv8改进 更换分组卷积的网络结构模型
一、ConvNeXt V2论文 论文地址：2301.00808v1.pdf (arxiv.org)
二、ConvNeXt V2的结构 ConvNeXt V2是一种卷积神经网络模型，它是对ConvNeXt模型的改进和升级。ConvNeXt V2通过引入两种新的模块来提高模型的性能：逆残差连接和通道再分配模块。逆残差连接能够解决模型深度增加…
面对数据集不平衡的分类任务怎么办？
如果有一个数据集其中一个类别数据有几十万，而一类数据只有几万。该怎么做才能更好的训练模型进行分类？
1.重采样技术 过采样少数类：增加少数类的样本数量，可以通过简单复制、SMOTE（Synthetic Minority Over-sampling…
python,pytorch进入虚拟环境(linux)
查看虚拟环境 pip本身并不能直接列出系统上的所有Python虚拟环境，但它可以在特定虚拟环境中运行时显示出该环境下安装的包，间接表明当前处于哪个虚拟环境内。例如，当你在某个虚拟环境激活状态下执行：
pip list这条命令将会列出当…
人工智能(pytorch)搭建模型25-基于pytorch搭建FPN特征金字塔网络的应用场景，模型结构介绍
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型25-基于pytorch搭建FPN特征金字塔网络的应用场景，模型结构介绍。特征金字塔网络（FPN）是一种深度学习模型结构，主要应用于目标检测任务中&am…
深度学习 - PyTorch基本流程 (代码)
直接上代码
import torch
import matplotlib.pyplot as plt
from torch import nn# 创建data
print("**** Create Data ****")
weight 0.3
bias 0.9
X torch.arange(0,1,0.01).unsqueeze(dim 1)
y weight * X bias
print(f"Number of X samples: {len(…
深度学习新篇章：PyTorch在遥感地物分类的革命性应用
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
数据本地性如何助力企业在云上实现高效机器学习
分享嘉宾： Lu Qiu, Shawn Sun 本文将讨论数据本地性对于在云上进行高效机器学习的重要性。首先对比现有解决方案的利弊，并综合考虑如何通过数据本地性来降低成本和实现性能最大化。其次会介绍新一代的Alluxio设计与实现，详细说明其在模型训练…
001-Windows下PyTorch极简开发环境配置
本节介绍Windows系统下配置一套基于Pytorch框架的极简深度学习开发环境。
目录
0.1 缘起
0.2 准备
1.1 安装Anaconda
1.2 安装CUDA和cudnn
（1）确定CUDA版本
（2）安装CUDA
（3）安装cudnn
1.3 安装Pyt…
下载安装anaconda和pytorch的详细方法，以及遇到的问题和解决办法
下载安装Anaconda
首先需要下载Anaconda，可以到官网Anaconda官网或者这里提供一个镜像网站去下载anaconda镜像网站 安装步骤可参考该文章：Anaconda安装步骤，本篇不再赘述 注意环境变量的配置，安装好Anaconda之后一定要在环境变量…
机器学习 - save和load训练好的模型
如果已经训练好了一个模型，你就可以save和load这模型。
For saving and loading models in PyTorch, there are three main methods you should be aware of.
PyTorch methodWhat does it do?torch.saveSaves a serialized object to disk using Python’s pickl…
史上最全pytorch学习笔记1【附有源代码和参考书籍】
在PyTorch中， torch.Tensor 是存储和变换数据的主要⼯具。如果你之前⽤过NumPy，你会发现Tensor 和NumPy的多维数组⾮常类似。然⽽， Tensor 提供GPU计算和⾃动求梯度等更多功能，这些使 Tensor 更加适合深度学习。1. 数据操作
先介…
pytorch中的torch.hub.load()
pytorch提供了torch.hub.load()函数加载模型，该方法可以从网上直接下载模型或是从本地加载模型。官方文档
torch.hub.load(repo_or_dir, model, *args, sourcegithub, trust_repoNone, force_reloadFalse, verboseTrue, skip_validationFalse, **kwargs)参数说明&a…
pytorch中导入模块的路径问题
今天跑一个项目，遇到了两个导入模块时比较常见的问题，特此记录。
问题1 from input导入报错找不到model 项目整体目录为： 在Trainer里导入metrics报错找不到这个model，但是点击import模块的代码可以直接跳过去：
fro…
PyTorch----torch.nn.Linear()函数
torch.nn.Linear是PyTorch中的一个模块，用于在神经网络中实现完全连接层。它表示输入张量的一个线性变换通过将它与一个权矩阵相乘并加上一个偏置项。
下面是torch.nn.Linear的语法:
torch.nn.Linear(in_features, out_features, biasTrue)参数： in_f…
机器学习 - 神经网络中的训练模型
接着上一篇机器学习-创建一个PyTorch classification model做进一步陈述。
训练模型的步骤：
Forward pass: The model goes through all of the training data once, performing its forward() function calculations (model(x_train))Calculate the loss: 使用 l…
机器学习 - 创建一个PyTorch classification model
紧接上一篇文章机器学习-神经网络分类 继续描述
先得将数据从 numpy arrays 移到 PyTorch tensor 里。
import torch # 将数据从numpy移到PyTorch tensors里
X torch.from_numpy(X).type(torch.float)
y torch.from_numpy(y).type(torch.float)之后，将数据分成训…
【pytorch】安装合集
使用conda或者pip安装的指令
https://pytorch.org/get-started/previous-versions/
测试pytorch_gpu是否可用的代码
# 测试pytorch是否安装成功
import torch
print(torch.__version__)
print(torch.cuda.is_available())
YOLOv8改进 | 主干篇 | 修复官方去除掉PP-HGNetV2的通道缩放功能（轻量又涨点，全网独家整理）
一、本文介绍
本文给大家带来的改进机制是大家在跑RT-DETR提供的HGNetV2时的一个通道缩放功能（官方在前几个版本去除掉的一个功能），其中HGNetV2当我们将其集成在YOLOv8n的模型上作为特征提取主干的时候参数量仅为230W 计算量为6.7GFLOPs该网…
pytorch反向传播算法
目录 1. 链式法则复习2. 多输出感知机3. 多层感知机4. 多层感知机梯度推导5. 反向传播的总结 1. 链式法则复习 2. 多输出感知机 3. 多层感知机
如图：
4. 多层感知机梯度推导
简化式子把( O k O_k Ok - t k t_k tk) O k O_k Ok(1 - O k O_k Ok)起个别名…
深度学习pytorch——减少过拟合的几种方法（持续更新）
1、增加数据集
2、正则化(Regularization)
正则化：得到一个更加简单的模型的方法。
以一个多项式为例：
随着最高次的增加，会得到一个更加复杂模型，模型越复杂就会更好的拟合输入数据的模型（图-1）&#…
本地GPU调用失败问题解决1
一：发现问题
1、电脑环境参数：
OMEN by Gaming Laptop
Windows 11 家庭中文版
2th Gen Intel(R) Core(TM) i9-12900H 2.50 GHz
NVIDIA GeForce RTX 3060 Laptop GPU 显存6G
PyCharm 2023.1.1(Professional Edition)
2、PyCharm中检测GPU&#x…
LoRA构建：利用数学知识进行低阶自适应分析并在 PyTorch 中实现
公众号：Halo 咯咯 本文中将介绍了解 LoRA 是什么，并用数学原理知识来描述 LoRA 有效微调大型模型，最后从头开始创建我们自己的 LoRA 并使用它来微调我们的模型。
LoRA是如何工作的？
LLM（Large Language Models&#…
pytorch如何向tensor结尾添加元素或维度--torch.cat()、torch.unsqueeze()的用法
目录
示例1 矢量后增加元素
示例2 tensor维度增加1
示例3 另一种替代unsqueeze的方法 示例1 矢量后增加元素
使用torch.cat()函数
ptorch.Tensor([1,5,0])
ptorch.cat((p, torch.Tensor([4])), 0)
结果： 这里，cat的第一个输入变量用()包绕…
深度学习pytorch——多层感知机反向传播（持续更新）
在讲解多层感知机反向传播之前，先来回顾一下多输出感知机的问题，下图是一个多输出感知机模型： 课时44 反向传播算法-1_哔哩哔哩_bilibili 根据上一次的分析深度学习pytorch——感知机（Perceptron）（持续更新…
深度学习pytorch——感知机（Perceptron）（持续更新）
什么是感知机？ 感知机是由美国学者FrankRosenblatt在1957年提出来的。感知机是作为神经网络（深度学习）的起源的算法。因此，学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。 感知机接收多个输入信号，…
PyTorch深度学习：如何提升遥感影像的地物分类精度？
我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时…
Pytorch多机多卡分布式训练
多机多卡分布式：
多机基本上和单机多卡差不多：
第一台机器（主设备）：
torchrun --master_port 6666 --nproc_per_node8 --nnodes${nnodes} --node_rank0 --master_addr${master_addr} train_with_multi_machine_an…
【深度学习基础（4）】pytorch 里的log_softmax, nll_loss, cross_entropy的关系
一、常用的函数有： log_softmax,nll_loss, cross_entropy
1.log_softmax
log_softmax就是log和softmax合并在一起执行，log_softmaxlogsoftmax
2. nll_loss
nll_loss函数全称是negative log likelihood loss, 函数表达式为：f(x,class)−x[…
pytorch实战-1张量
读书笔记 史蒂文斯
1 简介
torch是python的一个深度学习库，torch使用张量进行计算。
2 优势
张量和python基本类型不同，有如下优势
1 与其他py计算库衔接好
2 计算效率高，速度快
3 可使用gpu加速等
张量内存分布是连续的，…
深度学习：基于PyTorch的模型解释工具Captum
深度学习：基于PyTorch的模型解释工具Captum 引言简介示例安装解释模型的预测解释文本模型情绪分析问答 解释视觉模型特征分析特征消融鲁棒性 解释多模态模型 引言
当我们训练神经网络模型时，我们通常只关注模型的整体性能，例如准确率或损失函…
pytorch笔记篇：pandas之数据预处理(更新中)
pytorch笔记篇：pandas之数据预处理 pytorch笔记篇：pandas之数据预处理(更新中)测试例代码相关的算子 pytorch笔记篇：pandas之数据预处理(更新中)
测试例代码
print(train_data.iloc[0:4, [0, 1, 2, 3, -3, -2, -1]])
# (※1) 为什么test_da…
pytorch常用的模块函数汇总（2）
目录 torch.utils.data：数据加载和处理模块，包括 Dataset 和 DataLoader 等工具，用于加载和处理训练数据。
torchvision：计算机视觉模块，提供了图像数据集、转换函数、预训练模型等，用于计算机视觉任务。 …
python-pytorch 常用api打卡0.1.300
python-pytorch 常用api打卡0.1.100 torch.nntorch.nn.Flattentorch.nn.Lineartorch.nn.ReLU torch.nn
torch.nn.Flatten
维度计数是从0开始m nn.Flatten()默认从1维开始合并合并的维度值，就是这些维度的乘积对于数据维度的理解 如下数据input 4.1 对于数据-1.19…
pytorch常用的模块函数汇总（1）
目录 torch：核心库，包含张量操作、数学函数等基本功能
torch.nn：神经网络模块，包括各种层、损失函数和优化器等
torch.optim：优化算法模块，提供了各种优化器，如随机梯度下降 (SGD)、Adam、RMS…
神经网络 各个模块介绍（Pytorch 07）
一 网络层和块
单个神经网络（1）接受一些输入；（2）生成相应的标量输出；（3）具有一组相关 参数（parameters），更新这些参数 可以优化某目标函数。
当…
【技巧】PyTorch限制GPU显存的可使用上限
转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn] 从 PyTorch 1.4 版本开始，引入了一个新的功能 torch.cuda.set_per_process_memory_fraction(fraction, device)，这个功能允许用户为特定的 GPU 设备设置进程可使用的显存上限比例。 测试代…
新书速递——《可解释AI实战（PyTorch版）》
本书旨在帮助你实施最新的可解释AI技术，以构建公平且可解释的AI系统。可解释AI是当今AI研究中的热门话题，但只有少数资源和指南涵盖了所有重要技术，这些技术对实践者来说非常有价值。本书旨在填补这一空白。
本书读者对象 本书既适合那些有兴…
【PyTorch Tensor】PyTorch Tensor编程教学：基础与实战
PyTorch是一个开源的机器学习库，它提供了强大的张量计算（Tensor computation）能力和动态计算图（Dynamic computation graph），使得深度学习模型的构建和训练变得更加灵活和直观。在本文中，我们将…
conda安装GPU版pytorch，但是安装的是cpu的
conda安装GPU版pytorch，但是安装的是cpu的 安装命令
conda install pytorch torchvision torchaudio pytorch-cuda11.7 -c pytorch -c nvidia安装结果 解决办法一（别的博客建议，这里不适合我） 卸载pytorch-mutex或者卸载cpuonly …
RIPGeo代码理解（五）utils.py（ 辅助函数）第二部分
代码链接：RIPGeo代码实现
├── lib # 包含模型（model）实现文件 │ |── layers.py # 注意力机制的代码。 │ |── model.py # TrustGeo的核心源代码。 │ |── sublayers.py # layer.py的支持文件。 │ |── utils.p…
MobileSAM 项目排坑
MobileSAM 项目排坑 任务过程记录创建环境交互式测试notebookV2测试 任务
把MobileSAM这个项目跑通，明天就可以集中学习SAM、MobileSAM、EfficientSAM和Segformer的论文和代码了。
过程记录
创建环境
老样子：
git clone https://github.com/Chaonin…
【图像合成】基于DCGAN典型网络的MNIST字符生成（pytorch）
关于 近年来，基于卷积网络（CNN）的监督学习已经 在计算机视觉应用中得到了广泛的采用。相比之下，无监督 使用 CNN 进行学习受到的关注较少。在这项工作中，我们希望能有所帮助 缩小了 CNN 在监督学习和无监督学习方面的成…
Pytorch的hook函数
hook函数是勾子函数，用于在不改变原始模型结构的情况下，注入一些新的代码用于调试和检验模型，常见的用法有保留非叶子结点的梯度数据（Pytorch的非叶子节点的梯度数据在计算完毕之后就会被删除，访问的时候会显示为None&…
Pytorch：torch.utils.data.DataLoader
torch.utils.data.DataLoader 是PyTorch提供的一个功能，用来包装数据集并提供批量获取数据（batch loading）、打乱数据顺序（shuffling）、多进程加载（multiprocessing loading）等功能。当进行深度…
深度学习每周学习总结P3（天气识别）
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 | 接辅导、项目定制 数据链接 提取码：o3ix 目录 0. 总结1. 数据导入部分数据导入部分代码详解：a. 数据读取部分a.1 提问：关…
使用pytorch构建一个初级的无监督的GAN网络模型
在这个系列中将系统的构建GAN及其相关的一些变种模型，来了解GAN的基本原理。本片为此系列的第一篇，实现起来很简单，所以不要期待有很好的效果出来。 第一篇我们搭建一个无监督的可以生成数字 (0-9) 手写图像的 GAN，使用MINIST数据…
解决：PytorchStreamWriter failed writing file data
文章目录 问题内容问题分析解决思路 问题内容
今天在炼丹的时候，我发现模型跑到140步的时候保存权重突然报了个问题，详细内容如下：
Traceback (most recent call last):File "/public/home/dyedd/.conda/envs/diffusers/lib/python3.8…
基于Pytorch的验证码识别模型应用
前言 在做OCR文字识别的时候，或多或少会接触一些验证码图片，这里收集了一些验证码图片，可以对验证码进行识别，可以识别4到6位，纯数字型、数字字母型和纯字母型的一些验证码，准确率还是相当高，需…
pytorch-分类-检测-分割的dataset和dataloader创建
1.前言 在PyTorch中，Dataset和DataLoader是两个重要的工具，用于构建输入数据的管道。
（1）Dataset是一个抽象类，表示数据集，需要实现__len__和__getitem__方法。
（2）DataLoader是一…
CVAE-GAN——生成0-9数字图像（Pytorch+mnist）
1、简介
CVAE-GAN（Conditional Variational Autoencoder Generative Adversarial Network）是一种混合型生成模型，结合了条件变分自编码器（CVAE）和生成对抗网络（GAN）的思想。在CVAE-GAN中&#…
【Pytorch学习笔记（二）】张量的创建（补充）
一、知识回顾
我们在博客《张量的创建与访问》中已经讨论了一些张量的创建方法如torch.CharTensor()、torch.FloatTensor()以及torch.zeros()等张量创建方法，但由于其仅仅介绍了cpu版本torch下张量的创建方法和只有具体数据类型张量，本节内容旨在补充gp…
PyTorch 教程-快速上手指南
文章目录 PyTorch Quickstart1.处理数据2.创建模型3.优化模型参数4.保存模型5.加载模型 PyTorch 基础入门1.Tensors1.1初始化张量1.2张量的属性1.3张量运算1.3.1张量的索引和切片1.3.2张量的连接1.3.3算术运算1.3.4单元素张量转变为Python数值 1.4Tensor与NumPy的桥接1.4.1Tens…
机器学习周记（第三十二周：文献阅读-时空双通路框架）2024.3.25~2024.3.31
目录
摘要
ABSTRACT
1 论文信息
1.1 论文标题
1.2 论文摘要
1.3 论文模型
1.3.1 Spatial Encoder（空间编码器）
1.3.2 Temporal Encoder（时间编码器）
2 相关代码 摘要 本周阅读了一篇运用GNN进行时间序列预测的论文。论文…
cuda cudnn pytorch 的下载方法(anaconda）
文章目录 前言cuda查看当前可支持的最高cuda版本显卡驱动更新下载cuda cudnnpytorch配置虚拟环境创建虚拟环境激活虚拟环境 1.直接下载2.conda 下载(清华源，下载速度慢的看过来)添加清华镜像channel下载下载失败 下载失败解决办法1.浑水摸鱼，风浪越大鱼越…
NVIDIA Jetson Xavier NX入门-镜像为jetpack5（3）——pytorch和torchvision安装
NVIDIA Jetson Xavier NX入门-镜像为jetpack5（3）——pytorch和torchvision安装
镜像为jetpack5系列： NVIDIA Jetson Xavier NX入门-镜像为jetpack5（1）——镜像烧写 NVIDIA Jetson Xavier NX入门-镜像为jetpack5&#…
大语言模型微调相关的finetuning、CE Loss、RLHF如何配合工作
文章目录 大语言模型微调相关的finetuning、CE Loss、RLHF如何配合工作概念定义虽然有点啰嗦，但是值得反复强化概念 RAG、Agent、Finetuning之间的关系RAG、Agent、Finetuning各自的技术方法步骤流程示例代码 pytorch 抱抱脸Hugging Face基于预训练模型做微调基于预…
Pytorch：torchvision.transforms.Compose
transforms.Compose 是PyTorch库中torchvision.transforms模块提供的一个功能，它允许将多个图像变换操作组合起来。当你在处理图像，并需要依次应用多个变换（如缩放、裁剪、归一化等）时，Compose可以把这些变换串联成一个…
如何使用potplayer在公网环境访问内网群晖NAS中储存在webdav中的影视资源
🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-D7WJh3JaNVrLcj2b {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…
![YOLOv9有效改进专栏汇总|未来更新卷积、主干、检测头注意力机制、特征融合方式等创新！[2024/4/1]](https://img-blog.csdnimg.cn/direct/20236aaf9c25485ab0e5bae4d1c17512.png)
YOLOv9有效改进专栏汇总|未来更新卷积、主干、检测头注意力机制、特征融合方式等创新！[2024/4/1]
专栏介绍：YOLOv9改进系列 | 包含深度学习最新创新，助力高效涨点！！！ 专栏介绍 YOLOv9作为最新的YOLO系列模型，对于做目标检测的同学是必不可少的。本专栏将针对2024年最新推出的YOLOv9检测模型࿰…
Pytorch：Pytorch入门基础
文章目录 一、PyTorch概述二、Pytorch基础数据结构三、Tensorflow和Pytorch的区别TensorFlow和PyTorch的区别 四、导入Pytorch库 学习参考于：
与凤行——上古神君：Pytorch数据结构 一、PyTorch概述
PyTorch是一个开源的机器学习库，用于计算…
pytorch-tpu/llama推理优化之input prompt bucketing
数据更新： python脚本（注意分支）：
HLO图分析KV-Cache更新： KV-Cache作为HLO图的输入输出：bf16[1,2048,32,128]{3,2,1,0} 128x, 2x32x2
参考链接
notes for transformer introduction by an Italian t…
图解PyTorch中的torch.gather函数和 scatter 函数
前言
torch.gather在目前基于 transformer or query based 的目标检测中，在最后获取目标结果时，经常用到。
这里记录下用法，防止之后又忘了。
介绍
torch.gather 官方文档对torch.gather()的定义非常简洁
定义：从原tensor中获…
【Pytorch2.0学习记录】第三章 基于Pytorch的MNIST分类实战
3.1.1 数据图像的获取与标签的说明 源码\第三章\one_hot.py import numpy as np
import torch
x_train np.load("../dataset/mnist/x_train.npy")
y_train_label np.load("../dataset/mnist/y_train_label.npy")
print(y_train_label[:5]) #[5 0 4 1 9]
…
Python深度学习033：Python、PyTorch、CUDA和显卡驱动之间的关系
Python、PyTorch、CUDA和显卡驱动之间的关系相当紧密，它们共同构成了一个能够执行深度学习模型的高效计算环境。下面是它们之间关系的简要概述：
Python Python 是一种编程语言，广泛用于科学计算、数据分析和机器学习。它是开发和运行PyTorch代码的基础环境。PyTorch PyTorc…
Pytorch实用教程： torch.tensor()的用法
在PyTorch中，torch.tensor()函数是用来创建张量（Tensor）的一个非常基础和重要的函数。张量是PyTorch中的基本数据结构，用于存储和操作数据，可以看作是一个高维数组。torch.tensor()函数可以从数据创建新的张量…
行人重识别项目 | 基于Pytorch实现ReID行人重识别算法
项目应用场景 面向行人重识别场景，项目具有轻量化 (训练的时候也只需要 2GB 的显存占用)、性能好 (只使用 softmax 损失就能够达到 Rank188.24%, mAP70.68%)，另外提供友好的上手项目流程教程
项目效果： 项目流程 > 具体参见项目内README.…
![天池医疗AI大赛[第一季] Rank8解决方案[附TensorFlow/PyTorch/Caffe实现方案]](https://img-blog.csdnimg.cn/img_convert/9ff22952dc1d3a62c1edf20e75c9b874.png)
天池医疗AI大赛[第一季] Rank8解决方案[附TensorFlow/PyTorch/Caffe实现方案]
团队成员：北京邮电大学 模式识别实验室硕士研究生
今年5月，参加了天池医疗AI大赛，这次比赛是第一次参加此类的比赛，经过接近半年的比赛，终于10月落下帷幕，作为第一次参加比赛，能在接近3000支队…
【新手适用】手把手教你从零开始实现一个基于Pytorch的卷积神经网络CNN二： 如何训练模型，内附详细损失、准确率、均值计算
手把手教你从零开始实现一个基于Pytorch的卷积神经网络CNN（新手适用）一： model.py：创建模块-CSDN博客 从零开始实现一个基于Pytorch的卷积神经网络 - 知乎
代码：
cnn-pytorch-simple: 简单实现的基于pytorch的cnn模…
PyTorch----torch.nn.AdaptiveAvgPool2d()自适应平均池化函数
AdaptiveAvgPool2d是PyTorch中的一个模块，用于卷积神经网络(CNNs)中的自适应平均池化。它通常用于需要将输入张量的大小调整为固定大小，而不考虑其原始尺寸。 “自适应”方面是指输出大小是由用户指定的，而不是固定的。这为模型设计提供了更大…
FastEI论文阅读
前言 研究FastEI有很长时间了，现在来总结一下，梳理一下认知。论文地址：https://www.nature.com/articles/s41467-023-39279-7，Github项目地址：https://github.com/Qiong-Yang/FastEI。
概要 这篇文章做的工作是小分子…
softmax函数的功能及用法
Softmax函数是一种常用的激活函数，通常用于多分类问题的输出层。其功能是将一个具有任意实数值的向量（通常称为“logits”）转换为一个概率分布，其中每个元素的值表示对应类别的概率。
Softmax函数的公式如下：
给定一…
![【PyTorch][chapter 25][李宏毅深度学习][ CycleGAN]【实战】](https://img-blog.csdnimg.cn/direct/b746796bf6454d4e892a33bec050fff9.png)
【PyTorch][chapter 25][李宏毅深度学习][ CycleGAN]【实战】
前言： 论文中直接提供了GitHub 的代码下载地址
GitHub - junyanz/pytorch-CycleGAN-and-pix2pix: Image-to-Image Translation in PyTorch
这里面简单的解读一下. 目录： 1. 模型参数配置 2： 生成器模型 3： 鉴别器模型 4&#…
【自学记录5】【Pytorch2.0深度学习从零开始学 王晓华】第五章 基于Pytorch卷积层的MNIST分类实战
5.1.2 PyTorch2.0中卷积函数实现详解
1、torch.nn.Conv2d
in_channels3: 输入的通道数，对应图像的3个颜色通道。 out_channels10: 输出的通道数，即卷积后我们想要得到的特征图的数量。 kernel_size3: 卷积核的大小，这里使用的是3x3的卷积核…
pytorch 中 nn.ModuleList()使用说明
nn.ModuleList() 是 PyTorch 中的一个类，用于管理神经网络模型中的子模块列表。它允许将多个子模块组织在一起，并将它们作为整个模型的一部分进行管理和操作。
在神经网络模型的开发过程中，通常需要定义和使用多个子模块，例如不同…
Transformer - 注意⼒机制
Transformer - 注意⼒机制
flyfish
计算过程
flyfish # -*- coding: utf-8 -*-import torch
import torch.nn as nn
import torch.nn.functional as F
import os
import mathdef attention(query, key, value, maskNone, dropoutNone):# query的最后⼀维的⼤⼩, ⼀般情况下就…
Pointnet++改进即插即用系列：全网首发OREPA在线重新参数化卷积,替代普通卷积 |即插即用，提升特征提取模块性能
简介：1.该教程提供大量的首发改进的方式，降低上手难度，多种结构改进，助力寻找创新点！2.本篇文章对Pointnet++特征提取模块进行改进，加入OREPA，提升性能。3.专栏持续更新，紧随最新的研究内容。
目录
1.理论介绍
2.修改步骤
2.1 步骤一 2.2 步骤二 2.3 步骤三
史上最强 PyTorch 2.2 GPU 版最新安装教程
一 深度学习主机
1.1 配置
先附上电脑配置图，如下： 利用公司的办公电脑对配置进行升级改造完成。除了显卡和电源，其他硬件都是公司电脑原装。
1.2 显卡
有钱直接上 RTX4090，也不能复用公司的电脑，其他配置跟不上。…
大语言模型中常见小模型LLM垂直领域应用微调数据集
文章目录 大语言模型中常见小模型LLM垂直领域应用微调数据集网友对于微调的看法本文内容参考、汇总了以下开源LLMAdvertiseGen广告LLM数据数据集结构ChatGLM3-6B对于微调数据结构的定义原始数据预处理代码 通用医学LLM数据集Chinese-medical-dialogue-data原始数据集微调数据格…
PyTorch学习之：深入理解神经网络
使用torch.nn模块构建网络架构
在PyTorch中，torch.nn模块是构建神经网络的核心。使用这个模块，你可以轻松地定义网络层、激活函数、损失函数等。以下是使用torch.nn构建一个简单神经网络架构的步骤：
步骤1: 定义网络结构
首先，…
002-基于Pytorch的手写汉字数字分类
本节将介绍一种 2.1 准备
2.1.1 数据集
（1）MNIST
只要学习过深度学习相关理论的人，都一定听说过名字叫做LeNet-5模型，它是深度学习三巨头只有Yann Lecun在1998年提出的一个CNN模型（很多人认为这是第一个具有实际应用…
使用pytorch构建带梯度惩罚的Wasserstein GAN(WGAN-GP)网络模型
本文为此系列的第三篇WGAN-GP，上一篇为DCGAN。文中仍然不会过多详细的讲解之前写过的，只会写WGAN-GP相对于之前版本的改进点，若有不懂的可以重点看第一篇比较详细。 原理
具有梯度惩罚的 Wasserstein GAN (WGAN-GP)可以解决 GAN 的一些稳定性…
RWKV_Pytorch：支持多硬件适配的开源大语言模型推理框架
亲爱的技术探索者们，今天我要向大家隆重推荐一个在开源社区中崭露头角的项目——RWKV_Pytorch。这是一个基于Pytorch的RWKV大语言模型推理框架，它不仅具备高效的原生Pytorch实现，而且还扩展了对多种硬件的适配支持，让模型的部署和…
王道操作系统个人向笔记-第一章
文章目录 操作系统的基本概念操作系统的概念操作系统的功能和目标操作系统的特征 操作系统的发展历程手工操作阶段批处理阶段单道批处理系统多道批处理系统 分时操作系统实时操作系统 操作系统运行环境处理器运行模式中断和异常系统调用 操作系统的体系结构操作系统的引导虚拟机…
记录何凯明在MIT的第一堂课：神经网络发展史
https://www.youtube.com/watch?vZ5qJ9IxSuKo
目录
表征学习
主要特点：
方法和技术：
LeNet
全连接层
主要特点：
主要特点：
网络结构：
AlexNet
主要特点：
网络结构：
Sigmoid
Re…
3D密集面部对齐项目 | 基于Pytorch实现的快速+准确+稳定的3D面部对齐算法
项目应用场景 可以应用于人脸面部三维特征点的提取 人脸面部的三维重建，项目的特点是基于 Pytorch 实现、快速、准确、稳定
项目效果： 项目流程 > 具体参见项目内README.md (1) 构建
sh ./build.sh (2) 执行示例
# 1. running on still i…
深度学习pytorch——正则化（持续更新）
由于Sigmoid函数在两边存在梯度趋于零的特性，这种特性会使梯度长久得不到更新，造成梯度离散的现象，如何处理这一种现象？压缩数据使数据位于Sigmoid梯度不趋于0区间，即批量正则化（Batch Norm ）&a…
java-pytorch 使用手动下载FashionMNIST数据集进行测试
java-pytorch 使用手动下载FashionMNIST数据集进行测试 先定义训练数据和测试数据的位置查看一下读取到的标签数据格式使用loc和iloc访问下数据，便于下面操作使用read_image函数查看下图片的数据大小开始写数据集使用DataLoader去加载我们自己的数据看下加载后的dat…
PyTorch数据结构
前言：因为最近开始读深度学习代码，主要都是用PyTorch框架，所以来补一些PyTorch基础，先从数据结构入手。 PyTorch数据结构 PyTorchPyTorch数据结构张量属性：维度、轴、形状常见的操作 数据集构造代码DataLoader 模块 参…
【动手学深度学习-pytorch】9.2长短期记忆网络（LSTM）
长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。 解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM） (Hochreiter and Schmidhuber, 1997)。 它有许多与门控循环单元（ 9.1节&…
Pytorch nn.Linear()
nn.Linear就是神经网络中的线性层，类似于数学中的线性函数，可以实现形如yX*weight^Tb的功能。
#导包
import torch.nn as nn
import torch#创建1个张量
sampletorch.tensor([1.,10.,100.])#nn.Linear(in_feature,out_feature,bias)，这里设置…
机器学习 - 提高模型 (代码）
如果模型出现了 underfitting 问题，就得提高模型了。
Model improvement techniqueWhat does it do?Add more layersEach layer potentially increases the learning capabilities of the model with each layer being able to learn some kind of new pattern in…
PyTorch中的flatten+transpose函数说明
flatten函数就是对tensor类型进行扁平化处理，就是在不同维度上进行堆叠操作
a.flatten(m)，这个意思是将a这个tensor，从第m(m取值从0开始)维度开始堆叠，一直堆叠到最后一个维度
import torchatorch.rand(2,3,2,3)print(a)x a.fl…
【动手学深度学习-pytorch】-9.3深度循环神经网络
到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对一个单层来说，这可能具有…
关于深度学习的 PyTorch 项目如何上手分析？从什么地方切入？
文章目录 PyTorch 项目分析1.背景2.分析流程 PyTorch 项目分析
1.背景
当我们拿到一个 PyTorch 的深度学习项目时，应该怎么入手？怎么去查看代码？
2.分析流程 首先阅读对应项目的 README.md 文件。通过阅读 README.md ，一般可以…
深度学习pytorch——卷积神经网络（持续更新）
计算机如何解析图片？
在计算机的眼中，一张灰度图片，就是许多个数字组成的二维矩阵，每个数字就是此点的像素值（图-1）。在存储时，像素值通常位于[0, 255]区间，在深度学习中࿰…
自动驾驶汽车：计算机视觉的前沿应用
自动驾驶汽车：计算机视觉的前沿应用引言
自动驾驶汽车技术是近年来最引人注目的技术进步之一，它承诺将彻底改变我们的出行方式，提高道路安全，减少交通堵塞，并对环境产生积极影响。在自动驾驶汽车的核心技术中…
pytorch中的torch.hub.load()：以vggish为例
pytorch提供了torch.hub.load()函数加载模型，该方法可以从网上直接下载模型或是从本地加载模型。官方文档
torch.hub.load(repo_or_dir, model, *args, sourcegithub, trust_repoNone, force_reloadFalse, verboseTrue, skip_validationFalse, **kwargs)参数说明&a…
通过nvtx和Nsight Compute分析pytorch算子的耗时
通过nvtx和Nsight Compute分析pytorch算子的耗时 一.效果二.代码 本文演示了如何借助nvtx和Nsight Compute分析pytorch算子的耗时
一.效果
第一次执行,耗时很长 小规模的matmul,调度耗时远大于算子本身 大规模的matmul,对资源的利用率高小规模matmul,各层调用的耗时
二.代码…
ML-Decoder: Scalable and Versatile Classification Head
1、引言
论文链接：https://openaccess.thecvf.com/content/WACV2023/papers/Ridnik_ML-Decoder_Scalable_and_Versatile_Classification_Head_WACV_2023_paper.pdf 因为 transformer 解码器分类头[1] 在少类别多标签分类数据集上表现得很好，但由于其查询…
pytorch | with torch.no_grad()
1.关于with
with 是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。比如文件的写入（需要打开关闭文件）等。
以下为一个文件写入…
pytorch | torch.contiguous()方法
torch.contiguous()方法语义上是“连续的”，经常与torch.permute()、torch.transpose()、torch.view()方法一起使用，要理解这样使用的缘由，得从pytorch多维数组的低层存储开始说起： touch.view()方法对张量改变“形状”其实并没有…
VAE——生成数字（Pytorch+mnist）
1、简介
VAE（变分自编码器）同样由编码器和解码器组成，但与AE不同的是，VAE通过引入隐变量并利用概率分布来学习潜在表示。VAE的编码器学习将输入数据映射到潜在空间的概率分布的参数，而不是直接映射到确定性的潜在表示…
pytorch | yolov5 Can not get arrribute SiLU
【报错】 Can‘t get attribute ‘SiLU‘ on ＜module ‘torch.nn.modules.activation 【解决方法】
将SiLU拷贝到~/.local/lib/python3.8/site-packages/torch/nn/modules/activation.py文件中
class SiLU(Module): # export-friendly version of nn.SiLU()stati…
故障诊断模型 | 基于LSTM长短期记忆神经网络的滚动轴承故障诊断（Pytorch）
概述
LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN），在时间序列数据处理任务中表现优秀，可用于滚动轴承故障诊断。
滚动轴承故障通常会导致振动信号的变化，这些振动信号可以被视为时间序列数据。LSTM能够捕捉时间序列之间的依赖关系，从而对滚动轴承的故…
YOLOv8改进 | 检测头篇 | 2024最新HyCTAS模型提出SAttention（自研轻量化检测头 -＞ 适用分割、Pose、目标检测）
一、本文介绍
本文给大家带来的改进机制是由全新SOTA分割模型（Real-Time Image Segmentation via Hybrid Convolutional-TransformerArchitecture Search）HyCTAS提出的一种SelfAttention注意力机制，论文中叫该机制应用于检测头当中（论文中的分割效果展现目前是最好的）。我…
【NLP练习】Pytorch文本分类入门
Pytorch文本分类入门
🍨 本文为🔗365天深度学习训练营 中的学习记录博客
🍖 原作者：K同学啊 | 接辅导、项目定制一、前期准备
1. 环境安装 确保已经安装torchtext与portalocker库 2. 加载数据
#加载数据
import torch
import t…
基于PyTorch深度学习实战入门系列-张量计算
Torch的使用-张量计算 比较函数
函数功能allclose()比较两个元素是否接近eq()逐元素比较是否相等equal()判断两个张量是否具有相同的形状和元素ge()逐元素比较是否大于等于gt()逐元素比较是否大于le()逐元素比较是否小于等于lt()逐元素比较是否大于ne()逐元素比较不等于isnan(…
Pycharm选择使用Anaconda环境中的Pytorch 失败解决办法之一
前几日想要复现一篇论文，结果给配的台式机完全禁不住，老是报溢出，慢都没事，溢出就很难受了，因此想用自己笔记本的GPU来训练。
安装以后遇到一个问题：
Anaconda里创建了环境，安装好了对应pytor…
简明Pytorch分布式训练 — DistributedDataParallel 实践
上一次的Pytorch单机多卡训练主要介绍了Pytorch里分布式训练的基本原理，DP和DDP的大致过程，以及二者的区别，并分别写了一个小样作为参考。小样毕竟还是忽略了很多细节和工程实践时的一些处理方式的。实践出真知，今天（简…
conda配置完整的pytorch虚拟环境
新建环境 conda create -n py38 python3.8虚拟环境中安装CUDA，conda安装的cudatoolkit和NVIDIA提供的CUDA Toolkit不一样，前者是系统CUDA的子集。在虚拟环境中安装了cudatoolkit，则pytorch就会用虚拟环境中的cudatoolkit进行编译。注意cudato…
pytorch手写dataset
pytorch手写dataset 当你创建一个PyTorch自定义的Dataset类时，你需要继承torch.utils.data.Dataset类，并实现__len__和__getitem__方法。下面是一个简单的示例，假设你的数据集包含特征和标签：
import torch
from torch.utils.dat…
AE——重构数字（Pytorch+mnist）
1、简介
AE（自编码器）由编码器和解码器组成，编码器将输入数据映射到潜在空间，解码器将潜在表示映射回原始输入空间。AE的训练目标通常是最小化重构误差，即尽可能地重构输入数据，使得解码器输出与原始输入尽…
Pytorch for training1——read data/image
blog
torch.utils.data.Dataset
create dataset with class torch.utils.data.Dataset automaticly
import torch
from torch.utils.data import Datasetclass MyDataset(Dataset):def __init__(self, data):self.data datadef __getitem__(self, index):# 根据索引获取样本…
什么是计算机视觉？计算机视觉：从基础到前沿
引言
计算机视觉，作为人工智能的一个重要分支，致力于赋予机器“看”的能力——即从图像或视频中理解和解释视觉信息的能力。这项技术的发展为自动驾驶汽车、面部识别、机器人导航等多种应用开辟了道路，正在逐步改变我们的工作和生活方式。本…
深度学习pytorch——经典卷积网络之ResNet（持续更新）
错误率前五的神经网络（图-1）： 图-1 可以很直观的看到，随着层数的增加Error也在逐渐降低，因此深度是非常重要的，但是学习更好的网络模型和堆叠层数一样简单吗？通过实现表明（图-2&…
ComfyUI SDWebUI升级pytorch随记
目前使用的版本是去年10月的1.6版本，有点老。希望支持新的特性，于是乎开始作死。从升级torch开始。先看看已有的版本：
(venv) rootubuntu-sd-server:~# pip show torch
Name: torch
Version: 2.0.1
Summary: Tensors and Dynamic neural net…
PyTorch学习（4）：混合精度训练（torch.cuda.amp）
1. 前述
混合精度训练（Mixed Precision Training）是一种深度学习训练技术，它使用不同精度的数据类型（如单精度FP32和半精度FP16）来执行训练过程中的不同部分，以达到加速训练、减少内存使用和降低计算开销的…
EfficientSAM 项目排坑
EfficientSAM 项目排坑 任务过程记录创建环境运行示例 任务
跑通这个项目代码
过程记录
创建环境
readme里没有说具体怎么配置环境，所以可能对我来说还挺困难的。 现把项目git下来：
git clone https://github.com/yformer/EfficientSAM.git
cd Effi…
python-pytorch获取FashionMNIST实际图片标签数据集
在查看pytorch官方文档的时候，在这里链接中https://pytorch.org/tutorials/beginner/basics/data_tutorial.html的Creating a Custom Dataset for your files章节，有提到要自定义数据集，需要用到实际的图片和标签。
在网上找了半天没找到&a…
Jetson Orin NX 安装 anaconda、cuda、torch、torchvision
第一次接触踩了不少坑，切忌不要按照常见服务器、电脑的思路安装。
安装 JetPack 套件
JetPack 是 Nvidia为 Jetson 系列开发板开发的一款软件开发包，常用的开发工具基本都有，安装 Jetson 会自动的将匹配版本的CUDA、cuDNN、TensorRT等安装好…
python实现模糊神经网络(pytorch版)
1 理论
模糊神经网络是一种基于模糊逻辑的神经网络模型，其主要用于处理模糊信息和不确定性的问题。模糊神经网络可以将输入数据映射到一个模糊集合中，然后通过一系列的模糊规则进行求解，最终输出一个模糊集合。
模糊神经网络的基本原理是将…
PyTorch深度学习入门-1
PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili
\ PyTorch 和 TensorFlow 是两个深度学习框架，TensorBoard 是 TensorFlow 提供的可视化工具，Transforms是 PyTorch 中用于数据预处理的工具…
R2GenCMN中的Encoder_Decoder结构
R2GenCMN中的 Encoder_Decoder 结构
Encoder_Decoder 结构直接关系到文本的生成，它结构参考的transformer的结构 我们这里主要看代码的实现，从视觉编码器的输出开始
1. 模型结构
首先介绍一下整体结构，这里的baseCMN其实就是一个包装了的T…
【动手学深度学习-pytorch】 9.4 双向循环神经网络
在序列学习中，我们以往假设的目标是： 在给定观测的情况下 （例如，在时间序列的上下文中或在语言模型的上下文中）， 对下一个输出进行建模。 虽然这是一个典型情景，但不是唯一的。 还可能发生什么其…
pytorch | contiguous() 函数
1. 背景
torch中一些操作会改变原数据，比如：narrow() view() expand() transpose()等操作，在使用transpose()进行转置操作时，pytorch并不会创建新的、转置后的tensor，而是修改了tensor中的一些属性（也就是…
pytorch中的torch.nn.Linear
torch.nn.Linear是pytorch中的线性层，应该是最常见的网络层了，官方文档：torch.nn.Linear。
torch.nn.Linear(in_features, out_features, biasTrue, deviceNone, dtypeNone)其中，in_features表示输入的维度；out_featu…
CVAE——生成0-9数字图像（Pytorch+mnist）
1、简介
CVAE（Conditional Variational Autoencoder，条件变分自编码器）是一种变分自编码器（VAE）的变体，用于生成有条件的数据。在传统的变分自编码器中，生成的数据是完全由潜在变量决定的&…
深度学习500问——Chapter05： 卷积神经网络（CNN）（2）
文章目录 5.6 有哪些池化方法 5.7 1x1卷积作用 5.8 卷积层和池化层有什么区别 5.9 卷积核是否一定越大越好 5.10 每层卷积是否只能用一种尺寸的卷积核 5.11 怎样才能减少卷积层参数量 5.12 在进行卷积操作时，必须同时考虑通道和区域吗 5.13 采用宽卷积的好处有什么 …
安装pytorch3d 0.3.0遇到各种问题，解决中。。。
整理一天了，还没整好，更新中。。。炸毛了。。。 1.先pip或者conda，找不到，换源也不行，然后转离线下载
2.下载需要的版本的安装包
官网：PyTorch3D A library for deep learning with 3D datahttps://pyto…
Pytorch_training2——network build+model (load+modify)
link
import torchvision
from torchvision import models
resnet50 models.resnet50(pretrainedTrue) #pretrainedTrue 加载模型以及训练过的参数
print(resnet50) # 打印输出观察一下resnet50到底是怎么样的结构visit&modify nn_layer
resnet50models.resnet50(pretr…
pieces of cake concerning torchtorchvision
1. version match
torchvision的版本对应关系
2. utilize tqdm to present process bar
lay a pbar
from tqdm import tqdm
pbar tqdm(unit"batch", filesys.stdout,totallen(self.training_dataloader)) #处理单位为batch
pbar2 tqdm(range(20), descIt\s a t…
PyTorch示例——使用Transformer写古诗
文章目录 PyTorch示例——使用Transformer写古诗1. 前言2. 版本信息3. 导包4. 数据与预处理数据下载先看一下原始数据开始处理数据，过滤掉异常数据定义 词典编码器 Tokenizer定义数据集类 MyDataset测试一下MyDataset、Tokenizer、DataLoader 5. 构建模型位置编码器…
PyTorch 常见用法介绍
文章目录 1. PyTorch 介绍2. 张量基本操作2.1 创建张量2.2 重塑张量2.3 索引和切片2.4 数据类型转换 3.深度学习相关的操作3.1损失函数3.2 层和模型3.3 优化器3.4 自动求导3.5 保存和加载模型 1. PyTorch 介绍
PyTorch 是一个开源的深度学习框架，由 Facebook 的人工…
人工智能上手 Pytorch
人工智能上手 Pytorch
1、人工智能框架历史走向
2015年， caffe，优势配置简单，缺点安装麻烦，且不更新维护
2016年，tensorflow 1.x，定义太严格，很复杂。开发成本高。简单的任务，也很…
基于卷积神经网络的苹果等级分类系统（pytorch框架）【python源码+UI界面+前端界面+功能源码详解】
功能演示：
苹果等级分类系统，基于vgg16，resnet50卷积神经网络（pytorch框架）_哔哩哔哩_bilibili
（一）简介
基于卷积神经网络的苹果等级分类系统是在pytorch框架下实现的，系统中有两…
[Pytorch][缘来如此]：PyTorch中的广播机制
PyTorch中的广播机制 文章目录 PyTorch中的广播机制1. 广播代码示例 2. 不适合广播机制的情况：in-place操作 1. 广播 “广播”这一术语用于描述如何在形状不一的数组上应用算术运算。 在满足特定限制的前提下，较小的数组“广播至”较大的数组࿰…
[Pytorch]：PyTorch中张量乘法大全
在 PyTorch 中，有多种方法可以执行张量之间的乘法。这里列出了一些常见的乘法操作： 总结： 逐元素乘法：*ortorch.mul()矩阵乘法：ortorch.mm()ortorch.matmul()点积：torch.Tensor.dot()批量矩阵乘法ÿ…
yolov9文献阅读记录
本文记录了yolov9文献的阅读过程，对主要内容进行摘选翻译，帮助理解原理和应用，包括摘要、主要贡献、网络结构、主要模块，问题描述和试验对比等内容。 文献摘要前言摘选主要贡献相关工作可逆性结构辅助监督 问题描述信息瓶颈原理可…
阿里云PAI + pytorch大语言模型开发环境简介
文章目录 阿里云PAI pytorch大语言模型开发环境简介PAI-DSW 快速入门1. 安装和配置2. 模型训练2.1 数据集准备2.2 模型训练脚本准备2.3 提交训练作业 3. 部署模型为推理服务4. 调用推理服务 阿里云PAI pytorch大语言模型开发环境简介
PAI-DSW 快速入门
阿里云机器学习PAI&a…
医学图像处理 利用pytorch实现的可用于反传的Radon变换和逆变换
医学图像处理 利用pytorch实现的可用于反传的Radon变换和逆变换 前言代码实现思路实验结果 前言
Computed Tomography（CT，计算机断层成像）技术作为如今医学中重要的辅助诊断手段，也是医学图像研究的重要主题。如今，随…
Pytorch torch.utils.data.DataLoader 用法详细介绍
文章目录 1. 介绍2. 参数详解3. 用法4. 参考 1. 介绍
torch.utils.data.DataLoader 是 PyTorch 提供的一个用于数据加载的工具类，用于批量加载数据并为模型提供输入。它可以将数据集包装成一个可迭代的对象，方便地进行数据加载和批处理操作。Pytorch Da…
Ubuntu22.04虚拟环境安装CUDA10.1, CUDNN和pytorch
不同的神经网络有不同的配置，有些从前公开的github项目，一些包升级之后的版本缺少相关的函数，老版本又不兼容，只能在虚拟环境中重新安装环境。
首先理顺一下CUDA，CUDNN，cudatoolkit的关系。安装CUDA就是安…
Pytorch实用教程：torch.from_numpy(X_train)和torch.from_numpy(X_train).float()的区别
在PyTorch中，torch.from_numpy()函数和.float()方法被用来从NumPy数组创建张量，并可能改变张量的数据类型。两者之间的区别主要体现在数据类型的转换上： torch.from_numpy(X_train)：这行代码将NumPy数组X_train转换为一个PyTorch张…
十分钟掌握在 PyTorch 中构建一个深度神经网络，基本组件、步骤和代码实现，从导入模块和定义网络结构到训练和评估网络性能。
🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 深度神经网络（Deep Neural Networks， DNNs），也被称为人工神经网络（Artificial Neural Networks，ANNs），已成为当今机器学习任务中最流行、最成功的方法之一。这些网络能够表示数据中的复杂关系，并在图像分类、自然…
Transformer学习： Transformer小模块学习--位置编码，多头自注意力，掩码矩阵
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Transformer学习 1 位置编码模块1.1 PE代码1.2 测试PE1.3 原文代码 2 多头自注意力模块2.1 多头自注意力代码2.2 测试多头注意力 3 未来序列掩码矩阵3.1 代码3.2 测试掩码 1 …
梯度反向传播过程是如何处理repeat函数的
举个例子
import torch# 假设有一个简单的计算图
x torch.tensor(2.0, requires_gradTrue)
cx.repeat(2,1)
y c ** 2print(x,"\n",c,"\n",y)
torch.sum(y)z torch.sum(y)# 计算梯度
grads torch.autograd.grad(z, x)
# 打印梯度
print("Gradient…
【自学记录】【Pytorch2.0深度学习从零开始学 王晓华】第三章 基于Pytorch的MNIST分类实战
3.1.1 数据图像的获取与标签的说明 源码\第三章\one_hot.py import numpy as np
import torch
x_train np.load("../dataset/mnist/x_train.npy")
y_train_label np.load("../dataset/mnist/y_train_label.npy")
print(y_train_label[:5]) #[5 0 4 1 9]
…
anaconda虚拟环境安装apex0.1教程win10
我安装apex0.1的环境是：torch（gpu）1.8.0，cuda10.2，cuda7.6.5。
第一步：下载对应的pytorch、cuda、cudnn版本
这里就不详细介绍了，具体可以参考我的这篇博文win10中anaconda创建虚拟环境配置py…
理解pytorch的广播语义
目录
什么是广播运算
广播的条件
示例
示例1
示例2
示例3 补1
示例4 原位运算
示例5 参与广播运算的两个tensor，必须是从右向左对齐
总结规律
两个tensor可以做广播运算的条件：
两个可以互相广播的tensor运算的步骤：
例子&#x…
使用简单MLP实现0-9数字识别，数据集为MNIST
简介
需求： 基于pytorch实现简单MLP，完成数字识别，采用MNIST手写数字作为数据集，MNIST：有6万张训练图片，1万张测试图片训练结束后，随机取3张测试图片，展示模型的预测结果和真实图片…
深度学习pytorch好用网站分享
深度学习在线实验室Featurizehttps://featurize.cn/而且这个网站里面还有一些学习教程 免费好用
如何使用 PyTorch 进行图像分类https://featurize.cn/notebooks/5a36fa40-490e-4664-bf98-aa5ad7b2fc2f
PyTorch之Torch Script的简单使用
一、参考资料
TorchScript 简介 Torch Script Loading a TorchScript Model in C TorchScript 解读（一）：初识 TorchScript libtorch教程（一）开发环境搭建：VSlibtorch和Qtlibtorch
二、Torch Script模型格…
PyTorch搭建Autoformer实现长序列时间序列预测
目录 I. 前言II. AutoformerIII. 代码3.1 Encoder输入3.1.1 Token Embedding3.1.2 Temporal Embedding 3.2 Decoder输入3.3 Encoder与Decoder3.3.1 初始化3.3.2 Encoder3.3.3 Decoder IV. 实验 I. 前言
前面已经写了很多关于时间序列预测的文章：
深入理解PyTorch中…
最简单知识点PyTorch中的nn.Linear(1, 1)
一、nn.Linear(1, 1)
nn.Linear(1, 1) 是 PyTorch 中的一个线性层（全连接层）的定义。
nn 是 PyTorch 的神经网络模块（torch.nn）的常用缩写。
nn.Linear(1, 1) 的含义如下：
第一个参数 1：输入特征的数量…
基于卷积神经网络的中药识别（pytorch框架）【python源码+UI界面+前端界面+功能源码详解】
原作者链接：基于卷积神经网络的中药识别（pytorch框架）【python源码UI界面前端界面功能源码详解】_识别中药python-CSDN博客
//gitcode,gitee,飞桨，csdn，bilibili。几个有用网站，直接搜索即可，平…
pytorch中的nn.MSELoss()均方误差损失函数
一、nn.MSELoss()是PyTorch中的一个损失函数，用于计算均方误差损失。
均方误差损失函数通常用于回归问题中，它的作用是计算目标值和模型预测值之间的平方差的平均值。
具体来说，nn.MSELoss()函数的输入是两个张量，即模型的真实值…
PyTorch搭建Informer实现长序列时间序列预测
目录 I. 前言II. InformerIII. 代码3.1 输入编码3.1.1 Token Embedding3.1.2 Positional Embedding3.1.3 Temporal Embedding 3.2 Encoder与Decoder IV. 实验 I. 前言
前面已经写了很多关于时间序列预测的文章：
深入理解PyTorch中LSTM的输入和输出（从i…
pytorch中的while for 循环 导出onnx的问题
问题：
for执行次数不跟据输入而改变。
解决方案：
torch.jit.script
例如：
class LoopAdd(torch.nn.Module):def __init__(self):super().__init__()def forward(self, x):h xfor i in range(x.size(0)):h h 1return h
input_1 torch…
Note-模型的特征学习过程分析
模型的学习过程
将数据的特征分为,有用特征和无用特征(噪声).有用特征与任务有关,无用特征与任务无关. 模型的学习过程就是增大有用特征的权重并减少无用特征的权重的过程. 神经网络反向传播过程简化如下: y a 0 x 0 a 1 x 1 , l o s s 0.5 ∗ ( y l a b e l − y ) 2 y …
Arcade 分屏例子2
本示例展示了一个非常基本的Pong游戏，可以由两个玩家在同一台计算机上玩（热门座位！）
每个玩家被抽象为一个Section，它包含了一个屏幕上玩家挡板可以移动的空间。
注意：
Section可以与View一起存在&#…
PyTorch|Dataset与DataLoader使用、构建自定义数据集
文章目录 一、Dataset与DataLoader二、自定义Dataset类（一）\_\_init\_\_函数（二）\_\_len\_\_函数（三）\_\_getitem\_\函数（四）全部代码 三、将单个样本组成minibatch（Data…
Pytorch中的nn.Embedding()
模块的输入是一个索引列表，输出是相应的词嵌入。
Embedding.weight（Tensor）–形状模块（num_embeddings，Embedding_dim）的可学习权重，初始化自（0，1）。 也就是…
java使用Deep Java Library(djl)搭配TorchScript搭建图片分类
一、前置要求
1.1、下载TorchScript类型的模型，注意这里是TorchScript类型，有些模型在说明中会说明是否为该格式的文件。可以从huggingface下载，在huggingface注意未区分PyTorch和TorchScript，在模型下方的标签都标记的为PyTorch…
大语言模型LLM《提示词工程指南》学习笔记03
文章目录 大语言模型LLM《提示词工程指南》学习笔记03链式提示思维树检索增强生成自动推理并使用工具自动提示工程师Active-Prompt方向性刺激提示Program-Aided Language ModelsReAct框架Reflexion多模态思维链提示方法基于图的提示大语言模型LLM《提示词工程指南》学习笔记03 …
Pytorch张量的数学运算：向量基础运算
文章目录 一、简单运算二、广播运算1.广播的基本规则2.广播操作的例子 三、运算函数 参考：与凤行 张量的数学运算是深度学习和科学计算中的基础。张量可以被视为一个多维数组，其在数学和物理学中有广泛的应用。这些运算包括但不限于加法、减法、乘法、除…
dockerfile制作-pytoch+深度学习环境版
你好你好！ 以下内容仅为当前认识，可能有不足之处，欢迎讨论！ 文章目录 文档内容docker相关术语docker常用命令容器常用命令根据dockerfile创建容器dokerfile文件内容 docker问题：可能的原因和解决方法示例修改修改后的D…
遥感影像处理利器：PyTorch框架下CNN-Transformer，地物分类、目标检测、语义分割和点云分类
目录
专题一 深度卷积网络知识详解
专题二 PyTorch应用与实践（遥感图像场景分类）
专题三 卷积神经网络实践与目标检测
专题四 卷积神经网络的遥感影像目标检测任务案例【FasterRCNN】
专题五 Transformer与遥感影像目标检测
专题六 Transformer的遥…
运行pytorch作业出现错误 RuntimeError: unable to write to file
运行pytorch作业出现错误 RuntimeError: unable to write to file Issue #26 huaweicloud/dls-example GitHub
pytorch将共享内存的临时文件保存在了/torch_xxx文件中，即容器中的根目录下。容器磁盘空间不足导致该问题的发生。目前可以通过以下代码暂时关闭pyto…
pytorch 演示 tensor并行
pytorch 演示 tensor并行 一.原理二.实现代码 本文演示了tensor并行的原理。如何将二个mlp切分到多张GPU上分别计算自己的分块,最后做一次reduce。 1.为了避免中间数据产生集合通信,A矩阵只能按列切分,算出全部batch*seqlen的部分feature 2.因上面的步骤每张GPU只有部分feature…
【Pytorch学习笔记（三）】张量的运算（2）
一、引言
在《张量的运算(1)》中我们已经学习了几种张量中常用的非算数运算如张量的索引与切片，张量的拼接等。本节我们继续学习张量的算术运算。
二、张量的算术运算
（一）对应元素的加减乘除
在 PyTorch 中，张量的对应元素的…
使用pytorch构建有监督的条件GAN(conditional GAN)网络模型
本文为此系列的第四篇conditional GAN，上一篇为WGAN-GP。文中在无监督的基础上重点讲解作为有监督对比无监督的差异，若有不懂的无监督知识点可以看本系列第一篇。 原理 有条件与无条件 如图投进硬币随机得到一个乒乓球的例子可以看成是一个无监督的GAN&…
学习人工智能：为何PyTorch深度学习框架不可或缺
在人工智能（AI）的浩瀚领域中，深度学习作为其核心分支，正以其强大的数据处理能力、模式识别能力和预测能力引领着科技的飞速发展。而在深度学习的众多工具与框架中，PyTorch无疑是一颗璀璨的明星。本文将从PyTorch的特点…
动态调整学习率方法（仅供自己学习）
目录
一、StepLR
二、MultiStepLR
三、ExponentialLR
四、CosineAnnealingLR
五、ReduceLRonPlateau
六、LambdaLR
小结：学习率调整 一、StepLR optimizer torch.optim.SGD(model.parameters(), lrlearn_rate)
scheduler torch.optim.lr_sch…
动手学深度学习10 模型选择+过拟合和欠拟合
动手学深度学习10 模型选择过拟合和欠拟合 1. 模型选择2. 过拟合和欠拟合3.代码4. QA 1. 模型选择
电子书：https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/underfit-overfit.html 视频：https://www.bilibili.com/video/BV1kX4y1g7jp?p1&vd_…
pytorch 与 python版本对应关系
pytorch 与 python版本对应关系
torchtorchvisionPythonmain / nightlymain / nightly>3.8, <3.112.20.17>3.8, <3.112.10.16>3.8, <3.112.00.15>3.8, <3.111.130.14>3.7.2, <3.101.120.13>3.7, <3.101.110.12>3.7, <3.101.100.11&…
【NLP练习】中文文本分类-Pytorch实现
中文文本分类-Pytorch实现 🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 一、准备工作
1. 任务说明
本次使用Pytorch实现中文文本分类。主要代码与文本分类代码基本一致，不同的是本次任务使用…
Pytorch实用教程：tensor.size()用法 | .squeeze()方法
文章目录 Pytorch中tensor变量.size(0)示例在不同上下文中的用法更广泛的用法 .squeeze()参数解释.squeeze(-1) 的作用使用场景示例 Pytorch中tensor变量.size(0)
在 PyTorch 中，tensor.size(0) 是用来获取张量（Tensor）第一个维度的大小的一…
YOLO算法改进Backbone系列之DaViT
摘要：在这项工作中，我们介绍了双注意视觉变换器（DaViT），这是一个简单而有效的视觉变换器架构，能够在保持计算效率的同时捕捉全局环境。我们建议从一个正交的角度来处理这个问题：利用 "空间…
pytorch演示pipeline并行
pytorch演示pipeline并行 1.单卡内存不够时,可以将网络切分成几段(stage),每个GPU负责一个stage。比如GPU0计算完之后将数据发送给GPU1算后续的stage 2.以上的方式,会导致GPU的利用率不高,可以将输入的batch切分成多份更小的batch,陆续送给GPU0,这样GPU0处理完micro batch0之后…
DataLoader 的 collate_fn 解释与示例教程
文章目录 导包数据Dataloadercollate_fn 导包
import torch
from torch.utils.data import Dataset
from typing import Any数据
class CustomDataset(Dataset):def __init__(self, length) -> None:super().__init__()self.length lengthdef __getitem__(self, indexNon…
用TensorBoard可视化PyTorch
一、TensorBoard与PyTorch配合使用的基本步骤
PyTorch可以直接与TensorBoard进行集成，因为TensorBoard是一个独立于TensorFlow之外的可视化工具。TensorBoard被设计为支持机器学习实验的可视化，如训练的进度和结果等。PyTorch中的torch.utils.tensorboa…
学习基于pytorch的VGG图像分类 day1
注：本系列博客在于汇总CSDN的精华帖，类似自用笔记，不做学习交流，方便以后的复习回顾，博文中的引用都注明出处，并点赞收藏原博主.
目录
一.VGG
(1)对VGG网络的初步认知 VGG网络结构 1.卷积层 2.全连接层 …
3D医疗图像配准 | 基于Vision-Transformer+Pytorch实现的3D医疗图像配准算法
项目应用场景 面向医疗图像配准场景，项目采用 Pytorch ViT 来实现，形态为 3D 医疗图像的配准。
项目效果 项目细节 > 具体参见项目 README.md (1) 模型架构 (2) Vision Transformer 架构 (3) 量化结果分析 项目获取 https://download.csdn.net/down…
李沐22_池化层——自学笔记
池化层：
1.积对位置敏感
2.检测垂直边缘
3.需要一定程度的平移不变性，例如照明、物体位置、比例、外观等因图像而异
二维最大池化
返回滑动窗口中的最大值，本质是忽略不重要信息
填充、步幅和多个通道
1.池化层和卷积层类似࿰…
Pytorch register_forward_hook()
一、hook的意义：
在不改动网络结构的情况下获取网络中间层输出。
没有使用hook的时候，想要得到conv2的输出，就要将在forward函数中经过conv2后的结果保存下来，然后和最终结果一起返回。
import torch
import torch.nn as nn
im…
PyTorch之计算模型推理时间
一、参考资料
如何测试模型的推理速度 Pytorch 测试模型的推理速度
二、计算PyTorch模型推理时间
1. 计算CPU推理时间
import torch
import torchvision
import time
import tqdm
from torchsummary import summarydef calcCPUTime():model torchvision.models.resnet18()…
Linux服务器上搭建深度学习环境（安装anaconda、创建虚拟环境、安装pytorch）
Linux服务器的搭配 Linux服务器上安装anaconda创建虚拟环境linux上安装pytorchxshell连接服务器 Linux服务器上安装anaconda
链接
创建虚拟环境
参考教程：此处
linux上安装pytorch
链接
xshell连接服务器
链接
python-pytorch实现skip-gram 0.5.000【直接可运行】
python-pytorch实现skip-gram 0.5.000【直接可运行】 参考导入包加载数据和切词获取wordList、raw_text获取vocab、vocab_sizeword_to_idx、idx_to_word准备训练数据准备模型和参数训练模型保存模型简单预测获取训练后的词向量画图看下分布利用词向量计算相似度余弦点积 参考
…
使用pytorch构建控制生成GAN(Controllable GAN)网络模型
本文为此系列的第四篇Controllable GAN，上一篇为Conditional GAN。文中使用训练好的模型和优化噪声向量来操纵生成图像的特定属性，若有不懂的无监督知识点可以看本系列第一篇。 原理
本文主要讲什么是控制生成，以及如何做到控制生成。 什么是…
HuggingFace踩坑记录-连不上，根本连不上
学习 transformers 的第一步，往往是几句简单的代码
from transformers import pipelineclassifier pipeline("sentiment-analysis")
classifier("We are very happy to show you the 🤗 Transformers library.")
""&quo…
深度学习pytorch实战第P2周:CIFAR10彩色图片识别
>- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/0dvHCaOoFnW8SCp3JpzKxg) 中的学习记录博客** >- **🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)**
零、引言（温故而知新ÿ…
Pytorch实用教程：TensorDataset和DataLoader的介绍及用法示例
TensorDataset
TensorDataset是PyTorch中torch.utils.data模块的一部分，它包装张量到一个数据集中，并允许对这些张量进行索引，以便能够以批量的方式加载它们。
当你有多个数据源（如特征和标签）时，TensorD…
PyTorch|搭建分类网络实例、nn.Module源码学习
系列文章目录
PyTorch|Dataset与DataLoader使用、构建自定义数据集 文章目录 系列文章目录一、Transforms二、构建神经网络模型三、模型分层（一）模型输入（二）nn.Flatten（三）nn.Linear（四&#…
python-pytorch实现CBOW 0.5.000
python-pytorch实现CBOW 0.5.000 数据加载、切词准备训练数据准备模型和参数训练保存模型加载模型简单预测获取词向量降维显示图使用词向量计算相似度参考 数据加载、切词
按照链接https://blog.csdn.net/m0_60688978/article/details/137538274操作后，可以获得的数…
python-pytorch实现skip-gram 0.5.001
python-pytorch实现skip-gram 0.5.000 数据加载、切词准备训练数据准备模型和参数训练保存模型加载模型简单预测获取词向量画一个词向量的分布图使用词向量计算相似度参考数据加载、切词
按照链接https://blog.csdn.net/m0_60688978/article/details/137538274操作后，可以获得…
python-pytorch NLP中处理中文的步骤0.5.002
python-pytorch NLP中处理中文的步骤0.5.001 1. 导入包2. 准备停用词3. 把需要处理的文本切词4. 将切的词放入list中5. 获取vocab、vocab_size6. 获取word_to_idx、idx_to_word7. 告一段落8. 其他（1800的停用词） 1. 导入包
import jieba
import torch
i…
每天五分钟掌握深度学习框架pytorch:本专栏说明
专栏大纲
专栏计划更新章节在100章左右，之后还会不断更新，都会配备代码实现。以下是专栏大纲 部分代码实现 代码获取
为了方便用户浏览代码，本专栏将代码同步更新到github中，所有用户可以读完专栏内容和代码解析之后，…
python-pytorch使用日志0.5.007
python-pytorch使用日志 1. optimizer.zero_grad()和model.zero_grad()的区别2. cbow和skip-gram的训练数据格式3. 获取cbow和skip-gram训练后的中文词向量4. 获取到词向量后可以做什么5. 余弦相似度结果的解释 1. optimizer.zero_grad()和model.zero_grad()的区别
都是清空模…
Anaconda 安装pytorch 问题
问题
clobbererror: this transaction has incompatible packages due to a shared path. packages: nvidia/win-64::cuda-cupti-11.8.87-0, nvidia/win-64::cuda-nvtx-11.8.86-0 path: ‘metadata_conda_debug.yaml’
打开 cmd 输入 nvida-smi ，可以看见本机的NI…
HarmonyOS 开发-底部抽屉滑动效果案例
介绍
本示例主要介绍了利用List实现底部抽屉滑动效果场景，并将界面沉浸式（全屏）显示，及背景地图可拖动。
效果图预览 使用说明
向上滑动底部列表，支持根据滑动距离进行分阶抽屉式段滑动。
实现思路
本例涉及的关键…
从TensorFlow到PyTorch：我为何选择后者开启深度学习之旅
在深度学习的浪潮中，TensorFlow和PyTorch无疑是两大最受欢迎的框架。它们各自拥有庞大的社区支持、丰富的文档资源和强大的功能，使得开发者们可以根据自己的需求选择合适的工具。然而，在我深入研究和实践之后，我最终选择了PyTorch…
DataLoader的collate_fn参数
引言
在基于Pytorch的深度学习的代码中基本都是用Dataset和DataLoader来加载数据，本文起源于一个疑惑：看到某Dataset类中定义的collate_fn中有这么一句：
def collate_fn(self, batch) ims, classes list(zip(*batch)))
我一想࿰…
图像生成：Pytorch实现一个简单的对抗生成网络模型
图像生成：Pytorch实现一个简单的对抗生成网络模型 前言相关介绍具体步骤准备并读取数据集定义生成器定义判别器定义损失函数定义优化器开始训练完整代码 训练生成的图片 前言 由于本人水平有限，难免出现错漏，敬请批评改正。更多精彩内容&…
李沐26_网络中的网络NiN——自学笔记
全连接层太大
导致占用内存、占用计算带宽、很容易过拟合
NiN块
1.一个卷积层后跟着两个全连接层
2.步幅1，无填充，输出形状跟卷积层输出一样
3.起到全连接层的作用
NiN架构
1.无全连接层
2.交替使用NiN块和步幅为2的最大池化层，逐步减…
torch.mean()的使用方法
对一个三维数组的每一维度进行操作
1，dim0
a torch.Tensor([0, 1, 2, 3, 4, 5,6,7]).view(2, 2, 2)
print(a)
mean torch.mean(a, 0)
print(mean, mean.shape)
输出结果：
tensor([[[0., 1.], [2., 3.]], [[4., 5.], [6., 7.]]])
tensor([[2., …
安装xformers时版本问题
如果torch1.13.1时，适合安装0.0.16，其他版本比较麻烦
pip install xformers0.0.16 -i https://pypi.tuna.tsinghua.edu.cn/simple
后续安装apex遇到问题：
raceback (most recent call last): File "/data1/hanrb/EVA/EVA-02/asuka/ru…
HarmonyOS 开发-阻塞事件冒泡
介绍
本示例主要介绍在点击事件中，子组件enabled属性设置为false的时候，如何解决点击子组件模块区域会触发父组件的点击事件问题；以及触摸事件中当子组件触发触摸事件的时候，父组件如果设置触摸事件的话，如何解决父组…