科学网

 找回密码
  注册
Pytorch批量对一化,梯度消失和爆炸
张伟 2020-10-5 13:57
1.nn.BatchNorm1d(num_features) 1.对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作 2.num_features: 来自期望输入的特征数,该期望输入的大小为'batch_size x num_features ' &n ...
个人分类: Pytorch|2968 次阅读|没有评论
Pytorch to(device)多GPU并行和查看GPU信息
张伟 2020-9-30 15:34
(一)参考博客: Pytorch to(device) Pytorch:多GPU训练网络与单GPU训练网络保存模型的区别 (二)常用的查看GPU信息的命令 为什么将数据转移至GPU的方法叫做.cuda而不是.gpu,就像将数据转移至CPU调用的方法是.cpu?这是因为GPU的编程接口采用CUDA,而目前并不是所有的GPU都支持C ...
个人分类: Pytorch|5215 次阅读|没有评论
model.train()与model.eval()的用法
张伟 2020-9-25 10:31
1.问题来源 看别人的面经时,浏览到一题,问的就是这个。自己刚接触pytorch时套用别人的框架,会在训练开始之前写上model.trian(),在测试时写上model.eval()。然后自己写的时候也就保留了这个习惯,没有去想其中原因。 2.用法(区别) 在经过一番查阅之后,总结如下: &nbs ...
个人分类: Pytorch|7029 次阅读|没有评论
PyTorch中permute的用法
张伟 2020-9-25 10:16
permute(dims) 将tensor的维度换位。 参数:参数是一系列的整数,代表原来张量的维度。比如三维就有0,1,2这些dimension。 例: import torch import numpy as np a=np.array( , ]]) unpermuted=torch.tensor(a) print(unpermuted.size()) # —— torch.Size( ) ...
个人分类: Pytorch|3660 次阅读|没有评论
Pytorch中的TensorDataset与DataLoader
张伟 2020-9-24 10:12
(1)TensorDataset TensorDataset 可以用来对 tensor 进行打包,就好像 python 中的 zip 功能 。该类通过每一个 tensor 的第一个维度进行索引。因此,该类中的 tensor 第一维度必须相等。 from torch.utils.data import TensorDataset import torch from torch.utils.data im ...
个人分类: Pytorch|18586 次阅读|没有评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 22:12

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部