log_softmax、softmax和的nll_loss、nn.CrossEntropy区别（Pytorch学习笔记）

张伟 2020-10-22 15:27

log_softmax 能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。 使用log_softmax。 一方面是为了解决溢出的问题，第二个是方便CrossEntropyLoss的计算。不需要担心值域的变化。 如上图， 因为softmax会进行指数操作，当上一层的输出，也就是so ...

个人分类: Pytorch|6852 次阅读|没有评论

Matlab中计算函数运行时间的三种方法及判断新建文件夹

张伟 2020-10-22 14:24

（一）运行时间 1、tic和toc组合 　　计算daotic和toc之间那专段程序之间的属运行时间，它的经典格式为 ： 　　tic 　　函数 　　toc 　　复制函数代码，当代码遇到tic时Matlab自动开始计时，运行到toc时自动计算此时与最近一次tic之间的时间。 2、etime(t1,t2)并和clock配合 　　计算t1，t2之间的时 ...

个人分类: matlab|3368 次阅读|没有评论

Pytorch中nn.Conv1d、Conv2D与BatchNorm1d、BatchNorm2d函数

张伟 2020-10-22 10:23

此处mark一下图像处理中常见的Conv和BatchNorm操作，提供参考链接！！ （一）Conv1D和Conv2D实现 （1） pytorch之nn.Conv1d详解 （建议先看这个） （2）进一步查看此： PyTorch中的nn.Conv1d与nn.Conv2d （Pytorch库） &nbs ...

个人分类: Pytorch|15195 次阅读|没有评论

轻松理解局部连接和权值共享

张伟 2020-10-21 21:09

卷积神经网络两大核心思想： 1.网络局部连接（Local Connectivity） 2.卷积核参数共享（Parameter Sharing） 两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。下面用图直观展示！！！ （1）权值共享 （2）局部连接 ...

个人分类: 机器学习|8933 次阅读|没有评论

[转载]深度学习中IU、IoU(Intersection over Union)的概念理解

张伟 2020-10-18 16:12

IoU(Intersection over Union) Intersection over Union是一种测量在特定数据集中检测相应物体准确度的一个标准。我们可以在很多物体检测挑战中，例如PASCAL VOC challenge中看多很多使用该标准的做法。 通常我们在 HOG + Linear SVM object detectors 和 Convolutional Neural Network detectors (R-CNN, Faster R-CNN, ...

个人分类: 机器学习|2746 次阅读|没有评论

深度学习中的logits

张伟 2020-10-18 15:40

（1）总结来说就是： f(wx+b)之后的输出，没有归一化的输出值，作为logits。 将logits进行softmax归一化，得到最后的结果。 （2）具体来说是： 也可以这么理解：logits与 softmax都属于在输出层的内容， logits = tf.matmul(X, W) + bias 再对logits做归一化处理，就用到了softmax： Y_pred = tf.nn.soft ...

个人分类: 机器学习|7001 次阅读|没有评论

python-f-string(简洁明了的输出，拒绝冗余)

张伟 2020-10-5 22:15

突然看见大神的代码打印log时（这里为了简洁，代码直接用print)采用的是f-string，看起来非常舒服，建议使用： k=11print(traditionshow:+str(k))print(formatshow:{}.format(k))print(ff-stringshow:{k}) 结果： f-string提供了方法使变量直接放在{}内，这样输出 ...

个人分类: Python|1737 次阅读|没有评论

[转载]DataLoader完整的参数

张伟 2020-10-5 14:56

DataLoader完整的参数表如下： DataLoader完整的参数表如下： classtorch.utils.data.DataLoader( dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, & ...

个人分类: Pytorch|6348 次阅读|没有评论

本页有 2 篇博文因作者的隐私设置或未通过审核而隐藏