Zero-Shot Learning with Common Sense Knowledge Graphs
Zero-Shot Learning with Common Sense Knowledge Graphs
Title: 《Zero-Shot Learning with Common Sense Knowledge Graphs》
Author: Nihal V. Nayak, Stephen H. Bach
DOI:https://doi.org/10.48550/arXiv.2006.10713
URI:https://arxiv.org/abs/2006.10713
Abstract
ZSL在进行预测任务时是没有任何带标签的样本的,因此需要依赖于类别的语义表示如手工标注的属性、学习到的一些语义嵌入等。
论文提出了一种学习类别语义表征的方法,即对常识知识图中的节点在向量空间中进行嵌入。
什么是常识知识?它有什么用?
常识知识是关于日常事务的可靠的实际判断,或者是几乎所有人都共有的感知、理解和判断的基本能力。通俗一点说常识就是所有人都知道,所有人都知道所有人都知道,所有人都知道所有人都知道所有人都知道,。。。。
人类能够很好地利用常识并且不需要过 ...
Pytorch Tricks
pytorch_tricks
目录:
指定GPU编号
查看模型每层输出详情
梯度裁剪
扩展单张图片维度
独热编码
防止验证模型时爆显存
学习率衰减
冻结某些层的参数
对不同层使用不同学习率
模型相关操作
Pytorch内置one hot函数
网络参数初始化
1、指定GPU编号
设置当前使用的GPU设备仅为0号设备,设备名称为 /gpu:0:os.environ["CUDA_VISIBLE_DEVICES"] = "0"
设置当前使用的GPU设备为0,1号两个设备,名称依次为 /gpu:0、/gpu:1: os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ,根据顺序表示优先使用0号设备,然后使用1号设备。
指定GPU的命令需要放在和神经网络相关的一系列操作的前面。
2、查看模型每层输出详情
Keras有一个简洁的API来查看模型的每一层输出尺寸,这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。
使用很简单,如下用法:
from torchsummary import sum ...