Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick
nn.Parameter
nn.ParameterPytorch torch.nn.Parameter一种张量，可以认为是模块参数，神经网络参数。参数是Tensor子类，当与Modules一起使用时具有非常特殊的属性-当它们被分配为Module属性时，它们会自动添加到其参数列表中，并且会出现在例如parameters（）迭代器中。而张量则没有这种效应。这是因为人们可能想在模型中缓存一些临时状态，比如RNN的最后一个隐藏状
训练集、验证集和测试集的区别
写这篇文章的原因之前搞机器学习很久了，也总能看到验证集这三个字，而我自己的数据集一直都是由训练集和测试集组成。然后我的数据集划分成这样两个部分之后，在每一个epoch的时候，我都会用训练集训练，测试集做测试，同时我也一直认为验证集和测试集只是名字不同，但感觉实际上是一个东西。 直到最近，我感觉自己写 for 循环写每个 epochs 的过程的时候我总觉得自己的代码经常需要在这里改许多东西，于是就想
nn.init
nn.init 模块是 PyTorch 中用于初始化神经网络模型参数的模块。通过 nn.init 模块，可以对模型的权重、偏置等参数进行初始化，以帮助模型更快地收敛并获得更好的性能。torch.nn.init 此模块中的所有函数都用于初始化神经网络参数，因此它们都在 torch.no_grad() 模式下运行，autograd 不会考虑它们。 torch.nn.init.calculate_
BiasedMHA
class dgl.nn.pytorch.gt.BiasedMHA(feat_size, num_heads, bias=True, attn_bias_type='add', attn_drop=0.1)具有图形注意偏差的密集多头注意模型。Do Transformers Really Perform Bad for Graph Representation中介绍的使用从图结构中获
GraphormerLayer
class dgl.nn.pytorch.gt.GraphormerLayer(feat_size, hidden_size, num_heads, attn_bias_type='add', norm_first=False, dropout=0.1, attn_dropout=0.1, activation=ReLU())Do Transformers Really Perfo
LapPosEncoder
class dgl.nn.pytorch.gt.LapPosEncoder(model_type, num_layer, k, dim, n_head=1, batch_norm=False, num_post_layer=0)Do Transformers Really Perform Bad for Graph Representation中介绍的Laplacian Positional En
DegreeEncoder
class dgl.nn.pytorch.gt.DegreeEncoder(max_degree, embedding_dim, direction='both')Do Transformers Really Perform Bad for Graph Representation中介绍的度编码器（Degree Encoder）这个模块是一个可学习的度嵌入模块。 Parameter