创建特殊类型的tensor

a = torch.FloatTensor(2,3)
a = torch.DoubleTensor(2,3)
...

设置pytorch中tensor的默认类型

torch.set_default_tensor_type(torch.DoubleTensor)

更改tensor类型

a.float()

各种常用初始化

torch.randn_like()

torch.rand(3,3)   #创建 0-1 (3,3)矩阵

torch.randn(3,3)  #创建 -1-1 (3,3)矩阵

torch.randint(1,10,[2,2])  #创建 1-10 (2,2) int型矩阵

按照不同的均值和方差进行初始化

torch.normal(mean=torch.full([20],0),std=torch.arange(0,1,0.1))

按照间隔初始化

torch.linspace(0,10,step=3)

torch.arange(1,10,5)

创建单位矩阵

torch.eye(4,4)

创建打乱的数列

torch.randperm(10)

返回tensor元素个数

torch.numel(torch.rand(2,2))

矩阵拼接

torch.cat((x,x),0)
torch.stack((x,x),0)   #与cat不同的是，stack在拼接的时候，要增加一个维度

矩阵拆分

chuck直接按照数量来拆分,输入N就拆分成N个

torch.chunk(a,N,dim)

split的两种用法，第一种是输入一个数字，这样就会拆分成这个总维度/数字个维度，第二个是如输入一个列表，会按照列表指定的维度进行拆分

torch.split(a,[1,2],dim)

矩阵选取

在某个维度上选择连续的N 列或者行

torch.narrow(dim,index,size)

选择一个维度dim，从index开始取size个列或者行

a.index_select(dim, list)

各种选取

a[ : , 1:10,  ::2 , 1:10:2]

矩阵打平后选取

torch.take( tensor , list)

维度变化

a.view(1,5)
a.reshape(1,5)

维度减少和增加

只有一个维度的时候，就是0在前面插入，-1或1在后面插入，可以把list当成是0.5维度

a.unsqueeze(1)
a.squeeze(1)

维度扩张

a.expand()

维度扩展expand，注意这里的维度只能由1扩张成N，其他情况下是不能扩张的，另外维度不变的时候也可以用-1代替

a.repead()

另外一种方式是使用repeat函数，repeat表示将之前的维度复制多少次，通过复制来进行扩张

维度交换

transpose(2，3)  # 交换两个维度
permute(4,2,1,3) # 交换多个维度

基础运算

其中加减除法都可以使用运算符直接计算，乘法需要额外注意两种不同的乘法，其中：

mul或者*是矩阵对应元素相乘

mm是针对于二维的矩阵正常乘法

matmul是针对任意维度矩阵的正常乘法，@是其符号重载

数字近似

floor() 向下取整

ceil() 向上取整

trunc() 保留整数

frac() 保留小数

数值裁剪

clamp(min)

clamp(min,max) #在这个阈值之外的都变成阈值

累乘

prod()

线性代数相关

trace           #矩阵的迹

diag            #获取主对角线元素

triu/tril       #获取上下三角矩阵

t               #转置

dot/cross       #内积与外积

Numpy Tensor 互相转换

np_data = np.arange(6).reshape((2, 3))
torch_data = torch.from_numpy(np_data)
tensor2array = torch_data.numpy()

类型判断

isinstance(a,torch.FloatTensor)

广播

什么时候可以使用广播，广播将从最后一个维度开始，从后往前开始匹配，当一个对象的维度是1或者与另一个对象的维度大小一样的时候，可以匹配上，另外，如果一个对象的维度少于另外一个维度的对象，只要从后往前开始的维度匹配，那么就可以使用广播。

例如

(1,2,3,4) 和 (2,3,4) or (1,2,3,4) 可以广播

(1,2,3,4) 和 (1,1,1) or (1,1,1,1) 可以广播

topk

topk可以帮助返回在某一维度上最大的k个值以及下标，只需要将largest=False，就可以返回最小的k个值

where条件选择

根据条件是否成立，选择矩阵X或者矩阵Y中的元素

where(condition > 0.5 , X , Y )

gather

本质就是在查表，第一个参数是表格，第二个是维度，第三个是要查询的索引

操作就是，在inpu中选择维度dim，然后根据index编号，读取input中的元素

torch.gather(input,dim,index,out=None)