第一章:数据操作
一、N维数组样例 机器学习用的最多的数据结构式N维数组
0维数组标量 1.0 表示一个类别
1维数组 向量
2维数组 矩阵
3维数组 RGB图片
4维 RGB图片的批量
5维 一个视频的批量
二、创建数组
形状+每个元素的数据类型+每个元素的值
访问元素: 一个元素[1,2] 一行[1,:] 一列[1,:] 子区域[1:3,1:] [::3,::2]
参数共三个前两个是左开右闭的区间,第三个是步长,默认为1
三、基本操作
1.x=torch.arange
2.x.shape x.numel()访问形状和元素的数量
3x=x.reshape(3,4) 改变一个张量的形状而不改变元素数量和元素值
4.torch.zeros((2,3,4)) torch.ones((2,3,4))
使用全0、全1或者其他常量或者从特定分布中随机采用数字
5.torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]])
通过提供包含数据的python列表来为每个张量中的每个元素赋予确定的值
四、常见的标准运算
1.+、-、*、/、**还有指数运算
x=torch.tensor([1.0,2,4,8])
y=torch.tensor([2,2,2,2])
x+y,x-y,x*y,x/y,x**y
torch.exp(x)
2.多个张量可以连接在一起
x=torch.arange(12,dtype=torch.float32).reshape((3,4))
y=torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
torch.cat((x,y,dim=0)),torch,cat((x,y,dim=1))
3.通逻辑运算符构建二元张量
x==y
4.x.sum() 对张量中的所有元素求和产生一个只有一个元素的张量
5.注意广播机制
a=torch.arange(3).reshape((3,1))
b=torch.arange(2).reshape((1,2))
a+b
五、元素访问
x[-1]
x[1:3]
x[1,2]=9
x[0:2,:]=12
六、一些操作可能会导致新结果分配内存
before=id(y)
y=y+x
id(y)==before
如果想要执行原地操作:
z=torch.zeros_like(y)
print('id(z):',id(z))
z[:]=x+y
print('id(z):',id(z))
如果后续不重复使用x也可以使用x[:]=x+y或x+=y来减少内存
before=id(x)
x+=y
id(x)==before
七、转变
1.转化为Numpy张量
A=x.numpy()
B=torch.tensor(A)
type(A),type(B)
2.将大小为1的张量转化为Python标量
a=torch.tensor([3.5])
a,a.item(),float(a),int(a)
第二章 数据预处理
一、创建一个人工数据集,并存储在csv(逗号分隔值)文件中
import os
os.makedirs(os,path,join('..',data),exist_ok=True)
data_file=os.path.join('..','data','house_tiny.csv')
with open(data_file,'w') as f:
f.write('NumRooms,Alley,Price\n') #列名
f.write('NA,Pave,127500\n') #每行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
二、从创建的CSV文件中加载原始数据
import pandas as pd
data=pd.read_csv(data_file)
print(data)
三、缺失的数据如何处理 典型的有插值和删除
inputs,outputs=data.iloc[:,0:2],data.iloc[:,2]
inputs=inputs.fillna(inputs.mean())
print(inputs)
对于inputs中的类别值或离散值,我们可以将NaN视为一个类别inputs=pd.get_dummies(inputs,dummy_na=True)
print(inputs)
现在inputs和outputs中的所有条目都是数值类型了,可以转换为张量格式
import torch
x,y=torch.tensor(inputs.values),torch.tensor(outputs.values)
x,y