PyTorch正菜-Tensor（上）

博主：理想家
发布时间：2024 年 07 月 25 日
287 次浏览
1 条评论
8500字数
分类：学习

## 目录
```python
1 引言
2 Tensor的基础知识
2.1 Tensor的定义
2.2 Tensor的阶
2.3 Tensor与标量、向量、矩阵的区别和联系
3 Tensor的类型、创建及转换
3.1 Tensor的类型
3.2 Tensor的创建
3.3 Tensor的转换
4 Tensor的操作
4.1 基本运算
4.2 Tensor变形
4.3 Tensor转秩
4.4 Tensor增减维度
```
## 引言
在现代深度学习领域，张量（Tensor）是一个至关重要的概念。几乎所有的深度学习框架，如 PyTorch、TensorFlow 等，都依赖张量进行数据的存储和计算。张量不仅是数据组织的基础结构，同时也是模型内部参数的载体。可以说，理解张量的操作和特性，是掌握深度学习技术的关键一步。

PyTorch 是一个开源的深度学习框架，以其灵活性和易用性广受欢迎。它提供了丰富的张量操作接口，使得构建和训练神经网络变得更加直观和高效。在这篇文章中，我们将围绕张量展开讨论，介绍其定义、类型、创建方式及基本操作，帮助读者更好地理解和使用 PyTorch 进行深度学习开发。

## 张量的基础知识
### 张量的定义
张量（Tensor）是一个多维数组，它可以用来表示标量（零阶张量）、向量（一阶张量）、矩阵（二阶张量）以及更高维度的数据。简单来说，张量是一个包含多个维度的数学对象，用于表示数据在空间中的位置及其属性。在计算和机器学习中，张量是数据表示和运算的基本单位。

### 张量的阶（Rank）
张量的阶（Rank）是指张量的维度数。具体来说：

标量是零阶张量，例如一个单一的数值：5。
向量是一阶张量，例如一个数值序列：`[1, 2, 3]`。
矩阵是二阶张量，例如一个二维数组：`[[1, 2], [3, 4]]`。
更高阶的张量可以用来表示更复杂的数据结构，例如三阶张量可以表示一个三维的图像数据：`[[[1, 2], [3, 4]], [[5, 6], [7, 8]]]`。
随着维度的增加，张量可以表示的数据信息也随之增加，但其计算复杂度也会显著提升。

### 张量与标量、向量、矩阵的区别和联系
理解张量的关键在于认识它与标量、向量和矩阵的关系：

- 标量是一个单独的数值，没有任何维度，是最简单的张量。例如，一个温度值25°C，或者一个单一的权重50kg，这些都是标量。
- 向量是一组有序数值，有一个维度，可以看作是多个标量的集合。例如，一个表示RGB颜色的向量`[255, 0, 0]`，其中包含了三个标量值，分别代表红、绿、蓝三个颜色分量。
- 矩阵是一个二维数组，有两个维度，可以看作是多个向量的集合。例如，一个2x2的矩阵：`[[1, 2], [3, 4]]`，可以表示一个线性变换，或者二维空间中的点坐标集合。
- 张量则可以是任意维度的数组，可以看作是多个矩阵的集合，或者更高维度数据的集合。例如，一个形状为3x2x2的三阶张量：`[[[1, 2], [3, 4]], [[5, 6], [7, 8]], [[9, 10], [11, 12]]]`，可以表示一组三维空间中的数据点。

这种层级关系使得张量能够以一种统一的方式表示和操作各种不同维度的数据，从而在机器学习和深度学习中得到了广泛应用。例如，在图像处理任务中，彩色图像可以表示为一个三阶张量，其中每个像素点包含了红、绿、蓝三个颜色通道的信息。

## Tensor 的类型、创建及转换

在不同的深度学习框架中，Tensor 的特点大同小异，但具体的实现和操作方法可能有所不同。在本节中，我们将以 PyTorch 为例，介绍 Tensor 的常用数据类型、创建方法及转换技巧。

### Tensor 的类型

在 PyTorch 中，Tensor 支持多种数据类型，常见的有以下几种：

- `torch.float32`：32 位浮点数
- `torch.float64`：64 位浮点数
- `torch.int32`：32 位整数
- `torch.int64`：64 位整数
- `torch.uint8`：8 位无符号整数

其中，`torch.float32` 和 `torch.int64` 是最常用的类型。在实际应用中，选择合适的数据类型可以提高计算效率和节省内存。

### Tensor 的创建

PyTorch 提供了多种方式来创建 Tensor，每种方式都有其独特的优势和使用场景。以下是几种常见的创建方法：

1. **直接创建**

最简单的方式是使用 `torch.tensor` 函数直接创建一个 Tensor。我们可以通过传入列表、元组、NumPy 数组或标量来创建 Tensor。

```python
import torch

# 从列表创建
tensor_from_list = torch.tensor([1, 2, 3, 4])

# 从元组创建
tensor_from_tuple = torch.tensor((1, 2, 3, 4))

# 从 NumPy 数组创建
import numpy as np
np_array = np.array([1, 2, 3, 4])
tensor_from_np = torch.tensor(np_array)

# 从标量创建
scalar_tensor = torch.tensor(5)
```

2. **使用特殊函数创建**

PyTorch 提供了一些函数来创建特定形状和类型的 Tensor，例如全零、全一或随机数 Tensor。

```python
# 创建一个全零 Tensor
zeros_tensor = torch.zeros(3, 4)

# 创建一个全一 Tensor
ones_tensor = torch.ones(3, 4)

# 创建一个随机数 Tensor
random_tensor = torch.rand(3, 4)
```

3. **通过类似 NumPy 的函数创建**

我们还可以使用 `torch.arange` 和 `torch.linspace` 函数来创建具有特定范围和步长的 Tensor。

```python
# 创建一个范围为 0 到 10，步长为 1 的 Tensor
range_tensor = torch.arange(0, 10, 1)

# 创建一个范围为 0 到 1，包含 5 个均匀间隔的数的 Tensor
linspace_tensor = torch.linspace(0, 1, 5)
```

### Tensor 的转换

在实际应用中，我们常常需要在不同的数据类型和设备之间转换 Tensor。以下是一些常用的转换操作：

1. **数据类型转换**

我们可以使用 `tensor.type()` 或 `tensor.to()` 方法来转换 Tensor 的数据类型。

```python
float_tensor = torch.tensor([1.0, 2.0, 3.0], dtype=torch.float32)
int_tensor = float_tensor.type(torch.int32)
```

2. **设备转换**

在深度学习中，我们通常需要将 Tensor 移动到 GPU 以加速计算。可以使用 `tensor.to(device)` 方法进行设备转换。
```python
# 假设有一个 CUDA 设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tensor_on_gpu = tensor_from_list.to(device)
```
通过这些方法，我们可以方便地创建、操作和转换 Tensor，为深度学习模型的构建和训练打下坚实的基础。在下一节中，我们将介绍一些常见的 Tensor 操作，以及如何在实际应用中使用它们。

请确认这一小节的内容是否符合您的期望，或提出您希望的修改和调整。
## 张量的操作
### 基本运算
张量的基本运算包括加法、减法、乘法和除法等。这些运算可以在两个或多个相同形状的张量之间进行。以下是一些基本运算的示例：
```python
复制代码
# 创建两个张量
tensor_a = torch.tensor([1, 2, 3])
tensor_b = torch.tensor([4, 5, 6])

# 张量加法
tensor_sum = tensor_a + tensor_b  # 输出: tensor([5, 7, 9])

# 张量减法
tensor_diff = tensor_a - tensor_b  # 输出: tensor([-3, -3, -3])

# 张量乘法（逐元素乘法）
tensor_prod = tensor_a * tensor_b  # 输出: tensor([4, 10, 18])

# 张量除法（逐元素除法）
tensor_div = tensor_a / tensor_b  # 输出: tensor([0.25, 0.4, 0.5])
```
### 张量变形（Reshaping）
张量变形是指改变张量的形状而不改变其数据。例如，可以将一个一维张量变形成一个二维张量。以下是一些常见的张量变形操作：
```python
复制代码
# 创建一个一维张量
tensor = torch.tensor([1, 2, 3, 4, 5, 6])

# 将其变形成一个2x3的二维张量
reshaped_tensor = tensor.view(2, 3)  # 输出: tensor([[1, 2, 3], [4, 5, 6]])

# 将其变形成一个3x2的二维张量
reshaped_tensor = tensor.view(3, 2)  # 输出: tensor([[1, 2], [3, 4], [5, 6]])
```
### 张量转秩（Transpose）
在深度学习中，Tensor 转秩（Transpose）是一个非常常见的操作，尤其是在处理多维数组时。转秩操作可以改变 Tensor 的维度排列，从而为矩阵运算、数据预处理和模型输入输出提供便利。
#### 什么是 Tensor 转秩

Tensor 转秩，简单来说，就是将 Tensor 的某些维度进行交换。对于二维矩阵来说，转秩操作可以将行变为列，列变为行。例如，一个形状为 \(3 x 4\) 的矩阵转秩后会变为形状 \(4 x 3\)。对于高维张量，转秩操作可以交换任意两个维度的位置。

#### 转秩的用途

转秩操作在深度学习中的用途非常广泛，包括但不限于以下几个方面：

1. **数据预处理**：在处理图像数据时，通常需要调整图像的通道顺序，例如从 (H, W, C) 转换为 (C, H, W)。
2. **矩阵运算**：在矩阵乘法和其他线性代数运算中，转秩操作可以简化计算过程。
3. **模型输入输出**：有些模型对输入数据的维度顺序有特定要求，通过转秩可以满足这些要求。

#### PyTorch 中的转秩操作
在 PyTorch 中，我们可以使用 `torch.transpose` 和 `torch.permute` 方法来实现 Tensor 的转秩操作。
1. **`torch.transpose` 方法**
`torch.transpose` 方法用于交换 Tensor 的两个维度。其基本语法如下：

```python
torch.transpose(input, dim0, dim1)
```

其中，`input` 是待转秩的 Tensor，`dim0` 和 `dim1` 是要交换的两个维度。例如：

```python
import torch

tensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
transposed_tensor = torch.transpose(tensor, 0, 1)
print(transposed_tensor)
# 输出：
# tensor([[1, 4],
#         [2, 5],
#         [3, 6]])
```
2. **`torch.permute` 方法**

`torch.permute` 方法用于重新排列 Tensor 的所有维度。其基本语法如下：

```python
torch.permute(input, dims)
```

其中，`input` 是待转秩的 Tensor，`dims` 是一个包含所有维度新顺序的元组。例如：

```python
tensor = torch.randn(2, 3, 4)
permuted_tensor = torch.permute(tensor, (2, 0, 1))
print(permuted_tensor.shape)
# 输出：torch.Size([4, 2, 3])
```
#### 实际应用示例

为了更好地理解转秩操作的实际应用，以下是一个具体的示例。假设我们有一个形状为 (batch_size, height, width, channels) 的图像数据，我们希望将其转换为 (batch_size, channels, height, width) 以便于模型处理：
```python
batch_size = 10
height = 28
width = 28
channels = 3

# 创建一个模拟的图像数据张量
image_tensor = torch.randn(batch_size, height, width, channels)

# 使用 permute 将维度重新排列
transposed_image_tensor = torch.permute(image_tensor, (0, 3, 1, 2))
print(transposed_image_tensor.shape)
# 输出：torch.Size([10, 3, 28, 28])
```
通过上述操作，我们成功地将图像数据的维度顺序调整为模型所需的格式。
### Tensor 增减维度

在深度学习中，处理不同维度的张量是一个常见的需求。我们常常需要对张量进行增维或减维操作，以适应不同的模型输入、数据预处理或其他计算需求。
#### 增维操作

增维操作是指在现有张量的基础上增加一个或多个新的维度。这在许多场景中都是必要的，例如在批处理操作中需要增加批次维度，或者在特定的广播机制下需要增加维度来匹配其他张量的形状。

1. **`unsqueeze` 方法**

`unsqueeze` 方法可以在指定位置增加一个维度。其基本语法如下：

```python
torch.unsqueeze(input, dim)
```

其中，`input` 是待处理的张量，`dim` 是要增加的维度的位置。例如：

```python
import torch

tensor = torch.tensor([1, 2, 3, 4])
print(tensor.shape)  # 输出：torch.Size([4])

# 在第 0 维增加一个维度
unsqueezed_tensor = torch.unsqueeze(tensor, 0)
print(unsqueezed_tensor.shape)  # 输出：torch.Size([1, 4])

# 在第 1 维增加一个维度
unsqueezed_tensor = torch.unsqueeze(tensor, 1)
print(unsqueezed_tensor.shape)  # 输出：torch.Size([4, 1])
```

2. **`view` 方法**

`view` 方法可以改变张量的形状，包括增加维度。其基本语法如下：

```python
tensor.view(new_shape)
```

其中，`new_shape` 是新的张量形状。例如：

```python
tensor = torch.tensor([1, 2, 3, 4])
reshaped_tensor = tensor.view(1, 4)
print(reshaped_tensor.shape)  # 输出：torch.Size([1, 4])
```

#### 减维操作

减维操作是指在现有张量的基础上移除一个或多个维度。通常，当某些维度的大小为 1 时，我们可以移除这些维度以简化张量的形状。

1. **`squeeze` 方法**

`squeeze` 方法可以移除大小为 1 的维度。其基本语法如下：

```python
torch.squeeze(input, dim=None)
```

其中，`input` 是待处理的张量，`dim` 是要移除的维度的位置。如果 `dim` 参数为空，`squeeze` 会移除所有大小为 1 的维度。例如：

```python
tensor = torch.tensor([[[1, 2, 3, 4]]])
print(tensor.shape)  # 输出：torch.Size([1, 1, 4])

# 移除所有大小为 1 的维度
squeezed_tensor = torch.squeeze(tensor)
print(squeezed_tensor.shape)  # 输出：torch.Size([4])

# 仅移除第 0 维的大小为 1 的维度
squeezed_tensor = torch.squeeze(tensor, 0)
print(squeezed_tensor.shape)  # 输出：torch.Size([1, 4])
```

2. **`view` 方法**

`view` 方法同样可以用来减维。通过指定新的形状，可以移除不必要的维度。例如：

```python
tensor = torch.tensor([[[1, 2, 3, 4]]])
reshaped_tensor = tensor.view(4)
print(reshaped_tensor.shape)  # 输出：torch.Size([4])
```

#### 实际应用示例

为了更好地理解增减维操作的实际应用，以下是一个具体的示例。假设我们有一个形状为 (batch_size, height, width) 的图像数据，我们希望增加一个通道维度，使其形状变为 (batch_size, height, width, channels)：

```python
batch_size = 10
height = 28
width = 28

# 创建一个模拟的图像数据张量
image_tensor = torch.randn(batch_size, height, width)

# 增加一个通道维度
expanded_tensor = torch.unsqueeze(image_tensor, 3)
print(expanded_tensor.shape)  # 输出：torch.Size([10, 28, 28, 1])
```

通过上述操作，我们成功地将图像数据的形状调整为模型所需的格式。同样地，我们也可以使用 `squeeze` 方法来移除不必要的维度，以简化张量的形状。

最后修改：2024 年 07 月 25 日

如果觉得我的文章对你有用，请随意赞赏

1 条评论

whai915
July 25th, 2024 at 02:48 pm

hello

回复

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

PyTorch正菜-Tensor（上）

理想家 • 2024 年 07 月 25 日

### 张量的阶（Rank）
张量的阶（Rank）是指张量的维度数。具体来说：

### 张量与标量、向量、矩阵的区别和联系
理解张量的关键在于认识它与标量、向量和矩阵的关系：

## Tensor 的类型、创建及转换

### Tensor 的类型

在 PyTorch 中，Tensor 支持多种数据类型，常见的有以下几种：

- `torch.float32`：32 位浮点数
- `torch.float64`：64 位浮点数
- `torch.int32`：32 位整数
- `torch.int64`：64 位整数
- `torch.uint8`：8 位无符号整数

其中，`torch.float32` 和 `torch.int64` 是最常用的类型。在实际应用中，选择合适的数据类型可以提高计算效率和节省内存。

### Tensor 的创建

PyTorch 提供了多种方式来创建 Tensor，每种方式都有其独特的优势和使用场景。以下是几种常见的创建方法：

1. **直接创建**

最简单的方式是使用 `torch.tensor` 函数直接创建一个 Tensor。我们可以通过传入列表、元组、NumPy 数组或标量来创建 Tensor。

```python
import torch

# 从列表创建
tensor_from_list = torch.tensor([1, 2, 3, 4])

# 从元组创建
tensor_from_tuple = torch.tensor((1, 2, 3, 4))

# 从 NumPy 数组创建
import numpy as np
np_array = np.array([1, 2, 3, 4])
tensor_from_np = torch.tensor(np_array)

# 从标量创建
scalar_tensor = torch.tensor(5)
```

2. **使用特殊函数创建**

PyTorch 提供了一些函数来创建特定形状和类型的 Tensor，例如全零、全一或随机数 Tensor。

```python
# 创建一个全零 Tensor
zeros_tensor = torch.zeros(3, 4)

# 创建一个全一 Tensor
ones_tensor = torch.ones(3, 4)

# 创建一个随机数 Tensor
random_tensor = torch.rand(3, 4)
```

3. **通过类似 NumPy 的函数创建**

我们还可以使用 `torch.arange` 和 `torch.linspace` 函数来创建具有特定范围和步长的 Tensor。

```python
# 创建一个范围为 0 到 10，步长为 1 的 Tensor
range_tensor = torch.arange(0, 10, 1)

# 创建一个范围为 0 到 1，包含 5 个均匀间隔的数的 Tensor
linspace_tensor = torch.linspace(0, 1, 5)
```

### Tensor 的转换

在实际应用中，我们常常需要在不同的数据类型和设备之间转换 Tensor。以下是一些常用的转换操作：

1. **数据类型转换**

我们可以使用 `tensor.type()` 或 `tensor.to()` 方法来转换 Tensor 的数据类型。

```python
float_tensor = torch.tensor([1.0, 2.0, 3.0], dtype=torch.float32)
int_tensor = float_tensor.type(torch.int32)
```

2. **设备转换**

# 张量加法
tensor_sum = tensor_a + tensor_b  # 输出: tensor([5, 7, 9])

# 张量减法
tensor_diff = tensor_a - tensor_b  # 输出: tensor([-3, -3, -3])

# 张量乘法（逐元素乘法）
tensor_prod = tensor_a * tensor_b  # 输出: tensor([4, 10, 18])

# 将其变形成一个2x3的二维张量
reshaped_tensor = tensor.view(2, 3)  # 输出: tensor([[1, 2, 3], [4, 5, 6]])

#### 转秩的用途

转秩操作在深度学习中的用途非常广泛，包括但不限于以下几个方面：

```python
torch.transpose(input, dim0, dim1)
```

其中，`input` 是待转秩的 Tensor，`dim0` 和 `dim1` 是要交换的两个维度。例如：

```python
import torch

`torch.permute` 方法用于重新排列 Tensor 的所有维度。其基本语法如下：

```python
torch.permute(input, dims)
```

其中，`input` 是待转秩的 Tensor，`dims` 是一个包含所有维度新顺序的元组。例如：

```python
tensor = torch.randn(2, 3, 4)
permuted_tensor = torch.permute(tensor, (2, 0, 1))
print(permuted_tensor.shape)
# 输出：torch.Size([4, 2, 3])
```
#### 实际应用示例

# 创建一个模拟的图像数据张量
image_tensor = torch.randn(batch_size, height, width, channels)

1. **`unsqueeze` 方法**

`unsqueeze` 方法可以在指定位置增加一个维度。其基本语法如下：

```python
torch.unsqueeze(input, dim)
```

其中，`input` 是待处理的张量，`dim` 是要增加的维度的位置。例如：

```python
import torch

tensor = torch.tensor([1, 2, 3, 4])
print(tensor.shape)  # 输出：torch.Size([4])

# 在第 0 维增加一个维度
unsqueezed_tensor = torch.unsqueeze(tensor, 0)
print(unsqueezed_tensor.shape)  # 输出：torch.Size([1, 4])

# 在第 1 维增加一个维度
unsqueezed_tensor = torch.unsqueeze(tensor, 1)
print(unsqueezed_tensor.shape)  # 输出：torch.Size([4, 1])
```

2. **`view` 方法**

`view` 方法可以改变张量的形状，包括增加维度。其基本语法如下：

```python
tensor.view(new_shape)
```

其中，`new_shape` 是新的张量形状。例如：

```python
tensor = torch.tensor([1, 2, 3, 4])
reshaped_tensor = tensor.view(1, 4)
print(reshaped_tensor.shape)  # 输出：torch.Size([1, 4])
```

#### 减维操作

减维操作是指在现有张量的基础上移除一个或多个维度。通常，当某些维度的大小为 1 时，我们可以移除这些维度以简化张量的形状。

1. **`squeeze` 方法**

`squeeze` 方法可以移除大小为 1 的维度。其基本语法如下：

```python
torch.squeeze(input, dim=None)
```

其中，`input` 是待处理的张量，`dim` 是要移除的维度的位置。如果 `dim` 参数为空，`squeeze` 会移除所有大小为 1 的维度。例如：

```python
tensor = torch.tensor([[[1, 2, 3, 4]]])
print(tensor.shape)  # 输出：torch.Size([1, 1, 4])

# 移除所有大小为 1 的维度
squeezed_tensor = torch.squeeze(tensor)
print(squeezed_tensor.shape)  # 输出：torch.Size([4])

# 仅移除第 0 维的大小为 1 的维度
squeezed_tensor = torch.squeeze(tensor, 0)
print(squeezed_tensor.shape)  # 输出：torch.Size([1, 4])
```

2. **`view` 方法**

`view` 方法同样可以用来减维。通过指定新的形状，可以移除不必要的维度。例如：

```python
tensor = torch.tensor([[[1, 2, 3, 4]]])
reshaped_tensor = tensor.view(4)
print(reshaped_tensor.shape)  # 输出：torch.Size([4])
```

#### 实际应用示例

```python
batch_size = 10
height = 28
width = 28

# 创建一个模拟的图像数据张量
image_tensor = torch.randn(batch_size, height, width)

# 增加一个通道维度
expanded_tensor = torch.unsqueeze(image_tensor, 3)
print(expanded_tensor.shape)  # 输出：torch.Size([10, 28, 28, 1])
```

通过上述操作，我们成功地将图像数据的形状调整为模型所需的格式。同样地，我们也可以使用 `squeeze` 方法来移除不必要的维度，以简化张量的形状。

PyTorch正菜-Tensor（上）

1 条评论

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

旅行

欢迎使用 Typecho

PyTorch正菜-Tensor（上）

PyTorch正菜-数据读取(一)

PyTorch一周目（1）启航准备

一个矛盾的故事

前馈神经网络的结构

AI 科学家也能 '团战' 了？AgentRxiv 让 AI 协作搞科研！🚀

PyTorch正菜-卷积（一）

PyTorch正菜-图像分类（上）

PyTorch正菜-Tensor（上）

1 条评论

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

PyTorch正菜-Tensor（上）

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款