AI智能
改变未来

PyTorch基础教程学习笔记(四): nn.Sequential


前言:类似于keras中的序贯模型,当一个模型较简单的时候,我们可以使用torch.nn.Sequential类来实现简单的顺序连接模型。这个模型也是继承自Module类的,关于这个类,后面的文章会详细介绍。

 关于Sequential类的简介

先来看一下它的定义吧,在之前,我们首先需要明确一个特别重要的观念,那就是——torch的核心是Module类。

Module类在下面这个模块中:

D:\\ProgramData\\Anaconda3\\envs\\pytorch1.1.0\\Lib\\site-packages\\torch\\nn\\modules\\module.py

Sequential继承自Module,在下面这个模块里面:

D:\\ProgramData\\Anaconda3\\envs\\pytorch1.1.0\\Lib\\site-packages\\torch\\nn\\modules\\container.py

这样看起来,Sequential似乎是一个容器,的确,它确确实实是可以作为一个容器包装各层。先简单看一下它的定义:

[code]class Sequential(Module): # 继承Moduledef __init__(self, *args):  # 重写了构造函数def _get_item_by_idx(self, iterator, idx):def __getitem__(self, idx):def __setitem__(self, idx, module):def __delitem__(self, idx):def __len__(self):def __dir__(self):def forward(self, input):  # 重写关键方法forward

这里还看一下这个所谓的container.py里面还有那些“容器”存在:

[code]class Container(Module):class Sequential(Module):class ModuleList(Module):class ModuleDict(Module):class ParameterList(Module):class ParameterDict(Module):

Sequential类不同的实现(3种实现)

最简单的序贯模型

[code]import torch.nn as nnmodel = nn.Sequential(nn.Conv2d(1,20,5),nn.ReLU(),nn.Conv2d(20,64,5),nn.ReLU())print(model)print(model[2]) # 通过索引获取第几个层\'\'\'运行结果为:Sequential((0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))(1): ReLU()(2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))(3): ReLU())Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))\'\'\'

在每一个包装块里面,各个层是没有名称的,默认按照0、1、2、3、4来排名。

给每一个层添加名称

[code]import torch.nn as nnfrom collections import OrderedDictmodel = nn.Sequential(OrderedDict([(\'conv1\', nn.Conv2d(1,20,5)),(\'relu1\', nn.ReLU()),(\'conv2\', nn.Conv2d(20,64,5)),(\'relu2\', nn.ReLU())]))print(model)print(model[2]) # 通过索引获取第几个层\'\'\'运行结果为:Sequential((conv1): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))(relu1): ReLU()(conv2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))(relu2): ReLU())Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))\'\'\'

很多人认为python中的字典是无序的,因为它是按照hash来存储的,但是python中有个模块collections(英文,收集、集合),里面自带了一个子类OrderedDict,实现了对字典对象中元素的排序。

[code]# -*- coding: utf-8 -*-from collections import OrderedDictitems = ((\'A\', 1),(\'B\', 2),(\'C\', 3))regular_dict = dict(items)ordered_dict = OrderedDict(items)print \'Regular Dict:\'for k, v in regular_dict.items():print k, vprint \'Ordered Dict:\'for k, v in ordered_dict.items():print k, v# Result:Regular Dict:A 1C 3B 2Ordered Dict:A 1B 2C 3

注意:从上面的结果中可以看出,这个时候每一个层都有了自己的名称,但是此时需要注意,我并不能够通过名称直接获取层,依然只能通过索引index,即model[2] 是正确的,model[\”conv2\”] 是错误的,这其实是由它的定义实现的,看上面的Sequenrial定义可知,只支持index访问。

Sequential的第三种实现

[code]import torch.nn as nnfrom collections import OrderedDictmodel = nn.Sequential()model.add_module(\"conv1\",nn.Conv2d(1,20,5))model.add_module(\'relu1\', nn.ReLU())model.add_module(\'conv2\', nn.Conv2d(20,64,5))model.add_module(\'relu2\', nn.ReLU())print(model)print(model[2]) # 通过索引获取第几个层

熟悉keras的小伙伴在这里一定特别熟悉,这不就是keras的做法嘛,的确是的,但是Sequential里面好像并没有定义

add_module()方法啊,实际上,这个方法是定义在它的父类Module里面的,Sequential继承了而已,它的定义如下:

[code]def add_module(self, name, module):

总结:上面的3种定义顺序模型的方法是较为常见的,但是我们说了Sequential除了本身可以用来定义模型之外,它还可以包装层,把几个层包装起来像一个块一样,这在后面会说到。

赞(0) 打赏
未经允许不得转载:爱站程序员基地 » PyTorch基础教程学习笔记(四): nn.Sequential