【Pytorch】nn.ReLU(inplace=True)

【Pytorch】nn.ReLU(inplace=True)

​​nn.ReLU(inplace=False)​​​中​​inplace​​​的默认为​​False​​

当​​inplace = False​​​ 时，​​nn.ReLU​​不会修改输入对象的值，而是创建一个新的对象作为输出。

当​​inplace = True​​​ 时,​​nn.ReLU​​会修改输入对象的值作为输出，而不是创建一个新的对象。

import torchimport torch.nn as nninput = torch.randn(5)relu_F = nn.ReLU(inplace=False)relu_T = nn.ReLU(inplace=True)output_F = relu_F(input)output_T = relu_T(input)print('输入:', input, 'id:', id(input))print('inplace=False,输出:', output_F, 'id:', id(output_F))print('inplace=Ture,输出:', output_T, 'id:', id(output_T))

利用​​inplace = True​​ 计算可以节省内存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。

​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。