考虑一个函数 $y=f(\textbf{x}) (R^n\rightarrow R)$,y 的 Hessian 矩阵定义如下:
考虑一个函数:$$f(x)=b^Tx+\frac{1}{2}x^{T}Ax\\ 其中 b^T=[1,3,5], A 在代码中可读 $$
求该函数在 x = [0,0,0] 处海森矩阵值的 python 代码如下:
- import torch
- # 定义函数
- x = torch.tensor([0., 0, 0], requires_grad=True)
- b = torch.tensor([1., 3, 5])
- A = torch.tensor([[-5, -3, -0.5], [-3, -2, 0], [-0.5, 0, -0.5]])
- y = [email protected] + 0.5*[email protected]@x
- # 计算一阶导数, 因为我们需要继续计算二阶导数, 所以创建并保留计算图
- grad = torch.autograd.grad(y, x, retain_graph=True, create_graph=True)
- # 定义 Print 数组, 为输出和进一步利用 Hessian 矩阵作准备
- Print = torch.tensor([])
- for anygrad in grad[0]: # torch.autograd.grad 返回的是元组
- Print = torch.cat((Print, torch.autograd.grad(anygrad, x, retain_graph=True)[0]))
- print(Print.view(x.size()[0], -1))
输出结果如下:
来源: http://www.bubuko.com/infodetail-3262164.html