1、首先阅读了hrnet的网络结构分析，了解到了网络构造如下：

参考博文姿态估计之2D人体姿态估计 - （HRNet）Deep High-Resolution Representation Learning for Human Pose Estimation（多家综合）-CSDN博客

最重要的就是这个图了：

在这里主要是注释自己对这个图的认识和理解：

在RGB图片（256*192*3）输入主干网络之前先经过了两次conv卷积网络（包含3*3的卷积层和归一层，激活函数relu）,然后就来到了layer1(主要是改变了通道数，通过重复堆叠Bottleneck来实现)，然后进行两个层次的特征处理，一个是向下进行二倍采样，一个是直接过来，这就形成了所谓的不同维度的特征信息，然后进行融合，因为它们的通道数并不相同，所以就需要进行下采样（down），和上采样(up)，具体这两个网络结构也已经放出来了。然后就是将前面得到的不同维度的特征信息融合·，输入到下一层里面。按照这个流程做下去，到最后，也就是stage4的时候，进行最后一次的多维度的特征信息融合，然后输入到最后一个卷积里面，这个卷积主要是输出17个关键点的预测信息，所以可以看到那里是C17（17个通道）也相当于17个卷积核（1*1的）。

然后图片里面的

k3, s2, p1, 和 c64 通常是卷积层的超参数，它们分别代表：

k3：这通常指的是卷积核（kernel）的大小。k3 表示卷积核的大小为 3x3，即宽度和高度都是3。

s2：这是步长（stride）的参数。s2 表示卷积操作的步长为2。步长决定了卷积核在输入特征图上滑动时，每次移动的像素数量。

p1：这是填充（padding）的参数。p1 表示在输入特征图的边界周围填充1个像素。填充通常用于控制输出特征图的大小，以及确保在特征图的边缘信息不会被丢失。

c64：这指的是输出通道数（number of output channels）。c64 表示该卷积层有64个输出通道，即卷积操作会产生64个不同的特征图。

其中输出通道数C64是和卷积核相对应的，有多少个卷积核就有多少个输出通道。

我去学习，看了一哈paddledetection里面的，发现有使用paddle实现HRNet网络，于是我就打算进行复现，训练出自己想要的模型效果，

值得一提的是这个hrnetpostprocess的代码的实现，运用了中心点+尺度因子+热力图的关系，来改变固定预测关键点是整数值。

class HRNetPostProcess(object):
    def __init__(self, use_dark=True):
        self.use_dark = use_dark

    def get_max_preds(self, heatmaps):
        '''get predictions from score maps
该类主要用于从热图（heatmaps）中获取预测的关键点坐标和对应的最大置信度
        Args:
            heatmaps: numpy.ndarray([batch_size, num_joints, height, width])
            heatmaps是一个四维数组  batch_size是批处理大小，num_joints是关键点的数量，height和width是热图的高度和宽度
        Returns:
            preds: numpy.ndarray([batch_size, num_joints, 2]), keypoints coords
            maxvals: numpy.ndarray([batch_size, num_joints, 2]), the maximum confidence of the keypoints
            输出：两个numpy数组，preds和maxvals。preds的形状为[batch_size, num_joints, 2]，表示每个关键点的坐标；
            maxvals的形状也为[batch_size, num_joints, 1]，表示每个关键点的最大置信度。
        '''
        assert isinstance(heatmaps,
                          np.ndarray), 'heatmaps should be numpy.ndarray'
        assert heatmaps.ndim == 4, 'batch_images should be 4-ndim'#检查heatmaps是否是4维的

        batch_size = heatmaps.shape[0]
        num_joints = heatmaps.shape[1]
        width = heatmaps.shape[3]
        heatmaps_reshaped = heatmaps.reshape((batch_size, num_joints, -1))#代码重新整形heatmaps，使其从[batch_size, num_joints, height, width]变为[batch_size, num_joints, height*width]
        idx = np.argmax(heatmaps_reshaped, 2)#使用np.argmax获取每个位置的最大值的索引，这对应于每个关键点在热图中的位置。
        maxvals = np.amax(heatmaps_reshaped, 2)#使用np.amax获取每个位置的最大值，这对应于每个关键点的置信度。

        # 将maxvals和idx重新整形为[batch_size, num_joints, 1]
        maxvals = maxvals.reshape((batch_size, num_joints, 1))
        idx = idx.reshape((batch_size, num_joints, 1))

        preds = np.tile(idx, (1, 1, 2)).astype(np.float32)#使用np.tile复制idx的每一行和每一列，生成一个新的三维数组

        preds[:, :, 0] = (preds[:, :, 0]) % width #对这个新数组的第三列（即每个关键点的x坐标）进行模运算，以确保其值在[0, width)范围内
        preds[:, :, 1] = np.floor((preds[:, :, 1]) / width)#对新数组的第二列（即每个关键点的y坐标）进行整除运算，然后取整，以获取每个关键点的y坐标。

        pred_mask = np.tile(np.greater(maxvals, 0.0), (1, 1, 2))#创建一个掩码pred_mask，其中最大置信度大于0的位置为1，否则为0。
        pred_mask = pred_mask.astype(np.float32)#使用pred_mask将preds中置信度不为0的位置设置为0。

        preds *= pred_mask#preds *= pred_mask这一行，实际上是将那些置信度不大于0的关键点坐标设置为0。这可能是为了确保只返回那些有足够置信度的预测结果。

        return preds, maxvals

    def gaussian_blur(self, heatmap, kernel):#对热力图进行高斯模糊
        border = (kernel - 1) // 2#根据核大小计算边界大小，用于扩展热图以处理边界效应
        batch_size = heatmap.shape[0]
        num_joints = heatmap.shape[1]
        height = heatmap.shape[2]
        width = heatmap.shape[3]
        for i in range(batch_size):#遍历批处理中的每个热图：对于每个热图，遍历每个关键点。
            for j in range(num_joints):
                origin_max = np.max(heatmap[i, j])
                dr = np.zeros((height + 2 * border, width + 2 * border))
                dr[border:-border, border:-border] = heatmap[i, j].copy()#将原始热图扩展，以便在应用高斯模糊时不会丢失边界信息
                dr = cv2.GaussianBlur(dr, (kernel, kernel), 0)#使用OpenCV的GaussianBlur函数对扩展的热图进行高斯模糊
                heatmap[i, j] = dr[border:-border, border:-border].copy()#还原热图：将模糊后的热图裁剪回原始大小。
                heatmap[i, j] *= origin_max / np.max(heatmap[i, j])#确保模糊后的热图的最大值与原始热图的最大值相同。
        return heatmap

    def dark_parse(self, hm, coord):#两个参数：hm（一个二维numpy数组，表示一个关键点的热图）和coord（一个包含x和y坐标的列表或元组）
        heatmap_height = hm.shape[0]
        heatmap_width = hm.shape[1]
        px = int(coord[0])
        py = int(coord[1])
        if 1 < px < heatmap_width - 2 and 1 < py < heatmap_height - 2:#确保提供的坐标位于热图的有效范围内
            dx = 0.5 * (hm[py][px + 1] - hm[py][px - 1])#计算梯度和Hessian矩阵：基于热图在给定坐标周围的像素值，计算梯度（dx, dy）和Hessian矩阵（dxx, dxy, dyy）。
            dy = 0.5 * (hm[py + 1][px] - hm[py - 1][px])
            dxx = 0.25 * (hm[py][px + 2] - 2 * hm[py][px] + hm[py][px - 2])
            dxy = 0.25 * (hm[py + 1][px + 1] - hm[py - 1][px + 1] - hm[py + 1][px - 1] \
                          + hm[py - 1][px - 1])
            dyy = 0.25 * (
                    hm[py + 2 * 1][px] - 2 * hm[py][px] + hm[py - 2 * 1][px])
            derivative = np.matrix([[dx], [dy]])
            hessian = np.matrix([[dxx, dxy], [dxy, dyy]])
            if dxx * dyy - dxy ** 2 != 0:#如果Hessian矩阵的行列式不为零（确保Hessian矩阵非奇异），则使用计算出的偏移量更新原始坐标。
                hessianinv = hessian.I
                offset = -hessianinv * derivative
                offset = np.squeeze(np.array(offset.T), axis=0)
                coord += offset
        return coord

    def dark_postprocess(self, hm, coords, kernelsize):#hm（热图），coords（关键点的初步坐标），和kernelsize（高斯模糊核的大小）
        '''DARK postpocessing, Zhang et al. Distribution-Aware Coordinate
        Representation for Human Pose Estimation (CVPR 2020).
        '''

        hm = self.gaussian_blur(hm, kernelsize)#进行高斯模糊
        hm = np.maximum(hm, 1e-10)#为了确保数值稳定性，热图中的值被限制为最小为 1e-10
        hm = np.log(hm)#对热图应用对数变换
        for n in range(coords.shape[0]):
            for p in range(coords.shape[1]):
                coords[n, p] = self.dark_parse(hm[n][p], coords[n][p])#对于每一个初步坐标，使用 dark_parse 函数来修正坐标
        return coords

    def get_final_preds(self, heatmaps, center, scale, kernelsize=3):
        """the highest heatvalue location with a quarter offset in the
        direction from the highest response to the second highest response.

        Args:
            heatmaps (numpy.ndarray): The predicted heatmaps
            center (numpy.ndarray): The boxes center
            scale (numpy.ndarray): The scale factor

        Returns:
            preds: numpy.ndarray([batch_size, num_joints, 2]), keypoints coords
            maxvals: numpy.ndarray([batch_size, num_joints, 1]), the maximum confidence of the keypoints
        """
        coords, maxvals = self.get_max_preds(heatmaps)#使用 get_max_preds 函数从热图中获取初步的关键点坐标和最大置信度

        heatmap_height = heatmaps.shape[2]#获取热图的高度和宽度
        heatmap_width = heatmaps.shape[3]#

        if self.use_dark:#如果启用了 use_dark，则使用 dark_postprocess 函数对坐标进行后处理。否则，对于每个初步坐标，如果它不在热图的边界内，则根据热图在该点的梯度进行简单的偏移
            coords = self.dark_postprocess(heatmaps, coords, kernelsize)
        else:
            for n in range(coords.shape[0]):#将修正后的坐标复制到 preds 变量中。
                for p in range(coords.shape[1]):
                    hm = heatmaps[n][p]
                    px = int(math.floor(coords[n][p][0] + 0.5))
                    py = int(math.floor(coords[n][p][1] + 0.5))
                    if 1 < px < heatmap_width - 1 and 1 < py < heatmap_height - 1:
                        diff = np.array([
                            hm[py][px + 1] - hm[py][px - 1],
                            hm[py + 1][px] - hm[py - 1][px]
                        ])
                        coords[n][p] += np.sign(diff) * .25
        preds = coords.copy()

        # Transform back    将关键点坐标从热图的空间转换回原始图像的空间
        for i in range(coords.shape[0]):
            preds[i] = transform_preds(coords[i], center[i], scale[i],
                                       [heatmap_width, heatmap_height])
        #根据每个图像的中心点（center）、尺度因子（scale）以及热图的尺寸（heatmap_width 和 heatmap_height）来调整坐标
        return preds, maxvals

    def __call__(self, output, center, scale):
        preds, maxvals = self.get_final_preds(output.numpy(), center, scale)#获得最终的预测结果
        """
        将 preds 和 maxvals 沿着最后一个维度（axis=-1）进行连接。这意味着如果 preds 的形状是 (batch_size, num_joints, 2)（每个关键点的二维坐标），
        而 maxvals 的形状是 (batch_size, num_joints, 1)（每个关键点的最大置信度），那么连接后的结果将具有形状 (batch_size, num_joints, 3)，其中最后一列是每个关键点的最大置信度。
        np.mean(maxvals, axis=1) 计算 maxvals 沿着第二个维度（axis=1）的均值。这通常用于获取每个图像（或批次中的每个样本）上所有关键点置信度的平均值。
        """
        outputs = [[
            np.concatenate(
                (preds, maxvals), axis=-1), np.mean(
                maxvals, axis=1)
        ]]
        return outputs
    #连接后的 preds 和 maxvals 可以直接用于可视化，而 maxvals 的均值则可以用于评估模型的整体性能