K8S + Jenkins 做CICD

前言

这里会做整体CICD的思路和流程的介绍，会给出核心的Jenkins pipeline脚本，最后会演示一下 实验/实操 结果
由于整体内容较多，所以不打算在这里做每一步的详细演示 - 本文仅作自己的实操记录和日后回顾用
要看保姆式教学的可以划走了，没有K8S基础的也可以划走了

正文

1. 整体实现思路

  1. 在K8S集群中部署Jenkins服务（我这里实验用的是 Jenkins 2.486版本），给Jenkins分配对应的NFS、PV、PVC、SA、NS、SVC等资源，挂载Jenkins配置文件到服务器
  2. 在Jenkins中安装 kubernetes、blue ocean 插件
  3. 配置Jenkins和K8S集群正常通信
  4. 配置 pod template - 这里的 pod template 实际上就是对 Jenkins agent(以前叫 Jenkins slave) 的配置，用于完成git代码拉取、mvn打包、docker镜像上传等操作
  5. 新建流水线任务，加入自己的pipeline脚本

CICD流程：

  1. 开发提交代码到代码仓库 gitlab/github/gitee - 我这里用的github
  2. 开启任务 -> jenkins 检测到代码更新，调用 k8s api 在 k8s 中创建 jenkins slave pod
  3. Jenkins slave pod 拉取代码，通过 maven 把拉取的代码进行构建成 war 包或者 jar 包，上传代码到 Sonarqube，进行静态代码扫描
  4. 基于 jar 包构建 docker image，把镜像上传到镜像仓库 harbor 或 dockerhub - 我这里用的 dockerhub
  5. 基于镜像部署应用到开发环境
  6. 开发人员自测通过，在blue ocean 流水线中操作，发布到测试环境
  7. 测试团队测试通过，发布到生产环境

2. 插件简介

2.1 Kubernetes插件简介

Kubernetes 插件的目的是能够使用 Kubernetes 配合，实现动态配置 Jenkins 代理（使用 Kubernetes 调度机制来优化负载），在执行 Jenkins Job 构建时，Jenkins Master 会在 kubernetes 中创建一个 Slave Pod 代理来执行任务。
该 Slave Pod 中可以包含多种镜像，例如需要 Maven 编译可以使用 Maven 镜像执行任务。使用 NPM编译则可以使用 NPM镜像。操作 Kubernetes 可以使用 Kubectl 插件镜像。
所有 Job 中所需要的环境及其依赖都交由镜像提供，而不需要手动搭配这些环境。在 Slave Pod 执行完 Job 任务后，该Slave Pod将会自动删除。所以 Kubernetes Plugin 简单用法就是，在 Kubernetes 中启动 Jenkins Slave 代理，让代理执行 Jenkins Job，执行完后释放删除 Slave 释放资源。

Kubernetes插件使用 - Kubernetes Plugin的配置主要有两部分组成：

  • kubernetes的连接参数：主要用于配置如果连接kubernetes
  • kubernetes的pod模板：调用kubernetes创建jenkins slave使用的pod模板

在这里插入图片描述

2.2 Blue Ocean 插件简介

Blue Ocean 是 Jenkins 的一款现代化 UI 插件，旨在为持续集成/持续交付 (CI/CD) 提供更加直观、用户友好的界面和体验。

  • 全新的可视化流水线体验
    • Blue Ocean 提供了流水线运行过程的直观可视化，用户可以清晰地查看流水线的各个阶段（stage）、步骤（step）及其状态（成功、失败、运行中）。
    • 支持图形化展示流水线的分支、并行任务及错误点，便于快速诊断和调试。
  • 简化的流水线创建和编辑
    • 内置交互式流水线编辑器，支持通过拖放操作创建 Jenkinsfile，降低了学习曲线。
    • 用户无需编写复杂的脚本即可快速配置和生成流水线代码。
  • 强大的分支支持
    • 专为 Git 和其他分布式版本控制系统的多分支流水线设计。
    • 自动检测代码仓库中的分支和 Pull Request，独立运行每个分支的流水线任务。
  • 高效的协作能力
    • 在失败的任务或构建上添加评论，方便团队成员进行问题协作和修复。
    • 支持通过直观的界面查看构建日志、失败原因以及历史记录。
  • 插件生态集成
    • 与 Jenkins 的现有插件（如 Git、GitHub、Bitbucket、Docker 等）无缝集成。
    • 支持各种通知机制（如邮件、Slack、Webhook）来增强 CI/CD 流程。
  • 跨平台友好
    • 适配桌面端和移动端，用户可以随时随地查看流水线状态。
      在这里插入图片描述

3. pipeline脚本示例

env.BRANCH_NAME = 'master'
node('devops') {
    stage('Clone') {
        echo "1.下载代码"
        withCredentials([usernamePassword(credentialsId: 'github', usernameVariable: 'gitHubUser', passwordVariable: 'gitHubToken')]) {
            git url: "https://${gitHubUser}:${gitHubToken}@github.com/cqweiheng/myspringboot.git"
        }
        script {
            build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
        }
    }
    stage('Test') {
        echo "2.代码扫描"
    }
    stage('Build') {
        echo "3.构建docker镜像"	
        // 执行 Maven 构建，生成 jar 文件
        sh 'mvn clean package -Dmaven.test.skip=true'
        // 打包成镜像
        sh "docker build -t cqweiheng/test:myspringboot-${build_tag} ."
    }
    stage('Push') {
        echo "4.推送镜像"
        withCredentials([usernamePassword(credentialsId: 'dockerhub', passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) {
            sh "docker login -u ${dockerHubUser} -p ${dockerHubPassword}"
            // 这里可以改用 harbor
            //sh "docker login 192.168.86.100 -u ${harborUser} -p ${harborPassword}"
            sh "docker push cqweiheng/test:myspringboot-${build_tag}"
        }
    }
    stage('Deploy to dev') {
        echo "5.发布到 dev 环境"
    		sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-dev.yaml"
        sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-dev.yaml"
        sh "cat k8s-dev.yaml"
        sh "kubectl apply -f k8s-dev.yaml"
        sh "sleep 10"
        sh "kubectl get pods -n dev"
	}	
	stage('Deploy to test') {	
		def userSelected = input(
            id: 'userSelected',
            message: '确认发布到【测试】环境?',
            parameters: [
                [
                    $class: 'ChoiceParameterDefinition',
                    choices: "确认\n取消",
                    name: '请选择'
                ]
            ]
        )
        echo "用户选择：${userSelected}"
        if (userSelected == "确认") {
            sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-test.yaml"
            sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-test.yaml"
            sh "cat k8s-test.yaml"
            sh "kubectl apply -f k8s-test.yaml"
            sh "sleep 10"
            sh "kubectl get pods -n test"
        } else {
            //exit
            echo "用户选择不发布到测试环境，本次部署流程终止。"
            currentBuild.result = 'ABORTED'
            error("用户选择取消发布到测试环境。")
        }
    }
	stage('Deploy to pro') {	
		def userSelected = input(

            id: 'userSelected',
            message: '确认发布到【生产】环境?',
            parameters: [
                [
                    $class: 'ChoiceParameterDefinition',
                    choices: "确认\n取消",
                    name: '请选择'
                ]
            ]
            // 仅允许指定用户操作 - 通过授权，仅测试团队可以操作
            //,submitter: 'test-user,test-group'
        )
        echo "用户选择：${userSelected}"
        if (userSelected == "确认") {
            sh "sed -i 's/<BUILD_TAG>/${build_tag}/' k8s-prod.yaml"
            sh "sed -i 's/<BRANCH_NAME>/${env.BRANCH_NAME}/' k8s-prod.yaml"
            sh "cat k8s-prod.yaml"
            sh "kubectl apply -f k8s-prod.yaml --record"
            sh "sleep 10"
            sh "kubectl get pods -n prod"
        }
    }
}

4. 演示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在 deploy to test 这里就停住了，等待授权
开发人员在 dev 环境自测完毕后，确认发布到测试环境，由测试团队进行验证
在这里插入图片描述

发布到生产这里可以通过添加 submitter 来控制用户权限，比如仅测试团队可以提交
在这里插入图片描述
在这里插入图片描述
到这里整个流程就结束了
从下图中可以看到Jenkins slave这个 pod 生命周期结束
在命名空间 dev, test, prod 中分别生成了新的 pod
在这里插入图片描述

访问一下，自己写的一个springboot 应用 -> OK的
在这里插入图片描述

5. 闲聊

  1. 这里 svc 用的 NodePort，实际生产中如果做四层负载的话，应该会用 LoadBalance
  2. 做版本回滚的话，可以新起一个pipeline，调用shell脚本，选择版本号后进行回滚操作
    参考：
    #查看历史版本
kubectl rollout history deployment/<deployment_name>
#回退到指定版本
kubectl rollout undo deployment/<deployment_name> --to-revision=<revision_number>
  3. 这里是用的单个集群，将开发、测试和生产环境部署在 同一个 K8S 集群中，并通过 Namespace 来区分不同环境。这种方式简单高效，但需要合理的规划和配置，确保资源隔离和环境安全性。
    比如按 namespace 做资源配额，按 单个pod 做资源限制
    #按 namespace 做资源限制
apiVersion: v1
kind: ResourceQuota
metadata:
  name: resource-quota
  namespace: dev
spec:
  hard:
    pods: "20"                  # 最大允许 20 个 Pod
    requests.cpu: "4"           # 总 CPU 请求限制 4 核
    requests.memory: "8Gi"      # 总内存请求限制 8GB
    limits.cpu: "8"             # 总 CPU 限制 8 核
    limits.memory: "16Gi"       # 总内存限制 16GB

#按 单个pod 做资源限制 - 防止单个 Pod 占用过多资源
apiVersion: v1
kind: LimitRange
metadata:
  name: limits
  namespace: dev
spec:
  limits:
  - default:
      cpu: "500m"
      memory: "512Mi"
    defaultRequest:
      cpu: "200m"
      memory: "256Mi"
    type: Container
  4. Jenkins 的 Pipeline 可以通过不同的 kubeconfig 文件操作不同的集群。再直白点就是，可以通过 kubeconfig 文件 做服务器隔离、集群隔离的CICD 发布到dev、test、prod环境 - 当然这个我还没实际操作过
    顺带搜了一下，大约是这样做的，下面的内容仅供参考
    #1.为每个集群（dev 和 test）生成独立的 kubeconfig 文件
kubectl config view --raw > kubeconfig-dev.yaml
kubectl config view --raw > kubeconfig-test.yaml
#2.将这些 kubeconfig 文件上传到 Jenkins 的凭据管理系统，确保安全性
#在 Jenkins 中添加 kubeconfig 凭据
#	打开 Jenkins Dashboard。
#	进入 "Manage Jenkins" > "Credentials"。
#	添加凭据：
#		Kind：Secret file
#		File：上传 kubeconfig-dev.yaml 和 kubeconfig-test.yaml。
#		ID：分别命名为 kubeconfig-dev 和 kubeconfig-test。

#3.在 Jenkins Pipeline 中使用 kubeconfig 文件
#利用 withCredentials 加载对应的 kubeconfig 文件，动态切换集群。
pipeline {
agent any
stages {
    stage('Deploy to Dev') {
        steps {
            script {
                echo "Deploying to Dev Cluster..."
                withCredentials([file(credentialsId: 'kubeconfig-dev', variable: 'KUBECONFIG')]) {
                    // 使用 kubeconfig-dev 操作 dev 集群
                    sh 'kubectl apply -f k8s-dev.yaml'
                    sh 'kubectl get pods -n dev'
                }
            }
        }
    }
    stage('Deploy to Test') {
        steps {
            script {
                input "Confirm deployment to Test environment?"
                echo "Deploying to Test Cluster..."
                withCredentials([file(credentialsId: 'kubeconfig-test', variable: 'KUBECONFIG')]) {
                    // 使用 kubeconfig-test 操作 test 集群
                    sh 'kubectl apply -f k8s-test.yaml'
                    sh 'kubectl get pods -n test'
                }
            }
        }
    }
}

}
```
这种就是各集群的资源、权限完全独立，不会相互影响。即使某一环境出现问题，其他环境仍可正常工作。

适合场景
- 多集群部署：开发、测试、生产环境分布在不同的 Kubernetes 集群中。
- 跨区域服务器管理：如不同集群位于不同的云平台（阿里云、腾讯云、AWS 等）。
- 严格隔离需求：需要通过不同的 kubeconfig 文件实现权限和资源隔离。

6. 踩过的坑

6.1 FailedCreatePodSandbox - error getting clusterInfomation: connection is unauthorized

在这里插入图片描述
这个错误纠结了好久，最开始解题思路有误
看日志一直以为是授权出了问题
做了如下尝试，又检查了calico插件，发现全都是正常的
第二天Google搜了一下：
https://devopscube.com/clusterinformation-connection-unauthorized/
重启calico后OK，气不气？

#授权
kubectl create clusterrolebinding calico-access-jenkins-admin \
  --clusterrole=calico-kube-controllers \
  --serviceaccount=devops:jenkins-admin

#绑定token - vim jenkins-admin-token.yaml
apiVersion: v1
kind: Secret
metadata:
  name: jenkins-admin-token
  namespace: devops
  annotations:
    kubernetes.io/service-account.name: jenkins-admin
type: kubernetes.io/service-account-token
#kubectl apply -f jenkins-admin-token.yaml


#验证是否生效
kubectl -n devops describe secret $(kubectl -n devops get secret | grep jenkins-admin | awk '{print $1}')
curl -k -H "Authorization: Bearer <your-token>" https://<kube-apiserver>:6443/apis/crd.projectcalico.org/v1/clusterinformations

#能正常访问说明权限没有问题
kubectl --token=<your-token> get clusterinformation -o yaml

6.2 jenkins svc 没有暴露50000 端口

这个好像没什么可说的，加上就好了
在这里插入图片描述

6.3 Jenkins slave 构建镜像时提示 docker: not found

在这里插入图片描述
这个东西也搞了一阵子，后来自己基于
FROM jenkins/agent:latest
添加了 docker.io、maven-3.9.5、kubectl v1.31.2
然后打包成自己的Jenkins slave镜像使用，整个流程才正常跑通
这个镜像我推送到了 dockerhub 上，有需要的同学可以直接拿来用（不过由于版本问题，估计大概率也只有我自己用，哈哈）
镜像：cqweiheng/test:jenkins-agent-with-docker-v4

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/921175.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

力扣 LeetCode 701. 二叉搜索树中的插入操作（Day10：二叉树）

力扣 LeetCode 701. 二叉搜索树中的插入操作（Day10：二叉树）

解题思路&#xff1a; 全部插入到叶子节点即可 class Solution {public TreeNode insertIntoBST(TreeNode root, int val) {if (root null) {TreeNode node new TreeNode(val);return node;}if (root.val < val) {root.right insertIntoBST(root.right, val);}if (root…
阅读更多...
2024年11月22日Github流行趋势

2024年11月22日Github流行趋势

项目名称&#xff1a;twenty 项目维护者&#xff1a;charlesBochet, lucasbordeau, Weiko, FelixMalfait, bosiraphael 项目介绍&#xff1a;正在构建一个由社区驱动的现代Salesforce替代方案。 项目star数&#xff1a;22,938 项目fork数&#xff1a;2,413 项目名称&#xff1…
阅读更多...
Qt之QMainWidget相关

Qt之QMainWidget相关

QMainWindow 继承于QWidget的子类 自带一个菜单栏,一个工具栏,可以设置状态栏与铆钉部件 菜单栏:QMenuBar 注意:一个窗口最多一个菜单栏 API: 创建 QMenuBar(parent) 获取QMainWindow自带的菜单栏 QMenuBar* menuBar() 添加菜单:QMenu addMenu(QMenu *menu); 菜单添加活动:QAct…
阅读更多...
【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境

【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境

兵马未动&#xff0c;粮草先行。作为深度学习的初学者&#xff0c;快速搭建一个属于自己的开发环境就是头等大事&#xff0c;可以让我们节省许多的时间。这一期我们主要讲一讲2024年最新pytorchcudacudnn下载安装搭建开发环境&#xff0c;以及安装过程中可能遇到的一些问题以及…
阅读更多...
SQL 复杂查询

SQL 复杂查询

目录 复杂查询 一、目的和要求 二、实验内容 &#xff08;1&#xff09;查询出所有水果产品的类别及详情。 查询出编号为“00000001”的消费者用户的姓名及其所下订单。&#xff08;分别采用子查询和连接方式实现&#xff09; 查询出每个订单的消费者姓名及联系方式。 在…
阅读更多...
如何在 UniApp 中实现 iOS 版本更新检测

如何在 UniApp 中实现 iOS 版本更新检测

随着移动应用的不断发展&#xff0c;保持应用程序的更新是必不可少的&#xff0c;这样用户才能获得更好的体验。本文将帮助你在 UniApp 中实现 iOS 版的版本更新检测和提示&#xff0c;适合刚入行的小白。我们将分步骤进行说明&#xff0c;每一步所需的代码及其解释都会一一列出…
阅读更多...
ssm面向品牌会员的在线商城小程序

ssm面向品牌会员的在线商城小程序

摘要 随着Internet的发展&#xff0c;人们的日常生活已经离不开网络。未来人们的生活与工作将变得越来越数字化&#xff0c;网络化和电子化。它将是直接管理面向品牌会员的在线商城小程序的最新形式。本小程序是以面向品牌会员的在线商城管理为目标&#xff0c;使用 java技术制…
阅读更多...
《OpenCV 图像缩放、翻转与变换全攻略：从基础操作到高级应用实战》

《OpenCV 图像缩放、翻转与变换全攻略：从基础操作到高级应用实战》

简介&#xff1a;本文详细阐述了 OpenCV 在图像操作中的关键技术&#xff0c;包括缩放&#xff08;确定尺寸缩放与按比例缩放&#xff09;、翻转&#xff08;沿不同轴的翻转方式&#xff09;以及变换&#xff08;平移、旋转、三点确定变换和四点确定变换即透视变换&#xff09;…
阅读更多...
sql注入报错分享（mssql+mysql）

sql注入报错分享（mssql+mysql）

mysql mysql的报错内容比较多 网上也有比较多的 这里重复的就不多介绍了。一笔带过 溢出类 bigint 当超过mysql的整形的时候&#xff0c;就会导致溢出&#xff0c;mysql可能会将错误信息带出。这里user()是字母默认为0 取反以后1可能就会导致异常。 报错特征 BIGINT UNSIG…
阅读更多...
FastAPI重载不生效？解决PyCharm中Uvicorn无法重载/重载缓慢的终极方法！

FastAPI重载不生效？解决PyCharm中Uvicorn无法重载/重载缓慢的终极方法！

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 重载缓慢 📒📝 问题概述🚨 相关原因📝 解决方案一📝 解决方案二📝 解决方案三📝 解决方案四⚓️ 相关链接 ⚓️📖 介绍 📖 在使用FastAPI开发时，reload=True 本应让你在修改代码后自动重启服务，提升开发效率…
阅读更多...
AI智能稿件排版系统订单管理系统

AI智能稿件排版系统订单管理系统

在现代制造业和服务行业中&#xff0c;高效的生产流程和精确的订单管理是企业保持竞争优势的核心要素。AI智能稿件排版系统和订单管理系统作为一体化解决方案&#xff0c;以其强大的自动化能力和智能化技术&#xff0c;帮助企业实现排版效率提升、数据格式兼容性增强和生产流程…
阅读更多...
jetson orin系列开发版安装cuda的gpu版本的opencv

jetson orin系列开发版安装cuda的gpu版本的opencv

opencv安装包下载地址&#xff1a; https://github.com/opencv/opencv/扩展库下载地址&#xff1a; https://github.com/opencv/opencv_contrib1. 删除jetpack包中的opencv版本 原先的opencv库安装在目录/usr/lib/aarch64-linux-gnu/下&#xff08;一般其他的第三方库也都安…
阅读更多...
24小时自动监控，自动录制直播蓝光视频！支持抖音等热门直播软件

24小时自动监控，自动录制直播蓝光视频！支持抖音等热门直播软件

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 工具特点📒📝 使用🎈 获取方式 🎈⚓️ 相关链接 ⚓️📖 介绍 📖 对于许多直播爱好者和内容创作者而言，错过心爱的直播或难以搜集视频素材始终是一个难题。今天，给大家分享的这款工具可以轻松解决这个问题，它拥有…
阅读更多...
dockerfile构建Nginx镜像练习二（5-2）

dockerfile构建Nginx镜像练习二（5-2）

环境准备&#xff1a; (1)保证拥有centos基础镜像 docker images | grep centos (2)服务器保证可以连接外网 1.创建工作目录 mkdir nginx cd nginx 2.在工作目录中创建并编写Dockerfile文件 vim dockerfile #定义基础镜像 FROM centos:7#维护者信息(可缺省) MAINTAINER d…
阅读更多...
Etcd 框架

Etcd 框架

基本了解 客户端、长连接与租约的关系 客户端对象 etcd的客户端对象是用户与etcd服务进行交互的主要接口&#xff0c;主要功能就是存储、通知和事务等功能访问 键值存储&#xff1a;客户端通过put 和 get操作存储数据&#xff1b;数据存储在etcd的层级化键值数据库中监听器&a…
阅读更多...
滑动窗口篇——如行云流水般的高效解法与智能之道（1）

滑动窗口篇——如行云流水般的高效解法与智能之道（1）

前言&#xff1a; 上篇我们介绍了双指针算法&#xff0c;并结合具体题目进行了详细的运用讲解。本篇我们将会了解滑动窗口。滑动窗口是一种常用的算法技巧&#xff0c;主要用于处理子数组、子串等具有“窗口”特性的题目。柳暗花明&#xff0c;乃巧解复杂问题的高效之道。 一. …
阅读更多...
数据结构-树状数组专题（2）

数据结构-树状数组专题（2）

一、前言 接上回树状数组专题&#xff08;1&#xff09;&#xff0c;这次主要介绍差分跟树状数组联动实现区间更新 二、我的模板 重新放了一遍&#xff0c;还是提一嘴&#xff0c;注意下标从0开始&#xff0c;区间左闭右开 template <typename T> struct Fenwick {in…
阅读更多...
QA｜使用 MapleSim 模拟卷料生产 (Converting)和卷对卷系统 (R2R)

QA｜使用 MapleSim 模拟卷料生产 (Converting)和卷对卷系统 (R2R)

使用 MapleSim 模拟卷料生产 (Converting)和卷对卷系统 (R2R) 纸张、薄膜、塑料、金属箔、新能源电池和卷料生产设备 (converting equipment) 的制造商正在转向建模和仿真&#xff0c;以提升卷料处理的设备性能和产品质量。MapleSim 卷料处理库提供了专业的建模元件以及功能&a…
阅读更多...
2024ARM网络验证 支持一键云注入引流弹窗注册机 一键脱壳APP加固搭建程序源码及教程

2024ARM网络验证 支持一键云注入引流弹窗注册机 一键脱壳APP加固搭建程序源码及教程

此套源码功能强大&#xff0c;支持APK脱壳、注入、网络验证、注册机、引流弹窗、更新弹窗和公告等功能&#xff0c;并具有强大的系统应用管理端&#xff0c;可轻松管理用户数量和卡密状态等数据统计。armpro脱壳软件可在线修改手机文件和游戏数据&#xff0c;并可添加会员功能、…
阅读更多...
汉诺塔（hanio）--C语言函数递归

汉诺塔（hanio）--C语言函数递归

文章目录 前言一、汉诺塔的图解二、问题分析总结 前言 什么是汉诺塔&#xff1f; 汉诺塔(Tower of Hanoi)&#xff08;也称河内塔&#xff09;是有法国数学家爱德华卢卡斯于1883年发明的一道智力题。它源于印度的一个古老传说&#xff1a;大梵天创造世界的时候做了三根钻石柱子…
阅读更多...
最新文章

Copyright @ 2022~2023