Git（七）.git 文件夹瘦身，GitLab 永久删除文件

目录

    • 一、问题背景
    • 二、问题复现
      • 2.1 新建项目
      • 2.2 上传大文件
      • 2.3 上传结果
    • 三、解决方案
      • 3.1 GitLab备份与还原
        • 1）备份
        • 2）还原
      • 3.2 删除方式一：git filter-repo 命令【推荐】
        • 1）安装
        • 2）删除本地仓库文件
        • 3）重新关联远程仓库
        • 4）删除远程仓库文件
        • 4）clean up 清理远程仓库
      • 3.3 删除方式二：git branch-filter 命令【不推荐】
        • 1）删除本地仓库文件
        • 2）删除远程仓库文件
        • 3）重新 repack 远程分支到本地

一、问题背景

由于项目在打 Docker 包的时候，需要将前端的包也打到 Docker 容器中，所以将前端包和前端的 Dockerfile 文件都放在了后端的 Git 目录下。

久而久之，由于前端包的更新迭代，Git 上面会一直保留前端包的历史版本，所以整个后端的 .git 越来越大，截至目前已经有 2.44G 了。每次有新的小伙伴加入 git 后都需要花很长时间来拉取代码，苦不堪言，而且 Jenkins 上面新建项目的拉取也会超时。

二、问题复现

2.1 新建项目

在 GitLab 上新建一个项目 my-test。

在这里插入图片描述

我们可以看到，新建好的项目，默认只有 20KB。

在这里插入图片描述

2.2 上传大文件

执行命令将项目克隆到本地：

git clone http://xxxx/xxx/xxx.git

此时，.git 文件夹大小为 30.7KB。

为了更加全面地测试，我们创建两个分支，并且分别上传文件。

分支、文件结构对应关系如下：

  • dev-test1 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

  • dev-test2 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

相关命令如下：

# 创建dev-test1分支
git checkout -b dev-test1
git add -A .
git commit -m "update test1"
git push origin dev-test1

# 创建dev-test2分支
git checkout -b dev-test2
git add -A .
git commit -m "update test2"
git push origin dev-test2

2.3 上传结果

将大文件上传到 GitLab 后，仓库的大小如下：

  • .git：11.2MB
  • GitLab：11.3MB

在这里插入图片描述

三、解决方案

注意：操作前要保证是最新版本。

3.1 GitLab备份与还原

1）备份

在操作之前，我们要先备份 GitbLab 中的项目。最简单的方式就是直接将项目导出来。

在 GitLab 上打开项目，进入菜单 Settings -> General -> Advanced，点击 Expand 打开折叠。

在这里插入图片描述

点击 Export project。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当导出完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会有一个下载链接，点击链接下载，保存24小时。

在这里插入图片描述

下载后文件如下，文件名格式为：日期_时分秒_用户名_项目名.tar.gz

在这里插入图片描述

2）还原

点击首页的 New project。

在这里插入图片描述

选择 Import project。

在这里插入图片描述

选择 GitLab export。

在这里插入图片描述

输入项目名称，选择我们之前导出的 .tar.gz 文件，点击 Import project。

在这里插入图片描述

还原完毕，分支和大小都在。

在这里插入图片描述

3.2 删除方式一：git filter-repo 命令【推荐】

  • git-filter-repo 官网： https://github.com/newren/git-filter-repo
  • python 官网： https://www.python.org/

注意：git-filter-repo 工具需要依赖 Git 和 Python。

1）安装
# 安装（pip是Python自带的安装工具）
pip install git-filter-repo
# 查看版本
git-filter-repo --version

执行结果：

在这里插入图片描述

注意：git-filter-repo 需要在一个刚刚 clone 下来的仓库中进行操作，否则会操作失败。

Aborting: Refusing to destructively overwrite repo history since
this does not look like a fresh clone.
(expected at most one entry in the reflog for HEAD)
Please operate on a fresh clone instead. If you want to proceed
anyway, use --force.

在这里插入图片描述

2）删除本地仓库文件

git clone 到本地后立即执行如下命令：

（不要做切换分支等操作，否则会报错，删除重新克隆才行。）

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-repo --path-glob '*.pdf' --invert-paths

# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-repo --path-glob 'pdf/test_1.pdf' --invert-paths

执行结果如下：

在这里插入图片描述

git filter-repo 命令本身是用来将处理后的本地仓库重新推送到新的远程仓库用的，所以执行命令之后，查看 .git/config 配置文件，里面远程仓库的内容都被清空了：

在这里插入图片描述

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32.8KB。

3）重新关联远程仓库

重新关联远程仓库的命令如下：

git remote add origin https://git.xxx.cn/acgkaka/my-test.git
4）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

git push --force origin --all

执行结果如下：

在这里插入图片描述

此时，GitLab 的远程仓库大小还是 11.2 MB，并无效果，别担心，还有最后一步操作。

在这里插入图片描述

4）clean up 清理远程仓库

做完上面的操作之后，等待半小时，是的，等待30分钟，因为 GitLab 不会清理半小时内提交的文件。

在 GitLab 上打开项目，进入菜单 Settings -> Repository -> Repository cleanup，点击 Expand 打开折叠。

在这里插入图片描述

在使用 clean up 时，需要提交一个文件，这个文件就是文件根目录下的 .git/filter-repo/commit-map。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当cleanup完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会说明 cleanup 后的仓库大小，为 0.1MB。

在这里插入图片描述

再去 GitLab 查看远程仓库大小，从 11.3MB 直降至 51KB，瘦身成功。

在这里插入图片描述

（经验证，这种方式删除掉的历史文件，即使有其他成员的本地仓库有未提交的版本，需要复制出来，删除本地仓库重新克隆后，再粘贴提交。）

3.3 删除方式二：git branch-filter 命令【不推荐】

注意： 目前经过尝试，发现 git branch-filter 虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。

1）删除本地仓库文件

可以直接操作删除所有分支的文件，但是要注意必须保证所有分支都是最新代码才行。

也可以切换到具体分支，执行 git pull 拉取最新代码后，再进行删除，只要去除后面的 -- --all即可。

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch '*.pdf'" --prune-empty --tag-name-filter cat -- --all

# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch 'pdf/test_1.pdf'" --prune-empty --tag-name-filter cat -- --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被重写了。

在这里插入图片描述

2）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

# 推送本地所有分支到远程
git push --force --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被强制更新了。

在这里插入图片描述

我们可以去 GitLab 上面看下提交记录，"如果之前的提交只涉及被删除文件的话，对应提交记录就会被清空，如果提交中除了被删除文件之外还包含其他文件，那么提交记录和其他文件都会被保留，不受影响。

在这里插入图片描述

3）重新 repack 远程分支到本地

执行如下命令，删除 refs/original 文件夹，并重新更新远程仓库到本地。

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
git reflog expire --expire=now --all
git gc --prune=now

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32KB。

再次声明，这种方式虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。远程仓库大小依然为 11.3MB。（有大佬知道后面怎么处理的，欢迎评论补充）

在这里插入图片描述

整理完毕，完结撒花~ 🌻





参考地址：

1.使用 git-filter-repo 清理 git 历史记录，https://nyakku.moe/posts/2020/06/12/use-git-filter-repo-clean-git-history.html

2.利用git-filter-repo无缝迁移git项目，https://zhuanlan.zhihu.com/p/465078705

3.git: 如何减少.git文件的大小？https://blog.csdn.net/LOI_QER/article/details/107911115

4…git文件过大，github仓库瘦身，https://blog.csdn.net/luchengtao11/article/details/82531044

5.从Git仓库（GitLab）中彻底去除大文件，https://zhuanlan.zhihu.com/p/589903338

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/114807.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

深度学习实战：基于TensorFlow与OpenCV的手语识别系统

深度学习实战：基于TensorFlow与OpenCV的手语识别系统

文章目录 写在前面基于TensorFlow与OpenCV的手语识别系统安装环境一、导入工具库二、导入数据集三、数据预处理四、训练模型基于CNN基于LeNet5基于ResNet50 五、模型预测基于OpenCV 写在后面 写在前面 本期内容：基于TensorFlow与OpenCV的手语识别系统 实验环境&…
阅读更多...
333333333333

333333333333

一、Map 接口 接下来讲的都是基于 jdk8 来开展的。 1.1 特点 1、Map 与 Collection 并列存在。Map 是用于保存具有映射关系的数据，即 key-value。 2、Map 中的 key 和 value 可以是任何引用类型的数据类型。 3、Map 中的 key 不允许重复，原因和 HashSet…
阅读更多...
动态路由协议OSPF项目部署(二)

动态路由协议OSPF项目部署(二)

1. 静态和动态路由的区别； 2. OSPF协议通信过程与部署； 3. OSPF协议在项目上的应用场景 - OSPF - 开放式最短路径优先 - 一个动态路由协议 - 路由器转发数据 - 路由器需要一张地图 - 路由表 - 路由表如何构建的？ - 依靠手动 或…
阅读更多...
API接口加密，解决自动化中登录问题

API接口加密，解决自动化中登录问题

一、加密方式 AES：对称加密，快RAS：非对称加密，慢AESRAS：安全高效 加密过程：字符串》字节流》加密的字节流（算法），解密有可能出现乱码，所以不能直接转成字符…
阅读更多...
【LeetCode】剑指 Offer Ⅱ 第8章：树（12道题） -- Java Version

【LeetCode】剑指 Offer Ⅱ 第8章：树（12道题） -- Java Version

题库链接：https://leetcode.cn/problem-list/e8X3pBZi/ 类型题目解决方案二叉树的深搜剑指 Offer II 047. 二叉树剪枝递归（深搜）：二叉树的后序遍历 （⭐）剑指 Offer II 048. 序列化和反序列化二叉树递归&…
阅读更多...
吴恩达《机器学习》4-1-＞4-5:多变量线性回归

吴恩达《机器学习》4-1-＞4-5:多变量线性回归

一、引入多维特征 在多维特征中，我们考虑的不再是单一的特征，而是一组特征，例如房价模型中可能包括房间数、楼层等多个特征。这些特征将组成一个向量，表示为(𝑥₁, 𝑥₂, . . . , 𝑥ₙ)&#x…
阅读更多...
【腾讯云HAI域探秘】速通腾讯云HAI

【腾讯云HAI域探秘】速通腾讯云HAI

速览HAI 产品简介 腾讯云高性能应用服务(Hyper Application lnventor，HA)，是一款面向 Al、科学计算的 GPU 应用服务产品，为开发者量身打造的澎湃算力平台。无需复杂配置，便可享受即开即用的GPU云服务体验。在 HA] 中，…
阅读更多...
配置git并把本地项目连接github

配置git并把本地项目连接github

一.配置git 1.下载git（Git），但推荐使用国内镜像下载（CNPM Binaries Mirror） 选好64和版本号下载，全部点下一步 下载完成后打开终端，输入 git --version 出现版本号则说明安装成功 然后继续…
阅读更多...
Redis统计大法：挖掘数据的四重宝藏【redis第五部分】

Redis统计大法：挖掘数据的四重宝藏【redis第五部分】

Redis统计大法：挖掘数据的四重宝藏 前言第一：redis集合统计简介第二：聚合统计->数据的综合分析总和（Sum）：平均值（Average）中位数（Median） 第三&#xff1a…
阅读更多...
【C++】多态 ⑪ ( 纯虚函数和抽象类 | 纯虚函数语法 | 抽象类和实现 | 代码示例 )

【C++】多态 ⑪ ( 纯虚函数和抽象类 | 纯虚函数语法 | 抽象类和实现 | 代码示例 )

文章目录 一、纯虚函数和抽象类1、纯虚函数2、纯虚函数语法3、抽象类和实现 二、完整代码示例 一、纯虚函数和抽象类 1、纯虚函数 纯虚函数 : 在 C 语言中 , " 纯虚函数 " 是 特殊类型的 虚函数 , " 纯虚函数 " 在 父类 中 声明 , 但是没有实现 ; 抽象类 …
阅读更多...
从瀑布模式到水母模式：ChatGPT引领软件研发的革新之路

从瀑布模式到水母模式：ChatGPT引领软件研发的革新之路

ChatGPT引领软件研发的革新之路 概述操作建议本书优势 内容简介作者简介专家推荐读者对象目录直播预告写在末尾： 主页传送门：📀 传送 概述 计算机技术的发展和互联网的普及，使信息处理和传输变得更加高效，极大地改变了…
阅读更多...
Azure 机器学习 - 使用 AutoML 和 Python 训练物体检测模型

Azure 机器学习 - 使用 AutoML 和 Python 训练物体检测模型

目录 一、Azure环境准备二、计算目标设置三、试验设置四、直观呈现输入数据五、上传数据并创建 MLTable六、配置物体检测试验适用于图像任务的自动超参数扫描 (AutoMode)适用于图像任务的手动超参数扫描作业限制 七、注册和部署模型获取最佳试用版注册模型配置联机终结点创建终…
阅读更多...
JUL 日志

JUL 日志

JUL日志级别 日志分为7个级别，详细信息我们可以在Level类中查看： SEVERE（最高值）- 一般用于代表严重错误WARNING - 一般用于表示某些警告，但是不足以判断为错误INFO （默认级别） - 常规消息CON…
阅读更多...
Hadoop HDFS(分布式文件系统)

Hadoop HDFS(分布式文件系统)

一、Hadoop HDFS(分布式文件系统) 为什么要分布式存储数据 假设一个文件有100tb，我们就把文件划分为多个部分，放入到多个服务器 靠数量取胜，多台服务器组合，才能Hold住 数据量太大，单机存储能力有上限，需要…
阅读更多...
QT在线安装5.15之前的版本（下载速度飞快）

QT在线安装5.15之前的版本（下载速度飞快）

使用最新的QT在线安装器，安装QT版本时只能安装5.15以及之后的版本，安装QT5.15之前的版本只能通过离线安装的方式，离线安装后还要自己去配置QT，离线安装还有个问题的，后续维护比较麻烦，QT的维护工具还要自己…
阅读更多...
springboot2.x使用@RestControllerAdvice实现通用异常捕获

springboot2.x使用@RestControllerAdvice实现通用异常捕获

文章目录 demo地址实现效果引入基础类准备1.通用枚举与错误状态枚举2.定义通用返回结果3.自定义业务异常 统一异常捕获测试 demo地址 demo工程地址 实现效果 当我们输入1时，正常的返回通用的响应结果当我们输入2时，抛出异常，被捕获然后返回…
阅读更多...
macOS 安装brew

macOS 安装brew

参考链接： https://mirrors4.tuna.tsinghua.edu.cn/help/homebrew/ https://www.yii666.com/blog/429332.html 安装中科大源的： https://zhuanlan.zhihu.com/p/470873649
阅读更多...
《TCP/IP详解 卷一：协议》第5章的IPv4数据报的Checksum(校验和)字段的计算（这里才能解开你的困惑）

《TCP/IP详解 卷一：协议》第5章的IPv4数据报的Checksum(校验和)字段的计算（这里才能解开你的困惑）

首先，我当你看过书，但是比较懵。 1，实例说明Checksum(校验和)的计算步骤 直奔主题，分析一下这个Checksum（校验和）怎么算出来的。 先用Wireshark随便抓一个UDP或TCP包分析一下。 如上面，我们得…
阅读更多...
Python数据分析：在职场中的竞争优势

Python数据分析：在职场中的竞争优势

前言 在职场中，技能的重要性是不言而喻的。越来越多的职位要求员工具备数据分析能力，而Python作为一种强大的数据分析工具，正在成为职场中的“利器”。然而，尽管Python数据分析提供了巨大的优势，许多人依然未能掌握这…
阅读更多...
团队表 -多级团队设计

团队表 -多级团队设计

团队表 -多级团队设计 user_team团队表 ，如果存在子团队 1.我们可以通过每一个团队字段加一个parentid （相当于一对多的关系） 2.还可以设置一个字段CodingNum,比如这样: //系统为了管理查询团队自动生成的有序编号 可以使用3位数代表一个…
阅读更多...
最新文章

Copyright @ 2022~2023