git clone & pull 大数据量代码时服务器内存爆满

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2910 天前的主题，其中的信息可能已经有所发展或是发生改变。

centos 7

1-2G 内存 clone 直接导致内存溢出， remote out of memery

4G 内存， 4G SWAP git pull 也都跑满了。。。

git-merge 内存占用最多

clone & pull 后内存也一直满着不释放。。。

大家遇到这种情况都是怎么解决的呢？

clone

pull

内存

git

12 条回复 • 2016-12-08 09:54:40 +08:00

wayslog

2016-12-04 03:29:30 +08:00 via Android

gitlab 服务器？换成 gogs 吧…我用着挺好用的

zddhub

2016-12-04 07:31:04 +08:00 via iPhone

Git 只跟踪源码就好，大文件用 git lfs

elgoog1970

2016-12-04 09:53:48 +08:00

换硬件

9hills

2016-12-04 10:27:53 +08:00 via iPhone

好几 G 的代码……里面都是什么

shoaly

2016-12-04 10:33:15 +08:00

问一下你们数据量有多大, 之前用 git 还没碰到过性能极限...

auser

2016-12-04 11:20:35 +08:00 via iPhone

目测 linux 源码

HLT

2016-12-04 14:14:05 +08:00

@9hills
@shoaly
@wayslog
@zddhub

我们有个小需求，就是类似 clone 一个像 cdnjs 这种级别的，并且定时 pull

ibrother

2016-12-04 14:32:12 +08:00

@HLT gitlab 企业版有 mirror 的功能，应该能满足你们这个需求

xiamx

2016-12-05 00:10:12 +08:00

遇到这种情况大概就是加内存吧

forcecharlie

2016-12-05 10:23:34 +08:00

第一得看是什么 git 搭建的服务，第二是看什么 git 协议的访问，比如有些 git http 服务器的实现就会致使进程内存占用过高，以 git clone （ fetch merge ）本质上是 git fetch-pack 和 git upload-pack 在交换标准输出，这个过程是动态的，如果合理的话，内存占用并不会很高，当时有一些服务器，比如 HTTP 服务器，直接将标准输出写入到 http 响应包体，又不用 chunked 编码，这样的后果就是，一个大仓库， 2G ， HTTP 的包体就需要 >2G ，（ git 的 http 客户端基本上使用 curl ， winhttp （ libgit2 ）这样的实现，客户端内存一般不会爆掉。），老版本的 gitlab 使用的 grack 就是这样的。

HLT

2016-12-08 02:47:04 +08:00

@forcecharlie 所以。。怎么办呢

forcecharlie

2016-12-08 09:54:40 +08:00

@HLT 你把你搭建的 git 服务器信息贴出来，还有访问方式。

git clone & pull 大数据量代码时 服务器内存爆满

git clone & pull 大数据量代码时服务器内存爆满