V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 1910 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目背景

传统网络数据分析会在交换机上配置网络数据镜像，将 Packet 复制后发送到目标机器，实现网络流量镜像的功能。
而在云平台上，目前网络数据采集还没有统一的方案。针对私有云平台，目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
对于 vmware 平台分布式虚交换机配置采集的方案，性能较好，不占用客户机资源，但其属于商业产品，且只适用于购买 vmware 私有云用户；而在 hypervisor 上监听采集，目前有产品开发，性能较好，但只适用于 OpenStack 私有云；采用 OVS 流表方案，优势是免费，不占用客户机资源，但是配置复杂，且只能用于 OpenStack 私有云。
因此，开发基于 libpcap + GRE 封装转发的应用，或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

Packet-Agent 简介

Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术，从业务网卡抓包，进行 GRE 封装后将采集到的数据包发送到另一台远端机器，供分析使用。

Docker Kubernetes 支持

Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说，Packet-Agent 封装成容器后，与需要监控的业务容器放在同一个 K8S Pod 中，与其共享网络层并抓包镜像网络流量。
具体方案见项目文档：K8S_traffic_mirror

参与 Packet-Agent 项目

欢迎大家参与此项目，包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议，或者将该项目介绍给相关的朋友。衷心感谢。

抽奖回馈社区

为感谢大家的支持，抽奖送一台 PS4 主机，抽奖方法如下：

在这个帖子下面回复参与讨论。
获奖资格：从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数（'*'是乘法，'%'是数学取余数）
比如：有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次，那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user，分配给他们的抽奖号码依次是 0，1，2。假设 A 股收盘点数是 3012.34 点，那么 3012.34 * 100 % 3，中奖号码就是 1，中奖用户就是 @y_user
提示：因为会排序去重，多次回复不会增加中奖概率。

第 1 条附言 · 2019-09-18 17:11:23 +08:00

前 500 位名单如下，依次编号 0~499：

0hey0：编号 0
0ps：编号 1
0x3f3f
1005gel
109109
12
123s
1more
1rror
284376485
3CH0
402645707
40huo
49degree
7gugu
810244966
8629
99911a
AJDX3906
AaronLiu00
Ahs
Ahy
AidenChen
AlexaZhou
AmadeusGhost
AnonymousM
Believer
BoiledEgg
BriFuture
ChenXuting
ChristopherWu
CoCoMcRee
Coande
CodeWind
CrazyRain0001
Cyron
Despacito
DrJoseph
DreamSpace
E1n
ESeanZ
Famio
Flyerwzb
FuryBean
FuturesXu
G1n233
GM
Hauserkk
Hugehard
IDCFAN
ITJoker
Isight
JKing
JL1990
JasperYanky
Jiuyu
Joker3120
JunkLeo
JusticeShi
Juszoe
KasuganoSoras
Keyes
Kimiato
KingPL
Kinnice
LWXYFER
LXVC
LazYFire
Licsber
LinusTor
Lisylfn
LittleYangYang
MITOO
Macolor21
MiaRunis
Mikewu
MioAkiyama
Motoi
MrMario
MyFaith
Nasei
NoirStrike
OrangeM21
Orenoid
PeterPig
PickMio
PlayByMyself
PyCode
RanchoTuring
Realucas
Rehtt
Rheinmetal
SaberJack
Sanko
Saszr
Shunte
SmallZheng
Suvigotimor
TangCuYu2333
Tenlp
TheWalkingDead
Themyth
Tink
Tong16
UnknownR
Vanctol
VermouthcZzz
WhyLiam
Wien
WilliamYang
XSG
YFeei
YenvY
Yorkzhu
Zainxu
ZiLong
Zsh110
Zzdex
aWangami
aaaaaaaaa
abelce
actar
acz154
ahaxzh
alexzhan
alikesi
allencloud
alpha2016
alschw
anjiannian
anoper
archknight
arfaWong
aru
atan
az422
azh7138m
azuginnen
b1gCi
b1rdb0y
baixiaoyu2997
blueset
bobsam
bolshevik
bomb77
bullettrain1433
buried
bxb100
byron
c
c0878
carbon
caserest
cbangchenLL7
cc3630
chanots
chashao
chinafeng
chinvo
chuanqirenwu
chy373180
cjc2017
cjpjxjx
cmllwxxl
cnbattle
co3site
codereric
controller
coolair
cornelia
corningsun
cosmo
crabtsk
crs0910
csx163
cxh2000210
cxy1234
cyssxt
d5
dabaibai
dewi
dixeran
dontbesad
dream7758522
drlalll
duola
einvince
elbertzhu
epicSoldier
eptwd
everydiao
ezioruan
falcon05
fatelight
fathuman
fcj558
feifan00x
felixcode
fghshunzi
fhvch：编号 199

第 2 条附言 · 2019-09-18 17:11:53 +08:00

fire2y：编号 200
fishofcat
flxxy
fo3xx
frostcake
gIrl1990
galenzhao
gangsta
gaobh
gcod
gdcbhtd
geekzjj
gleox
goodryb
gotounix
gstqc
guoluwei
gxvv
h4lt
hangvane
haofly
harryge
harryge01
hebin
hebingchang
hedys
hfutzj
hillw4h
hohoho
huadi
huishu
huiwl
hzwjz
i0error
iAcn
iThink
iakisey
iamalive2008
icekingcy
ifulikeweirdo
il1707
ilixin
illl
imNull
imay
ittianyu
iture
ivanyin
iwtbauh
javashell
jaylong
jerrodpoole
jiang123574
jiangming1399
jiexixijie
jiezhi
jimages
jjxh
jkbspin
johnnie502
joocejie
jsdtxm
jsnjfz
jsonzz
just1
justin2018
kaixuan1901
kakudesu
kalagxw
kebyn
killeder
killerzhangsan
koalaMagic
kohos
koromon
kraymond
ksedz
kukat
kutear
laowei222
ldm0
leafleave
lee82014312
leesh853761
lilihangzhou
linpm
litao3rd
littleghosty
liu19931020
liujiajun1999
liuymf
livexia
lixile
ljlljl0
lmaq
lockerhyz
lostexile
loveyu
lqzhgood
lrvy
lscho
luckybo
luoqing1477
luozic
lycc
lyuehh
lzy4happy
manhere
maohhgg
maooyer
marsLeo
mason961125
meeken
menyakun
mhcyong
ming7435
miragetu
mlhadoop
moln
molvqingtai
monkey2
moonrailgun
morethansean
moryxsw
mosesyou
movax21h
mpb
mrcn
mulei200
mulu
mymike
mynamewang0
mywaiting
n37r06u3
nameldk
natforum
nomoon
nooper
oIMOo
octobersnow
okjb
oovveeaarr
orcinusorca
orient
pandachow
phithon
pinkward
plaknight
poison123
polythene
ponder
ptlkStar
qdpoboy
qiangmin
qinghon
qmake
qq29701
qq625692420
raffaellolin
rainfox
ranleng
rapperx2
reticentfat
richard1122
rinsingw
rjie2008
rosu
ruiyinjinqu
runningding
ryV60s
saberlove
salmon5
scoful
sdandroid
select
sep9999
set01
setsena
sevenphp
sgq1128
shadowyue
shdcn
shell314
shishen10
shuaizi
sike03
siknet
silaike
silenceboychen
singerll
sixm
slwl123
smilzman
sniperking1234
songjiaxin2008
spemoon
squallsdjl
sreal
st4rg4z3r
standin000：编号 399

第 3 条附言 · 2019-09-18 17:12:21 +08:00

starrycat：编号 400
stayreal
steptodream
stevenbipt
sun522198558
suyuyu
swulling
syy
tailaqumos
tangtj
test23
tetora
tf141
tfdetang
thoutherKai
thulof
tingchina
tongz
tookbra
totopo
tsukiikekaoru
tt0411
tuot
tyhunter
tyx1703
uhian
unknownservice
uptime
vast0906
vcinex
vipdog73
vipwpcom
visitant
vjnjc
vstar
wangxxxing
wanyulaowang
weixingna
whtsky
wingoo
wlw0327
wojfsdj
wph95
wuYin
wwek
wy53
wzw
x2ve
xddxdd
xduanx
xiangchen2011
xianxianyu
xiaobanlong
xiaodog
xiaome
xiaonec
xiazero
xiazhiisgood
xiongbiao
xiri
xiubin
xml123
xmoon
xrds7986
xsephiroth
xuc
xuecan
xuqianyu
y547679519
yangfan1999
yatestxw
yeya24
ylhawj
ysicing
ytlm
yufj
yukiww233
yycpro
yyork
yzyun08
z919126592
zavieryip
zealinux
zenze
zerozz
zhangqilin
zhchyu999
zhengjian
zhensjoke
zhouyg
zhuawadao
zjx1993
zongwan
zpfhbyx
zsdroid
ztnuaa
zvcs
zytomorrow
zzmstring
zzw1998：编号 499

emsp

采集

镜像

私有

549 条回复 • 2019-09-26 12:49:40 +08:00

1 2 3 4 5 6

❮

❯

201

joocejie

2019-09-12 23:16:50 +08:00

@Macolor21 项目 docs 目录下有个 benchmark：Packet-Agent 性能评测.md
如背景介绍，其他产品有类似功能，但是不是同样的原理，不方便简单做性能对比。

202

ptlkStar

2019-09-12 23:17:49 +08:00

分母

203

joocejie

2019-09-12 23:18:04 +08:00

@bullettrain1433 还有这种事情😓，我这个是公司出预算。

204

duola

2019-09-12 23:21:24 +08:00

分母来了。

205

zongwan

2019-09-12 23:21:34 +08:00

开源项目都送东西。。。分母分母

206

joocejie

2019-09-12 23:24:04 +08:00

@allencloud 与 tcpdump 相同的地方是都使用了 libpcap，不同点是 tcpdump 一般保存为本地 pcap 文件，Packet-Agent 将数据包做 GRE 封装后发送到其他机器。

207

joocejie

2019-09-12 23:32:42 +08:00

@harryge 确实和 Istio 同样使用 Sidecar 模式，将容器植入到 Pod 中，但我们只做简单的流量采集工作。

208

yyork

2019-09-12 23:33:19 +08:00 via iPhone

分母

209

joocejie

2019-09-12 23:36:44 +08:00

@c0878 没有用过 AWS 的 VPC Flow，看了一下它好像只采集 meta 信息，没有采集完整数据包。
可能我理解不到位，如果采集完整包，那功能就是接近的。

210

glorifiedatom

2019-09-12 23:42:03 +08:00 via iPhone

分母........

211

yeya24

2019-09-12 23:42:37 +08:00

如果要网络流量的话，直接用 goreplay 不是也可以吗？顺便分母+1

212

mlhadoop

2019-09-12 23:45:19 +08:00

喵

213

WilliamYang

2019-09-12 23:48:15 +08:00

支持

214

iamalive2008

2019-09-12 23:49:41 +08:00

支持一波

215

dewi

2019-09-12 23:49:58 +08:00 via iPhone

来看看

216

joocejie

2019-09-12 23:50:07 +08:00

@yeya24 谢谢，我改天借鉴一下这个 goreplay

217

810244966

2019-09-12 23:51:49 +08:00

顶一个

218

OrangeM21

2019-09-12 23:59:16 +08:00

分母来了。

219

Ultraman

2019-09-13 00:23:50 +08:00 via Android

PS4 啥的不重要，主要是我觉得对你们这个项目感兴趣🐶

220

miragetu

2019-09-13 00:27:43 +08:00

for PS4 haha

221

natforum

2019-09-13 00:30:38 +08:00

ps4 我来了

222

gangsta

2019-09-13 00:32:56 +08:00

2K19 已买, 坐等 LZ 的 PS4 发货...😅

223

cosmo

2019-09-13 00:33:09 +08:00

分母分母
for PS4

224

pC0oc4EbCSsJUy4W

2019-09-13 00:34:07 +08:00

分母来啦

225

stayreal

2019-09-13 00:34:43 +08:00

开源项目都送东西

226

aaaaaaaaa

2019-09-13 00:42:13 +08:00

很有用，谢谢

227

mpb

2019-09-13 00:46:18 +08:00 via iPhone

PS4 啥的不重要，主要是支持开源🐶

228

chy373180

2019-09-13 01:00:23 +08:00

分母来了

229

scoful

2019-09-13 01:04:31 +08:00

先分母

230

YFeei

2019-09-13 01:09:25 +08:00

分母+1

231

Keyes

2019-09-13 01:19:04 +08:00 via iPhone

vpp 引流方案能用在这个东西上吗？

232

LXVC

2019-09-13 01:57:35 +08:00 via iPhone

拼一波人品

233

iwtbauh

2019-09-13 02:39:20 +08:00 via Android

没看明白，直接运行一个 tcpdump 然后 ignore 一个端口再管道传给 netcat 用这个端口把数据发给远程主机不就行了。这个软件有什么优势？

234

singerll

2019-09-13 05:11:57 +08:00 via Android

排队

235

alikesi

2019-09-13 05:22:37 +08:00 via Android

早上打卡

236

luozic

2019-09-13 05:25:45 +08:00 via iPhone

流量镜像？

237

johnnie502

2019-09-13 05:41:05 +08:00

不抽白不抽

238

E1n

2019-09-13 07:05:59 +08:00 via Android

支持😁

239

mrcn

2019-09-13 07:06:53 +08:00 via Android

拉低中奖率

240

co3site

2019-09-13 07:12:06 +08:00 via Android

支持开源

241

mulu

2019-09-13 07:19:35 +08:00 via Android

一直是分母的我，也有分子的梦

242

xduanx

2019-09-13 07:45:38 +08:00 via iPhone

打卡

243

select

2019-09-13 07:58:11 +08:00

除了支持我还能说什么

244

XSG

2019-09-13 08:00:05 +08:00 via iPhone

来了来了

245

123s

2019-09-13 08:00:37 +08:00

来嘛

246

sniperking1234

2019-09-13 08:35:23 +08:00

支持支持

247

orcinusorca

2019-09-13 08:37:31 +08:00

我要是中了我再在这里送出去

248

cyssxt

2019-09-13 08:48:11 +08:00 via iPhone

ps4 中奖率还可以

249

plaknight

2019-09-13 08:52:38 +08:00

万一中了呢!!!!!!!!!!

250

y547679519

2019-09-13 08:54:51 +08:00

支持一下，增加分母

251

dark3212

2019-09-13 09:07:54 +08:00

我来增加分母，希望能变成分子

252

qq625692420

2019-09-13 09:09:21 +08:00

ps4 不贵，但还是来蹭运气！

253

steptodream

2019-09-13 09:10:50 +08:00

抓包也包含分析用户隐私吗？

254

ming7435

2019-09-13 09:13:00 +08:00

增加分母

255

ponder

2019-09-13 09:26:49 +08:00

基础分母支持

256

AJDX3906

2019-09-13 09:29:49 +08:00 via Android

分母+1

257

sike03

2019-09-13 09:42:06 +08:00

分子

258

ivanyin

2019-09-13 09:43:49 +08:00

分母+1

259

felixcode

2019-09-13 09:46:23 +08:00 via Android

ps4，过来当分子

260

goodryb

2019-09-13 09:54:11 +08:00

项目挺有意思的。先顶再看

261

AlexaZhou

2019-09-13 10:10:20 +08:00

有诚意的抽奖，我也来支持一把

262

hebin

2019-09-13 10:25:06 +08:00

支持支持

263

squallsdjl

2019-09-13 10:26:18 +08:00

超赞～+1

264

Kinnice

2019-09-13 10:29:22 +08:00 via Android

分母分母

265

BoiledEgg

2019-09-13 10:29:29 +08:00

所以现在是为了 ps4 支持开源了

266

songjiaxin2008

2019-09-13 10:31:29 +08:00

分母

267

sdandroid

2019-09-13 10:32:39 +08:00

分母

268

nooper

2019-09-13 10:35:15 +08:00

加油哦

269

n37r06u3

2019-09-13 10:37:04 +08:00

跟我老东家云杉的产品很像

270

wanyulaowang

2019-09-13 10:38:08 +08:00 via Android

了解一下，说不定又是个以后要用到项目呢

271

abelce

2019-09-13 10:38:29 +08:00 via iPhone

是所有的包都抓，还是可以选择性的过滤，很好奇，还有就是丢包率

272

nameldk

2019-09-13 10:49:58 +08:00

支持一下

273

MiaRunis

2019-09-13 11:00:15 +08:00

分母来啦~

274

lockerhyz

2019-09-13 11:01:12 +08:00

赞！分母+1

275

ranleng

2019-09-13 11:01:58 +08:00 via Android

拉低中奖率

276

shdcn

2019-09-13 11:13:17 +08:00

既然来抽奖那就要取 star 一下了，正好和研究生老师派的方向很接近

277

wwek

2019-09-13 11:26:04 +08:00

很好的项目~

278

lrvy

2019-09-13 11:31:45 +08:00

赞！分母+1

279

ksedz

2019-09-13 11:32:12 +08:00 via Android

mark，最近对接了类似项目导出的流量，不知道他们怎么做的。

280

bobsam

2019-09-13 11:33:14 +08:00 via iPhone

哈哈哈，来来来，做分母

281

lyuehh

2019-09-13 11:37:50 +08:00

来来来，做分母

282

javashell

2019-09-13 11:42:51 +08:00 via Android

分母+1

283

0x3f3f

2019-09-13 11:47:58 +08:00 via iPhone

我还能做分母。

284

xiangchen2011

2019-09-13 11:53:04 +08:00

分子+1

285

jiang123574

2019-09-13 11:54:40 +08:00 via iPhone

几楼了？

286

xmoon

2019-09-13 11:55:43 +08:00 via Android

本分母来了

287

vipwpcom

2019-09-13 11:56:07 +08:00

支持一下

288

gIrl1990

2019-09-13 12:06:35 +08:00

real?

289

richard1122

2019-09-13 12:13:52 +08:00

可以抓 k8s 容器的流量？感觉还是很有用的，支持一个

290

totopo

2019-09-13 12:14:52 +08:00 via iPhone

拉低中奖率

291

Kimiato

2019-09-13 12:15:55 +08:00 via Android

分母+1

292

shell314

2019-09-13 12:19:21 +08:00 via Android

支持

293

xuqianyu

2019-09-13 12:19:57 +08:00 via iPhone

支持

294

ruiyinjinqu

2019-09-13 12:24:52 +08:00

欧皇附体，支持一个，感觉方案不错，学习学习

295

rinsingw

2019-09-13 12:59:25 +08:00

回帖=参与吗？

296

il1707

2019-09-13 14:11:44 +08:00

感觉对比现有轮子优势点不明显。

297

cxh2000210

2019-09-13 14:12:38 +08:00 via Android

分母死了

298

silaike

2019-09-13 14:13:55 +08:00 via iPhone

分母

299

ittianyu

2019-09-13 14:15:54 +08:00

300

zytomorrow

2019-09-13 14:17:35 +08:00 via iPhone

来了来了

1 2 3 4 5 6

❮

❯

开源一个云环境网络流量镜像项目 Packet-Agent（参与送 PS4）

项目背景

Packet-Agent 简介

Docker Kubernetes 支持

参与 Packet-Agent 项目

抽奖回馈社区