V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 1917 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目背景

传统网络数据分析会在交换机上配置网络数据镜像，将 Packet 复制后发送到目标机器，实现网络流量镜像的功能。
而在云平台上，目前网络数据采集还没有统一的方案。针对私有云平台，目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
对于 vmware 平台分布式虚交换机配置采集的方案，性能较好，不占用客户机资源，但其属于商业产品，且只适用于购买 vmware 私有云用户；而在 hypervisor 上监听采集，目前有产品开发，性能较好，但只适用于 OpenStack 私有云；采用 OVS 流表方案，优势是免费，不占用客户机资源，但是配置复杂，且只能用于 OpenStack 私有云。
因此，开发基于 libpcap + GRE 封装转发的应用，或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

Packet-Agent 简介

Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术，从业务网卡抓包，进行 GRE 封装后将采集到的数据包发送到另一台远端机器，供分析使用。

Docker Kubernetes 支持

Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说，Packet-Agent 封装成容器后，与需要监控的业务容器放在同一个 K8S Pod 中，与其共享网络层并抓包镜像网络流量。
具体方案见项目文档：K8S_traffic_mirror

参与 Packet-Agent 项目

欢迎大家参与此项目，包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议，或者将该项目介绍给相关的朋友。衷心感谢。

抽奖回馈社区

为感谢大家的支持，抽奖送一台 PS4 主机，抽奖方法如下：

在这个帖子下面回复参与讨论。
获奖资格：从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数（'*'是乘法，'%'是数学取余数）
比如：有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次，那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user，分配给他们的抽奖号码依次是 0，1，2。假设 A 股收盘点数是 3012.34 点，那么 3012.34 * 100 % 3，中奖号码就是 1，中奖用户就是 @y_user
提示：因为会排序去重，多次回复不会增加中奖概率。

第 1 条附言 · 2019-09-18 17:11:23 +08:00

前 500 位名单如下，依次编号 0~499：

0hey0：编号 0
0ps：编号 1
0x3f3f
1005gel
109109
12
123s
1more
1rror
284376485
3CH0
402645707
40huo
49degree
7gugu
810244966
8629
99911a
AJDX3906
AaronLiu00
Ahs
Ahy
AidenChen
AlexaZhou
AmadeusGhost
AnonymousM
Believer
BoiledEgg
BriFuture
ChenXuting
ChristopherWu
CoCoMcRee
Coande
CodeWind
CrazyRain0001
Cyron
Despacito
DrJoseph
DreamSpace
E1n
ESeanZ
Famio
Flyerwzb
FuryBean
FuturesXu
G1n233
GM
Hauserkk
Hugehard
IDCFAN
ITJoker
Isight
JKing
JL1990
JasperYanky
Jiuyu
Joker3120
JunkLeo
JusticeShi
Juszoe
KasuganoSoras
Keyes
Kimiato
KingPL
Kinnice
LWXYFER
LXVC
LazYFire
Licsber
LinusTor
Lisylfn
LittleYangYang
MITOO
Macolor21
MiaRunis
Mikewu
MioAkiyama
Motoi
MrMario
MyFaith
Nasei
NoirStrike
OrangeM21
Orenoid
PeterPig
PickMio
PlayByMyself
PyCode
RanchoTuring
Realucas
Rehtt
Rheinmetal
SaberJack
Sanko
Saszr
Shunte
SmallZheng
Suvigotimor
TangCuYu2333
Tenlp
TheWalkingDead
Themyth
Tink
Tong16
UnknownR
Vanctol
VermouthcZzz
WhyLiam
Wien
WilliamYang
XSG
YFeei
YenvY
Yorkzhu
Zainxu
ZiLong
Zsh110
Zzdex
aWangami
aaaaaaaaa
abelce
actar
acz154
ahaxzh
alexzhan
alikesi
allencloud
alpha2016
alschw
anjiannian
anoper
archknight
arfaWong
aru
atan
az422
azh7138m
azuginnen
b1gCi
b1rdb0y
baixiaoyu2997
blueset
bobsam
bolshevik
bomb77
bullettrain1433
buried
bxb100
byron
c
c0878
carbon
caserest
cbangchenLL7
cc3630
chanots
chashao
chinafeng
chinvo
chuanqirenwu
chy373180
cjc2017
cjpjxjx
cmllwxxl
cnbattle
co3site
codereric
controller
coolair
cornelia
corningsun
cosmo
crabtsk
crs0910
csx163
cxh2000210
cxy1234
cyssxt
d5
dabaibai
dewi
dixeran
dontbesad
dream7758522
drlalll
duola
einvince
elbertzhu
epicSoldier
eptwd
everydiao
ezioruan
falcon05
fatelight
fathuman
fcj558
feifan00x
felixcode
fghshunzi
fhvch：编号 199

第 2 条附言 · 2019-09-18 17:11:53 +08:00

fire2y：编号 200
fishofcat
flxxy
fo3xx
frostcake
gIrl1990
galenzhao
gangsta
gaobh
gcod
gdcbhtd
geekzjj
gleox
goodryb
gotounix
gstqc
guoluwei
gxvv
h4lt
hangvane
haofly
harryge
harryge01
hebin
hebingchang
hedys
hfutzj
hillw4h
hohoho
huadi
huishu
huiwl
hzwjz
i0error
iAcn
iThink
iakisey
iamalive2008
icekingcy
ifulikeweirdo
il1707
ilixin
illl
imNull
imay
ittianyu
iture
ivanyin
iwtbauh
javashell
jaylong
jerrodpoole
jiang123574
jiangming1399
jiexixijie
jiezhi
jimages
jjxh
jkbspin
johnnie502
joocejie
jsdtxm
jsnjfz
jsonzz
just1
justin2018
kaixuan1901
kakudesu
kalagxw
kebyn
killeder
killerzhangsan
koalaMagic
kohos
koromon
kraymond
ksedz
kukat
kutear
laowei222
ldm0
leafleave
lee82014312
leesh853761
lilihangzhou
linpm
litao3rd
littleghosty
liu19931020
liujiajun1999
liuymf
livexia
lixile
ljlljl0
lmaq
lockerhyz
lostexile
loveyu
lqzhgood
lrvy
lscho
luckybo
luoqing1477
luozic
lycc
lyuehh
lzy4happy
manhere
maohhgg
maooyer
marsLeo
mason961125
meeken
menyakun
mhcyong
ming7435
miragetu
mlhadoop
moln
molvqingtai
monkey2
moonrailgun
morethansean
moryxsw
mosesyou
movax21h
mpb
mrcn
mulei200
mulu
mymike
mynamewang0
mywaiting
n37r06u3
nameldk
natforum
nomoon
nooper
oIMOo
octobersnow
okjb
oovveeaarr
orcinusorca
orient
pandachow
phithon
pinkward
plaknight
poison123
polythene
ponder
ptlkStar
qdpoboy
qiangmin
qinghon
qmake
qq29701
qq625692420
raffaellolin
rainfox
ranleng
rapperx2
reticentfat
richard1122
rinsingw
rjie2008
rosu
ruiyinjinqu
runningding
ryV60s
saberlove
salmon5
scoful
sdandroid
select
sep9999
set01
setsena
sevenphp
sgq1128
shadowyue
shdcn
shell314
shishen10
shuaizi
sike03
siknet
silaike
silenceboychen
singerll
sixm
slwl123
smilzman
sniperking1234
songjiaxin2008
spemoon
squallsdjl
sreal
st4rg4z3r
standin000：编号 399

第 3 条附言 · 2019-09-18 17:12:21 +08:00

starrycat：编号 400
stayreal
steptodream
stevenbipt
sun522198558
suyuyu
swulling
syy
tailaqumos
tangtj
test23
tetora
tf141
tfdetang
thoutherKai
thulof
tingchina
tongz
tookbra
totopo
tsukiikekaoru
tt0411
tuot
tyhunter
tyx1703
uhian
unknownservice
uptime
vast0906
vcinex
vipdog73
vipwpcom
visitant
vjnjc
vstar
wangxxxing
wanyulaowang
weixingna
whtsky
wingoo
wlw0327
wojfsdj
wph95
wuYin
wwek
wy53
wzw
x2ve
xddxdd
xduanx
xiangchen2011
xianxianyu
xiaobanlong
xiaodog
xiaome
xiaonec
xiazero
xiazhiisgood
xiongbiao
xiri
xiubin
xml123
xmoon
xrds7986
xsephiroth
xuc
xuecan
xuqianyu
y547679519
yangfan1999
yatestxw
yeya24
ylhawj
ysicing
ytlm
yufj
yukiww233
yycpro
yyork
yzyun08
z919126592
zavieryip
zealinux
zenze
zerozz
zhangqilin
zhchyu999
zhengjian
zhensjoke
zhouyg
zhuawadao
zjx1993
zongwan
zpfhbyx
zsdroid
ztnuaa
zvcs
zytomorrow
zzmstring
zzw1998：编号 499

emsp

采集

镜像

私有

549 条回复 • 2019-09-26 12:49:40 +08:00

1 2 3 4 5 6

❮

❯

301

JKing

2019-09-13 14:18:03 +08:00 via iPhone

wow 不错哦

302

killerzhangsan

2019-09-13 14:23:14 +08:00 via Android

不知道作用是什么，对什么业务有什么好处

303

anoper

2019-09-13 14:24:54 +08:00

分母+1

304

jsonzz

2019-09-13 14:25:47 +08:00

测试环境可以回放生产环境的真实的流量，不错

305

einvince

2019-09-13 14:27:05 +08:00

我可以抢救一下

306

Nasei

2019-09-13 14:31:56 +08:00 via Android

缺一台 ps4 达成全机种成就(逃

307

Famio

2019-09-13 14:32:55 +08:00

分母还来得及

308

Coande

2019-09-13 14:51:37 +08:00 via Android

祝越来越好

309

1rror

2019-09-13 15:13:19 +08:00

310

uptime

2019-09-13 15:20:45 +08:00

500 之前排个队

311

archknight

2019-09-13 15:30:09 +08:00

400 前分母+1

312

KasuganoSoras

2019-09-13 15:30:42 +08:00

试试运气，感觉不错

313

vjnjc

2019-09-13 15:45:28 +08:00

还在 500 名内。
本来以为是要贡献代码才有资格参与 ps4 抽奖，没想到是回复啊。。。
用法看不太懂啊，是不是 copy 流量往第二台机器上发？

314

oIMOo

2019-09-13 15:56:23 +08:00

从产生 idea 到作品诞生，是个很有成就感的过程

315

huiwl

2019-09-13 16:01:38 +08:00 via Android

继续加一，祝越来越好

316

raffaellolin

2019-09-13 16:06:27 +08:00

虽然我不了解，可是听说有 ps4 可以送给我男朋友我就来劲了

317

jiexixijie

2019-09-13 16:22:54 +08:00 via iPhone

分子.jpg

318

ldm0

2019-09-13 16:36:07 +08:00

bd （ doge

319

Jiuyu

2019-09-13 16:46:15 +08:00 via Android

增加分母～

320

Mikewu

2019-09-13 16:57:36 +08:00

来了来了

321

G1n233

2019-09-13 16:58:57 +08:00 via iPhone

抓住机会（

322

Lisylfn

2019-09-13 17:06:40 +08:00 via iPhone

成为分母

323

h4lt

2019-09-13 17:30:00 +08:00

这个业务上正好有需求。
学习了。

324

huishu

2019-09-13 18:08:48 +08:00

分母来了。

325

gleox

2019-09-13 18:33:18 +08:00

看起来和[RawCap.exe]( https://www.netresec.com/?page=rawcap)功能类似，建议设备的命令行参数可以参考下 RawCap，更加友好些。提供了多个选择，还跨平台，支持下。

326

phithon

2019-09-13 18:37:36 +08:00

机会？

327

AmadeusGhost

2019-09-13 18:43:24 +08:00 via Android

分母+1

328

lilihangzhou

2019-09-13 19:53:14 +08:00

分母++

329

livexia

2019-09-13 19:57:57 +08:00 via iPhone

还可以成为分母

330

Yorkzhu

2019-09-13 20:01:38 +08:00

分母++

331

tt0411

2019-09-13 20:30:17 +08:00

还在 500 内, 加油~

332

z919126592

2019-09-13 20:33:02 +08:00 via Android

增强

333

1more

2019-09-13 21:18:41 +08:00

分母加 1

334

rjie2008

2019-09-13 21:43:38 +08:00

分母加 1

335

tingchina

2019-09-13 21:52:33 +08:00

看起来不错

336

Themyth

2019-09-13 21:57:42 +08:00

我没想到这个可以干嘛用呢？是为了分析流量么？

337

PeterPig

2019-09-13 22:02:22 +08:00 via Android

分母加一

338

Hugehard

2019-09-13 22:41:11 +08:00

先回复，然后慢慢看前面说了啥

339

Joker3120

2019-09-13 22:52:31 +08:00 via Android

分母+1

340

fghshunzi

2019-09-13 22:54:06 +08:00

分母+1

341

Sanko

2019-09-13 23:24:27 +08:00 via Android

分母

342

dream7758522

2019-09-13 23:28:06 +08:00 via Android

加油

343

0ps

2019-09-13 23:42:26 +08:00 via iPhone

凑一下

344

zzw1998

2019-09-14 01:18:17 +08:00

分母！

345

ztnuaa

2019-09-14 01:20:22 +08:00 via Android

分母

346

chinafeng

2019-09-14 01:30:34 +08:00

分母！

347

zhuawadao

2019-09-14 02:10:41 +08:00

厉害了

348

rosu

2019-09-14 02:27:10 +08:00 via Android

分母+1

349

syy

2019-09-14 02:43:50 +08:00

分母+1

350

hebingchang

2019-09-14 02:51:59 +08:00 via iPhone

分母+1

351

thoutherKai

2019-09-14 07:39:49 +08:00 via Android

分母+1

352

jiangming1399

2019-09-14 08:02:02 +08:00 via Android

我要当分子！

353

icekingcy

2019-09-14 08:25:05 +08:00 via iPhone

算法有意思项目未来可能用得上

354

0hey0

2019-09-14 08:26:53 +08:00 via Android

分母分子啥的不重要，参与感最重要 /狗头

355

hzwjz

2019-09-14 09:05:33 +08:00 via Android

真的嘛…我会不会是那个分子

356

tsukiikekaoru

2019-09-14 09:09:05 +08:00 via iPhone

期待一个新版

357

DreamSpace

2019-09-14 09:11:13 +08:00 via Android

拉低中奖率

358

Orenoid

2019-09-14 09:46:20 +08:00 via Android

359

xiongbiao

2019-09-14 09:53:05 +08:00

因吹斯听

360

kohos

2019-09-14 10:23:13 +08:00

感觉可以用来抓包调试一些不加密的接口

361

jerrodpoole

2019-09-14 10:35:53 +08:00 via Android

支持

362

joocejie

2019-09-14 10:40:18 +08:00

@iwtbauh 我理解 tcpdump 的方法可以把包的 IP/Port/Protocol 等 meta 信息送到远端，对包的完整 payload 信息处理不好。如果我理解的不对，请指正。

363

joocejie

2019-09-14 10:42:36 +08:00

@steptodream Packet-Agent 只负责抓取，不包含分析的部分。

364

joocejie

2019-09-14 10:43:42 +08:00

@n37r06u3 友商前社员你好。

365

joocejie

2019-09-14 10:45:43 +08:00

@abelce 默认所有包都抓，支持 libpcap 的 bpf 语法过滤包。流量在单 CPU 负载不满的情况下基本不丢包。

366

joocejie

2019-09-14 10:47:27 +08:00

@rinsingw true

367

joocejie

2019-09-14 10:49:47 +08:00

@killerzhangsan 见 165 楼。我们主要是做实时业务监控。

368

joocejie

2019-09-14 10:50:20 +08:00

@vjnjc 可以这么理解

369

joocejie

2019-09-14 10:51:13 +08:00

@gleox 谢谢，我参考一下。

370

joocejie

2019-09-14 10:53:33 +08:00

@Themyth 是的，分析流量做业务监控。当然你也可以用作其他用途。

371

kalagxw

2019-09-14 11:03:26 +08:00

不错，看起来软路由上可以用

372

49degree

2019-09-14 11:05:18 +08:00 via iPhone

这样做，分析成本太高了吧

373

BriFuture

2019-09-14 11:08:50 +08:00

继微博之后又一抽奖工具

374

iwtbauh

2019-09-14 12:23:40 +08:00 via Android

@joocejie #362

tcpdump 也可以通过 -s 0 参数记录 payload 吧，我想问的是这个软件比我之前提到的方案（组合现有程序）有什么优势。我以前就 tcpdump 过远程主机流量转发给本地工作站的 Wireshark 分析流量。

375

NoirStrike

2019-09-14 12:28:41 +08:00

分母~

376

qq29701

2019-09-14 12:34:15 +08:00 via iPad

这个不错 Mark 一下收藏

377

lee82014312

2019-09-14 12:39:44 +08:00 via Android

没得说，赶紧拉低中奖概率

378

poison123

2019-09-14 12:42:42 +08:00 via iPhone

分母分母

379

cjpjxjx

2019-09-14 12:45:19 +08:00

万一中了呢

380

ylhawj

2019-09-14 12:45:21 +08:00 via iPhone

看起来不错，支持一下

381

aru

2019-09-14 12:46:19 +08:00

万一中了呢

382

mymike

2019-09-14 13:02:52 +08:00 via iPhone

看到了 psps4 支持一下

383

dixeran

2019-09-14 13:04:23 +08:00 via Android

当分子

384

qmake

2019-09-14 13:16:29 +08:00 via Android

哈哈好东西有时间要看一看

385

crs0910

2019-09-14 13:56:42 +08:00

项目看不懂还可以学习下抽奖方法

386

Vanctol

2019-09-14 15:36:06 +08:00

支持支持

387

xddxdd

2019-09-14 16:09:07 +08:00 via Android

尝试成为分子

388

rainfox

2019-09-14 16:40:28 +08:00

支持一下

389

lscho

2019-09-14 16:55:30 +08:00

表示看不懂

390

tuot

2019-09-14 16:59:15 +08:00 via Android

不错诶，支持，研究一下

391

alpha2016

2019-09-14 17:01:12 +08:00

NBNB

392

CodeWind

2019-09-14 17:01:52 +08:00 via Android

参与一下

393

vast0906

2019-09-14 17:12:57 +08:00

np，支持一波

394

leesh853761

2019-09-14 17:39:16 +08:00

这活动不错，我来参与一下

395

frostcake

2019-09-14 17:47:29 +08:00

支持支持

396

meeken

2019-09-14 17:48:32 +08:00 via iPhone

前来成为分子

397

xml123

2019-09-14 19:59:48 +08:00

第一次见抽这么贵的礼物的……

398

loveyu

2019-09-14 20:03:40 +08:00 via Android

PS4 我来啦

399

zenze

2019-09-14 20:19:09 +08:00 via iPhone

好像还没到五百凑分子

400

hangvane

2019-09-14 20:33:25 +08:00

万一呢

1 2 3 4 5 6

❮

❯

开源一个云环境网络流量镜像项目 Packet-Agent（参与送 PS4）

项目背景

Packet-Agent 简介

Docker Kubernetes 支持

参与 Packet-Agent 项目

抽奖回馈社区