2. V2EX
  3. 写了个 eBPF 流量可视化工具(生产目前在跑)

写了个 eBPF 流量可视化工具(生产目前在跑)

oom 2026-08-21 15:27 1

旁路挂在交换机镜像口上，支持多网卡，不侵入业务链路，单个二进制文件跑起来就是一整套系统（ Web 控制台 + eBPF 采集 + 存储查询）


GitHub: https://github.com/xxddpac/netra


这两天刚好在真实的 20Gbps 专线上部署验证：



  • 两块物理网卡各自独立接镜像流量（两台核心交换机分别镜像到同一台服务器的两个物理口，共享同一份 eBPF map ）

  • 抓取峰值流量 10.1Gbps / 160 万 pps（毫无压力，无丢包）

  • 40 核机器上，netra 进程稳定占用约 1.2 个核（约 3%）

  • 存储用 DuckDB ，流量历史按小时封存 Parquet 文件，进行一些列优化，1 亿+ 条数据查询稳定在 2-3 秒

  • 接入 AI 以及 MCP 对接内部工具


有大流量环境的大佬欢迎聊聊实测性能

最新回复 (10)
  • sskycn 08-21 15:35
    1楼
    强
  • owt5008137 08-21 17:14
    2楼
    喜欢造轮子之挑战 opentelemetry 么
  • zhcode 08-21 17:30
    3楼
    试一下，看能不能替代掉 vnstat
  • qW7bo2FbzbC0 08-21 17:49
    4楼
    可以说说为什么选用 duckdb 吗
  • oom 楼主 08-21 20:31
    5楼
    @qW7bo2FbzbC0
    主要这两方面：
    1.DuckDB 可以直接内嵌到 Go 二进制里,省去了数据库运维这块
    2.列式存储针对海量数据的聚合查询性能非常强，实际压测表现查询性能比 SQLite 快 20-100 倍

    一开始只用 SQLite 时当数据量上来之后基本没法用，所以额外引入 duckDB,低频数据不大的走 SQLite,高频海量数据的走 duckDB ，各自发挥优势
  • oom 楼主 08-21 20:31
    6楼
    @zhcode 期待大佬测试结果
  • oom 楼主 08-21 20:32
    7楼
    @owt5008137 这两个实现的功能不一样呀
  • oom 楼主 08-21 22:27
    8楼
    @sskycn
  • AEnjoyable 08-22 14:51
    9楼
    可惜了，数据分析性能不是问题，问题是存储。
    我现在用 dpdk 采集+clickHourse 存储，公司的需求太夸张了

    需要采五元组，并分析和记录存储半年用于回溯
  • AEnjoyable 08-22 14:53
    10楼
    #9 补充一下，三线合计带宽最大是 140Gbps ，
    每秒会话最大 60 万条，还要算网速😭
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐