现在linux还没有基于fanotify的备份软件吗

moen 2026-06-16 15:10 1

一直都用rsync来备份,现在因为数据量太多了千万小文件。每次只新增几十上百个。都要全盘扫一遍文件变化效率太低了。


有没有基于fanotify的同步软件。监听文件系统更改。先存在暂存区。每N秒或者变更达到了N个就执行命令显式同步更新的文件,避免全盘扫描。


现在我网上查得到的所有备份/同步软件,全都是基于inotify的同步。这个不能递归监听子文件夹。当文件夹递归数量多了直接就炸了。


就不知道是我没搜到还是真没有

最新回复 (16)
  • moen 楼主 06-16 15:15
    1

    难道只能用COW文件系统的快照SEND吗。这个倒是真完美增量备份,开销巨小。就是不太好部署。 现有所有大盘鸡都是ext4

  • duyaoo 06-16 15:37
    2

    mega.io 的 命令行

  • moen 楼主 06-16 15:47
    3

    @duyaoo #2


    https://mega.io/zh-hans/cmd 這個東西吗。看着像是只能备份到它自己的服务吧。 ^-^

  • duyaoo 06-16 15:48
    4

    @moen #3 对的。就是个云存储。

    要么就只能 syncthing 了。


    我一般 borg 和 rustic 备份。好像也还好,几万个文件,没啥大问题。每天备份的频率。你千万就不知道了。可以试试看

  • moen 楼主 06-16 15:49
    5

    @duyaoo #4


    好像不太行 它也是用inotify的


    https://github.com/meganz/MEGAcmd/blob/4b291975aafa7332ddfbf1a689455ebd972adff4/build/SynologyNAS/README.md?plain=1#L48


    inotify对目录监听不了。得递归监听所有目录。文件多了就不行了。 我目录贼多。

  • duyaoo 06-16 15:50
    6

    @moen #5 那这只能问问ai了- -

  • moen 楼主 06-16 15:51
    7

    看错了 编辑掉

  • duyaoo 06-16 15:53
    8

    @moen #7

    mutagen

    Nextcloud Desktop Client

    clsync

  • moen 楼主 06-16 15:58
    9

    @duyaoo #8


    第一个好像真是。至少看源码里有些fanotify的系统调用。我研究下去

    https://github.com/search?q=repo%3Amutagen-io%2Fmutagen fanotify&type=code


    第三个我问Ai也问到过。但实际上也是inotify实现的。第二个我看了也是inotify ^-^

  • ele 06-16 17:53
    10

    这个特性好像跟‘小文件’的需求是冲突的?



  • ele 06-16 17:54
    11

    这个特性好像跟‘小文件’的需求是冲突的?


    核心功能与优势事件拦截与权限控制:不仅能“通知”文件被访问,
    还能在访问前暂停操作,等待用户态程序判定是否允许打开、读取或修改文件。
    全局监控:能够监控挂载文件系统中的所有对象,且能获取触发事件的具体进程信息。
    高级事件支持:原生支持文件的创建、删除和移动等监控(自 Linux 5.1 起引入)以及文件系统级别错误报告。
  • moen 楼主 06-16 18:16
    12

    @ele #11

    没有吧,怎么看出来的。监听文件更改。加入代办然后批量同步就不用扫盘了

  • ele 06-16 18:45
    13

    @moen #12 哦 我是考虑到性能上 检测小文件状态非常消耗资源 还要维护一个数据库?

    我曾经装个探针就把ryzen小鸡跑死了(netdata服务端占用很高)

  • ela 06-16 19:17
    14

    让模型用fsnotify写个监控生成列表 再用rsync备份列表内容?

  • moen 楼主 06-16 19:44
    15

    @ele #13

    这个监听是被动的,不是主动。linux所有的文件更改都要通过linux内核,而内核检测到更改就会通过fanotify通知程序。哪里的文件变了

    平时是没有负载的

  • moen 楼主 06-16 19:45
    16

    @ela #14

    对就是这么想的,之前用inotify搓过一个。遇到上限了。没法用 。也怕漏文件

* 帖子来源NodeSeek
返回