今天周二，人多，有没架构大佬帮忙看看，讨论讨论，有兴趣的也可以一起参与

wKong753900 2026-09-08 09:30 1

前提：

公司是全球性的硬件公司，类似影石，做户外运动相机，硬件方面做了很多年一直都是卖硬件(我们 toB ，不 toC)，然后用合作厂商开发的 APP 给用户用，现在今年自己开发软件，我们在国内已经有一套架构(Go+k8s 集群)了，所以此次我想请教的是全球化的架构应该怎么搭。

目前考虑部的点：北美，东南亚(新加坡)，欧洲(法国)，迪拜，非洲(这个地方客户比较多)

问题：

1 、简单的做法，就是一个点位一套，但这样就没法数据同步，在北美注册的用户，在非洲得重新注册。这个体验不好，想还是实现全球化

2 、用 GeoDNS ，用统一域名设置多个 ip ，如果设备和 APP ，在某些边缘区域，ip 是不是会经常飘来飘去的

3 、因为是相机，所以很多音视频文件，全球化的话，音视频文件同步，一个是同步占用带宽，一个是占用空间，这两个量大的话，都难搞，怎么处理

4 、这几年硬件成本上升，所以公司资金不是很雄厚，有没有高端(用大厂)，中端(性价比)，低端(当地小厂)的架构推荐？

暂时想到的是这些，有继续想到再补充

最新回复 (49)

wKong753900 楼主 09-08 09:35

1楼

软件架构上主要有自建的流媒体服务，P2P 使用的 turn 服务，Go 微服务后端加各种中间件集群(Minio 集群，Pgsql 集群，Redis 集群，Mqtt 集群，RocketMQ 集群等等)
evill 09-08 09:38

2楼

做过类似的(北爱尔兰、美西、新加坡)
以新加坡做用户服务主服务，强一致性注册；同步用户回对应区域的服务器，后续登录等对应区域自己完成。
其他所有服务(支付除外）每个区域完整部署一套。

用户夸区域时，当前服务接受请求，gateway 确认区域走亚马逊内网 proxy 到用户注册区域。
wKong753900 楼主 09-08 09:41

3楼

@evill 谢谢哈，请问用户数据同步是用什么方案？然后“用户夸区域时，当前服务接受请求”，这个需不需要一个统一的访问入口？还是让 GeoDNS 来做？
xwayway 09-08 09:41

4楼

分主数据，业务数据，多媒体数据。主数据全球同步，业务数据和多媒体数据只存一个 region ，通过边缘网关按 region 转发业务请求，多媒体上 cdn
sentinelK 09-08 09:43

5楼

这个要看你业务的轻重而定。就是你需要再全球不同节点同步多大量的数据。如果只是类似会员，或者设备注册信息，那就完全可以选择异步慢慢同步。

毕竟你的用户不可能在 A 地注册后，瞬移到 B 地。所以不存在热切节点的可能性。
然后容错措施可以优先同步一个最近信息节点 ID （类似于最新时间戳），实在没同步过来就主动发起拉取。

不过从行业做法来讲，跨地域的注册信息其实价值没那么大。甚至会因为政策原因，反过来限制跨地域账号。
wKong753900 楼主 09-08 09:44

6楼

@xwayway 谢谢哈，"分主数据，业务数据，多媒体数据"，这样的话，岂不是得拆得很细，然后把服务分开？然后再请教下如果多媒体数据，很多都是看回放的话，用户跨区了，是不是还是得同步？有想过边缘网关做缓存，就是遇到跨区要怎么同步
wKong753900 楼主 09-08 09:47

7楼

@sentinelK 谢谢哈，我也在想这个跨区其实是不是就很少一部分情况，大部分还是都会集中在一个点的，需不需要为了解决这么少部分，而考虑那么多呢
evill 09-08 09:50

8楼

@wKong753900 这个是 10 年前做的了，具体现在是什么方案不清楚了
用户数据同步是很粗暴的方式：注册时新加坡服直接 call 对应区域写入接口
没有统一访问接口当时是 APP ，服务器会下发所有域名好像 app 根据延迟选择的，还有一些兜底的规则
Quarry 09-08 09:53

9楼

又不说日活和未来预计日活，你都知道用 k8 搭微服务，为什么还搞自建流服务，没用过 OSS 相关的吗
Mithril 09-08 09:59

10楼

额外说一点，需要提前考虑各地区的隐私策略与合规。特别是欧洲的 GDPR ，还有 Cookie 设置啥的。不然可能直接被搞一波集体诉讼。所以你很可能还是要按地区切分出去。
xianyu191031 09-08 10:00

11楼

搞三个，美区，欧区，glo, 合规不严格的其他地区都走 glo 。跨区另外做
cloudzhou 09-08 10:01

12楼

很有意思的问题，典型一个多点登录同时需要同步全球的场景

我的建议是：
1. 单点写，一对多复制，一旦用户固定点写入，那么设定用户持续单点写
2. 算法判断用户变迁，设置新的固定写入点，所有请求一定会转发到固定写入点
3. 读取的话可多地，但是如果用户读自己数据，强制写入点

按真实情况，用户 90% 其实不变化的，一些小的 case 解决变化即可
wKong753900 楼主 09-08 10:01

13楼

@Quarry 一年出货量大概 100 万台设备吧，按 10%日活，前期是打算用 OSS 的，后面量上来了得自己搭
wKong753900 楼主 09-08 10:04

14楼

@Mithril 谢谢，这个是有考虑到的，不过也是得具体实施了才知道什么情况

@xianyu191031 谢谢哈，glo 是？

@cloudzhou 对的，主要这个数据同步比较头疼
wKong753900 楼主 09-08 10:06

15楼

@Quarry 谢谢哈，另一个要自建流服务得原因是有款设备主推非洲，然后芯片能力很低，不是标准流，都是传图，所以要自己写协议，主打非洲，一个设备卖 10 块钱以内。
xwayway 09-08 10:08

16楼

@wKong753900 #6 不会啊，主数据也不是所有都同步啊，就是最简单的，甚至可能就一张用户表，这样保证用户注册/登录这样的基本接口，然后就能把其他所有请求通过边缘网关转发或者直接返回对应 region 的域名，去对应 region 请求具体的业务数据了。多媒体你是准备自建？直接用厂商对象存储然后 cdn 回源呗，没必要自己折腾一套吧
Quarry 09-08 10:08

17楼

@wKong753900 后面量上来，资源服务器的费用确定抗得住？论成本明显海外云存储性价比更高
wKong753900 楼主 09-08 10:16

18楼

@Quarry 一个方面在找性价比高的服务器厂商，另一个方面也在看海外云存储支不支持非标准的媒体流
xianyu191031 09-08 10:19

19楼

@wKong753900 global 全球区。美欧的合规比其他地区严狠毒，要做的话要考虑本地部署（量小的话可能监管不鸟你）
Quarry 09-08 10:33

20楼

@wKong753900 真的存在高性价比服务商吗，不至于某些流媒体大厂需要建多个仓库来存数据，自建流备份还原少说几十台机器够你们运维玩的了
cominghome 09-08 10:37

21楼

北美、欧洲是必须要独立部署的，其他地区可以新加坡一把梭，非洲用户多单独在中东或者南非起一套也行。

账号这一块，注册的时候让用户选 base 地或者给默认值，认证的时候统一入口加一个网关确认账户 base 然后去对应集群拉数。业务这一块前端 CDN 一把梭，后端不同集群不同域名直接调就行（不要试图帮用户解决网络问题）。

搞不懂你总是在这里同步同步什么，有什么好同步的，政商关系不硬等下 GDPR 砸下来直接按营收 10%罚
wKong753900 楼主 09-08 10:46

22楼

@cominghome 谢谢哈，主要没海外的经验，所以容易陷进某个点
mooyo 09-08 10:48

23楼

单地中心化存储，多点部署 gateway 内网反代过去就行了。不考虑境内外互联，纯境外国际网间的话，流量费不算特别贵。
mooyo 09-08 10:48

24楼

GDPR 啥的另说哈
jarytom 09-08 10:52

25楼

服务器可以用裸金属服务器,性价比比较高,比云主机好多了.推荐一下我们自己用的,鲨鱼的服务器,可以注册账号看看
aHR0cHM6Ly9wb3J0YWwuc2hhcmt0ZWNoLm5ldC9hZmYucGhwP2FmZj0xNjcx
cnleon 09-08 11:03

26楼

1 、简单的做法，就是一个点位一套，但这样就没法数据同步，在北美注册的用户，在非洲得重新注册。这个体验不好，想还是实现全球化
2 、用 GeoDNS ，用统一域名设置多个 ip ，如果设备和 APP ，在某些边缘区域，ip 是不是会经常飘来飘去的
3 、因为是相机，所以很多音视频文件，全球化的话，音视频文件同步，一个是同步占用带宽，一个是占用空间，这两个量大的话，都难搞，怎么处理
wKong753900 楼主 09-08 11:03

27楼

@xianyu191031 ok ，谢谢，本地部署基本是要的了

@Quarry 确实，我也觉得挺麻烦的，因为有设备是非标的

@mooyo 好的，谢谢，暂时不考虑境内外互联

@jarytom ok ，我看下
cnleon 09-08 11:05

28楼

1 、简单的做法，就是一个点位一套，但这样就没法数据同步，在北美注册的用户，在非洲得重新注册。这个体验不好，想还是实现全球化

当然是一个地方一套啊，速度也快，也符合很多当地的法律法规。至于用户注册，这个就一套就行了，其他地区同步这一套的账户体系就行

2 、用 GeoDNS ，用统一域名设置多个 ip ，如果设备和 APP ，在某些边缘区域，ip 是不是会经常飘来飘去的

肯定不能啊，这样非常容易被打，自然是主动推送 ip 啊。

3 、因为是相机，所以很多音视频文件，全球化的话，音视频文件同步，一个是同步占用带宽，一个是占用空间，这两个量大的话，都难搞，怎么处理

s3+cdn 来处理啊
wKong753900 楼主 09-08 11:07

29楼

@cnleon 谢谢，方案渐渐清晰了
MindMindMax 09-08 13:18

30楼

如果没运维能力，还是考虑依赖 CF 的 R2 吧。非洲的带宽成本并不低（相比北美和欧洲）
让黑哥们多掏点云存储的钱。
yyttrr 09-08 13:36

31楼

可以看看阿里云的 nis 之类的工具看看延迟,要求不高的话新加坡+美东双中心就足够了,数据同步的涉及业务要具体分析,大概是读写分离,缓存在本地,定时双向同步什么的
7beloved 09-08 13:39

32楼

好帖子
wKong753900 楼主 09-08 14:00

33楼

@MindMindMax 羊毛出在羊身上，只能是这样，海外的带宽比较贵

@yyttrr 好的，谢谢
287854442 09-08 14:27

34楼

@xwayway 目前看这个是最佳方案，灵活性也很高。
lixintcwdsg 09-08 14:35

35楼

只有个疑问：

你应该只能要求用户注册的时候就必须选定区域，然后用户访问不同地区直接用不同子域名（最彻底），或者统一域名做网关转发分流（其实也算是有风险，本地网关转外网）。

一个基本问题是欧洲北美东南亚印度这些你必须要做数据隐私合规隔离的（不记得印度是不是要单独做了，东南亚不用，北美没经验），尤其是欧洲，欧洲用户数据就不能存在其他区域，用户跨区数据的转移等应该要有用户协议先做法律上的风险（你们公司做全球，那么法务部，数据隐私安全合规应该有同事来处理这方面问题）。

当然你要是觉得自己是小厂，觉得暂时这些事不会找上门来另说，我这里就提示一下做全球服务这是一个基本问题。后面的架构什么的反而都简单后端没多复杂问 AI 都行。
lixintcwdsg 09-08 14:36

36楼

一般来说你们自己的后台系统，都不能看欧洲的用户数据，只能欧洲那边的运营团队自己看和操作。
数据安全隐私合规就有一些欧洲具体的规定了，比如必须 https 未成年不能存什么信息不能收集哪些需要脱敏等等。
lixintcwdsg 09-08 14:38

37楼

我看回复有人做过也提出这个问题，你的思路如果还是全球数据访问延迟和成本之类的，恐怕的确关注错了方向～
nexttick 09-08 14:43

38楼

观摩大佬们的讨论😶‍🌫️
lovedebug 09-08 14:43

39楼

用户注册和 onboarding 入口放在一个 site 上，onboarding 时选择绑定的地区（其他 site ），可以上 CDN 等，账号数据进入后再同步到其他 site ，后续用户登录请求先访问主 site ，并根据绑定区域跳转到对应的 site ，目前我们的做法是这样的。
lovedebug 09-08 14:45

40楼

关于文件，建议考虑直接使用云厂商的云存储，目前我们用的 Azure blob ，这个难题就让微软头疼吧。
remarrexxar 09-08 15:10

41楼

北美和欧洲的数据合规要当心，不同类型的数据怎么存存哪里存多久都有不同的要求。
wKong753900 楼主 09-08 15:45

42楼

@lixintcwdsg 我已经综合了讨论加上查到的合规信息，重新定制方案，不纠结全球化问题了

@remarrexxar 是的，这块有查到
IvanCrancy 09-08 16:18

43楼

这帖子让我梦回 5-6 年前的 V 站氛围挺好挺好；
COW 09-08 16:23

44楼

我理解应该有张全局的表，负责用户 id 、地域标识等元数据，因为要考虑隐私合规，实际使用会根据这张表路由到绑定地域的集群上，真正的用户信息表是在这个集群上的，另外设计时还要考虑用户、设备实际位置变动的情况。
kaf 09-08 16:50

45楼

我是云服务厂商出身，觉得你这种需求想的太复杂了，要合规化你确实得每个点位一个服务，这个也不是架构和同步的问题，计算机科学的解决思路，首先要想加一层中间件能不能搞定，如果用户对延迟敏感度不高，全球绕一圈最短 200ms ，你需要加一层网关通过 cdn 代理到全球，鉴别用户反代到哪里的服务器就好了，至于域名和代理方案产品这些，云厂的客户经理会帮你决定好的，泥需要的架构只要用户-》 cdn-》 gateway-》全球加速-》实际可用地区服务，延迟，缓存，全都交给云厂，或把我的话喂给 ai 也可以生成一套架构方案。我只是猜测你们业务不是需要那么高的全球同步必要，如果确实必要全球同步那另说。
qishua 09-08 16:54

46楼

有两种架构
1：用户中心放在新加坡，对外走 Anycast ip 的方式，这样用户注册、登录延迟最高也就在三四百 ms 左右。
然后你可以在美国、欧洲、非洲各地部署你们的流媒体服务，资源存储存 s3 、oss ，走云企业网，各地域 vpc 打通。
2：就是分地域的情况了，例如欧洲就一套欧洲的，美国就一套美国的，
qishua 09-08 16:56

47楼

你也可以都部署在新加坡，对外走 Anycast ip 的方式，只要你们的业务需求没有什么强联网的情况
wKong753900 楼主 09-08 17:06

48楼

@kaf 谢谢，挺好的建议

@qishua 谢谢，挺好的建议
xumiao 09-08 17:46

49楼

学习一下各位佬的架构设计