源地址选择是有 RFC 的
https://datatracker.ietf.org/doc/rfc6724/ section 5

拓扑应该是类似 A(10.167.72.3) <----> (10.167.x.x)网关(10.168.x.x) <---> (10.168.x.x)B(10.154.2.200) <-->(10.154.2.234)C 这种吧？
你在机器 B 上开启了 NAT 后，机器 C 的地址对 A 已经不可见了

可以通过 netlink(ip 命令就是通过 netlink)

RTM_NEWADDR, RTM_DELADDR, RTM_GETADDR
Add, remove or receive information about an IP address associ‐
ated with an interface. In Linux 2.2, an interface can carry
multiple IP addresses, this replaces the alias device concept in
2.0. In Linux 2.2, these messages support IPv4 and IPv6
addresses. They contain an ifaddrmsg structure, optionally fol‐
lowed by rtattr routing attributes.

struct ifaddrmsg {
unsigned char ifa_family; /* Address type */
unsigned char ifa_prefixlen; /* Prefixlength of address */
unsigned char ifa_flags; /* Address flags */
unsigned char ifa_scope; /* Address scope */
int ifa_index; /* Interface index */
};

ifa_family is the address family type (currently AF_INET or
AF_INET6), ifa_prefixlen is the length of the address mask of
the address if defined for the family (like for IPv4), ifa_scope
is the address scope, ifa_index is the interface index of the
interface the address is associated with. ifa_flags is a flag
word of IFA_F_SECONDARY for secondary address (old alias inter‐
face), IFA_F_PERMANENT for a permanent address set by the user
and other undocumented flags.

判断 ifa_flags & IFA_F_SECONDARY

本地测试
ip -6 addr show
2: ens2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 state UP qlen 1000
inet6 2::cd5b:65df:8ebd:cee8/64 scope global temporary dynamic
valid_lft 604458sec preferred_lft 85521sec
inet6 2::5054:ff:fe09:9265/64 scope global dynamic mngtmpaddr noprefixroute
valid_lft 2591821sec preferred_lft 604621sec
inet6 fe80::4d7d:7c1f:9991:fddd/64 scope link stable-privacy
valid_lft forever preferred_lft forever

./getaddr
new addr
ifa flags 1
addr 2::cd5b:65df:8ebd:cee8 <== 临时地址
new addr
ifa flags 0
addr 2::5054:ff:fe09:9265
new addr
ifa flags 80
addr fe80::4d7d:7c1f:9991:fddd

不想迁移 git 的话，也可以用类似 git submodule 那种

每个模块有自己的 trunk/branch
整个项目以类似 csv 的方式保存

例如 project trunk
name. branch. revision URL
moduleA trunk LATEST. svn://xxxx/moduleA/TRUNK
moduleB. trunk. LATEST. svn://xxxx/moduleB/TRUNK

project.branchA
name. branch. revision URL
moduleA branchA 1000. svn://xxxx/moduleA/BRANCHES/branchA
moduleB. TRUNK 900 svn://xxxx/moduleB/TRUNK

@wacke
如果要改代码，最简单的方式就是把 wg_socket_endpoint_from_skb 函数里的 endpoint->src_if4 = skb->skb_iif 这句注掉，这样就可以跳过源地址重新选择的流程

看了下 wireguard 的实现
1. 对方的目的地址在本端是有记录的，就记录在 wg_peer 的 endpoint->src4 里
这个包从哪个 netdevice 进来的也有记录，同样记录在 wg_peer 的 endpoint->src_if4 里
只不过在查路由的时候，如果查到的出口与入口不相同(rt->dst.dev->ifindex != endpoint->src_if4)，就会让路由模块重新选择源地址
2. 你的修改只是不让路由模块重新选择源地址，但是出口还是错的，在某些情况下回程包仍有可能被丢弃
3. 个人认为上游不接受你的修改是因为已经提供了 fwmark 来解决你的问题
举例来说
ip route add default dev ens3 table 1000 #创建路由表 1000 ，默认路由出口是 ens3 ，如果是 p2p 接口这样就 ok ，否则要写成下一跳
wg set wg0 fwmark 1234 # 由 wg0 接口出的包一律打上 fwmark 1234
ip rule add fwmark 1234 table 1000 # 打上 fwmark 1234 的包查路由表 1000

@wacke
不好意思，我现在没有方便的环境调试
我想等验证后再分享我的想法

还有 endpoint->src_if4 是 netdevice 的 ifindex ，不是 src_addr

顺便说一句，用全局变量绝对不可行，根本无法重入
比如你这种多 wan 的情况，clientA -> eth0 和 clientB -> eth1 交替访问

5. 粗略翻了一下 wireguard 的介绍，wireguard 是没有 tunnel connect 这个过程的，主要问题是 client 在 NAT/防火墙内侧么？回程的源地址改变了无法穿过 NAT/防火墙是么？

1. IPv4/IPv6 源地址选择是有 RFC 的，在未指定源地址的情况下，出接口地址优先，你看有没有办法能通过配置 bind 指定接口地址
2. metric 都不同，根本不是多出口问题，路由始终选择 metric 最低的路由
3. wireguard 我不熟悉，但是作为一个 tunnel responder ，你的 tunnel source 不应该是客户端在建立 tunnel 时决定的么？
4.有没有办法在 tunnel 建立的时候动态注入路由

小包转发性能是网络设备的基础指标，包括 pps/时延 /乱序等等
实际使用中，随着各种功能的叠加（比如 NAT/QoS 等等），转发表的大小（ 100 条路由 vs10w 条路由），实际的转发性能还会有一定下降
接入路由器不需要这么高转发，但是汇聚路由器 /核心路由器是必要参考值

要玩转一样东西，最好的方式还是去折腾它，碰到有问题有针对性地去查资料去了解相关内容

比如 iptables ，你就需要对网络有一定了解，然后会牵涉到一大堆内容
* netdevice
* linux 上常见的网络配置管理(netplan 啥的)
* 那些表分别是用来干嘛的

对于命令啥的，熟悉常用的，碰到问题知道可以用命令 A/B/C ，用 man 可以查相关说明即可

linux 作为这么一个庞大的系统，你想一口气了解全部几乎做不到，还是要划分边界，先了解最感兴趣的 /最有需求的那一小部分，然后再慢慢往外延伸

楼主提到的那些概念，都是可以展开很多很多内容的
比如 grub/文件系统 /systemd
就是一个经典问题，一个 linux 系统如何完成引导，最终完成系统初始化
在 x86 上是 grub ，在别的平台是其他的 bootloader
然后怎么执行到内核的？内核初始化需要做些啥？最后怎么跳到 init 的？ initd 需要完成啥？
systemd 和其他的 initd 有什么区别？
etc...

可能和路由器的上游 DNS 有关
而且 dnsmasq 有个特殊的处理：
如果指定了多个上游 DNS ，dnsmasq 是同时向这些 DNS 请求，谁先应答就采用谁的结果
如果某个上游 DNS 先回复了 no such domain ，那你获得的结果就是 no such domain 了

另外 nslookup 指定 DNS 是直接绕过 dnsmasq 的；不指定时走的还是 dnsmasq

在 SLAAC 中，作为 IPv6 host 可以通过 RS/RA 学习 IPv6 前缀以及默认网关
通过 IPv6 前缀生成 IPv6 地址的方式有
EUI64 对于 ethernet 来说，就是通过 mac 地址变换得到，为固定地址
临时地址

这个就看 linux kernel 对 IPv6 SLAAC 的支持程度了

initramfs 只负责启动，启动过程中由 systemd 挂载真正的 rootfs(log 里也有 switching root)
/etc /usr 之类的目录都是由 systemd-mount 挂载完毕后才指向实际硬盘里的内容

这就牵涉到 path mtu
但 TCP 是置了 DF 位，除非外层有其他 VPN(IPSec/MPLS/GRE 之类的)，否则不可能抓到分片报文

TCP 为了传输效率是不允许分片的。如何做到不分片请查阅 MSS 。
最简单就是 ping 大包了：
ping A.B.C.D -l 10000(windows)
ping A.B.C.D -s 10000(linux)

另，关于 TCP server 在 unix 网络编程中也有相关章节介绍
无论是子进程的方式，还是 select 复用