小米 BE6500 Pro 的 SSH 解锁、装包与 WireGuard 组网

约 8 分钟

为了给刚刚装修完成的新房增加烟火气,逐渐开始了家里和公司宿舍两头跑的生活。但两端的网络各自分离着实有点不方便,该考虑组个大内网了。

但这个项目推进的最大阻碍就是这天杀的小米路由器:新房装修时想搞一点智能家居,于是所有灯和窗帘我都选了生态丰富的米家,用脚趾头想都知道这类最基本的硬装想要靠谱肯定得配一个小米中枢网关来实现智能家居的离线自动化,于是我鬼使神差地选了内置中枢的小米 BE6500 Pro 路由器,离线自动化确实用起来了。但路由器功能本身呢,对我来说就是低端家用路由器的使用体验。

其实小米路由器,或者说高通的 QSDK 确实是基于 OpenWrt 开发的,而且官方也确实在 Web 管理页面里给了 VPN 的选项,但小米这个 OpenWrt 经过了大量的修改且默认没有 SSH,而 VPN 又完全不支持 IPv6 的端点连接。

无论在家还是在宿舍,我拿到的 IPv4 都是 100.64.x.x。考虑到现在的网络环境,公网 IPv4 的申请想都别想。唯一能走的是 IPv6:两地都有公网 v6 前缀,虽然会变但架不住是活的。

于是有了这台机器的折腾:先解锁 SSH,再换掉那个磕磕绊绊的十年前版本的 dropbear,把 opkg 救活,然后解决这台机器最大的坑:/etc 是内存盘,配置留不住。等这台机器终于能用了,开始配网。


1. 打开 SSH

网上流传的方法都是同一个套路:先用官方修复工具刷回一个老版本固件,再用管理接口的 arn_switch 把 nvram 里的 ssh_en 打开。网上有人打包过无惧固件更新的持久化 SSH,直接拿来用就是了。

2. 十年前的 dropbear

开通 SSH 之后第一件事当然是连进去看看。如果你直接用 ssh root@10.25.0.1 命令尝试连接会发现你的 SSH 客户端提示算法不支持而连不上,而当你加了 -o HostKeyAlgorithms=+ssh-rsa之后终于连进去,打出dropbear -V 会出来 2017.75,这都快十年前的版本了呀!而且当你想用 scp 命令传文件的时候也会炸,因为在新版 OpenSSH 上,scp 本质走的是 sftp 那一套,而 sftp 在 2017.75 也是没有任何支持滴。所以就算只是远程连接,体验也是样样不顺手。

无论如何,先检查系统的信息。这台机器的 SoC 是高通 IPQ5332 四核 A53,操作系统的情况是:

Linux 5.4.213  aarch64_cortex-a53  musl 1.1.24

设备是 musl 1.1.24,**用户态二进制只要 ABI 对得上,就能直接拿来用,所以优化 SSH 体验的思路就是找个新版本的 dropbear 放进去完事。**于是从 archive.openwrt.org/releases/21.02.7 拿了一个 aarch64_cortex-a53 的 dropbear 2020.81。

ipk 其实就是个 tar.gz,根本不需要 opkg:

tar -xzf dropbear_2020.81-2_aarch64_cortex-a53.ipk   # 得到 data.tar.gz
mkdir -p data && tar -xzf data.tar.gz -C data
cp data/usr/sbin/dropbear /usr/sbin/dropbear && chmod 755 /usr/sbin/dropbear

换之前先开个临时端口并行跑一个新实例测试一下,整个过程都能跑通再动 22 端口。毕竟这是唯一的管理通道,玩脱了还得重刷固件走一遍 SSH 开通。

切换后的协商结果确实完整了:

kex: algorithm: curve25519-sha256
kex: host key algorithm: rsa-sha2-256
server->client cipher: chacha20-poly1305@openssh.com
Authenticated using "publickey"

顺带把 openssh-sftp-server 也装上。这里有个坑:dropbear 找的是 /usr/libexec/sftp-server,而 OpenWrt 的包是装到 /usr/lib/sftp-server 的,得补一条软链,否则 sftp 子系统起来了也连不上。最终测过 ssh、scp、sftp、VS Code Remote、git 全部正常,终于获得现代 SSH 体验了。

3. 把 opkg 救活

换完 dropbear 想装个 nano。我是 Linux 苦手真的不喜欢 Vim,但是小米路由器编译时候的 18.06-SNAPSHOT 已经不存在了,直接改成归档源就好:

src/gz openwrt_base      .../releases/18.06.9/packages/aarch64_cortex-a53/base
src/gz openwrt_packages  .../packages
src/gz openwrt_luci      .../luci
src/gz openwrt_routing   .../routing
src/gz openwrt_telephony .../telephony

签名校验通过,opkg list | wc -l 出来 5749 个包,是不是感觉此刻小米路由器又 Great again 了。

还没完。设备原生架构标识是 aarch64_cortex-a53_neon-vfpv4(带后缀),而包仓库里是 aarch64_cortex-a53,装软件的时候依赖判定是过不去的。得在 /etc/opkg.conf 里补架构别名:

arch all 1
arch noarch 1
arch aarch64_cortex-a53_neon-vfpv4 10
arch aarch64_cortex-a53 10

此刻你就有了一个几乎满血的 opkg,但一定得记得只能 opkg update 抓新软件,opkg install 装点用户态应用, opkg upgrade 和 opkg install kmod 包炸的:

opkg upgrade 会拿一堆 4.14 时代的库覆盖现有系统库,路由器直接变砖。同时,busybox、dropbear、libc、firewall、dnsmasq 这类核心包也一样别用 opkg 动。

4. 最大的坑:/etc 是内存盘

在小米路由器上装完 nano、htop、strace 挺开心,不亚于第一次给树莓派通电,但后来进一步测试的时候我重启了一次路由器,结果前脚刚装好的软件一下全没了😂。

因为这台机器的 /etc 是 ramfs,每次开机从只读的 squashfs 重建。写进 /etc 的东西,重启就消失。只有 /etc/config、/etc/crontabs 这几个子目录是独立挂载的持久 ext4,/data 也是持久的。

这意味着任何自定义改动都必须放在 /data,并且开机后得用脚本把它复制回去,天塌了呀,这下 opkg 体验直接打对折。

我最终的方案是两级:

  1. 文件本体存 /data/scripts/persist/目前有新版 dropbear、sftp-server、ed25519 主机密钥、authorized_keys、opkg 源配置。
  2. persist_custom.sh 放在 /etc/crontabs 负责开机后把这些文件搬回去,cron 每分钟调一次,避免这个路由器还有什么规则类怪谈把东西跑着跑着跑没了。

搬家脚本persist_custom.sh必须幂等:一切正常时不写入任何东西、不重启任何服务(dropbear 的替换过程需要重启服务);搬过去的文件只有检测到缺失的时候才补。

但毕竟是用了 cron,而开机时序是 /etc 重建 → dropbear 启动(此时 /etc/dropbear 是空的)→ 约 一分钟后钩子才把密钥恢复回来。这期间主机密钥是临时生成的,客户端会告警。所以开机后想要连进去之前建议先提一分钟肛。

5. 配网:内核里没有 WireGuard

BE6500 Pro 终于算是调教好了,我也不想继续在上面折腾任何软件包了,于是开始配网。

两端动态 IPv6 地址,那就是得有个 DDNS 服务能把我域名的 AAAA 记录自己更新起来。小米路由器和宿舍那边的普通 OpenWrt 都支持 CloudFlare 的 DDNS,且都完整支持 IPv6,这简直是这个研究过程中最感人最顺心的部分,剩下的一切都还是坑:

我喜欢 WireGuard 所以选 WireGuard 没什么好犹豫的,但问题是:WireGuard 是 5.6 才进主线的,这台是 5.4.213。刚好差了两个小版本,遗憾哇。

那就只能继续走用户态了,但除了用户态的性能一般般,还有两个各种教程必提的坑:

一是它的 UAPI 处理完 set 请求不回包。 wg show 秒回,但 wg setconf / wg set 会永久阻塞。配置其实是生效的,握手也能成。所以所有写操作必须用 timeout 包住:

timeout 6 wg setconf wg_section9 "$CONF" >/dev/null 2>&1 || true

二是它不认配置里的 Address。 跟 wg-quick 不一样,IP 必须自己加:

ip addr replace 172.31.2.1/24 dev wg_section9

除了上面两个臭毛病,最后是 MTU: 我们要做 IPv6 互联,家里是 PPPoE,WAN 口 MTU 只有 1480。WireGuard over IPv6 还要再减去 80 字节开销,所以隧道 MTU 是要改成 1380 的。

接下来就是普通的 WireGuard 配置了

# 家里,把宿舍那边想路由来的地址写全就行
AllowedIPs = 172.31.2.2/32, 172.31.0.0/24, 10.20.1.0/24, ...

宿舍那边也一样,把家里的 10.25.0.0/16 加进它那条 peer 的 allowed_ips,最后 ip route 配好,这样一来宿舍和家两地的互联互通就达成了!我可以随时在宿舍访问米家极客版,也能在家直接访问宿舍里我的主力电脑。

6. 这玩意靠谱吗

链路通了,同城同运营商延迟 4.9ms,来回两个方向都有 3MB/s 的带宽。但有个隐患:宿舍的公网 IPv6 前缀会变,而 WireGuard 只在启动接口的时候解析域名,之后后就不会重新解析了,这意味着如果地址变了,它会继续在旧地址上尝试握手而不会再解析一遍走新地址。

一开始担心的是”DDNS 还没更新,隧道就指着旧地址了”。结果第一次真遇到的时候,情况比预想的好:

宿舍重启完,公网 IPv6 变了,apartment.shellbin.me 的 AAAA 记录还指着旧地址(旧地址此时已经 ping 不通)。但 59 秒后隧道自己恢复了,家里那边的 endpoint 已经变成新地址。

原因是 WireGuard 的端点漫游:之前两端都配了对方的域名和 PersistentKeepalive 25。宿舍接口一起来就发 keepalive,家里收到合法包之后,按源地址把 endpoint 改写成了新的。

所以两端对等才是关键:

情况谁能救回来
宿舍 IP 变了、DDNS 还没更新宿舍发起,家里漫游学习
家里 IP 变了、DDNS 还没更新家里发起,宿舍漫游学习
两端都不变谁都行,keepalive 维持

只要有一端的 DDNS 是新鲜的,链路就能自愈。

另外考虑到极端情况,从 cron 上加了一个端点看门狗,每分钟跑一次:直连不通就重新解析域名、重设 endpoint。这样连两端都换了地址也完全不怕,等 DDNS 更新完,谁先重设谁就能连上。

7. 一点探索:上 Babel 动态路由、上 VPS

几年前和朋友组过 BGP,那感觉真好啊,大家把路由表广播出来,大家可以互相访问做网上邻居。而且 VPS 的存在相当于多一个备份路线,感觉很美好,当年在朋友的指导下完成了动态路由的配置,于是借此机会,我也打算自己试一试。

两个路由一台 VPS,为了一个站点只占一个 IP 方便管理,于是把隧道接口做成 unnumbered——不配 IPv4 地址,只保留内核生成的 IPv6 链路本地地址,让 Babel 用 fe80:: 建邻接,在邻接上交换 IPv4 路由。

两端 tcpdump 都能抓到组播:

fe80::xx.6696 > ff02::1:6.6696: babel 43 ...

其实配置过程也挺曲折,写 redistribute local ip 172.30.0.0/24 的时候,Babel 把本机所有本地地址都导出了,包括 WAN 的公网 IPv6。对端把这些 /128 装成路由,因为没有可用下一跳:

unreachable 2408:8221:8101:...:7957 dev lo proto babel metric 4294967295

而 2408:8221:8101:... 正是 WireGuard 隧道自己的端点地址,于是隧道把自己的端点判成了不可达,连接直接断掉。

哎前缀过滤这种低级错误。我对动态路由的了解特别肤浅,担心后面还有无尽的坑等着我。配置错误时每次断网后重新连回宿舍都特别磨人,于是失去耐心,草草卸载不搞了。对于现在的网络规模,还是单纯的两点互联手动配置路由省事。这类工程问题还是等出现明确需求时再做比较有动力。

8. 事后感言

小米路由器我再买是小狗,如果这套玩意哪天坏了或者心血来潮想升级 WiFi 8,还是得单买个本地中枢网关,用正经路由器解决联网需求啊。但还好组网后体验还 ok,也是美滋滋地可以赛博回家了。

谢谢你读到这里