简介这份PDF面向LTE网络优化工程师、无线通信运维人员及通信专业学习者系统讲解移动性负载均衡MLB功能的原理与实现。内容围绕负载均衡的触发模式、目标小区选择与执行三个阶段展开涵盖基于PRB利用率、同步态用户数等触发条件候选邻区筛选规则、负载信息交互流程以及热点区域、大型活动等典型应用场景帮助读者理解如何将高负载小区的部分UE迁移至低负载邻区缓解资源分配不均与网络拥塞。资源包共1个PDF文件约1.3MB内容结构完整适合作为日常优化参考或技术培训材料。目前已有48人学习便于快速掌握MLB策略的判定逻辑与实施要点为LTE网络稳定性与资源利用率提升提供实用指导。1. 从一份 PDF 标题说起ltemlb 负载均衡到底在解决什么问题第一次看到「ltemlb负载均衡功能介绍.pdf」这个标题很多人会愣一下ltemlb 是什么是某个开源项目、某个内部组件还是某个特定场景下的负载均衡方案我最初接触它时也有同样的疑问。拆开看ltem 大概率指向 LTE 或轻量级终端场景mlb 则是 Multi-Link / Multi-Load Balancing 的缩写合起来就是面向多链路或终端接入场景的负载均衡能力。它要解决的核心问题很具体当多条链路、多个出口或多种接入方式同时存在时流量怎么分、按什么权重分、某条链路抖动或掉线时怎么快速切换以及怎么保证等开销负载均衡下不出现某条链路被打满、其他链路闲着的情况。这份 PDF 标题背后对应的是一套可落地的链路调度与流量分配机制。它适合谁做边缘网关、多网聚合、终端接入优化的工程师以及需要在多链路环境下做流量调度的运维和开发人员。如果你手头正好有多条上行链路却只会做简单的轮询或主备那 ltemlb 这类方案值得花时间搞清楚。接下来我不复述那份 PDF而是按一线实操的路径把 ltemlb 负载均衡从概念、选型、配置到排错完整走一遍。2. ltemlb 负载均衡的调度原理与选型判断2.1 多链路场景下轮询为什么不够用很多人第一次做多链路负载均衡直觉就是轮询第一条链路发一个包第二条链路发下一个包依次循环。这个做法在实验室里看着挺美一到真实环境就翻车。原因在于不同链路的实际可用带宽、时延和丢包率并不相同。轮询假设所有链路等价但现实中一条 100Mbps 的专线和一条 20Mbps 的备用链路按同样权重轮询结果就是慢链路被压垮、快链路吃不饱。ltemlb 这类方案的核心思路是「按链路开销做加权调度」。开销可以综合带宽、时延、丢包率和当前队列深度计算最终每条链路拿到一个权重。流量按权重比例分配而不是简单轮流。等开销负载均衡是其中一种特殊情况当多条链路的开销评估结果接近时调度器会把流量尽量均摊避免某条链路因为微小波动被过度惩罚。这个「等开销」不是指物理参数完全一样而是指调度器评估后的开销值落在同一档位。选型时要先问自己三个问题链路数量是固定还是动态变化流量是 TCP 为主还是 UDP 为主对切换时延的容忍度是多少固定链路数、TCP 为主、容忍秒级切换的场景用基于权重的调度就够链路频繁上下线、UDP 为主、要求毫秒级切换的需要更激进的探测和重调度机制。2.2 ltemlb 的调度器结构与关键参数ltemlb 的调度器通常分三层链路探测层、开销计算层和流量分配层。链路探测层周期性发送探测包采集每条链路的 RTT、丢包率和可用带宽估计开销计算层把原始指标归一化后加权求和得到每条链路的开销值流量分配层根据开销值反比计算权重再按权重把新流或数据包分配到具体链路。关键参数有四个探测间隔、开销平滑系数、权重更新周期和最小权重下限。探测间隔决定链路状态变化的感知速度设得太短会增加探测开销设得太长会切换迟钝。开销平滑系数用于抑制抖动常见做法是对新开销值和历史开销值做指数加权平均。权重更新周期决定调度器多久重新计算一次权重太频繁会导致流量震荡太慢会跟不上链路变化。最小权重下限防止某条链路权重被压到零后完全不被使用保留一条「后悔药」通道。下面是一段用 Python 模拟开销计算和权重分配的示例帮助理解参数之间的关系import math def compute_cost(rtt_ms, loss_rate, bw_mbps, w_rtt0.4, w_loss0.4, w_bw0.2): # 归一化RTT 和丢包率越低越好带宽越高越好 rtt_norm min(rtt_ms / 200.0, 1.0) loss_norm min(loss_rate / 0.1, 1.0) bw_norm 1.0 - min(bw_mbps / 100.0, 1.0) # 加权求和得到开销开销越低链路越优 cost w_rtt * rtt_norm w_loss * loss_norm w_bw * bw_norm return max(cost, 0.01) # 防止除零 def compute_weights(costs, min_weight0.05): # 开销反比得到原始权重 raw [1.0 / c for c in costs] total sum(raw) weights [r / total for r in raw] # 应用最小权重下限并重新归一化 weights [max(w, min_weight) for w in weights] total sum(weights) return [w / total for w in weights] # 三条链路的实测指标 links [ {name: lte0, rtt: 35, loss: 0.01, bw: 80}, {name: lte1, rtt: 50, loss: 0.03, bw: 40}, {name: lte2, rtt: 28, loss: 0.005, bw: 60}, ] costs [compute_cost(l[rtt], l[loss], l[bw]) for l in links] weights compute_weights(costs) for l, c, w in zip(links, costs, weights): print(f{l[name]}: cost{c:.4f}, weight{w:.4f})这段代码的逻辑说明compute_cost把 RTT、丢包率和带宽三个指标归一化到 0 到 1 之间再按权重求和。RTT 和丢包率越高开销越大带宽越高开销越小。compute_weights用开销的倒数作为原始权重开销越低的链路权重越高。min_weight参数保证每条链路至少保留 5% 的流量避免某条链路被完全饿死。实际部署时w_rtt、w_loss、w_bw这三个权重需要根据业务类型调整实时音视频场景提高 RTT 权重文件传输场景提高带宽权重。2.3 等开销负载均衡的触发条件与配置等开销负载均衡不是手动开启的开关而是调度器在计算完开销后自然进入的一种状态。当多条链路的开销值差异小于某个阈值时调度器判定它们「等开销」此时权重会趋向均等。这个阈值通常设为最大开销与最小开销之比小于 1.2 到 1.5。配置时需要注意如果阈值设得太宽会把明显较差的链路也拉进等开销组导致整体性能下降设得太窄则频繁退出等开销状态权重反复震荡。一个常见的配置片段如下用 YAML 描述链路和调度参数ltemlb: probe_interval_ms: 200 cost_smoothing: 0.7 weight_update_ms: 1000 min_weight: 0.05 equal_cost_ratio: 1.3 links: - name: lte0 device: wwan0 weight_hint: 1.0 - name: lte1 device: wwan1 weight_hint: 1.0 - name: lte2 device: wwan2 weight_hint: 0.8参数说明probe_interval_ms设为 200 毫秒兼顾感知速度和探测开销cost_smoothing为 0.7表示新开销值占 70%历史值占 30%这个比例在链路抖动明显的环境下可以调到 0.5 让平滑更强weight_update_ms为 1000 毫秒每秒更新一次权重避免频繁切换equal_cost_ratio为 1.3最大开销不超过最小开销的 1.3 倍时进入等开销模式weight_hint是初始权重提示调度器启动时会参考它但后续会被实测开销覆盖。3. 把 ltemlb 跑起来从零配置到流量验证3.1 环境准备与链路探测配置动手之前先确认三件事每条链路的网卡是否独立可识别、系统是否允许策略路由、探测包能否正常收发。以 Linux 环境为例用ip link确认网卡状态用ip route查看现有路由表。如果多条链路共用同一个物理网卡通过 VLAN 区分需要先配置好 VLAN 子接口。链路探测是 ltemlb 的眼睛。常见做法是向每条链路的目标地址发送 ICMP 或 UDP 探测包记录往返时延和丢包。探测目标不要只设一个至少设两个不同网段的地址避免单个目标故障导致误判。下面是一个用 bash 做基础探测的脚本示例#!/bin/bash # 对每条链路分别探测绑定源地址确保走指定链路 LINKS(wwan0:10.0.0.2 wwan1:10.0.1.2 wwan2:10.0.2.2) TARGETS(8.8.8.8 1.1.1.1) for link in ${LINKS[]}; do dev${link%%:*} src${link##*:} for tgt in ${TARGETS[]}; do # -I 指定源地址-c 3 发三个包-W 2 超时两秒 rtt$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | tail -1 | awk -F/ {print $5}) loss$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | grep -oP \d(?% packet loss)) echo $dev - $tgt: rtt${rtt:-timeout}ms, loss${loss:-100}% done done这段脚本的逻辑-I参数绑定源地址确保探测流量从指定链路发出而不是被系统默认路由带走。-c 3发三个包取平均减少单次抖动影响。-W 2设置两秒超时避免探测卡死。输出结果里 RTT 和丢包率就是后续开销计算的输入。实际部署时这个脚本可以改成定时任务每 200 毫秒跑一次把结果写入共享内存或消息队列供调度器读取。3.2 权重分配与路由规则落地探测数据有了接下来要把权重变成实际的路由行为。Linux 下常用做法是配合ip rule和ip route做策略路由每条链路一张路由表调度器根据权重决定新连接走哪张表。对于 TCP 流量还可以用iptables的 statistic 模块按概率打标记再根据标记选择路由表。下面是一个配置示例假设三条链路分别对应路由表 100、101、102# 创建三张独立路由表 ip route add default via 10.0.0.1 dev wwan0 table 100 ip route add default via 10.0.1.1 dev wwan1 table 101 ip route add default via 10.0.2.1 dev wwan2 table 102 # 添加规则根据防火墙标记选择路由表 ip rule add fwmark 0x100 table 100 ip rule add fwmark 0x101 table 101 ip rule add fwmark 0x102 table 102 # 用 iptables 按权重打标记权重 0.5/0.3/0.2 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.5 -j MARK --set-mark 0x100 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.6 -j MARK --set-mark 0x101 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 1.0 -j MARK --set-mark 0x102逻辑说明第一条 iptables 规则有 50% 概率把包标记为 0x100走 wwan0第二条在剩余 50% 里再有 60% 概率标记为 0x101实际概率是 30%走 wwan1第三条兜底剩余 20% 走 wwan2。这样最终分配比例就是 50:30:20。参数调整时--probability的值需要根据调度器计算出的权重动态更新可以写一个守护脚本定期刷新 iptables 规则。注意iptables 规则是按顺序匹配的概率设置要按从大到小排列否则后面的规则永远没机会命中。另外这种方式只对新连接生效已有连接不会中途切换链路除非应用层支持重连。3.3 用 iperf3 和抓包验证实际分流效果配置完不等于生效必须验证。最直接的方法是用 iperf3 打流同时在每条链路上抓包统计字节数。下面是一个验证流程# 在服务端启动 iperf3 iperf3 -s -p 5201 # 在客户端打流持续 30 秒 iperf3 -c server_ip -p 5201 -t 30 -P 4 # 同时在三个网卡上抓包统计 tcpdump -i wwan0 -w /tmp/wwan0.pcap tcpdump -i wwan1 -w /tmp/wwan1.pcap tcpdump -i wwan2 -w /tmp/wwan2.pcap 打流结束后用tcpdump -r读取 pcap 文件统计每个文件的总字节数再除以总字节数得到实际分流比例。如果实际比例和配置权重偏差超过 10%需要检查三个地方探测数据是否准确、iptables 规则是否被其他规则覆盖、链路本身是否有丢包导致 TCP 重传集中在某条链路。另一个验证手段是看每条链路的队列长度和丢包统计。用ip -s link show wwan0查看累计发送和丢弃计数如果某条链路丢弃计数持续增长说明权重给高了需要下调。这个反馈可以手动调整也可以做成自动闭环调度器读取丢包计数超过阈值就临时降低该链路权重。4. ltemlb 负载均衡的避坑与排查记录4.1 链路探测正常但流量不走指定链路现象ping 测试每条链路都通RTT 和丢包率也正常但实际业务流量全部走默认路由权重配置形同虚设。原因策略路由规则优先级低于系统默认规则或者 iptables 标记没有正确应用到目标流量。常见情况是ip rule添加的规则排在默认规则32766之后导致永远不命中。解决用ip rule show查看规则顺序确保自定义规则序号小于 32766。如果用的是 fwmark 方式用iptables -t mangle -L -v -n确认标记计数在增长。另外检查rp_filter是否开启多链路环境下反向路径过滤可能把非对称路由的包丢掉需要把对应网卡的rp_filter设为 0 或 2。4.2 权重频繁震荡导致 TCP 性能骤降现象调度器日志显示权重每秒都在大幅变化业务侧表现为 TCP 吞吐量忽高忽低视频会议卡顿。原因探测间隔太短加上开销平滑系数太低链路微小抖动被放大成权重剧烈变化。TCP 连接在链路间切换时拥塞窗口和 RTT 估计需要重新收敛频繁切换直接导致性能下降。解决把probe_interval_ms从 200 调到 500 甚至 1000把cost_smoothing从 0.7 降到 0.4 到 0.5让开销值变化更平缓。同时把weight_update_ms设为探测间隔的 3 到 5 倍避免每次探测都触发权重更新。对于 TCP 长连接尽量在连接建立时确定链路不要中途切换。4.3 等开销模式下某条链路被静默饿死现象三条链路开销评估接近理论上应该均分流量但实际某条链路流量几乎为零且没有报错。原因最小权重下限设得太低或者权重计算时某条链路的开销值因为瞬时抖动被算得特别高反比权重趋近于零。等开销模式虽然会拉平权重但如果某条链路在进入等开销之前就被压到极低权重后续很难恢复。解决把min_weight从 0.01 提高到 0.05 甚至 0.1保证每条链路始终有流量经过这样探测数据才能持续更新不会陷入「没流量→探测不准→权重更低」的死循环。另外在权重更新时加入历史权重惯性新权重 0.7 * 新计算值 0.3 * 历史值避免单次异常把权重打到底。4.4 探测包和目标业务流量走不同链路现象探测结果显示 wwan0 质量最好但实际业务流量却从 wwan1 出去导致调度决策和实际情况不一致。原因探测包绑定源地址走了指定链路但业务流量没有绑定被系统默认路由或策略路由带到了其他链路。这种情况在同时存在多条默认路由时特别常见。解决确保业务流量的路由规则和探测流量一致。如果业务是容器或虚拟机发出的检查容器的网络命名空间和宿主机路由表是否同步。一个稳妥做法是用网络命名空间隔离每条链路探测和业务都在同一个命名空间内避免路由串扰。4.5 链路切换后旧连接大量超时现象某条链路掉线后调度器很快把新流量切到其他链路但已有连接大量超时应用层报错。原因链路切换只影响新连接的路由选择已有 TCP 连接的五元组没变仍然试图从掉线链路发送数据直到 TCP 重传超时才会断开。这个超时时间通常是分钟级对业务影响很大。解决在调度器里加入连接跟踪联动检测到链路掉线后主动清理该链路上的 conntrack 条目让后续包触发新连接建立。用conntrack -D -o wwan0可以删除指定网卡的所有连接跟踪条目。同时应用层要配置合理的重连超时不要依赖 TCP 自身的重传超时。5. 进阶技巧用历史数据做权重预热与回滚前面讲的都是实时调度但真实环境里链路状态变化往往有规律。比如某条链路在每天下午三点到五点丢包率明显上升如果调度器每次都要等探测到才降权业务已经受影响了。进阶做法是把历史探测数据存下来用简单的时间序列模型做短期预测在链路质量下降之前就提前调整权重。我一般会用最近 7 天的数据按小时聚合算出每条链路在每个小时的基线开销调度器启动时先用基线权重预热再逐步切换到实时探测值。回滚机制同样重要。权重调整本质上是把流量从一条链路搬到另一条搬错了就是事故。我的习惯是每次权重更新幅度不超过 20%并且保留上一周期的权重快照。如果新权重生效后 30 秒内业务侧错误率上升超过阈值自动回滚到快照权重。这个阈值不要设得太敏感否则正常抖动也会触发回滚反而造成震荡。验证预热和回滚是否有效可以构造一个模拟场景用tc命令给某条链路注入 10% 丢包观察调度器多久降权、业务错误率峰值是多少、回滚是否在 30 秒内完成。下面是一个用tc注入丢包的示例# 在 wwan1 上注入 10% 丢包模拟链路质量下降 tc qdisc add dev wwan1 root netem loss 10% # 观察 60 秒后移除 sleep 60 tc qdisc del dev wwan1 root netem loss 10%这个测试能暴露调度器的响应速度和回滚逻辑是否可靠。我踩过的坑是回滚阈值设得太高链路已经丢了 30% 的包才触发回滚业务已经断了一片。后来把阈值改成基于错误率斜率而不是绝对值只要错误率上升速度超过每秒 0.5% 就回滚响应快了很多。还有一个细节权重预热的数据不要用太久以前的。链路质量受基站负载、天气、周边干扰影响7 天前的数据可能完全不适用。我一般只保留最近 3 天的数据并且每天凌晨重新计算基线。如果某条链路连续三天同一时段都出现质量下降才把它写进预热模型否则只作为参考。最后说一个习惯每次调整 ltemlb 参数后不要只看调度器日志一定要用真实业务流量跑至少 10 分钟同时抓包对比实际分流比例和配置权重。日志里的权重是调度器的「意图」抓包看到的才是「事实」。这两者不一致的时候问题通常出在路由规则或连接跟踪上而不是调度算法本身。希望帮到你。本文还有配套的精品资源点击获取 ltemlb负载均衡实战：多链路调度、等开销配置与避坑指南
简介这份PDF面向LTE网络优化工程师、无线通信运维人员及通信专业学习者系统讲解移动性负载均衡MLB功能的原理与实现。内容围绕负载均衡的触发模式、目标小区选择与执行三个阶段展开涵盖基于PRB利用率、同步态用户数等触发条件候选邻区筛选规则、负载信息交互流程以及热点区域、大型活动等典型应用场景帮助读者理解如何将高负载小区的部分UE迁移至低负载邻区缓解资源分配不均与网络拥塞。资源包共1个PDF文件约1.3MB内容结构完整适合作为日常优化参考或技术培训材料。目前已有48人学习便于快速掌握MLB策略的判定逻辑与实施要点为LTE网络稳定性与资源利用率提升提供实用指导。1. 从一份 PDF 标题说起ltemlb 负载均衡到底在解决什么问题第一次看到「ltemlb负载均衡功能介绍.pdf」这个标题很多人会愣一下ltemlb 是什么是某个开源项目、某个内部组件还是某个特定场景下的负载均衡方案我最初接触它时也有同样的疑问。拆开看ltem 大概率指向 LTE 或轻量级终端场景mlb 则是 Multi-Link / Multi-Load Balancing 的缩写合起来就是面向多链路或终端接入场景的负载均衡能力。它要解决的核心问题很具体当多条链路、多个出口或多种接入方式同时存在时流量怎么分、按什么权重分、某条链路抖动或掉线时怎么快速切换以及怎么保证等开销负载均衡下不出现某条链路被打满、其他链路闲着的情况。这份 PDF 标题背后对应的是一套可落地的链路调度与流量分配机制。它适合谁做边缘网关、多网聚合、终端接入优化的工程师以及需要在多链路环境下做流量调度的运维和开发人员。如果你手头正好有多条上行链路却只会做简单的轮询或主备那 ltemlb 这类方案值得花时间搞清楚。接下来我不复述那份 PDF而是按一线实操的路径把 ltemlb 负载均衡从概念、选型、配置到排错完整走一遍。2. ltemlb 负载均衡的调度原理与选型判断2.1 多链路场景下轮询为什么不够用很多人第一次做多链路负载均衡直觉就是轮询第一条链路发一个包第二条链路发下一个包依次循环。这个做法在实验室里看着挺美一到真实环境就翻车。原因在于不同链路的实际可用带宽、时延和丢包率并不相同。轮询假设所有链路等价但现实中一条 100Mbps 的专线和一条 20Mbps 的备用链路按同样权重轮询结果就是慢链路被压垮、快链路吃不饱。ltemlb 这类方案的核心思路是「按链路开销做加权调度」。开销可以综合带宽、时延、丢包率和当前队列深度计算最终每条链路拿到一个权重。流量按权重比例分配而不是简单轮流。等开销负载均衡是其中一种特殊情况当多条链路的开销评估结果接近时调度器会把流量尽量均摊避免某条链路因为微小波动被过度惩罚。这个「等开销」不是指物理参数完全一样而是指调度器评估后的开销值落在同一档位。选型时要先问自己三个问题链路数量是固定还是动态变化流量是 TCP 为主还是 UDP 为主对切换时延的容忍度是多少固定链路数、TCP 为主、容忍秒级切换的场景用基于权重的调度就够链路频繁上下线、UDP 为主、要求毫秒级切换的需要更激进的探测和重调度机制。2.2 ltemlb 的调度器结构与关键参数ltemlb 的调度器通常分三层链路探测层、开销计算层和流量分配层。链路探测层周期性发送探测包采集每条链路的 RTT、丢包率和可用带宽估计开销计算层把原始指标归一化后加权求和得到每条链路的开销值流量分配层根据开销值反比计算权重再按权重把新流或数据包分配到具体链路。关键参数有四个探测间隔、开销平滑系数、权重更新周期和最小权重下限。探测间隔决定链路状态变化的感知速度设得太短会增加探测开销设得太长会切换迟钝。开销平滑系数用于抑制抖动常见做法是对新开销值和历史开销值做指数加权平均。权重更新周期决定调度器多久重新计算一次权重太频繁会导致流量震荡太慢会跟不上链路变化。最小权重下限防止某条链路权重被压到零后完全不被使用保留一条「后悔药」通道。下面是一段用 Python 模拟开销计算和权重分配的示例帮助理解参数之间的关系import math def compute_cost(rtt_ms, loss_rate, bw_mbps, w_rtt0.4, w_loss0.4, w_bw0.2): # 归一化RTT 和丢包率越低越好带宽越高越好 rtt_norm min(rtt_ms / 200.0, 1.0) loss_norm min(loss_rate / 0.1, 1.0) bw_norm 1.0 - min(bw_mbps / 100.0, 1.0) # 加权求和得到开销开销越低链路越优 cost w_rtt * rtt_norm w_loss * loss_norm w_bw * bw_norm return max(cost, 0.01) # 防止除零 def compute_weights(costs, min_weight0.05): # 开销反比得到原始权重 raw [1.0 / c for c in costs] total sum(raw) weights [r / total for r in raw] # 应用最小权重下限并重新归一化 weights [max(w, min_weight) for w in weights] total sum(weights) return [w / total for w in weights] # 三条链路的实测指标 links [ {name: lte0, rtt: 35, loss: 0.01, bw: 80}, {name: lte1, rtt: 50, loss: 0.03, bw: 40}, {name: lte2, rtt: 28, loss: 0.005, bw: 60}, ] costs [compute_cost(l[rtt], l[loss], l[bw]) for l in links] weights compute_weights(costs) for l, c, w in zip(links, costs, weights): print(f{l[name]}: cost{c:.4f}, weight{w:.4f})这段代码的逻辑说明compute_cost把 RTT、丢包率和带宽三个指标归一化到 0 到 1 之间再按权重求和。RTT 和丢包率越高开销越大带宽越高开销越小。compute_weights用开销的倒数作为原始权重开销越低的链路权重越高。min_weight参数保证每条链路至少保留 5% 的流量避免某条链路被完全饿死。实际部署时w_rtt、w_loss、w_bw这三个权重需要根据业务类型调整实时音视频场景提高 RTT 权重文件传输场景提高带宽权重。2.3 等开销负载均衡的触发条件与配置等开销负载均衡不是手动开启的开关而是调度器在计算完开销后自然进入的一种状态。当多条链路的开销值差异小于某个阈值时调度器判定它们「等开销」此时权重会趋向均等。这个阈值通常设为最大开销与最小开销之比小于 1.2 到 1.5。配置时需要注意如果阈值设得太宽会把明显较差的链路也拉进等开销组导致整体性能下降设得太窄则频繁退出等开销状态权重反复震荡。一个常见的配置片段如下用 YAML 描述链路和调度参数ltemlb: probe_interval_ms: 200 cost_smoothing: 0.7 weight_update_ms: 1000 min_weight: 0.05 equal_cost_ratio: 1.3 links: - name: lte0 device: wwan0 weight_hint: 1.0 - name: lte1 device: wwan1 weight_hint: 1.0 - name: lte2 device: wwan2 weight_hint: 0.8参数说明probe_interval_ms设为 200 毫秒兼顾感知速度和探测开销cost_smoothing为 0.7表示新开销值占 70%历史值占 30%这个比例在链路抖动明显的环境下可以调到 0.5 让平滑更强weight_update_ms为 1000 毫秒每秒更新一次权重避免频繁切换equal_cost_ratio为 1.3最大开销不超过最小开销的 1.3 倍时进入等开销模式weight_hint是初始权重提示调度器启动时会参考它但后续会被实测开销覆盖。3. 把 ltemlb 跑起来从零配置到流量验证3.1 环境准备与链路探测配置动手之前先确认三件事每条链路的网卡是否独立可识别、系统是否允许策略路由、探测包能否正常收发。以 Linux 环境为例用ip link确认网卡状态用ip route查看现有路由表。如果多条链路共用同一个物理网卡通过 VLAN 区分需要先配置好 VLAN 子接口。链路探测是 ltemlb 的眼睛。常见做法是向每条链路的目标地址发送 ICMP 或 UDP 探测包记录往返时延和丢包。探测目标不要只设一个至少设两个不同网段的地址避免单个目标故障导致误判。下面是一个用 bash 做基础探测的脚本示例#!/bin/bash # 对每条链路分别探测绑定源地址确保走指定链路 LINKS(wwan0:10.0.0.2 wwan1:10.0.1.2 wwan2:10.0.2.2) TARGETS(8.8.8.8 1.1.1.1) for link in ${LINKS[]}; do dev${link%%:*} src${link##*:} for tgt in ${TARGETS[]}; do # -I 指定源地址-c 3 发三个包-W 2 超时两秒 rtt$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | tail -1 | awk -F/ {print $5}) loss$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | grep -oP \d(?% packet loss)) echo $dev - $tgt: rtt${rtt:-timeout}ms, loss${loss:-100}% done done这段脚本的逻辑-I参数绑定源地址确保探测流量从指定链路发出而不是被系统默认路由带走。-c 3发三个包取平均减少单次抖动影响。-W 2设置两秒超时避免探测卡死。输出结果里 RTT 和丢包率就是后续开销计算的输入。实际部署时这个脚本可以改成定时任务每 200 毫秒跑一次把结果写入共享内存或消息队列供调度器读取。3.2 权重分配与路由规则落地探测数据有了接下来要把权重变成实际的路由行为。Linux 下常用做法是配合ip rule和ip route做策略路由每条链路一张路由表调度器根据权重决定新连接走哪张表。对于 TCP 流量还可以用iptables的 statistic 模块按概率打标记再根据标记选择路由表。下面是一个配置示例假设三条链路分别对应路由表 100、101、102# 创建三张独立路由表 ip route add default via 10.0.0.1 dev wwan0 table 100 ip route add default via 10.0.1.1 dev wwan1 table 101 ip route add default via 10.0.2.1 dev wwan2 table 102 # 添加规则根据防火墙标记选择路由表 ip rule add fwmark 0x100 table 100 ip rule add fwmark 0x101 table 101 ip rule add fwmark 0x102 table 102 # 用 iptables 按权重打标记权重 0.5/0.3/0.2 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.5 -j MARK --set-mark 0x100 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.6 -j MARK --set-mark 0x101 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 1.0 -j MARK --set-mark 0x102逻辑说明第一条 iptables 规则有 50% 概率把包标记为 0x100走 wwan0第二条在剩余 50% 里再有 60% 概率标记为 0x101实际概率是 30%走 wwan1第三条兜底剩余 20% 走 wwan2。这样最终分配比例就是 50:30:20。参数调整时--probability的值需要根据调度器计算出的权重动态更新可以写一个守护脚本定期刷新 iptables 规则。注意iptables 规则是按顺序匹配的概率设置要按从大到小排列否则后面的规则永远没机会命中。另外这种方式只对新连接生效已有连接不会中途切换链路除非应用层支持重连。3.3 用 iperf3 和抓包验证实际分流效果配置完不等于生效必须验证。最直接的方法是用 iperf3 打流同时在每条链路上抓包统计字节数。下面是一个验证流程# 在服务端启动 iperf3 iperf3 -s -p 5201 # 在客户端打流持续 30 秒 iperf3 -c server_ip -p 5201 -t 30 -P 4 # 同时在三个网卡上抓包统计 tcpdump -i wwan0 -w /tmp/wwan0.pcap tcpdump -i wwan1 -w /tmp/wwan1.pcap tcpdump -i wwan2 -w /tmp/wwan2.pcap 打流结束后用tcpdump -r读取 pcap 文件统计每个文件的总字节数再除以总字节数得到实际分流比例。如果实际比例和配置权重偏差超过 10%需要检查三个地方探测数据是否准确、iptables 规则是否被其他规则覆盖、链路本身是否有丢包导致 TCP 重传集中在某条链路。另一个验证手段是看每条链路的队列长度和丢包统计。用ip -s link show wwan0查看累计发送和丢弃计数如果某条链路丢弃计数持续增长说明权重给高了需要下调。这个反馈可以手动调整也可以做成自动闭环调度器读取丢包计数超过阈值就临时降低该链路权重。4. ltemlb 负载均衡的避坑与排查记录4.1 链路探测正常但流量不走指定链路现象ping 测试每条链路都通RTT 和丢包率也正常但实际业务流量全部走默认路由权重配置形同虚设。原因策略路由规则优先级低于系统默认规则或者 iptables 标记没有正确应用到目标流量。常见情况是ip rule添加的规则排在默认规则32766之后导致永远不命中。解决用ip rule show查看规则顺序确保自定义规则序号小于 32766。如果用的是 fwmark 方式用iptables -t mangle -L -v -n确认标记计数在增长。另外检查rp_filter是否开启多链路环境下反向路径过滤可能把非对称路由的包丢掉需要把对应网卡的rp_filter设为 0 或 2。4.2 权重频繁震荡导致 TCP 性能骤降现象调度器日志显示权重每秒都在大幅变化业务侧表现为 TCP 吞吐量忽高忽低视频会议卡顿。原因探测间隔太短加上开销平滑系数太低链路微小抖动被放大成权重剧烈变化。TCP 连接在链路间切换时拥塞窗口和 RTT 估计需要重新收敛频繁切换直接导致性能下降。解决把probe_interval_ms从 200 调到 500 甚至 1000把cost_smoothing从 0.7 降到 0.4 到 0.5让开销值变化更平缓。同时把weight_update_ms设为探测间隔的 3 到 5 倍避免每次探测都触发权重更新。对于 TCP 长连接尽量在连接建立时确定链路不要中途切换。4.3 等开销模式下某条链路被静默饿死现象三条链路开销评估接近理论上应该均分流量但实际某条链路流量几乎为零且没有报错。原因最小权重下限设得太低或者权重计算时某条链路的开销值因为瞬时抖动被算得特别高反比权重趋近于零。等开销模式虽然会拉平权重但如果某条链路在进入等开销之前就被压到极低权重后续很难恢复。解决把min_weight从 0.01 提高到 0.05 甚至 0.1保证每条链路始终有流量经过这样探测数据才能持续更新不会陷入「没流量→探测不准→权重更低」的死循环。另外在权重更新时加入历史权重惯性新权重 0.7 * 新计算值 0.3 * 历史值避免单次异常把权重打到底。4.4 探测包和目标业务流量走不同链路现象探测结果显示 wwan0 质量最好但实际业务流量却从 wwan1 出去导致调度决策和实际情况不一致。原因探测包绑定源地址走了指定链路但业务流量没有绑定被系统默认路由或策略路由带到了其他链路。这种情况在同时存在多条默认路由时特别常见。解决确保业务流量的路由规则和探测流量一致。如果业务是容器或虚拟机发出的检查容器的网络命名空间和宿主机路由表是否同步。一个稳妥做法是用网络命名空间隔离每条链路探测和业务都在同一个命名空间内避免路由串扰。4.5 链路切换后旧连接大量超时现象某条链路掉线后调度器很快把新流量切到其他链路但已有连接大量超时应用层报错。原因链路切换只影响新连接的路由选择已有 TCP 连接的五元组没变仍然试图从掉线链路发送数据直到 TCP 重传超时才会断开。这个超时时间通常是分钟级对业务影响很大。解决在调度器里加入连接跟踪联动检测到链路掉线后主动清理该链路上的 conntrack 条目让后续包触发新连接建立。用conntrack -D -o wwan0可以删除指定网卡的所有连接跟踪条目。同时应用层要配置合理的重连超时不要依赖 TCP 自身的重传超时。5. 进阶技巧用历史数据做权重预热与回滚前面讲的都是实时调度但真实环境里链路状态变化往往有规律。比如某条链路在每天下午三点到五点丢包率明显上升如果调度器每次都要等探测到才降权业务已经受影响了。进阶做法是把历史探测数据存下来用简单的时间序列模型做短期预测在链路质量下降之前就提前调整权重。我一般会用最近 7 天的数据按小时聚合算出每条链路在每个小时的基线开销调度器启动时先用基线权重预热再逐步切换到实时探测值。回滚机制同样重要。权重调整本质上是把流量从一条链路搬到另一条搬错了就是事故。我的习惯是每次权重更新幅度不超过 20%并且保留上一周期的权重快照。如果新权重生效后 30 秒内业务侧错误率上升超过阈值自动回滚到快照权重。这个阈值不要设得太敏感否则正常抖动也会触发回滚反而造成震荡。验证预热和回滚是否有效可以构造一个模拟场景用tc命令给某条链路注入 10% 丢包观察调度器多久降权、业务错误率峰值是多少、回滚是否在 30 秒内完成。下面是一个用tc注入丢包的示例# 在 wwan1 上注入 10% 丢包模拟链路质量下降 tc qdisc add dev wwan1 root netem loss 10% # 观察 60 秒后移除 sleep 60 tc qdisc del dev wwan1 root netem loss 10%这个测试能暴露调度器的响应速度和回滚逻辑是否可靠。我踩过的坑是回滚阈值设得太高链路已经丢了 30% 的包才触发回滚业务已经断了一片。后来把阈值改成基于错误率斜率而不是绝对值只要错误率上升速度超过每秒 0.5% 就回滚响应快了很多。还有一个细节权重预热的数据不要用太久以前的。链路质量受基站负载、天气、周边干扰影响7 天前的数据可能完全不适用。我一般只保留最近 3 天的数据并且每天凌晨重新计算基线。如果某条链路连续三天同一时段都出现质量下降才把它写进预热模型否则只作为参考。最后说一个习惯每次调整 ltemlb 参数后不要只看调度器日志一定要用真实业务流量跑至少 10 分钟同时抓包对比实际分流比例和配置权重。日志里的权重是调度器的「意图」抓包看到的才是「事实」。这两者不一致的时候问题通常出在路由规则或连接跟踪上而不是调度算法本身。希望帮到你。本文还有配套的精品资源点击获取