想拿下 TikTok 的 Machine Learning Engineer 新人岗？这篇 MLE VO 全流程复盘带你过一遍真实题目、答题思路与备考建议。这轮 VO 分两块：一道 Coding（复原 IP 地址），加一大轮围绕某 Transformer 模型配置展开的「八股轰炸」。MLE 岗的特点就是算法题不难，但模型八股要答得又快又准。
一、Coding：复原 IP 地址
题目：给定一个数字字符串，找出所有可能的合法 IP 地址。每段长度 1–3 位、数值在 0–255 之间，且没有前导零（除非单独为 "0"）。
用回溯枚举四段的切分点，剪枝掉非法段：
def restore_ip(s: str):
res = []
def valid(seg: str) -> bool:
if not seg or len(seg) > 3:
return False
if seg[0] == '0' and len(seg) > 1: # 前导零非法
return False
return int(seg) <= 255
def backtrack(start: int, parts: list):
if len(parts) == 4:
if start == len(s): # 恰好用完所有字符
res.append('.'.join(parts))
return
# 每段取 1~3 位
for length in range(1, 4):
seg = s[start:start + length]
if valid(seg):
backtrack(start + length, parts + [seg])
backtrack(0, [])
return res
关键剪枝：前导零（除 "0" 外不允许）、每段 ≤ 255、四段恰好用完整个字符串。字符串长度不在 4–12 之间可直接返回空。
二、模型八股轰炸
面试官给出一份某论文的 Transformer 配置：32 层、32 个 Attention 头（head size 64）、Rotary Embedding（dim=32）、context length 2048、Flash-Attention；训练用随机初始化 + 固定学习率、Weight decay 0.1、Adam（β1=0.9, β2=0.98, ε=1e-7）、fp16 + DeepSpeed ZeRO Stage 2、batch size 2048、总训练量 150B tokens。然后围绕它连环发问。
1. 什么是多头注意力（Multi-Head Attention）？
- 单头：对输入学习一组 (Q, K, V) 投影，提取一种特征关系。
- 多头：并行多个头，每个头在不同子空间里捕捉依赖，再拼接投影回去——从多角度看序列关系。
- 变种：Cross-Attention（编解码间）、Sparse/Local Attention、Axial Attention 等。
2. Rotary Embedding 是什么？
把位置信息以旋转矩阵嵌入到 Q/K 中，属于位置编码。相比绝对位置编码（正余弦）、可学习 PE、相对 PE，RoPE 自然融合相对位置信息，长距离推理与外推泛化更佳。
3. 如何处理长距离上下文？
- Sparse / Sliding Window Attention（稀疏/滑窗）
- Performer / Linformer（低秩近似把 O(n²) 降到近线性）
- Memory-based 机制（Longformer、BigBird）
- 分块或分层 Attention
4. Flash-Attention 是什么？
在 GPU 上做块级（tiling）计算，把中间结果留在 SRAM 减少对显存的读写，从而显著加速并降低显存占用，且数学上等价于标准 Attention。
5. 为什么用 Adam？β1、β2、ε 各是什么？
Adam 结合 AdaGrad 与 RMSProp，收敛快、对超参鲁棒。β1 控制一阶动量（梯度均值）衰减，β2 控制二阶动量（梯度平方）衰减，ε 是防止除零的数值稳定项。
6. 为什么用固定学习率而不 warm-up？
当初始化与超参已成熟、batch 足够大、用了稳定的 Adam 配置时，固定 lr 足够稳定，省去 warm-up 的调度复杂度。warm-up 更多是为了缓解训练初期大梯度导致的不稳定。
7. Weight Decay 是什么？
在参数更新中加入 L2 正则项（AdamW 里是解耦的权重衰减），抑制权重过大，防止过拟合、提升泛化。
8. fp16 与其他精度比较？
- fp16（半精度）：加速训练、省显存，但动态范围小、易溢出/下溢，需 loss scaling。
- bf16：动态范围接近 fp32、精度略低，训练更稳。
- fp32 / fp64：精度高但慢、占显存。
9. DeepSpeed ZeRO Stage 2 是什么？
ZeRO 把训练状态分片到多 GPU：Stage 1 分片优化器状态，Stage 2 再加分片梯度，Stage 3 再加分片参数。Stage 2 在「显存节省」与「通信开销」间取得不错平衡，适合训练更大模型。
三、备考建议
MLE VO 的八股密度很高，建议把上面九组按「一句话定义 + 一个对比 + 一个为什么」整理成卡片，做到脱口而出。Coding 通常是 Easy/Medium（回溯、链表、字符串），别在算法上失分，把时间和精力压在模型理解的深度上。
四、总结
TikTok MLE VO = 一道偏 Easy 的 Coding（复原 IP 地址回溯）+ 一大轮 Transformer 八股（注意力机制、位置编码、长上下文、训练精度与分布式）。算法稳过线，八股答得快准狠，是这岗的通过密码。
FAQ
Q1：TikTok MLE VO 考什么？
两块：一道 Coding（如复原 IP 地址回溯）+ 一大轮 Transformer 模型八股（多头注意力、RoPE、Flash-Attention、Adam、精度、ZeRO 等）。
Q2：复原 IP 地址的坑在哪？
三个剪枝：前导零（除 "0" 外不允许）、每段 ≤ 255、四段恰好用完整串。长度不在 4–12 直接返回空。
Q3：八股要答到多深？
每个概念做到「定义 + 对比 + 为什么」三层。比如 RoPE 不只说「旋转位置编码」，还要说清它相对绝对 PE 的外推优势。
Q4：八股一紧张就卡壳怎么办？
把高频九组做成卡片反复默写到脱口而出。如需 TikTok MLE VO 的限时模拟与八股串讲，或 VO代面 / VO辅助 的实时对接，可发岗位 JD 先做题型预测。
正在准备 TikTok MLE 面试？
oavoservice 提供 TikTok MLE 全流程陪练：回溯/字符串 Coding 限时模拟、Transformer 八股串讲与追问演练、训练精度与分布式（ZeRO/Flash-Attention）深挖，也支持 VO代面 / VO辅助 的实时对接。教练含前大厂 ML 资深工程师，熟悉 MLE 岗「算法稳 + 模型深」的评分风格。
立即添加微信 Coding0201，获取 TikTok MLE 真题与陪练。
联系方式
- 微信：Coding0201
- Email：[email protected]
- Telegram：@OAVOProxy