想拿下 TikTok 的 Machine Learning Engineer 新人崗？這篇 MLE VO 全流程複盤帶你過一遍真實題目、答題思路與備考建議。這輪 VO 分兩塊：一道 Coding（復原 IP 位址），加一大輪圍繞某 Transformer 模型配置展開的「八股轟炸」。MLE 崗的特點就是演算法題不難，但模型八股要答得又快又準。
一、Coding：復原 IP 位址
題目：給定一個數字字串，找出所有可能的合法 IP 位址。每段長度 1–3 位、數值在 0–255 之間，且沒有前導零（除非單獨為 "0"）。
用回溯枚舉四段的切分點，剪枝掉非法段：
def restore_ip(s: str):
res = []
def valid(seg: str) -> bool:
if not seg or len(seg) > 3:
return False
if seg[0] == '0' and len(seg) > 1: # 前導零非法
return False
return int(seg) <= 255
def backtrack(start: int, parts: list):
if len(parts) == 4:
if start == len(s): # 恰好用完所有字元
res.append('.'.join(parts))
return
# 每段取 1~3 位
for length in range(1, 4):
seg = s[start:start + length]
if valid(seg):
backtrack(start + length, parts + [seg])
backtrack(0, [])
return res
關鍵剪枝：前導零（除 "0" 外不允許）、每段 ≤ 255、四段恰好用完整個字串。字串長度不在 4–12 之間可直接返回空。
二、模型八股轟炸
面試官給出一份某論文的 Transformer 配置：32 層、32 個 Attention 頭（head size 64）、Rotary Embedding（dim=32）、context length 2048、Flash-Attention；訓練用隨機初始化 + 固定學習率、Weight decay 0.1、Adam（β1=0.9, β2=0.98, ε=1e-7）、fp16 + DeepSpeed ZeRO Stage 2、batch size 2048、總訓練量 150B tokens。然後圍繞它連環發問。
1. 什麼是多頭注意力（Multi-Head Attention）？
- 單頭：對輸入學習一組 (Q, K, V) 投影，提取一種特徵關係。
- 多頭：並行多個頭，每個頭在不同子空間裡捕捉依賴，再拼接投影回去——從多角度看序列關係。
- 變種：Cross-Attention（編解碼間）、Sparse/Local Attention、Axial Attention 等。
2. Rotary Embedding 是什麼？
把位置資訊以旋轉矩陣嵌入到 Q/K 中，屬於位置編碼。相比絕對位置編碼（正餘弦）、可學習 PE、相對 PE，RoPE 自然融合相對位置資訊，長距離推理與外推泛化更佳。
3. 如何處理長距離上下文？
- Sparse / Sliding Window Attention（稀疏/滑窗）
- Performer / Linformer（低秩近似把 O(n²) 降到近線性）
- Memory-based 機制（Longformer、BigBird）
- 分塊或分層 Attention
4. Flash-Attention 是什麼？
在 GPU 上做塊級（tiling）計算，把中間結果留在 SRAM 減少對顯存的讀寫，從而顯著加速並降低顯存佔用，且數學上等價於標準 Attention。
5. 為什麼用 Adam？β1、β2、ε 各是什麼？
Adam 結合 AdaGrad 與 RMSProp，收斂快、對超參魯棒。β1 控制一階動量（梯度均值）衰減，β2 控制二階動量（梯度平方）衰減，ε 是防止除零的數值穩定項。
6. 為什麼用固定學習率而不 warm-up？
當初始化與超參已成熟、batch 足夠大、用了穩定的 Adam 配置時，固定 lr 足夠穩定，省去 warm-up 的排程複雜度。warm-up 更多是為了緩解訓練初期大梯度導致的不穩定。
7. Weight Decay 是什麼？
在參數更新中加入 L2 正則項（AdamW 裡是解耦的權重衰減），抑制權重過大，防止過擬合、提升泛化。
8. fp16 與其他精度比較？
- fp16（半精度）：加速訓練、省顯存，但動態範圍小、易溢位/下溢，需 loss scaling。
- bf16：動態範圍接近 fp32、精度略低，訓練更穩。
- fp32 / fp64：精度高但慢、佔顯存。
9. DeepSpeed ZeRO Stage 2 是什麼？
ZeRO 把訓練狀態分片到多 GPU：Stage 1 分片優化器狀態，Stage 2 再加分片梯度，Stage 3 再加分片參數。Stage 2 在「顯存節省」與「通訊開銷」間取得不錯平衡，適合訓練更大模型。
三、備考建議
MLE VO 的八股密度很高，建議把上面九組按「一句話定義 + 一個對比 + 一個為什麼」整理成卡片，做到脫口而出。Coding 通常是 Easy/Medium（回溯、鏈結串列、字串），別在演算法上失分，把時間和精力壓在模型理解的深度上。
四、總結
TikTok MLE VO = 一道偏 Easy 的 Coding（復原 IP 位址回溯）+ 一大輪 Transformer 八股（注意力機制、位置編碼、長上下文、訓練精度與分散式）。演算法穩過線，八股答得快準狠，是這崗的通過密碼。
FAQ
Q1：TikTok MLE VO 考什麼？
兩塊：一道 Coding（如復原 IP 位址回溯）+ 一大輪 Transformer 模型八股（多頭注意力、RoPE、Flash-Attention、Adam、精度、ZeRO 等）。
Q2：復原 IP 位址的坑在哪？
三個剪枝：前導零（除 "0" 外不允許）、每段 ≤ 255、四段恰好用完整串。長度不在 4–12 直接返回空。
Q3：八股要答到多深？
每個概念做到「定義 + 對比 + 為什麼」三層。比如 RoPE 不只說「旋轉位置編碼」，還要說清它相對絕對 PE 的外推優勢。
Q4：八股一緊張就卡殼怎麼辦？
把高頻九組做成卡片反覆默寫到脫口而出。如需 TikTok MLE VO 的限時模擬與八股串講，或 VO代面 / VO輔助 的即時對接，可發崗位 JD 先做題型預測。
正在準備 TikTok MLE 面試？
oavoservice 提供 TikTok MLE 全流程陪練：回溯/字串 Coding 限時模擬、Transformer 八股串講與追問演練、訓練精度與分散式（ZeRO/Flash-Attention）深挖，也支援 VO代面 / VO輔助 的即時對接。教練含前大廠 ML 資深工程師，熟悉 MLE 崗「演算法穩 + 模型深」的評分風格。
立即新增微信 Coding0201，獲取 TikTok MLE 真題與陪練。
聯絡方式
- 微信：Coding0201
- Email：[email protected]
- Telegram：@OAVOProxy