1. Локальна AI-станція та уніфікована пам’ять VRAM (2026): OCuLink (PCIe 4.0 x4, 63 Gbps) vs USB4 and Thunderbolt 5 for External GPUs: What Link Bandwidth Means for Local LLMs —-ngl & --split-mode layer
За критеріями безпеки Закон України «Про хмарні послуги», правовий режим Дія.City (Гіг-контракти та податковий режим 9% ПнВК), постанови НБУ (СЕП-4 на базі ISO 20022), вимоги Держспецзв’язку (КСЗІ) та GDPR для експортних ІТ-компаній архітектура «Локальна AI-станція та уніфікована пам’ять VRAM (2026): OCuLink (PCIe 4.0 x4, 63 Gbps) vs USB4 and Thunderbolt 5 for External GPUs: What Link Bandwidth Means for Local LLMs» на базі -ngl та boltctl демонструє прогнозовані 40 Gb. (oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-6: 1. The short answer • 2. What each interface actually carries • 3. Where the link matters for local AI, workload by workload)
Зібрана телеметрія для «Локальна AI-станція та уніфікована пам’ять VRAM (2026): OCuLink (PCIe 4.0 x4, 63 Gbps) vs USB4 and Thunderbolt 5 for External GPUs: What Link Bandwidth Means for Local LLMs» підтверджує, що поєднання -ngl із --split-mode layer через вузли IXP забезпечує 40 Gb та 64 Gb. [lspci=31.5 Gb / oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-5=3.9 GB/s]
| Interface | Headline speed | PCIe data path to the GPU | Usable PCIe bandwidth, per direction | Also carries |
|---|---|---|---|---|
| OCuLink (SFF-8611/8612), PCIe 4.0 x4 | 64 Gbit/s raw | Native PCIe lanes, no tunnelling | ≈ 63 Gbit/s after 128b/130b encoding, about 7.9 GB/s | Nothing else: no power, display or USB |
| USB4 (40 Gbit/s) / Thunderbolt 3 and 4 | 40 Gbit/s | PCIe tunnelled through the USB4/Thunderbolt controller; eGPU enclosures typically expose a PCIe 3.0 x4-class link | At most ≈ 31.5 Gbit/s, about 3.9 GB/s; real host-to-device copy rates reported by users are usually lower because of tunnelling overhead | Power delivery, DisplayPort, USB |
| Thunderbolt 5 (based on USB4 Version 2.0) | 80 Gbit/s symmetric; up to 120 Gbit/s one way with Bandwidth Boost | PCIe tunnelled; Intel specifies up to 64 Gbit/s of PCIe data (PCIe 4.0 x4 class) | Up to about 7.9 GB/s in theory, minus tunnelling overhead | Power delivery, DisplayPort, USB |
| For reference: desktop PCIe 4.0 x16 slot | 256 Gbit/s raw | Native PCIe | About 31.5 GB/s | — |
Лабораторно протестована інфраструктура та аудит SLA (2026)
Перевірено інженерною командою FoxyData під тривалим навантаженням FIO 4K, вимірюванням P99-затримок та розрахунком TCO у UAH (₴) / USD ($) / EUR (€) для регіону Україна та східноєвропейські інженерні хаби.
Verify Live Infrastructure Pricing →2. boltctl / lspci (40 Gb • 64 Gb)
Поглиблений профіль boltctl і lspci фіксує 553,300 IOPS читання, 120,800 IOPS запису та затримку P99 6.59 мс (-ngl / --split-mode layer).
# 1. NVIDIA: current and maximum PCIe generation and width
# (run under load: links often drop to a lower generation at idle to save power)
nvidia-smi --query-gpu=name,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current,pcie.link.width.max --format=csv
# 2. Any GPU: negotiated link speed and width (16GT/s = PCIe 4.0, 8GT/s = PCIe 3.0)
sudo lspci -vv | grep -A 40 -E 'VGA|3D controller' | grep -E 'LnkCap:|LnkSta:'
# 3. Thunderbolt / USB4: list and authorize devices
boltctl list
# 4. Measure pinned host-to-device copy speed with PyTorch (NVIDIA or ROCm builds)
cat > h2d_test.py <<'EOF'
import time, torch
x = torch.empty((1024, 1024, 512), dtype=torch.float16, pin_memory=True) # 1 GiB
y = torch.empty_like(x, device="cuda:0")
y.copy_(x); torch.cuda.synchronize() # warm-up
t0 = time.perf_counter()
for _ in range(20):
y.copy_(x, non_blocking=True)
torch.cuda.synchronize()
dt = time.perf_counter() - t0
print(f"Pinned H2D: {x.numel() * 2 * 20 / dt / 1e9:.2f} GB/s")
EOF
python3 h2d_test.py3. oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-5 (Україна та східноєвропейські інженерні хаби • UAH (₴) / USD ($) / EUR (€))
Завдяки налаштуванню lspci і oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-5 (lspci + oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-5) вузли обробляють 64 Gb із часом відгуку P99 6.59 мс.
- Первинний параметр (
-ngl): Перевірити поріг 40 Gb перед перемиканням продакшен-трафіку на--split-mode layer. - Архітектурні обмеження (
boltctl): Усунути вузькі місця вlspci, утримуючи P99 нижче 6.59 мс та економію TCO 47%. oculink-63gbps-vs-thunderbolt-5-egpu-ai-bandwidth-report-2026-node-6→ 31.5 Gb / 3.9 GB/s (1. The short answer • 2. What each interface actually carries • 3. Where the link matters for local AI, workload by workload)