InfiniBand - Движущая сила центров суперкомпьютеров следующего поколения для ИИ

Фабрики ИИ управляют массивными рабочими процессами и фундаментальными моделями, такими как LLM, требуя бесшовного масштабирования на тысячи GPU с ультранадежными сетями для максимизации использования ресурсов. InfiniBand с ультранизкой задержкой, непревзойденной пропускной способностью и нативной производительностью RDMA без потерь стал де-факто стандартом для рабочих нагрузок фабрик ИИ. Его сквозная высокопроизводительная сеть обеспечивает обучение ИИ, аналитику в реальном времени и научные вычисления, идеально подходя для высокоплотных сред ИИ.

Возможности

Топология

Решения

Преимущества

Портфолио

Свяжитесь с нами

Создано для высокопроизводительных рабочих нагрузок ИИ

Адаптивная маршрутизация, внутрисетевые вычисления, архитектура управления перегрузками позволяют InfiniBand соответствовать строгим требованиям кластеров HPC и ИИ. Эти оптимизации обеспечивают бесшовный поток данных, устраняют узкие места и обеспечивают эффективное использование ресурсов, обеспечивая превосходную производительность и операционную эффективность для сложных инфраструктур.

Высокая производительность, низкая задержка

InfiniBand достигает сквозной задержки всего 2 мкс и задержки коммутатора до 230 наносекунд (NDR), идеально подходит для рабочих нагрузок ИИ/МО, которые зависят от быстрой обработки данных. Это уменьшает задержки связи, ускоряя циклы обучения и вывода моделей.

Передача без потерь с кредитным управлением потоком

С кредитным управлением потоком InfiniBand обеспечивает действительно безпотерьную сеть, снижая потерю пакетов и гарантируя, что данные не теряются во время передачи - ключевой фактор для надежной обработки данных в больших масштабах.

Адаптивная маршрутизация для оптимального распределения нагрузки

Адаптивная многопутевая маршрутизация динамически балансирует трафик, выбирая оптимальные пути на основе перегрузки в реальном времени, она уменьшает узкие места, повышает пропускную способность и улучшает общую эффективность сети, делая InfiniBand идеальным для сред с колеблющимися нагрузками данных.

Внутрисетевые вычисления с протоколом SHARP

Протокол масштабируемой иерархической агрегации и редукции (SHARP) обеспечивает внутрисетевую агрегацию данных, снижая задержку и перемещение данных. Разгружая коллективные операции от CPU к сети, SHARP улучшает пропускную способность данных и максимизирует использование полосы пропускания, ускоряя вычислительно интенсивные задачи.

Масштабируемость с гибкими топологиями

Поддерживая до 48 000 узлов в одной подсети, он устраняет накладные расходы ARP и широковещательной рассылки. Продвинутые топологии, включая Fat-Tree, Dragonfly+ и многомерный Torus, обеспечивают гибкие, высокопроизводительные конфигурации, адаптированные к конкретным потребностям приложений.

Стабильность и отказоустойчивость с технологией самовосстановления

Технология самовосстанавливающихся сетей сокращает время восстановления сети до 1 миллисекунды, обеспечивая высокую доступность и отказоустойчивость - критично для непрерывных операций ИИ и обработки данных.

Масштабируемая архитектура для пиковой производительности ИИ с InfiniBand

Для крупномасштабного развертывания кластеров ИИ InfiniBand с GPU NVIDIA H100, H200, решениями DGX (GB200, GB300), топология сети fat-tree сочетается с ними, подходящими для обработки интенсивных рабочих нагрузок ИИ.

Топология Quantum-X800 XDR（800G на узел）
Топология Quantum-X800 XDR + NDR（400G на узел）
Топология Quantum-2 NDR

Spine
Коммутаторы Quantum-X800
Leaf
Коммутаторы Quantum-X800
Server
Система DGX
Адаптеры ConnectX-8 C8180

Spine-Leaf
Оптика XDR
Leaf-Server
Оптика XDR и
Разветвители XDR DAC

Сетевые решения NADDOD InfiniBand для кластеров ИИ от малых до крупных

Гибкие решения, адаптированные к различным размерам кластеров ИИ, компоновкам центров обработки данных и расстояниям соединений.

Решения для центров обработки данных ИИ InfiniBand малого масштаба

Высокопроизводительное развертывание сети InfiniBand, разработанное для компактных центров обработки данных ИИ

Развертывание многомодовых трансиверов NDR

Многомодовые трансиверы InfiniBand NDR обеспечивают экономичную, надежную производительность для коротких расстояний.

Типичный случай использования

Соединения Spine-to-Leaf и Leaf-to-Server под 50 метров.

Рекомендации

Spine-to-Leaf：Трансиверы 800G OSFP 2xSR4

Leaf-to-Server：Трансиверы 400G OSFP SR4

Решения для центров обработки данных ИИ InfiniBand среднего и крупного масштаба

Высокопроизводительный и экономичный способ обновления или создания более масштабируемых кластеров ИИ.

Одномодовые трансиверы NDR и кабели DAC/ACC

Одномодовые трансиверы InfiniBand NDR обеспечивают стабильные, дальние соединения, в то время как кабели DAC снижают затраты и энергопотребление. Вместе они обеспечивают эффективное решение для средних и крупных кластеров.

Одномодовые трансиверы + кабели 800G DAC/ACC

Типичный случай использования

Коммутаторы Spine и Leaf размещены вместе или в соседних стойках для коротких соединений DAC. Одномодовые трансиверы обрабатывают более длинные расстояния Server-to-Leaf с высокоскоростной, низколатентной производительностью.

Рекомендации

Spine-to-Leaf: Кабели 800G OSFP DAC/ACC (поддерживает до 5 метров)

Leaf-to-Server: 800G OSFP 2xDR4 и 400G OSFP DR4 (оба поддерживают до 100 метров)

800G FR8 InfiniBand solution for AI data center

Одномодовые трансиверы + кабели 800G Breakout DAC/ACC

Типичный случай использования

Кабели Breakout DAC соединяют серверы с коммутаторами leaf в соседних стойках. Для расстояний Leaf-to-Spine, превышающих 50 метров и до 2 километров, одномодовые трансиверы обеспечивают надежную, высокопроизводительную связь.

Рекомендации

Spine-to-Leaf: 800G OSFP 2xFR4 - 800G OSFP 2xFR4 (поддерживает до 2 километров; подходит для соединений между зданиями) или 800G OSFP 2xDR4 - 800G OSFP 2xDR4 (оптимизирован для расстояний под 500 метров с высокой плотностью портов) трансиверы.

Leaf-to-Server: Кабели 800G OSFP Breakout DAC/ACC (поддерживает до 5 метров)

Решения для центров обработки данных ИИ InfiniBand крупного масштаба

Удовлетворение экстремальных требований к пропускной способности и задержке ультрабольших моделей с триллионами параметров.

Трансиверы XDR/NDR и кабели DAC/ACC

Для крупных кластеров ИИ обычно используется гибридный подход, сочетающий кабели DAC с трансиверами XDR или NDR. Он сочетает ультравысокие скорости для требовательных рабочих нагрузок ИИ с экономичной инфраструктурой.

Трансиверы XDR + кабели XDR Breakout DAC/ACC

Типичный случай использования

Когда подключение вычислительных узлов находится на скорости 800Gp/s, короткие расстояния внутри стойки и между стойками используют медные кабели 1,6T, в то время как дальние соединения используют одномодовые модули 1,6T XDR, снижая затраты по сравнению с использованием одномодовых модулей для всех соединений.

Рекомендации

Spine-to-Leaf：1,6T OSFP224 2xDR4 (поддерживает до 500 метров)

Leaf-to-Server：1,6T OSFP224 2xDR4 - 800G OSFP224 DR4 и Кабели 1,6T OSFP224 Breakout DAC/ACC

Трансиверы XDR и NDR + кабели NDR Breakout DAC/ACC

Типичный случай использования

Во время перехода от сетей NDR к XDR гибридные настройки балансируют обновления производительности с эффективностью. Для вычислительных узлов, работающих с NIC 400 Gb/s, сторона сервера продолжает работать с оптическими модулями и кабелями NDR, в то время как соединения Spine-to-Leaf принимают трансиверы XDR для максимальной пропускной способности.

Рекомендации

Spine-to-Leaf: 1,6T OSFP224 2xDR4 (поддерживает до 500 метров)

Leaf-to-Server: 800G OSFP 2xDR4 - 400G OSFP DR4 и Кабели 800G OSFP Breakout DAC/ACC

Общие сетевые проблемы, влияющие на эффективность обучения ИИ

80% перерывов в обучении ИИ происходят из-за проблем на стороне сети

95% сетевых проблем часто связаны с неисправными оптическими соединениями

Common Network Issues Affecting AI Training Efficency

NADDOD - Защита кластеров ИИ от перерывов в обучении

Портфолио продуктов NADDOD InfiniBand для рабочих нагрузок ИИ

Трансиверы и кабели InfiniBand

Варианты подключения NVIDIA Quantum-X800 и Quantum-2 обеспечивают гибкие топологии с различными трансиверами, разъемами MPO, ACC и DAC. Обратная совместимость соединяет кластеры 800b/s, 400Gb/s с существующей инфраструктурой 200Gb/s или 100Gb/s, обеспечивая бесшовную масштабируемость и интеграцию.

InfiniBand XDR Optics and Cables

InfiniBand NDR Optics and Cables

Коммутаторы InfiniBand

NVIDIA Quantum‑X800 и Quantum‑2 разработаны для удовлетворения требований высокопроизводительных сетей ИИ и HPC, обеспечивая 800 Gb/s и 400 Gb/s на порт соответственно, и доступны в конфигурациях с воздушным или жидкостным охлаждением для удовлетворения различных потребностей центров обработки данных.

Коммутаторы Quantum-X800

Quantum-2 Switches

Адаптеры/NIC InfiniBand

Адаптер NVIDIA ConnectX-8 и ConnectX-7 InfiniBand обеспечивает непревзойденную производительность для рабочих нагрузок ИИ и HPC, предлагая одиночные или двойные сетевые порты со скоростями до 800Gb/s, доступные в нескольких форм-факторах для удовлетворения различных потребностей развертывания.

Адаптеры ConnectX-8

Адаптеры ConnectX-7