Сучасне навчання великих мовних моделей вимагає колосальних обчислювальних потужностей, які вже не вміщуються в межах одного дата-центру. Гіперскейлери, такі як Google, Microsoft та AWS, змушені об'єднувати кластери GPU, розташовані на відстані сотень кілометрів, у єдину розподілену систему. Цей перехід зумовлений обмеженнями в енергоспоживанні та фізичному просторі окремих об'єктів, що змушує операторів шукати нові локації для розгортання потужностей.
В основі навчання ШІ лежить ітеративний процес оновлення параметрів нейронної мережі, де тисячі прискорювачів повинні постійно обмінюватися даними. У синхронному режимі навчання мережа стає критичним елементом: будь-яка затримка передачі градієнтів або проміжних результатів призводить до простою всіх GPU. Це створює ефект «інкесту», коли велика кількість даних одночасно надходить до одного вузла, перевантажуючи мережеві канали.
Традиційні мережі між дата-центрами (DCI) розроблялися для асинхронного трафіку, тоді як розподілене навчання вимагає високої передбачуваності та пропускної здатності. Cisco зазначає, що вимоги до пропускної здатності в таких сценаріях можуть у 14 разів перевищувати звичайні показники DCI. Для передачі даних на великі відстані оператори переходять на когерентну оптику, яка дозволяє підтримувати швидкість 400-800 Гбіт/с на значних дистанціях.
Проблема затримок стає особливо гострою при збільшенні відстані між кластерами. Коли виникає перевантаження, сигнал зворотного зв'язку до відправника йде довше, що призводить до накопичення даних у чергах. Для вирішення цієї проблеми Cisco пропонує архітектури з глибокою буферизацією, які здатні поглинати короткочасні сплески трафіку, не допускаючи втрати пакетів, що критично важливо для стабільності навчання.
Крім буферизації, важливу роль відіграє спільне використання пам'яті пакетами, що дозволяє динамічно розподіляти ресурси між портами. Це забезпечує гнучкість, необхідну для роботи з непередбачуваними потоками даних. Проактивне керування трафіком, що базується на повторюваності процесів навчання ШІ, допомагає уникати черг ще до того, як вони стануть проблемою для всієї мережевої інфраструктури.
Стратегія Cisco базується на спільному проектуванні мережевого кремнію, систем та оптики. Використання програмованих процесорів Silicon One P200 дозволяє адаптувати мережеві функції через програмне забезпечення, не змінюючи апаратну частину. Хоча технологія розподіленого навчання все ще перебуває на ранній стадії, такий підхід дозволяє операторам гнучко масштабувати ШІ-інфраструктуру, долаючи фізичні обмеження відстані та енергоспоживання.
🔗 Першоджерело: Читати оригінал