На конференции Ignite Microsoft представила новую облачную инстанцию Azure HBv5, основанную на кастомном процессоре EPYC, который разработали совместно с AMD. Процессор EPYC использует ядра Zen 4 в сочетании с HBM3. Соответственно, подобные виртуальные машины Azure ориентированы на приложения, требующие особенно высокой пропускной способности памяти, но объем данных которых превышает кэш L3 процессоров Milan-X с дополнительным 3D V-Cache на каждом CCD. Процессоры серии EPYC 7000X имеют 768 МБ кэша L3.
В отличие от Intel Xeon Max, AMD ранее не выпускала процессоры EPYC с HBM. Виртуальная машина Azure HBv5 обеспечивает пропускную способность памяти 6,9 ТБ/с. При этом используется не один процессор: Microsoft заявляет о 352 ядрах Zen 4 с тактовой частотой до 4 ГГц. Каждому ядру можно выделить до 9 ГБ памяти, заявленные 6,9 ТБ/с получили в тесте STREAM Triad при использовании 400–450 ГБ HBM3. SMT отключен, и на каждом сервере работает только одна виртуальная машина, чтобы избежать разделения аппаратных ресурсов между несколькими ВМ.
Серверы подключены через канал 800 Гбит/с на базе Quantum-2 InfiniBand от NVIDIA. С помощью Azure VMSS Flex можно распределять приложения между несколькими виртуальными машинами. Объем локального NVMe-хранилища сервера составляет 14 ТБ со скоростью передачи данных 50 ГБ/с для чтения и 30 ГБ/с для записи.
Ранее Microsoft использовала в инстанциях Azure, таких как HBv3 и HBv2, процессоры EPYC третьего поколения с 3D V-Cache (Milan-X) и второго поколения (Rome). По сравнению с ними новые кастомные процессоры EPYC с HBM обладают значительно более высокой пропускной способностью.
Вероятно, AMD разрабатывала процессоры EPYC с HBM под названием Instinct MI300C. Теперь CPU обозначили как EPYC 9v64H. Пока неизвестно, сколько процессоров EPYC входит в состав виртуальной машины HBv5. Поскольку Microsoft упоминает о сетевом соединении 800 Гбит/с, разделенном на четыре канала по 200 Гбит/с, можно предположить наличие четырех процессоров. При 352 ядрах это означает по 88 ядер на процессор — довольно необычное число. Это объясняется тем, что AMD использует четыре CCD по 24 ядра в каждом. Таким образом, процессор имеет 96 ядер, но виртуальной машине доступно только 88 ядер.
Просто заменить контроллер памяти IOD с DDR4 на HBM недостаточно. DDR4 использует 64+8 бит на канал памяти, тогда как каждый стек или чип HBM требует 16 соединений по 64 бита. То есть, интерфейс памяти в HBM во много раз шире, чем у классической DDR. Возможно, IOD имеет больше общего с семейством Instinct MI300, которое уже поддерживает HBM3.
Виртуальная машина Azure HBv5 уже доступна в предварительной версии и станет доступна всем клиентам в первой половине 2025 года.