Сегодня в Аризоне прошла выставка Vision 2024, где компания Intel представила новые ИИ-ускорители Gaudi 3, которые позволят обучать нейронки в 1,7 раза быстрее и увеличить производительность инференса на 50%. Сообщается, что ускорители будут на 40% эффективнее текущего лидера рынка в виде NVIDIA H100. Третья модель сменит Gaudi2, которая появилась в мая прошлого года. Устройство имеет 96 Гбайт памяти HBM2e с пропускной способностью 2,45 Тбайт/с, а TDP достигает 600 Вт. Массовое производство ускорителей для OEM-производителей серверов стартует в третьем квартале текущего года. Также третье поколение Gaudi будет доступно в облачном сервисе Intel Developer Cloud, где можно будет протестировать новый чип.
В Gaudi 3 будет использована такая же архитектура, что и во втором поколении, однако новый чип будет выполнен по 5-нм техпроцессу TSMC в отличие от 7-нм предшественника. Ускоритель представлен двумя кристаллами, получившими 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME). Gaudi 3 получил 96 Мб памяти SRAM с пропускной способностью 12,8 Тб/с и 128 Гб HBM2e с пропускной способностью 3,7 Тб/с, есть и 24 контроллера Ethernet RDMA с пропускной способностью по 200 Гб/с, которые обеспечат внутрисерверную и межсерверную связи.
Чипы будут доступны в двух вариантах: OAM и двухслотовая карта расширения PCIe. Первый будет использоваться в высокопроизводительных системах на основе ускорителей вычислений и получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Заявлено, что прирост в производительности FP8 составил 100%, BF16 – 300%, а пропускной способности – 100%. OAM должны устанавливаться в плату с поддержкой до восьми модулей. Есть информация, то модули и платы уже пришли партнерам, однако полноценные поставки начнутся только в конце года. Второй вариант, по заявлениям Intel, получит TDP 600 Вт и при этом такую же производительность в FP8, как и OAM, – 1835 терафлопс. Однако эти модули смогут работать группами только по четыре штуки. В этом форм-факторе ускорители увидят рынок в четвертом квартале 2024 года.
Lenovo и Dell отправили партнерам системы с воздушным охлаждением, а в ближайшее время будут доступны модели и с жидкостным охлаждением, массовое производство же начнется в 3 и 4 кварталах 2024 года. Напомним, что ранее мы уже сообщали об анонсе нового ИИ-ускорителя от Intel.