Портал DigiTimes со ссылкой на заявление директора тайваньского офиса Dell Теренса Ляо (Terence Liao) сообщил, что сроки поставки ИИ-ускорителей Nvidia H100 сократились с 3-4 месяцев до 8–12 недель. Поставщики серверного оборудования отметили, что дефицит ускорителей значительно уменьшился после 2023 года, когда приобрести Nvidia H100 практически не представлялось возможным. Директор тайваньского Dell поделился, что спрос не оборудование достаточно высок даже несмотря на уменьшение срок поставок. Кроме того, объем закупок ИИ-оборудования прилично выше объема оборудования общего назначения, хоть и стоимость первого значительно больше.
Отметим, что текущий срок поставки Nvidia H100 является самым коротким за все время выпуска ускорителей, более того, всего полгода назад H100 приходилось ждать 11 месяцев. То есть заказчикам приходилось практически год ждать поставок, а с начала текущего года сроки значительно уменьшились – сначала до 3-4 месяцев, а теперь всего до пары месяцев. Если такая тенденция продолжится, то вполне возможно, что к концу года дефицит ИИ-ускорителей на рынке будет устранен. Если рассматривать причины происходящего, то самым очевидным является упрощение аренду Nvidia H100 через облако провайдером вычислительных мощностей AWS. Также нельзя исключать и тот факт, что некоторые владельцы лишних ускорителей решили начать их активно перепродавать для компенсации затрат. Это основные факторы небольшого сокращения спроса на H100, а следовательно и сроков поставок. Сейчас больше всего проблема ожидания новых ускорителей касается крупных игроков на рынке ИИ-решений, например, OpenAI, которые владеют тысячами таких ускорителей для эффективного обучения больших языковых моделей (LLM).
Вчера был представлен конкурент Nvidia H100 – новые ИИ-ускорители Gaudi 3, которые позволят обучать нейронки в 1,7 раза быстрее и увеличить производительность инференса на 50%. Сообщается, что ускорители будут на 40% эффективнее текущего лидера рынка в виде NVIDIA H100. Третья модель сменит Gaudi2, которая появилась в мая прошлого года. Устройство имеет 96 Гбайт памяти HBM2e с пропускной способностью 2,45 Тбайт/с, а TDP достигает 600 Вт. Массовое производство ускорителей для OEM-производителей серверов стартует в третьем квартале текущего года. Также третье поколение Gaudi будет доступно в облачном сервисе Intel Developer Cloud, где можно будет протестировать новый чип.