NVIDIA анонсировала выдающиеся результаты суперускорителя GB200 NVL72 в новом независимом бенчмарке InferenceMAX v1 от компании SemiAnalysis. Этот бенчмарк анализирует реальные затраты на ИИ-вычисления и определяет совокупную стоимость владения (TCO) для различных сценариев, включая покупку и аренду GPU. GB200 NVL72 оказался лучшим во всех категориях бенчмарка, продемонстрировав 15-кратную окупаемость инвестиций при вложении $5 млн, что значительно превышает обещанный ранее ROI в 700%.

Ускорители Blackwell также отличились самой низкой стоимостью владения, достигнув всего двух центов на миллион токенов. GB200 NVL72 обеспечил 60 тыс. токенов в секунду на ускоритель и 1 тыс. токенов на пользователя, что стало возможным благодаря оптимизации программного обеспечения.

Система NVIDIA Think SMART помогает предприятиям адаптироваться к новым условиям, подчеркивая важность экономической эффективности. В условиях перехода от экспериментальных проектов к полноценным ИИ-фабрикам, результаты бенчмарка должны побудить компании пересмотреть свои выборы в области ИИ-инфраструктуры, подводит итог The Tech Buzz.