На фоне нехватки вычислительных мощностей в сфере искусственного интеллекта в Китае, усугубляемой ограничениями на импорт специализированных ускорителей, компания Alibaba нашла способ оптимизировать свои ресурсы. Как сообщает South China Morning Post, бета-тестирование системы Aegaeon, разработанной для повышения эффективности работы языковых моделей, проходит в одном из подразделений Alibaba Cloud уже более трёх месяцев. Эта система позволила сократить количество необходимых ускорителей Nvidia H20 с 1192 до 213 при использовании языковых моделей с 72 миллионами параметров. Ученые из Пекинского университета помогли в разработке, отметив, что это первая попытка оптимизировать затраты на обслуживание больших языковых моделей. В Alibaba Cloud до 17,7% ускорителей выделяются на обработку лишь 1,35% запросов. Система Aegaeon использует автомасштабирование, позволяя одному GPU обслуживать до семи моделей, что значительно сокращает задержки при переключении между ними. Alibaba тестирует эту технологию на маркетплейсе моделей Bailian, предлагая решения для корпоративных клиентов.