DeepSeek представила сервис, который поможет сократить операционные расходы на ИИ

DeepSeek открывает доступ к программному обеспечению, используемому для масштабного запуска своих моделей искусственного интеллекта, что потенциально может сделать ее технологию дешевле и проще в использовании для бизнеса, сообщает Bloomberg.

Сервис под названием DeepInfer — это программное обеспечение, которое DeepSeek использует для ускорения работы своих моделей и повышения эффективности использования вычислительных ресурсов.

«Мы делимся нашим производственным стеком, чтобы помочь сообществу снизить вычислительные затраты, сократить энергопотребление и сделать ИИ более доступным», — заявила компания.

В настоящее время DeepInfer поддерживает модель DeepSeek V4.1-Flash, поддержка будущих систем будет добавлена ​​позже.

DeepInfer объединяет различные методы, такие как распределенный вывод — распределение рабочих нагрузок ИИ по различному оборудованию, что позволяет моделям выдавать больше результатов за меньшее время и получать большую производительность от чипов. Многие из базовых методов широко используются, но DeepSeek адаптировал их для эффективной работы со своими моделями.

Снижение затрат на вывод результатов — затрат на запуск моделей ИИ — может повысить рентабельность для поставщиков услуг хостинга ИИ и потенциально привести к снижению цен для клиентов. Для предприятий DeepInfer может снизить стоимость запуска моделей DeepSeek на их собственной инфраструктуре. Пока что независимая оценка повышения эффективности DeepInfer отсутствует.

Хотя DeepInfer в основном применяется к собственным моделям DeepSeek, другие разработчики могли бы изучить это программное обеспечение с открытым исходным кодом и адаптировать его методы для своих собственных систем вывода.

Сообщение носит информационный характер, не является индивидуальной инвестиционной рекомендацией или предложением приобрести упомянутые ценные бумаги. Приобретение иностранных ценных бумаг связано с дополнительными рисками.