Локальный ИИ на домашнем ПК: почему Альтман говорит о неэффективности

Сэм Альтман считает локальный ИИ неэффективным — причина в дефицитной памяти

Глава OpenAI Сэм Альтман считает, что в условиях мирового дефицита чипов оперативной памяти их лучше использовать в дата-центрах, а не держать в домашних компьютерах для локального запуска ИИ-моделей.

Свое мнение он высказал в подкасте Cheeky Pint, где обсуждали сразу две связанные темы: нехватку памяти и рост интереса к запуску моделей непосредственно на ПК.

В чём проблема локального запуска

Альтман обращает внимание не на саму возможность запускать ИИ локально, а на то, насколько эффективно при этом используется дефицитное оборудование.

По его логике:

• пользователь может установить открытую модель на свой компьютер и использовать её без облака;
• при этом часть мировой памяти оказывается распределена по тысячам или миллионам устройств;
• домашний компьютер большую часть времени не выполняет ИИ-задачи, поэтому установленное оборудование используется далеко не на полную мощность.

Альтман привёл конкретную оценку: оперативная память на домашних компьютерах, по его мнению, может использоваться для таких задач всего около 5% времени.

В дата-центре та же вычислительная инфраструктура может работать значительно интенсивнее: ресурсы распределяются между большим количеством запросов и не простаивают, когда один пользователь ничего не запускает.

То есть аргумент Альтмана — прежде всего про эффективность распределения ограниченных ресурсов. Сам по себе локальный ИИ он не называет невозможным или бесполезным.

Почему это важно для пользователей

Для владельца мощного ПК локальный запуск означает больше контроля над вычислениями и возможность использовать модели непосредственно на устройстве. Но при дефиците памяти возникает другой вопрос: что эффективнее для глобальной инфраструктуры — отдельный компьютер, который большую часть времени простаивает, или централизованный дата-центр, где оборудование постоянно обслуживает запросы.

При этом у OpenAI есть и открытые модели, которые можно запускать локально. Однако основной бизнес компании по-прежнему связан с закрытыми моделями, работающими в дата-центрах.

Как отмечает Tom's Hardware, позиция Альтмана может быть выгодна и самой OpenAI: пока мощные модели в основном требуют облачной инфраструктуры, пользователи продолжают платить за доступ к сервисам. Если же достаточно производительные модели смогут стабильно работать прямо на ноутбуках и игровых ПК, спрос на часть таких подписок в перспективе может снизиться.

В итоге спор здесь не только о том, где запускать ИИ. Речь о том, как использовать ограниченные вычислительные ресурсы: распределять их по личным устройствам или концентрировать в дата-центрах, где ими можно загружать систему значительно плотнее.