В Apple приблизились к переносу мощных ИИ на портативные устройства. Arxiv: работу нейросети удалось ускорить в 25 раз в условиях ограниченной памяти.

Специалисты компании Apple объявили о прорыве в использовании искусственного интеллекта (ИИ) на основе больших языковых моделей (LLM) на устройствах с ограниченными аппаратными возможностями. В будущем это поможет запускать ChatGPT и другие требовательные ИИ на смартфонах и планшетах. Исследование опубликовано в сборнике научных статей Arxiv.
Инженеры протестировали свой подход на LLM-нейросети Falcon 7B с открытым исходным кодом, разработанную Институтом технологических инноваций в Абу-Даби. Согласно документу, специалистам удалось обеспечить работу ИИ при доступном объеме памяти вдвое ниже требуемого и ускорить вывод данных в 4-5 раз по сравнению с обычным методом использования центрального процессора, и в 20-25 раз при задействовании графического ускорителя.
Существующие сегодня интеллектуальные чат-боты, такие как ChatGPT от OpenAI и Bard компании Google, работают на базе дата-центров, используя огромные вычислительные мощности и потребляя большое количество энергии.
Перенос данных систем на мобильные устройства представляет очень сложную техническую задачу. Но если это получится сделать, портативные ИИ смогут обеспечить пользователям конфиденциальность, поскольку вся информация будет храниться на устройстве, а не в облачной базе данных на серверах компании.
«Наша работа не только обеспечивает решение нынешней вычислительной проблемы, но и создает прецедент для будущих исследований», — говорится в статье представителей Apple.

.