Apple выпускает OpenELM: небольшие открытые ИИ-модели
В то время как Google, Samsung и Microsoft продолжают продвигать свои усилия в области генеративного ИИ на ПК и мобильных устройствах, Apple собирается присоединиться к этой движухе с OpenELM, новым семейством больших языковых моделей (LLM) с открытым исходным кодом, которые могут работать полностью на одном устройстве, не требуя подключения к облачным серверам. Читай до конца, чтобы быть в курсе самых передовых новостей в мире высоких технологий.
♻️В качестве энергообмена - ставим лайки, сохраняем в заметки, оставляем комменты, делимся с коллегами🔁 ииииии — Полетели🚀
Выпущенный недавно в сообществе ИИ-кода Hugging Face, OpenELM состоит из небольших моделей, предназначенных для эффективного выполнения задач по генерации текста.
Всего существует восемь моделей OpenELM:
четыре предварительно обученных
четыре настроенных по инструкциям
С различными размерами параметров от 270 миллионов до 3 миллиардов (имеются в виду связи между искусственными нейронами в LLM, и большее количество параметров обычно означает большую производительность и больше возможностей, хотя и не всегда).
Хотя предварительное обучение - это способ заставить LLM выдавать связный и потенциально полезный текст, это в основном прогностическое упражнение, а настройка инструкций - это способ заставить ее отвечать более релевантными результатами на конкретные запросы пользователя - предварительное обучение может привести к тому, что модель просто попытается дополнить подсказку дополнительным текстом.
🔸Например, на запрос пользователя "научите меня печь хлеб" модель отвечает текстом "в домашней духовке", а не реальными пошаговыми инструкциями - последнее можно сделать с помощью настройки инструкций.
✅ Лицензия на образец кода
Apple предлагает все свои модели OpenELM на условиях, которые она называет "лицензией на образец кода", вместе с различными контрольными точками обучения, статистикой работы моделей, а также инструкциями по предварительному обучению, оценке, настройке инструкций и тонкой настройке с учетом параметров.
Такая лицензия не запрещает коммерческое использование или модификацию, только требует, чтобы:
"если вы распространяете ПО Apple полностью и без изменений, вы должны сохранить это уведомление и следующий текст и отказ от ответственности во всех таких распространениях ПО Apple".
Далее компания отмечает, что модели:
"предоставляются без каких-либо гарантий безопасности. Следовательно, существует вероятность того, что эти модели будут выдавать неточные, вредные, необъективные или неприемлемые результаты в ответ на запросы пользователя".
Это последний случай в удивительной череде релизов моделей ИИ с открытым исходным кодом от Apple - известной секретностью и обычно "закрытой", в технологическом смысле, компании, которая до сих пор публично не объявляла и не обсуждала свои усилия в этой области, кроме как выкладывала модели и документы в сеть. Еще в октябре компания попала в заголовки газет, выпустив Ferret, языковую модель с открытым исходным кодом и мультимодальными возможностями.
✅ Что известно об OpenELM?
Хотя OpenELM, сокращение от Open-source Efficient Language Models, была выпущена совсем недавно и еще не тестировалась публично, листинг Apple на HuggingFace указывает на то, что компания нацелена на использование моделей на устройствах, как и конкуренты Google, Samsung и Microsoft, последняя из которых только недавно выпустила свою модель Phi-3 Mini, которая может работать полностью на смартфоне.
В документе с описанием семейства моделей, опубликованном в открытом доступе на сайте arXiv org, Apple заявляет, что разработка OpenELM
"велась под руководством Сачина Мехты, а также при участии Мохаммада Растегари и Питера Затлоукала, и что семейство моделей направлено на расширение возможностей и укрепление открытого исследовательского сообщества, облегчая будущие исследования".
Модели Apple OpenELM имеют четыре размера:
270 миллионов
450 миллионов
1,1 миллиарда
3 миллиарда параметров
Каждый из которых меньше, чем многие высокопроизводительные модели (обычно они имеют около 7 миллиардов параметров), и каждый из которых поставляется в предварительно обученной и обучаемой версии.
Модели были предварительно обучены на публичных наборах данных из 1,8 триллиона токенов с таких сайтов, как:
Reddit
Wikipedia
arXiv org и других
С точки зрения производительности, результаты OpenLLM, которыми поделилась Apple, показывают, что модели работают довольно хорошо, особенно вариант с инструкцией на 450 миллионов параметров.
Кроме того, вариант OpenELM с 1,1 млрд параметров:
"превосходит модель OLMo с 1,2 млрд параметров на 2,36 %, при этом требуя в 2 раза меньше токенов для предварительного обучения". OLMo - это недавно выпущенная Институтом Аллена по искусственному интеллекту (AI2) "действительно открытая современная модель большого языка".
В бенчмарке ARC-C, предназначенном для проверки знаний и умений рассуждать, предварительно обученный вариант OpenELM-3B показал точность 42,24 %. В то же время на MMLU и HellaSwag он набрал 26,76 % и 73,28 % соответственно.
В настоящее время в этой области лидирует недавно представленный Phi-3 Mini от Microsoft с 3,8 млрд параметров и длиной контекста 4k.
ВЫВОД: Ожидается, что в долгосрочной перспективе OpenELM будет совершенствоваться. Интересно посмотреть, как сообщество, уже воодушевленное шагом Apple в сторону открытого исходного кода, применит его в различных приложениях.
Держу, мои предприимчивые, вас в курсе Tech-событий!
⚠️ Подписывайтесь на мой блог, чтобы в числе первых узнавать о самых горячих Digital лайфхаках, новостях в сфере технологий и бизнеса.
Всем любви и процветания, ваша Мария Кучеренко
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
бизнес #businesssvahavdele #ии #искусственныйинтеллект #llm #языковыемодели #нейросети #нейросеть
