- 28,356
- 46
- 8 Ноя 2022
Текст, звук и картинки — в одной модели без лишних модулей.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Выпускать очередную мощную языковую модель сегодня уже недостаточно. Стартап Thinking Machines, созданный бывшим техническим директором OpenAI Мирой Мурати, решил привлечь разработчиков другим способом. Компания представила Inkling, первую собственную модель с открытыми весовыми коэффициентами, которую можно не только использовать, но и свободно адаптировать под конкретные задачи.
Inkling представляет собой мультимодальную модель, способную работать с текстом, изображениями и звуком без отдельных модулей обработки для каждого типа данных. В основе лежит архитектура «смеси специалистов» с 975 млрд параметров, из которых одновременно используются только 41 млрд. Такой подход позволяет сократить вычислительные затраты. Максимальный размер контекста достигает 1 млн токенов, а обучали модель на массиве из 45 трлн токенов, включавшем тексты, изображения, аудио и видео. Вместе с основной моделью компания показала предварительную версию Inkling Small с 12 млрд активных параметров, рассчитанную на более дешёвый и быстрый запуск.
Одной из главных особенностей Inkling стала возможность регулировать глубину рассуждений. Разработчики могут выбирать, сколько вычислительных ресурсов модель потратит на поиск ответа. При простых запросах система отвечает быстрее и расходует меньше токенов, а для сложных задач может увеличить объём внутренних вычислений. По словам компании, при сопоставимом качестве работы в некоторых сценариях программирования Inkling использует примерно втрое меньше токенов, чем ряд других открытых моделей.
Thinking Machines не скрывает, что Inkling пока не претендует на звание самой сильной модели рынка. По большинству комплексных тестов лидируют закрытые модели OpenAI, Anthropic и Google, а в отдельных дисциплинах впереди остаются китайские разработки. Вместо борьбы за первые места компания сосредоточилась на том, чтобы создать универсальную основу для последующего обучения и настройки под корпоративные задачи.
Для доработки модели компания предлагает собственную платформу Tinker. Через неё разработчики могут обучать Inkling на своих данных без необходимости самостоятельно строить сложную инфраструктуру. Чтобы показать возможности платформы, Thinking Machines провела необычный эксперимент: Inkling поручили дообучить саму себя. Модель самостоятельно сформировала задание, запустила процесс обучения через Tinker, оценила результат и переключилась на обновлённую версию. В демонстрации ей поставили необычную задачу – научиться отвечать, полностью избегая использования одной из букв английского алфавита.
Компания также открыла доступ к весовым коэффициентам модели через Hugging Face и добавила поддержку популярных средств запуска, включая Transformers, vLLM, SGLang и llama.cpp. Inkling рассчитана не только на облачные сервисы, но и на то, чтобы её дальше обучали, создавали на её основе специализированных помощников и автономные программы, выполняющие сложные последовательности действий.
Выход Inkling стал важным событием для западного сообщества открытых моделей искусственного интеллекта. После того как Meta* сократила активность в этом направлении, а многие компании начали переходить на китайские разработки, у разработчиков появилось ещё одно крупное решение западного происхождения, которое можно свободно запускать, изменять и адаптировать под собственные задачи благодаря открытому коду .
<span style="font-size: 7pt;">* Компания Meta и её продукты (включая Instagram, <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Facebook</span>, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/675;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Выпускать очередную мощную языковую модель сегодня уже недостаточно. Стартап Thinking Machines, созданный бывшим техническим директором OpenAI Мирой Мурати, решил привлечь разработчиков другим способом. Компания представила Inkling, первую собственную модель с открытыми весовыми коэффициентами, которую можно не только использовать, но и свободно адаптировать под конкретные задачи.
Inkling представляет собой мультимодальную модель, способную работать с текстом, изображениями и звуком без отдельных модулей обработки для каждого типа данных. В основе лежит архитектура «смеси специалистов» с 975 млрд параметров, из которых одновременно используются только 41 млрд. Такой подход позволяет сократить вычислительные затраты. Максимальный размер контекста достигает 1 млн токенов, а обучали модель на массиве из 45 трлн токенов, включавшем тексты, изображения, аудио и видео. Вместе с основной моделью компания показала предварительную версию Inkling Small с 12 млрд активных параметров, рассчитанную на более дешёвый и быстрый запуск.
Одной из главных особенностей Inkling стала возможность регулировать глубину рассуждений. Разработчики могут выбирать, сколько вычислительных ресурсов модель потратит на поиск ответа. При простых запросах система отвечает быстрее и расходует меньше токенов, а для сложных задач может увеличить объём внутренних вычислений. По словам компании, при сопоставимом качестве работы в некоторых сценариях программирования Inkling использует примерно втрое меньше токенов, чем ряд других открытых моделей.
Thinking Machines не скрывает, что Inkling пока не претендует на звание самой сильной модели рынка. По большинству комплексных тестов лидируют закрытые модели OpenAI, Anthropic и Google, а в отдельных дисциплинах впереди остаются китайские разработки. Вместо борьбы за первые места компания сосредоточилась на том, чтобы создать универсальную основу для последующего обучения и настройки под корпоративные задачи.
Для доработки модели компания предлагает собственную платформу Tinker. Через неё разработчики могут обучать Inkling на своих данных без необходимости самостоятельно строить сложную инфраструктуру. Чтобы показать возможности платформы, Thinking Machines провела необычный эксперимент: Inkling поручили дообучить саму себя. Модель самостоятельно сформировала задание, запустила процесс обучения через Tinker, оценила результат и переключилась на обновлённую версию. В демонстрации ей поставили необычную задачу – научиться отвечать, полностью избегая использования одной из букв английского алфавита.
Компания также открыла доступ к весовым коэффициентам модели через Hugging Face и добавила поддержку популярных средств запуска, включая Transformers, vLLM, SGLang и llama.cpp. Inkling рассчитана не только на облачные сервисы, но и на то, чтобы её дальше обучали, создавали на её основе специализированных помощников и автономные программы, выполняющие сложные последовательности действий.
Выход Inkling стал важным событием для западного сообщества открытых моделей искусственного интеллекта. После того как Meta* сократила активность в этом направлении, а многие компании начали переходить на китайские разработки, у разработчиков появилось ещё одно крупное решение западного происхождения, которое можно свободно запускать, изменять и адаптировать под собственные задачи благодаря открытому коду .
<span style="font-size: 7pt;">* Компания Meta и её продукты (включая Instagram, <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Facebook</span>, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru
