- 28,160
- 46
- 8 Ноя 2022
Дата-центры, тысячи видеокарт, миллиарды вложений… Зачем всё это нужно?
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Повернул ручку, задал вопрос и получил ответ от нейросети. Именно по такому принципу работает CrankGPT, необычное устройство, которое создали инженеры Squeez Labs. Для его работы не нужны интернет, розетка или даже аккумулятор. Вся электроэнергия вырабатывается вручную: пока пользователь вращает рукоятку встроенного генератора, устройство распознает речь, запускает языковую модель и отвечает голосом.
Авторы проекта называют CrankGPT полностью автономным ИИ-ассистентом. Они хотели показать, что современная языковая модель может работать без облачных серверов и мощных дата-центров. По мнению разработчиков, многие повседневные задачи не требуют огромных моделей и тысяч видеокарт. Их вполне способны выполнять компактные нейросети, запущенные прямо на небольшом локальном устройстве.
Основой CrankGPT стала обычная плата Raspberry Pi 5 с 8 ГБ оперативной памяти и активным охлаждением. На ней установлена облегченная операционная система DietPi, выбранная из-за высокой скорости загрузки. Все вычисления выполняются на центральном процессоре. Дополнительных ИИ-ускорителей или подключения к облаку устройство не использует.
Питание обеспечивает ручной генератор мощностью 20 Вт. Во время работы он заряжает блок суперконденсаторов собственной разработки, который сглаживает перепады напряжения и накапливает небольшой запас энергии. Благодаря этому пользователь может ненадолго перестать вращать ручку, а компьютер продолжит работать еще около 20 секунд. Когда одновременно запускаются языковая модель и синтез речи, нагрузка возрастает настолько, что сопротивление рукоятки заметно увеличивается. Разработчики шутят, что стоимость разговора с искусственным интеллектом в буквальном смысле ощущается мышцами рук.
Несмотря на скромное железо, устройство умеет распознавать голос, поддерживать диалог, генерировать небольшие изображения, писать программный код и даже сочинять стихи, хотя сами авторы проекта признают, что с поэзией результат получается не лучшим. Для распознавания речи используется Moonshine, за синтез голоса отвечает Piper, а языковые модели запускаются через llama.cpp. Среди них разработчики называют Liquid AI LFM2 с 350 миллионами и 1,2 миллиарда параметров, а также Gemma 3 с одним миллиардом параметров.
Запуск устройства тоже оказался достаточно быстрым для полностью автономной системы. От начала вращения ручки до готовности к разговору проходит около 30 секунд. Значительная часть этого времени уходит не на загрузку Linux, а на инициализацию Raspberry Pi и загрузку моделей в память. После этого ответ появляется примерно через 0,8-2,9 секунды, в зависимости от выбранной языковой модели.
В Squeez Labs не собираются выпускать CrankGPT серийно. Вместо этого команда опубликовала подробную инструкцию по сборке устройства, список всех компонентов, электрические схемы и программное обеспечение с открытой лицензией. По расчетам разработчиков, если не учитывать стоимость самой Raspberry Pi, остальные детали обойдутся менее чем в 100 долларов. Проект рассчитан на энтузиастов, знакомых с электроникой, Linux и Python.
По словам авторов, CrankGPT задумывался не как практичная альтернатива обычным чат-ботам, а как демонстрация того, что компактные модели становятся все эффективнее. По мере их дальнейшего развития искусственный интеллект сможет работать не только в крупных дата-центрах или дорогих смартфонах, но и на простых автономных устройствах, которым достаточно совсем небольшого количества энергии. Такие решения особенно важны для областей, где интернета нет или его использование нежелательно – локальные системы обеспечивают полную приватность и независимость от облачной инфраструктуры.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Повернул ручку, задал вопрос и получил ответ от нейросети. Именно по такому принципу работает CrankGPT, необычное устройство, которое создали инженеры Squeez Labs. Для его работы не нужны интернет, розетка или даже аккумулятор. Вся электроэнергия вырабатывается вручную: пока пользователь вращает рукоятку встроенного генератора, устройство распознает речь, запускает языковую модель и отвечает голосом.
Авторы проекта называют CrankGPT полностью автономным ИИ-ассистентом. Они хотели показать, что современная языковая модель может работать без облачных серверов и мощных дата-центров. По мнению разработчиков, многие повседневные задачи не требуют огромных моделей и тысяч видеокарт. Их вполне способны выполнять компактные нейросети, запущенные прямо на небольшом локальном устройстве.
Основой CrankGPT стала обычная плата Raspberry Pi 5 с 8 ГБ оперативной памяти и активным охлаждением. На ней установлена облегченная операционная система DietPi, выбранная из-за высокой скорости загрузки. Все вычисления выполняются на центральном процессоре. Дополнительных ИИ-ускорителей или подключения к облаку устройство не использует.
Питание обеспечивает ручной генератор мощностью 20 Вт. Во время работы он заряжает блок суперконденсаторов собственной разработки, который сглаживает перепады напряжения и накапливает небольшой запас энергии. Благодаря этому пользователь может ненадолго перестать вращать ручку, а компьютер продолжит работать еще около 20 секунд. Когда одновременно запускаются языковая модель и синтез речи, нагрузка возрастает настолько, что сопротивление рукоятки заметно увеличивается. Разработчики шутят, что стоимость разговора с искусственным интеллектом в буквальном смысле ощущается мышцами рук.
Несмотря на скромное железо, устройство умеет распознавать голос, поддерживать диалог, генерировать небольшие изображения, писать программный код и даже сочинять стихи, хотя сами авторы проекта признают, что с поэзией результат получается не лучшим. Для распознавания речи используется Moonshine, за синтез голоса отвечает Piper, а языковые модели запускаются через llama.cpp. Среди них разработчики называют Liquid AI LFM2 с 350 миллионами и 1,2 миллиарда параметров, а также Gemma 3 с одним миллиардом параметров.
Запуск устройства тоже оказался достаточно быстрым для полностью автономной системы. От начала вращения ручки до готовности к разговору проходит около 30 секунд. Значительная часть этого времени уходит не на загрузку Linux, а на инициализацию Raspberry Pi и загрузку моделей в память. После этого ответ появляется примерно через 0,8-2,9 секунды, в зависимости от выбранной языковой модели.
В Squeez Labs не собираются выпускать CrankGPT серийно. Вместо этого команда опубликовала подробную инструкцию по сборке устройства, список всех компонентов, электрические схемы и программное обеспечение с открытой лицензией. По расчетам разработчиков, если не учитывать стоимость самой Raspberry Pi, остальные детали обойдутся менее чем в 100 долларов. Проект рассчитан на энтузиастов, знакомых с электроникой, Linux и Python.
По словам авторов, CrankGPT задумывался не как практичная альтернатива обычным чат-ботам, а как демонстрация того, что компактные модели становятся все эффективнее. По мере их дальнейшего развития искусственный интеллект сможет работать не только в крупных дата-центрах или дорогих смартфонах, но и на простых автономных устройствах, которым достаточно совсем небольшого количества энергии. Такие решения особенно важны для областей, где интернета нет или его использование нежелательно – локальные системы обеспечивают полную приватность и независимость от облачной инфраструктуры.
- Источник новости
- www.securitylab.ru
