- 28,949
- 46
- 8 Ноя 2022
Всё работает локально: распознавание речи, перевод и озвучивание — без облака и без подписки.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Голосовой переводчик на Raspberry Pi 5 может распознавать речь, переводить фразы на другой язык и сразу выдавать результат без подключения к интернету. После первоначальной установки вся обработка проходит прямо на небольшом одноплатном компьютере. Wi-Fi или мобильная сеть во время разговора не нужны.
В основе устройства лежит открытая модель Gemma 4 от Google. В публикации Android Authority указана версия E4B, однако актуальный репозиторий проекта на GitHub называет <code>gemma4-e2b</code>. Скрипт установки также загружает E2B. Для сборки разработчики рекомендуют Raspberry Pi 5 с 8 ГБ оперативной памяти. Модель рассчитана на локальную работу на устройствах с ограниченными вычислительными ресурсами и умеет обрабатывать текст, изображения и звук.
Все компоненты поместили в корпус, который можно напечатать на 3D-принтере. Переводчик получил небольшой сенсорный экран, микрофон, динамик, кнопку записи речи и регулятор выбора языка. Пользователь выбирает нужный язык, нажимает кнопку и произносит фразу. Через несколько секунд перевод появляется на экране и воспроизводится через динамик.
За одной кнопкой скрывается последовательность из нескольких операций. Сначала микрофон записывает голос. Система Moonshine STT распознаёт речь и превращает звук в текст. Затем Gemma 4 получает расшифрованную фразу и переводит её на выбранный язык. Готовый текст передаётся системе moonshine-voice TTS, которая синтезирует голос и отправляет звук на встроенный динамик. Таким образом Raspberry Pi самостоятельно выполняет распознавание речи , перевод и озвучивание, не отправляя запросы на внешний сервер. Исходный код проекта опубликован на GitHub .
Для запуска Gemma используется LiteRT-LM, среда Google для локального выполнения больших языковых моделей на пользовательских устройствах. После загрузки модели Raspberry Pi хранит необходимые данные в собственной памяти и выполняет вычисления на месте. Сервер в дата-центре для каждого запроса не требуется. От качества соединения с интернетом скорость обработки тоже не зависит. LiteRT-LM поддерживает Gemma 4 и Raspberry Pi.
На небольшом дисплее работает специально созданный интерфейс, рассчитанный примерно на разрешение 480 × 320 пикселей. Экран показывает исходную расшифровку и переведённую фразу, поэтому результат можно прочитать, если озвучивание неудобно или вокруг слишком шумно. Интерфейс предназначен для разговора двух людей с разными языками. Для каждого собеседника предусмотрена собственная область экрана, а направление перевода можно менять во время разговора.
Программную часть разрабатывали с помощью Google Antigravity. На Raspberry Pi одновременно работают LiteRT-LM с загруженной моделью, локальный программный интерфейс на Python и экранная оболочка переводчика. Установочный сценарий подготавливает нужные пакеты, настраивает программное окружение, загружает модель и собирает интерфейс. После настройки переводчик можно запускать автоматически при включении Raspberry Pi, без ручного ввода команд в терминале.
Интернет требуется только для первоначальной подготовки устройства: необходимо скачать модель и программные компоненты. После установки распознавание речи, перевод и синтез голоса работают локально. Переводчик поэтому можно использовать в дороге, за пределами зоны мобильной связи или в помещениях без доступного Wi-Fi. Локальная обработка пригодится и в ситуациях, когда запись разговора нежелательно передавать внешнему облачному сервису.
Офлайн-перевод сам по себе существует давно. Например, Google Переводчик позволяет заранее загрузить языковые пакеты и переводить текст без подключения к сети. Набор доступных без интернета функций зависит от языка и режима работы. Проект на Raspberry Pi интересен другой схемой: один компактный компьютер последовательно записывает голос, распознаёт слова, переводит фразу, выводит текст на экран и синтезирует речь. Смартфон или удалённый сервер в процессе не участвуют. Google также описывает офлайн-перевод в справке Переводчика .
Собрать устройство можно самостоятельно. В репозитории проекта опубликованы исходный код, сценарии установки, файлы интерфейса и STL-модели деталей корпуса для 3D-печати. Разработчики распространяют код по лицензии Apache 2.0 и отдельно указывают, что Gemma Translator остаётся экспериментальным проектом, а не официально поддерживаемым коммерческим устройством Google.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">Голосовой переводчик на Raspberry Pi 5 может распознавать речь, переводить фразы на другой язык и сразу выдавать результат без подключения к интернету. После первоначальной установки вся обработка проходит прямо на небольшом одноплатном компьютере. Wi-Fi или мобильная сеть во время разговора не нужны.
В основе устройства лежит открытая модель Gemma 4 от Google. В публикации Android Authority указана версия E4B, однако актуальный репозиторий проекта на GitHub называет <code>gemma4-e2b</code>. Скрипт установки также загружает E2B. Для сборки разработчики рекомендуют Raspberry Pi 5 с 8 ГБ оперативной памяти. Модель рассчитана на локальную работу на устройствах с ограниченными вычислительными ресурсами и умеет обрабатывать текст, изображения и звук.
Все компоненты поместили в корпус, который можно напечатать на 3D-принтере. Переводчик получил небольшой сенсорный экран, микрофон, динамик, кнопку записи речи и регулятор выбора языка. Пользователь выбирает нужный язык, нажимает кнопку и произносит фразу. Через несколько секунд перевод появляется на экране и воспроизводится через динамик.
За одной кнопкой скрывается последовательность из нескольких операций. Сначала микрофон записывает голос. Система Moonshine STT распознаёт речь и превращает звук в текст. Затем Gemma 4 получает расшифрованную фразу и переводит её на выбранный язык. Готовый текст передаётся системе moonshine-voice TTS, которая синтезирует голос и отправляет звук на встроенный динамик. Таким образом Raspberry Pi самостоятельно выполняет распознавание речи , перевод и озвучивание, не отправляя запросы на внешний сервер. Исходный код проекта опубликован на GitHub .
Для запуска Gemma используется LiteRT-LM, среда Google для локального выполнения больших языковых моделей на пользовательских устройствах. После загрузки модели Raspberry Pi хранит необходимые данные в собственной памяти и выполняет вычисления на месте. Сервер в дата-центре для каждого запроса не требуется. От качества соединения с интернетом скорость обработки тоже не зависит. LiteRT-LM поддерживает Gemma 4 и Raspberry Pi.
На небольшом дисплее работает специально созданный интерфейс, рассчитанный примерно на разрешение 480 × 320 пикселей. Экран показывает исходную расшифровку и переведённую фразу, поэтому результат можно прочитать, если озвучивание неудобно или вокруг слишком шумно. Интерфейс предназначен для разговора двух людей с разными языками. Для каждого собеседника предусмотрена собственная область экрана, а направление перевода можно менять во время разговора.
Программную часть разрабатывали с помощью Google Antigravity. На Raspberry Pi одновременно работают LiteRT-LM с загруженной моделью, локальный программный интерфейс на Python и экранная оболочка переводчика. Установочный сценарий подготавливает нужные пакеты, настраивает программное окружение, загружает модель и собирает интерфейс. После настройки переводчик можно запускать автоматически при включении Raspberry Pi, без ручного ввода команд в терминале.
Интернет требуется только для первоначальной подготовки устройства: необходимо скачать модель и программные компоненты. После установки распознавание речи, перевод и синтез голоса работают локально. Переводчик поэтому можно использовать в дороге, за пределами зоны мобильной связи или в помещениях без доступного Wi-Fi. Локальная обработка пригодится и в ситуациях, когда запись разговора нежелательно передавать внешнему облачному сервису.
Офлайн-перевод сам по себе существует давно. Например, Google Переводчик позволяет заранее загрузить языковые пакеты и переводить текст без подключения к сети. Набор доступных без интернета функций зависит от языка и режима работы. Проект на Raspberry Pi интересен другой схемой: один компактный компьютер последовательно записывает голос, распознаёт слова, переводит фразу, выводит текст на экран и синтезирует речь. Смартфон или удалённый сервер в процессе не участвуют. Google также описывает офлайн-перевод в справке Переводчика .
Собрать устройство можно самостоятельно. В репозитории проекта опубликованы исходный код, сценарии установки, файлы интерфейса и STL-модели деталей корпуса для 3D-печати. Разработчики распространяют код по лицензии Apache 2.0 и отдельно указывают, что Gemma Translator остаётся экспериментальным проектом, а не официально поддерживаемым коммерческим устройством Google.
- Источник новости
- www.securitylab.ru
