- 28,137
- 46
- 8 Ноя 2022
Без интернета, без дата-центров, прямо на смартфоне… В чем их преимущество?
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Маленькие ИИ-модели могут оказаться куда важнее для миллионов людей, чем самые мощные чат-боты и дата-центры. В 2019 году предприниматель Адебайо Алонге столкнулся с такой разницей на собственном опыте: в гостинице Кейптауна он готовился показать RxScanner, портативный спектрометр для проверки лекарств, но система почти перестала работать из-за слабого соединения с сервером в США.
RxScanner решает болезненную для Африки задачу: помогает отличать настоящие лекарства от подделок, из-за которых каждый год погибают тысячи людей. Устройство просвечивает таблетку инфракрасным светом, снимает её молекулярный профиль и отправляет данные ИИ-модели с фармацевтической базой. В нормальных условиях ответ приходит за секунды: система определяет препарат или сообщает, что перед ней фальшивка.
К моменту демонстрации технологию уже использовали аптеки более чем в десяти странах, включая Гану, Кению, Мьянму и родную для Алонге Нигерию. Но в Кейптауне данные пришлось отправлять в дата-центр за 14 000 км. Один анализ занимал больше пяти минут. Алонге срочно попросил инженеров уменьшить модель и перенести её на Android-смартфон. Через два часа команда подготовила автономную версию, которая спасла презентацию.
Позже такой подход стал основой новой версии RxScanner. Проверка лекарств больше не требовала широкополосного интернета, компьютера или стабильной электросети. Для регионов, где связь пропадает, а электричество остаётся роскошью, локальная ИИ-модель оказалась не компромиссом, а условием работы.
Именно такие системы называют малым ИИ. Речь не о гигантских языковых моделях с триллионами параметров, многомиллиардных инвестициях и спорах о сознании машин. Малый ИИ обычно решает одну узкую задачу, работает на телефоне, Raspberry Pi, Arduino или другом недорогом устройстве и потребляет всего несколько ватт. Питания от батареи или солнечной панели часто достаточно.
Президент Всемирного банка Аджай Банга в январе говорил на Всемирном экономическом форуме, что за пределами развитых стран мало где есть сочетание вычислительных мощностей, электричества, больших данных и специалистов, нужное для крупных ИИ-систем. По данным отчёта Всемирного банка, в беднейших странах ChatGPT пользовались лишь 0,7% интернет-пользователей, тогда как в самых развитых странах доля достигала четверти.
Малые модели уже применяют не только в медицине. В Индии система на дроне фотографирует плантации кешью и прямо на борту определяет растения с пятнами, указывающими на болезнь. В Уругвае похожие подходы используют для поиска муравьиных заражений на виноградниках. В разных странах малый ИИ помогает выявлять комаров, переносящих малярию, а в Бразилии специалисты запускали анализ электрокардиограмм на Arduino там, где сложное медицинское оборудование недоступно.
Профессор Федерального университета Итажуба Марсело Жозе Роваи, участвовавший в нескольких таких проектах, считает малый ИИ одним из самых быстрорастущих направлений. По его словам, будущее может принадлежать не одной огромной модели в центре, а множеству точных локальных систем, каждая из которых решает конкретную задачу в конкретных условиях.
Строгого определения у малого ИИ нет. Обычно под таким названием понимают модели размером до нескольких миллиардов параметров. Одни получают за счёт «обрезки» больших моделей: из них убирают параметры, не нужные для выбранной задачи. Другие создают методом дистилляции, когда компактная модель учится повторять поведение более крупной. В некоторых случаях разработчики снижают точность вычислений, например переводят модель с 32-битной архитектуры на 8-битную, чтобы запускать её на слабом железе. Для задач классификации и поиска закономерностей модель иногда сразу обучают на небольшом устройстве.
Развитию помогают два фактора. Во-первых, смартфоны и микрокомпьютеры становятся мощнее и экономичнее. По оценке Counterpoint, в 2025 году немного больше трети поставленных в мире смартфонов могли запускать генеративный ИИ, к концу 2026 года доля должна вырасти до 45%, а к концу следующего года превысить половину рынка. Во-вторых, сами модели становятся компактнее. Роваи приводит в пример Google DeepMind Gemma 4 и Alibaba Qwen 3.5, поскольку открытые веса позволяют дообучать такие модели под узкие отраслевые данные.
В одном из экспериментов Роваи запустил языковую модель на Arduino UNO Q за $50 с чипсетом Qualcomm. Устройство собирало данные с датчиков и искало небольшие скопления воды, где могут размножаться комары. Вся система потребляла около трёх ватт.
Всемирный банк уже поддерживает такие проекты грантами, наставническими программами, финансированием, техническими консультациями и рекомендациями для государств. В Руанде организация помогает правительственной программе, которая должна дать малоимущим семьям устройства, способные запускать ИИ.
Крупные модели при этом никуда не исчезают. Роваи подчёркивает, что для создания компактных систем часто нужны архитектурные идеи, данные и результаты больших моделей. Алонге тоже не считает малый ИИ заменой инфраструктуре. Даже автономный сканер лекарств должен периодически синхронизироваться, получать новые сигнатуры препаратов и передавать аналитические данные. Батарея тоже требует зарядки.
Главный риск упирается не в саму технологию, а в долгосрочную поддержку. Малый ИИ уже работает там, где большие модели недоступны, но для массового эффекта странам всё равно нужны электричество, поставки оборудования, связь и подготовка специалистов. Без такой основы даже самые удачные локальные модели останутся отдельными полезными устройствами, а не полноценной частью здравоохранения, сельского хозяйства и городской инфраструктуры.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Маленькие ИИ-модели могут оказаться куда важнее для миллионов людей, чем самые мощные чат-боты и дата-центры. В 2019 году предприниматель Адебайо Алонге столкнулся с такой разницей на собственном опыте: в гостинице Кейптауна он готовился показать RxScanner, портативный спектрометр для проверки лекарств, но система почти перестала работать из-за слабого соединения с сервером в США.
RxScanner решает болезненную для Африки задачу: помогает отличать настоящие лекарства от подделок, из-за которых каждый год погибают тысячи людей. Устройство просвечивает таблетку инфракрасным светом, снимает её молекулярный профиль и отправляет данные ИИ-модели с фармацевтической базой. В нормальных условиях ответ приходит за секунды: система определяет препарат или сообщает, что перед ней фальшивка.
К моменту демонстрации технологию уже использовали аптеки более чем в десяти странах, включая Гану, Кению, Мьянму и родную для Алонге Нигерию. Но в Кейптауне данные пришлось отправлять в дата-центр за 14 000 км. Один анализ занимал больше пяти минут. Алонге срочно попросил инженеров уменьшить модель и перенести её на Android-смартфон. Через два часа команда подготовила автономную версию, которая спасла презентацию.
Позже такой подход стал основой новой версии RxScanner. Проверка лекарств больше не требовала широкополосного интернета, компьютера или стабильной электросети. Для регионов, где связь пропадает, а электричество остаётся роскошью, локальная ИИ-модель оказалась не компромиссом, а условием работы.
Именно такие системы называют малым ИИ. Речь не о гигантских языковых моделях с триллионами параметров, многомиллиардных инвестициях и спорах о сознании машин. Малый ИИ обычно решает одну узкую задачу, работает на телефоне, Raspberry Pi, Arduino или другом недорогом устройстве и потребляет всего несколько ватт. Питания от батареи или солнечной панели часто достаточно.
Президент Всемирного банка Аджай Банга в январе говорил на Всемирном экономическом форуме, что за пределами развитых стран мало где есть сочетание вычислительных мощностей, электричества, больших данных и специалистов, нужное для крупных ИИ-систем. По данным отчёта Всемирного банка, в беднейших странах ChatGPT пользовались лишь 0,7% интернет-пользователей, тогда как в самых развитых странах доля достигала четверти.
Малые модели уже применяют не только в медицине. В Индии система на дроне фотографирует плантации кешью и прямо на борту определяет растения с пятнами, указывающими на болезнь. В Уругвае похожие подходы используют для поиска муравьиных заражений на виноградниках. В разных странах малый ИИ помогает выявлять комаров, переносящих малярию, а в Бразилии специалисты запускали анализ электрокардиограмм на Arduino там, где сложное медицинское оборудование недоступно.
Профессор Федерального университета Итажуба Марсело Жозе Роваи, участвовавший в нескольких таких проектах, считает малый ИИ одним из самых быстрорастущих направлений. По его словам, будущее может принадлежать не одной огромной модели в центре, а множеству точных локальных систем, каждая из которых решает конкретную задачу в конкретных условиях.
Строгого определения у малого ИИ нет. Обычно под таким названием понимают модели размером до нескольких миллиардов параметров. Одни получают за счёт «обрезки» больших моделей: из них убирают параметры, не нужные для выбранной задачи. Другие создают методом дистилляции, когда компактная модель учится повторять поведение более крупной. В некоторых случаях разработчики снижают точность вычислений, например переводят модель с 32-битной архитектуры на 8-битную, чтобы запускать её на слабом железе. Для задач классификации и поиска закономерностей модель иногда сразу обучают на небольшом устройстве.
Развитию помогают два фактора. Во-первых, смартфоны и микрокомпьютеры становятся мощнее и экономичнее. По оценке Counterpoint, в 2025 году немного больше трети поставленных в мире смартфонов могли запускать генеративный ИИ, к концу 2026 года доля должна вырасти до 45%, а к концу следующего года превысить половину рынка. Во-вторых, сами модели становятся компактнее. Роваи приводит в пример Google DeepMind Gemma 4 и Alibaba Qwen 3.5, поскольку открытые веса позволяют дообучать такие модели под узкие отраслевые данные.
В одном из экспериментов Роваи запустил языковую модель на Arduino UNO Q за $50 с чипсетом Qualcomm. Устройство собирало данные с датчиков и искало небольшие скопления воды, где могут размножаться комары. Вся система потребляла около трёх ватт.
Всемирный банк уже поддерживает такие проекты грантами, наставническими программами, финансированием, техническими консультациями и рекомендациями для государств. В Руанде организация помогает правительственной программе, которая должна дать малоимущим семьям устройства, способные запускать ИИ.
Крупные модели при этом никуда не исчезают. Роваи подчёркивает, что для создания компактных систем часто нужны архитектурные идеи, данные и результаты больших моделей. Алонге тоже не считает малый ИИ заменой инфраструктуре. Даже автономный сканер лекарств должен периодически синхронизироваться, получать новые сигнатуры препаратов и передавать аналитические данные. Батарея тоже требует зарядки.
Главный риск упирается не в саму технологию, а в долгосрочную поддержку. Малый ИИ уже работает там, где большие модели недоступны, но для массового эффекта странам всё равно нужны электричество, поставки оборудования, связь и подготовка специалистов. Без такой основы даже самые удачные локальные модели останутся отдельными полезными устройствами, а не полноценной частью здравоохранения, сельского хозяйства и городской инфраструктуры.
- Источник новости
- www.securitylab.ru
