квантование

Стартап предложил альтернативу классическому квантованию ИИ-моделей. Большие ИИ-модели требуют всё больше памяти, дисков и дорогого оборудования, а привычная экономия часто бьёт по качеству ответов. Исследователи из The SEMQ Group предлагают другой подход: не сжимать числовые веса модели...

Локальные LLM в телефоне — больше не призрачная мечта, а ближайшее будущее. Легковесные языковые модели долго считались компромиссом между скоростью и качеством. Однако перспективный американский стартап предлагает иной подход, обещая, что мощный ИИ сможет работать прямо на устройствах , без...

OpenAI вышла на ринг с 4 битами — и вышла без оппонентов. OpenAI представила новые модели с открытым весом — gpt-oss, — но внимание специалистов сосредоточилось не столько на самих моделях, сколько на формате MXFP4, который компания использовала при их квантовании. Этот малознакомый тип...