Лента новостей

🚀 Bonsai 27B: 1‑битный LLM в браузере Команда PrismML представила модель Bonsai 27B, способную работать локально в вашем браузере с помощью собственных ядров WebGPU. 1‑битная квантизация уменьшила объём модели с 54 ГБ до 3,8 ГБ — снижение на 93 %, при этом сохраняется примерно 90 % её интеллектуальных возможностей. 🔗 Коллекция на Hugging Face: https://huggingface.co/collections/prism-ml/bonsai-27b 🔗 Демоверсия: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

🚀 PrismML представила Bonsai 27B на основе Qwen3.6 PrismML выпустила модель Bonsai 27B, использующую тернарную квантизацию и построенную на Qwen3.6 27B. По производительности она почти соответствует fp16 и работает, занимая около 10 ГБ памяти. Запуск осуществляется через форк llama.cpp, на устройстве M4 Pro (48 ГБ RAM) с контекстом 32 K и поддержкой окна в 256 K и мультимодального ввода. В демонстрации модель быстро сгенерировала стилизованный интерактивный HTML‑отчёт о PrismML в среде OpenComputer. Сравнительные тесты показывают, что тернарный вариант Bonsai 27B значительно эффективнее 2‑3‑битных квантизаций Qwen3.6 27B и традиционной квантизации от Unsloth, приближаясь к точности оригинального fp16‑моделя. Ранний доступ к версии был получен двумя днями назад; модель уже доступна в HuggingFace. Подробнее в whitepaper, блоге PrismML и форках llama.cpp и MLX (ссылки в описании).

📊 Надежный JSON‑вывод от LLM: 3‑месячный опыт За три месяца команда health‑приложения интегрировала генерацию структурированного JSON от 70‑млрд‑параметровой модели и добилась почти 100 % корректных ответов. Пробовали четыре подхода: простая инструкция «Return JSON» дала 40 % валидных результатов; добавление полной схемы в запрос – 75 %; включение JSON‑режима (Groq, OpenAI, Anthropic) – 92 %; комбинация JSON‑режима, проверка схемы и один‑разовый повтор с ошибкой в подсказке – 99,5 %. Оставшиеся проблемы – эмодзи в полях (ломают парсер), слишком длинные строки (превышение контекста) и редкий отказ модели выдавать JSON (≈0,5 %). В продакшене используется цепочка: запрос в JSON‑режиме → парсинг → логирование при ошибке → валидация Zod → один повтор с ошибкой в подсказке → статический fallback. Оказалось, что уровень модели влияет меньше, чем точность подсказки. Интересует, кто применяет более сложные методы, например Outlines или LMQL, для управления выводом 🔧

💼 AI‑интервью породило новый рынок Кандидаты, стремящиеся попасть в OpenAI, Anthropic и DeepMind, всё чаще покупают подготовку у виртуальных сотрудников. Стоимость таких имитационных собеседований и подготовительных сессий достигает $1 000 в час. 🤖 Эти услуги становятся частью конкурентной борьбы за места в ведущих компаниях ИИ.

⚖️ Google снова в суде из‑за ИИ Google столкнулся с новым иском от крупных издателей. Hachette, Cengage, Elsevier и ряд других компаний утверждают, что компания использовала их защищённые авторским правом материалы для обучения искусственного интеллекта без получения разрешения 📚. Иск может повлиять на дальнейшее использование контента в проектах ИИ.

🚀 DeepMind предлагает создать независимый орган стандартизации ИИ Генеральный директор DeepMind Дэмис Хассабис выступил с инициативой создания независимого «стандартизационного» органа, аналогичного FINRA, который будет тестировать передовые модели искусственного интеллекта и разрабатывать лучшие практики их выпуска.

🚀 DeepSeek готовится к IPO в 2027 году Китайский разработчик больших языковых моделей DeepSeek объявил о подготовке к первичному публичному размещению акций, запланированному на 2027 год. Одновременно компания ведёт переговоры о привлечении новых инвестиций в размере около 1,5 млрд долларов, что оценивает её стоимость в 71 млрд долларов 📈

🚀 Ограничат бюджеты токенов для инженеров, предупреждает глава Instagram Адам Моссери, руководитель Instagram, заявил, что компании скоро начнут регулировать расходы на AI‑токены так же, как управляют зарплатой и другими операционными расходами. 📊 По его словам, инженерам могут ввести лимиты на количество токенов, используемых в инструментах искусственного интеллекта, чтобы контролировать растущие затраты.

🤖 ChatGPT доказал 50‑летнюю математическую гипотезу Искусственный интеллект от OpenAI впервые подтвердил старую гипотезу, оставшуюся нерешённой полувековой историей. Разработчики отметили, что ключ к успеху – особый подход к запросу: попросить модель «поверить в себя», что помогло ей решить задачу, над которой люди топтались десятилетиями.

🖥️ Профилирование Linux с локальным ИИ Исследователь автоматизировал измерение производительности Linux‑программы, используя локальный ИИ‑модель LLaMa.cpp. В видеодемонстрации LLaMa.cpp профилирует графический интерфейс LVGL Space HMI, работающий в эмуляторе Qemu. Смотрите ролик: https://www.youtube.com/watch?v=at_nI4hn7gI Исходный код проекта: https://github.com/leonardosalvatore/llama.cpp.debugger