Лента новостей

🚀 Новые французские модели Luth-2: 0.8B и 2B Сегодня выпущены две небольшие модели — Luth-2-0.8B и Luth-2-2B, которые показывают лучший результат для французского языка среди моделей их размера. На бенчмарках они превзошли более крупные аналоги: Luth-2-2B набрал 69.67 против 65.17 у Gemma-4‑E2B‑it в Multi‑IF; Luth-2-0.8B — 72.92 против 55.60 у granite‑4.0‑h‑micro в MGSM‑Rev2; в Math‑500 Luth-2-2B достиг 81.52, слегка опередив Gemma‑4‑E2B‑it (81.24). В модели использована новая 3‑млрд‑токеновая SFT‑смесь, охватывающая математику, код, инструменты, диалоги и науку, а также обучение с подкреплением и мультидоменно‑он‑полис дистилляцию (MOPD). В качестве основы выбран Qwen3.5, который лучше воспринимает пост‑тренинг. Модели доступны на Hugging Face 🤗 (Luth-2-0.8B, Luth-2-2B), вместе с данными, кодом и блогом. Они достаточно лёгкие для локального запуска и позволяют оценить, насколько современные многоязычные модели отстают от английских даже для французского.

📱 AppAgent: мультиагент как пользователь смартфона Исследователи представили AppAgent — платформу, позволяющую крупным языковым моделям (LLM) выполнять действия на мобильных устройствах через определённый набор команд: tap, press_and_hold, swipe, back, text. Для взаимодействия используется XML‑дамп текущего экрана и идентификаторы элементов (item id), что заменяет координаты (x, y) и упрощает управление приложениями. В эксперименте модель решала 50 задач в 10 популярных приложениях, разделённых на две фазы: исследовательскую (модель сама изучает интерфейс) и обучающую (используются демонстрации людей, занесённые в базу знаний). Результаты показали рост успешности от 2 % у базовой GPT‑4 до 95,6 % у AppAgent с вручную созданными сценариями. При этом среднее вознаграждение увеличилось с 0,6 до 5,5, а количество шагов сократилось до 4,4‑5,5. Отдельно проверяли возможности модели в задачах редактирования изображений — результаты также оказались высокими. 🤖

🚀 Muse Glimmer 30B успешно работает с контекстом 1 М токенов Запустили модель Muse‑Glimmer‑30B‑GGUF (K‑Quant‑Dynamic, ≈ 18,3 ГБ) на кластере из двух NVIDIA DGX Spark (GB10, 128 ГБ unified, ≈ 273 ГБ/с) с прямым соединением ConnectX‑7. Использовали llama.cpp master с поддержкой muse_glimmer, CUDA sm_121 и GGML_RPC, а контекст расширили до 1 М токенов при помощи YaRN и переопределения длины KV. Результаты: при поиске «иглы в стоге сена» 3 из 3 запросов были найдены на длинах 97 К, 188 К, 415 К и 832 К токенов (соотношение ≈ 6,35×). Скорость декодирования на одном Spark выросла с ≈ 10,5 ток/с до 36‑38 ток/с с DFlash (≈ 3×), предзаполнение ≈ 700 ток/с в коротком контексте и ≈ 390 ток/с в 832 К‑промпте; при распределении по двум Spark скорость упала до 25‑28 ток/с (≈ 30 % медленнее). Все 7 тестов кода прошли успешно, визуальная часть работает через официальный mmproj, а общий объём весов, drafter‑модуля, vision и KV‑памяти ≈ 60 ГБ на одном Spark. YaRN‑растяжка эффективна благодаря тому, что RoPE присутствует только в 39 скользящих слоях (окно 2 048 токенов), а 13 глобальных слоёв без позиционных эмбеддингов (NoPE) не теряют точность. Muse Glimmer 30B демонстрирует надёжный поиск и ускорение ≈ 3× на ограниченном по пропускной способности оборудовании. 📈

🚀 Qwen 3.8‑27b появится на этой неделе Официальный аккаунт Qwen подтвердил, что новая модель Qwen 3.8‑27b будет выпущена в течение текущей недели. Это единственное известное объявление о предстоящем релизе.

📸 DeepSeek V4 Flash получил базовое зрение Я заморозил языковую модель DeepSeek V4 Flash (284 B параметров, 13 B активных MoE) и 417 M‑параметровый образный кодировщик MoonViT‑3d, затем обучил 40.1 M‑параметровый коннектор на 100 000 пар изображение‑текст. В результате получилась модель NVFP4, способная отвечать на запросы с изображениями, хотя пилотный набор пока не готов к промышленному использованию. Данные брались из HuggingFaceM4/the_cauldron и включали общие вопросы к изображениям, подписи, OCR, документы, инфографику, графики, научные вопросы, пространственное рассуждение, скриншоты сайтов и UI. В наборе было 39 619 уникальных изображений; для каждого я заранее кэшировал вывод MoonViT, чтобы не запускать кодировщик каждый шаг. Обучение проводилось 1 эпохой, глобальный batch size = 128, оптимизатор AdamW, LR = 1e‑3, BF16, на 5 × H200. Пропускная способность чистой части ≈ 4 938 примеров/час, общее время ≈ 20.25 ч, стоимость проекта ≈ $2 000. Потери упали с 1.0225 до 0.8301. Модель распознала людей, ящики и вывеску на уличном фото, указала кнопку «Upload file» в скриншоте браузера и ответила на вопрос о UI WebBrain, указав правильное поле формы. Один ответ из 36 токенов занял 7.49 сек (≈ 4.81 токенов/сек). Ограничения: короткие ответы, пропуск мелкого текста, выдумывание деталей и сложности с продвинутым GUI‑грундингом, что связано с масштабом и разнообразием данных, а не с методом коннектора. Для надёжного VLM требуется около 1 млн тщательно отобранных пар, с большим процентом уникальных изображений и покрытием сайтов, документов, OCR в разных разрешениях, пространственных отношений и т.д. По оценкам, обучение займёт ~202.5 ч (≈ 8.4 дня) на той же конфигурации, а полный проект обойдётся в $15 000–$20 000. Ссылки на модели и веса: DeepSeek‑V4‑Flash‑Vision‑NVFP4, DeepSeek‑V4‑Flash‑Vision‑BF16, DeepSeek‑V4‑Flash‑0731‑Vision‑NVFP4, Laguna‑XS‑2.1‑Vision‑NVFP4.

🚀 Muse‑Glimmer 30B достигает ~280 токенов/сек в реальном кодинге В ходе реализации функции переключения темы в проектах на Next.js и Nest.js модель Muse‑Glimmer‑30B (UD‑Q6_K_XL) в связке с DFlash (Speculative Decoding) показала пик скорости 100–287 токенов в секунду, а средняя — около 173 t/s, что делает её пригодной для автодополнения в IDE. Обработка коротких запросов достигала 1 000–2 100 t/s, а при длинных запросах (2 654 t/s) 14,3 k токенов оценивались за ~5,35 с. При 22 тестовых задачах коэффициент принятия черновиков варьировался от 63,3 % до 97,5 % (среднее 82,3 %), длина принятого черновика — до 14 токенов, а повторное использование KV‑кеша достигало 99,9 % (f_sim = 0.999). По сравнению с Qwen 3.6 27B модель не проявляла багов смешения китайского языка, не попадала в «переосмысливающие» циклы и давала более лаконичные ответы; её лёгкий Q6‑формат освободил дополнительный VRAM/ОЗУ для работы с более крупным контекстом. Тесты проводились на одной RTX 5090 через llama.cpp (llama‑server) с настройками: –ngl 99 –c 200000 –spec‑type draft‑dflash –spec‑draft‑n‑max 16 –spec‑draft‑p‑min 0.7 –cache‑type‑k q8_0 –cache‑type‑v q8_0 –temperature 0.8 –top‑k 30 –top‑p 0.95 –repeat‑penalty 1.1 и другими параметрами.

💰 OpenAI завершила тендер на $7 млрд По сообщениям, компания OpenAI завершила тендерное предложение для сотрудников на сумму $7 млрд. Рынок жилья в Сан‑Франциско снова оказался в затруднительном положении. 🏘️

🚀 OpenAI расширяет программу Daybreak и запускает новую кибермодель В условиях роста атак, управляемых искусственным интеллектом, OpenAI объявила о выпуске новой модели, обученной кибербезопасности. Модель будет работать в рамках программы защиты Daybreak, которую компания уже развивает для создания AI‑инструментов против киберугроз. 🛡️ Проект направлен на усиление возможностей обнаружения и нейтрализации ИИ‑поддерживаемых атак.

🚀 Обучил 1,1 млрд‑параметровый LLM за $200 Автор создал модель на базе Gemma 3, уменьшив контекст до 4096 токенов и словарь до 32 k (токенизатор обучен sentencepiece). Для предобучения использовались 20 млрд токенов из fineweb‑edu, а затем модель дообучили LoRA на наборе openhermes, получив чат‑бота. Обучение проходило на vast.ai: 185 млн параметров – GPU 3090, 19 ч, перплексия 19.2; 527 млн – GPU 5090, 17 ч, перплексия 16.0; 1,1 млн – GPU H100, 13 ч (2 млрд токенов), перплексия 15.1; 1,1 млн – GPU H100, 130 ч (20 млрд токенов), перплексия 10.93. Для чат‑модели провели LoRA‑финетюнинг на 3060 в течение 52 ч, добившись валидационной перплексии 2.71. Примеры генераций показывают рост качества от «рассказа о городе» до корректного ответа «Столица Франции – Париж». Код и модели доступны на GitHub и Hugging Face, демо‑сайт — gemmeh.com. Автор также интегрировал архитектуру в форк llama.cpp, запустил её на WearOS (≈2 токен/с) и разместил веб‑демо в GCP. Несмотря на ограниченную производительность, проект дал ценный опыт работы с LLM и помог в поиске работы.

🗒️ Зукерберг опубликовал манифест об ИИ В понедельник Марк Цукерберг выпустил документ объёмом 6 500 слов, посвящённый персональному искусственному интеллекту. 🤖 В тексте рассматривается идея «личной сверхинтеллекта» — систем, которые разрабатывает Meta AI для индивидуального использования, а также их потенциальные возможности.