Лента новостей

🚀 Qwen 3.8‑27B ускоряется на RTX 4080 16 ГБ благодаря DFlash2 На видеокарте RTX 4080 с 16 ГБ видеопамяти удалось достичь ускорения 1,72 × при работе модели Qwen 3.8‑27B: токенов в секунду выросло с 50,6 до 86,7, а расход памяти составил лишь 561 МБ. Для этого требуется собрать llama.cpp из ветки PR #27342, где реализован DFlash2 (в мастер‑ветке доступен только DFlash 1). Важно использовать сборку из этого PR, иначе получаются неверные тензоры (ожидалось 81, а получалось 58). После клонирования репозитория, добавления форка z‑lab и переключения на FETCH_HEAD, следует проверить наличие символа LLM_KV_DFLASH_SELECTOR_RANK. Необходимо загрузить две модели: целевую Qwen 3.8‑27B‑Q2_K_P (≈ 9,94 ГБ) и драфтер HermiHg/Qwen3.8‑27B‑DFlash2‑Q2_K_S‑MIX (561 МБ). Запуск происходит через llama‑server.exe с параметрами --model-draft, --spec-type draft-dflash, -n_max 3 и другими, указанными в инструкции. Тесты показывают, что при n_max = 3 модель Q2_K_S‑MIX быстрее официального Q4_K_M при половинном размере. При контексте 4 К токенов достигается 86,7 tok/s (ускорение 1,72 ×), а при 120 К — 66,1 tok/s (ускорение 1,31 ×). Максимальный стабильный контекст = 122 880 токенов; выше него возникают ошибки из‑за известного бага в PR.

🚀 Выпущена полностью квантизированная модель Qwen3.8-27B Мы представляем версию Qwen3.8-27B в формате NVFP4, обученную с помощью квантования‑aware дистилляции (QAD) и нового алгоритма QUASAR. В качестве учителя использовалась оригинальная BF16‑модель, а дистилляция проходила 2 446 шагов. Модель поддерживает vLLM на GPU NVIDIA Blackwell: `vllm serve QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4 \ --max-model-len 262144 \ --gpu-memory-utilization 0.85`. Все линейные слои трансформера квантизированы до NVFP4 (W4A4), а слои внимания и GDN оставлены в более высокой точности (FP8 или BF16). Благодаря QUASAR полностью квантизированный чекпоинт сохраняет почти BF16‑качество. Оценка модели (GPQA‑Diamond, 2 прогона, n=396; AIME26, 3 повтора, n=90): - Оригинальная BF16 (55.6 ГБ): 0.9141 / 1.0000 - QUASAR‑QAT (19.7 ГБ): 0.9091 / 1.0000 - unsloth (23.4 ГБ): 0.8939 / 0.9778 - Inferact (26.4 ГБ): 0.8763 / 0.9667 Подробнее в статье https://arxiv.org/abs/2608.13966v1. Будем рады вашим отзывам!

💻 Портативный персональный дата‑центр Собранный в ланчбоксе набор (Panasonic Toughbook, T1, блок питания и наушники) позволяет запускать модель Qwen3.8‑27B‑BF16 с запросами более 200 000 токенов. BF16 нужен для работы с большими контекстами, OCR, анализом изображений и их суммированием, что особенно важно при юридической точности. Модель использует 77 ГБ VRAM и поддерживает контекст до 262 К токенов. При предзаполнении достигается скорость 1 171,5 токенов/сек (102 сек — 175 К токенов), а генерация 20 К токенов идёт со скоростью 45 токенов/сек (с MTP). Температуры: во время предзаполнения CPU ≈ 60 °C, GPU ≈ 79 °C (при 90 % лимите мощности); при генерации CPU ≈ 75 °C, GPU ≈ 76 °C. Настройки сэмплера: Temp 0.1, top‑k 0, top‑p 0.95, min‑p 0.05, repeat penalty 1.02. По результатам тестов система превосходит Gemini Pro и ChatGPT 5.6 Sol, но пока не обгоняет Opus. Аппаратная конфигурация: FormD T1 Minisforum BD770i SE, процессор Ryzen 7745HX 8‑ядерный, 96 ГБ DDR5 5200 MHz SODIMM, видеокарта RTX Pro 6000 Blackwell workstation edition, блок питания Loki 1200 W SFX‑L, ROG Equalizer 12 V‑2×6, SMX Heinz flipped GPU 2.5‑slot kit, короткий PCIe 5.0 riser SMX Heinz, кастомные "прозрачные пурпурные" Teflon‑кабели ×2, кулер Phanteks T30‑120 mm, Noctua NF‑A14x25r G2, цифровой охладитель RAM Thermalright MC‑3 (не помещается в обычный DDR5).

🚀 Ringg привлек $10 млн от Peak XV Индийская компания Ringg объявила о привлечении 10 млн долларов от венчурного фонда Peak XV в рамках расширения раунда Series A. Полученные средства будут направлены на развитие технологий голосового ИИ, выходящих за пределы обычных телефонных звонков 🎙️.

🚀 Generalist оценивают в $3 млрд Robotics‑стартап Generalist, работающий в сфере физического ИИ, получил оценку в $3 млрд, сообщает несколько источников. Несколько месяцев назад компания уже достигла стоимости $2 млрд, а теперь завершила раунд дополнительного финансирования на $200 млн. Эти средства позволят Generalist ускорить разработки и расширить производство роботов.

🚀 OpenAI потеряла руководителя дата‑центра OpenAI объявила об уходе своего топ‑менеджера по работе дата‑центров — Мэлоуна, продолжая серию недавних отставок в компании. Ещё до ухода Мэлоуна компания уже изменила структуру инфраструктурного подразделения: его подчинённость была переведена от президента Грега Брокмана к вице‑президенту Сачину Катти, который теперь возглавляет эту группу.

🛠️ OpenAI запустила админ‑плагин для ChatGPT Work и Codex Плагин позволяет администраторам рабочих пространств просматривать активность и расход кредитов, управлять участниками и группами, проверять права доступа и менять лимиты использования прямо из диалога. Он работает в рамках уже существующих ролей и разрешений администраторов, отображая запрос, его статус и внесённые изменения. Некоторые запросы могут автоматически перенаправляться на одобрение в Slack или Microsoft Teams. OpenAI подчёркивает, что инструмент обеспечивает чёткую схему разрешений, шаги согласования и возможность аудита действий.

🧪 Тестирование пяти фреймворков агентов: результаты без «LLM‑judge» Я провёл локальный бенчмарк пяти систем (AutoGen, CrewAI, LangGraph, MetaGPT и собственный GenOS) на задаче создания middleware аутентификации и ограничения запросов в Rust с тремя противоречивыми требованиями — криптографический хеш SHA‑2 и защита от тайминговых атак, latency < 1 мс при 10 k запросов и 100 % покрытие тестами без предупреждений clippy. Все фреймворки запускались на одном GPU RTX A4500 с моделью qwen2.5‑coder:14b в изолированных песочницах, без внешних API. AutoGen потратил 517 000 токенов в бесконечных дебатах и выдал скрипт измерения задержки, CrewAI сгенерировал работающий код, но полностью отклонился от требований (WebSocket‑рукопожатие вместо хеширования). MetaGPT выдал почти пустой файл и длинный фальшивый отчёт. LangGraph попытался реализовать безопасность, но не успел скомпилировать код за шесть итераций и завершился ошибкой компиляции. ⚙️ Только GenOS, построенный на механическом «заземлении» (реальные компиляторы, линтеры), смог реализовать все три ограничения, создав 117‑строчный модуль с SHA‑256 и constant‑time проверкой; из пяти тестов прошли три, но система честно завершилась статусом INTEGRATION_INCOMPLETE, не выдавая ложных результатов. Таблица токенов и вызовов: AutoGen 517k/15.4k токенов, 14 вызовов, ❌; CrewAI 371k/6.4k, 8 вызовов, ❌; LangGraph 206k/6.9k, 9 вызовов, ✅; MetaGPT 36k/1.6k, 4 вызова, ❌; GenOS 205k/8.6k, 7 вызовов, ✅. Вывод: проверка кода должна опираться на детерминированные инструменты (линтеры, компиляторы, тесты), а не на LLM‑критика.

🎬 Новый инструмент Instagram упрощает монтаж Reels Во вторник в посте на Threads компания объявила о запуске функции «First Draft», предназначенной упростить редактирование коротких видео. «First Draft» автоматически обрезает выбранные клипы, удаляет паузы и собирает лучшие моменты в начальный монтаж. По заявлению Instagram, такой процесс позволяет быстро получить готовый черновик ролика ⏱️.

🧬 Тест GenOS: геном‑управление устранило промпт‑нагрузку и задержки мульти‑агентов В эксперименте с GenOS, где LLM‑агенты управляются версионированным YAML‑«геномом», удалось заменить тяжёлые подсказки и многопоточные взаимодействия на настройку параметров. Тест проводился в Windows/PowerShell с Node v24, ESLint и Rust‑CLI, используя файл PaymentProcessor.ts с 38 ошибками линтинга и скрытой уязвимостью (добавление USD к EUR‑счетам без конвертации). При базовом подходе простого агента (≈15 токенов) стиль кода улучшился, но остались 3 ошибки линтинга и уязвимость. Экспертный агент с ~600 токенами правил PCI‑DSS исправил баг, но потребовал три итерации, чтобы избавиться от всех линтинговых ошибок. С помощью мутирования генома (risk_tolerance ≈ 0.10, verification_threshold = 0.80) агент сначала создал 4 теста, которые обнаружили уязвимость, а затем, увеличив syntax_strictness до 0.9, достиг 0 ошибок линтинга и 5 из 5 проходящих тестов без добавления токенов. Параметры сохранены в версии YAML v0.1.2. Склейка двух родительских геномов (SecurityAuditor и PerfEngineer) в Child_Crypto.yaml позволила за один проход создать AES‑256‑GCM‑шифратор, прошедший все проверки безопасности и достигший пропускной способности 21 ops/ms на тесте из 5000 запросов, без «пинг‑понга» между агентами. ⚡