Лента новостей

🚀 Оптимизация Qwen 3.8‑27B на 16 ГБ VRAM **Сбалансированный профиль (рекомендованный по умолчанию)** – модель `Qwen3.8-27B-IQ4_XS-pure-MTP.gguf` (14.56 ГБ), движок beellama.cpp, KV‑кеш `kvarn4`, спекулятивный декодинг MTP с глубиной черновика 2. Максимальный контекст при 100 % VRAM – 32 768‑48 000 токенов, качество – 92.55 % совпадения Top‑1, средняя KL‑дивергенция 0.1169. **Профиль для расширенного контекста (>48 K)** – модель `Qwen3.8-27B-AD-IQ3_S-IQ3_XXS.gguf` (12.98 ГБ), тот же кеш и декодинг, поддержка до ≈72 000 токенов, качество – 89.85 % Top‑1, KL 0.2282. Запуск сервера: `export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH && ./build/bin/llama-server -m ./models/Qwen3.8-27B-IQ4_XS-pure-MTP.gguf --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.0 --cache-type-k kvarn4 --cache-type-v kvarn4 -c 32768 -ngl 999 -fa on -np 1 --fit off -t 8 --host 127.0.0.1 --port 8080 --api-key your-key-here` 📊 **Качество квантизации** (сравнение с золотым эталоном Q8_0, 29.05 ГБ, PPL 3.9616): - Qwen3.8 IQ4_XS‑pure: 14.56 ГБ, PPL 4.1474, KL 0.1169, Top‑1 92.55 % (рекомендовано). - Atomic AD‑IQ3_S‑IQ3_XXS: 12.98 ГБ, PPL 3.9594, KL 0.2282, Top‑1 89.85 % (лучший sub‑4‑bit). - Atomic AD‑IQ3_XXS: 12.08 ГБ, PPL 4.8501, KL 0.3100, Top‑1 87.93 %. - Ridge 3.7bpw: 12.60 ГБ, PPL 4.5645, KL 0.3554, Top‑1 86.44 %. - Qwen3.6 IQ3_XXS‑MTP: 12.20 ГБ, PPL 4.6392, KL 0.9034, Top‑1 78.79 % (значительное падение). Внешняя база сравнения (Quesma, July 2026) подтверждает, что указанные квантизации сохраняют высокую точность и производительность в разных тестах (Wikitext‑2, математические задачи, генерация SVG и пр.).

🚀 Оптимизация Qwen 3.8‑27B: 18–20 токенов/сек Запуск модели Qwen 3.8‑27B на одной видеокарте с 16 ГБ VRAM (например, RTX 5070 Ti) и 64 ГБ системной памяти при обычном последовательном выгрузке слоёв (-ngl 53) теряет скорость и часть видеопамяти: оставшиеся блоки внимания перемещаются в память CPU, что резко увеличивает задержку генерации. Для повышения производительности предлагается выгружать только матрицы весов Feed‑Forward Network (FFN) — каждый третий слой (blk.(0|3|6|…|63).ffn_.*=CPU). Это освобождает около 2,8 ГБ VRAM, оставляя 100 % операторов внимания на GPU, и позволяет разместить полный q8_0 KV‑кеш на 65 536 токенов (≈2,125 ГБ VRAM) без потери качества. Дополнительные ускорения дают MTP‑спекулятивное декодирование (‑‑spec-type draft‑mtp, ‑‑spec-draft-n-max 2) — рост пропускной способности на 30–50 %, а также привязка потоков генерации к физическим ядрам (-t 8) и использование гипертредов для ввода подсказок (-tb 16). Для стабильности на RTX 50‑Series/Blackwell рекомендуется отключить захват графов CUDA (GGML_CUDA_DISABLE_GRAPHS=1). Полный пример команды запуска llama‑server с указанными настройками приведён в руководстве.

🤖 Квантование моделей Автор протестировал несколько типов ИИ‑моделей и поделился рекомендациями по уровню квантования. LLM — оптимален Q8, обеспечивает лучший баланс качества и скорости. Видео‑генераторы тоже работают без проблем при Q8; при более низком уровне могут появляться артефакты. Для генерации изображений предпочтителен Q8, чтобы сохранить высокое качество. VL‑модели (просмотр изображений) лучше использовать с Q4, иначе растёт потребление VRAM при высоких разрешениях. Аудио‑генераторы (общие) требуют Q8, так как Q4 заметно ухудшает звук. Музыкальные генераторы нуждаются в BF/FP16, поскольку разница в качестве между Q8 и более низкими уровнями существенна.

🚀 Qwen3.8-27B запущен на RTX PRO 4000 Blackwell (24 ГБ) с контекстом 256 К токенов и скоростью 50 ток/с Модель полностью уместилась в видеокарте: использовано 23 952 МиБ из 24 467 МиБ (97,9 %), после заполнения 261 500 токенов осталось 515 МиБ. На второй GPU работает F16‑проектор визуализации, потребляющий ещё 982 МиБ. Для калибровки использованы 5 472 сообщения из 296 сессий Hermes‑агента (код, вызовы инструментов, инфраструктурные задачи и польско‑английские диалоги). Тензоры распределены по разным схемам квантования: bulk‑матрицы – NVFP4, чувствительные (attention, DeltaNet, FFN) – Q5_K/Q6_K, эмбеддинги – Q6_K, выходной слой – Q8_0, слой MTP – NVFP4. Итоговый файл GGUF объёмом 16 321 МиБ достигает 5,01 BPW. На WikiText‑2 получен перплексия 6,1197 (Q4_1 = 6,1127), разница 0,11 % — в пределах шума. Средняя производительность за 10 запусков: 50,44 токенов/с в продакшене. Декодирование без MTP — 21,19 ток/с, с MTP — 59,46 ток/с (ускорение 2,8×). При полном контексте 261,5 К токенов скорость падает до 12,61 ток/с, а предзаполнение достигает 226,75 ток/с. Добавление 69,2 МиБ более точных весов в MTP замедлило работу на 26,6 % из‑за меньшего совпадения с квантованным таргетом. Модель, квантованная и опубликованная здесь: https://huggingface.co/cdiamond/Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF. Подробный отчёт с рецептами тензоров, патчами для llama.cpp и неудачными экспериментами — https://piszczek.pl/blog/qwen38-27b-256k-50-tps-24gb-gpu.

🚀 Выручка Anthropic выросла до $65 млрд Компания‑разработчик моделей сообщила, что её годовая выручка достигла 65 млрд долларов. За два месяца показатель увеличился на 18 млрд долларов.

🚀 OpenAI и Zhipu выпустили кибер‑модели несмотря на паузу На прошлой неделе OpenAI приостановила работу над моделью, способной к кибератакам. Тем не менее 10 августа была запущена GPT‑5.6 Cyber, а 14 августа Zhipu представила GLM‑5.3. 🔐 GPT‑5.6 Cyber — специализированная модель для безопасности, доступная только в тарифе «Daybreak Red». По внутренней оценке OpenAI она отвечает на 95 % запросов в области offensive‑security, которые обычная модель отклоняет в 98,5 % случаев. Доступ имеют 16 названных партнёров; с 1 сентября индивидуальные аккаунты потребуют аппаратные ключи. Клиентам предоставляются лишь выводы, а не веса модели. GLM‑5.3 рекламируется как обладающая «эмергентными кибер‑возможностями». По данным поставщика, её успех на тесте CyberGym составляет 84,5 % (система Wiz Atlas фиксирует 90,9 %). Открытые веса обещаны в течение примерно двух недель. В течение недели также: Meta открыла веса Muse Glimmer (30 B, Apache‑2.0, <20 GB); Alibaba выпустила первую скачиваемую Max‑класса Qwen (2,4 T) и Qwen3.8‑27B (Apache‑2.0); DeepSeek вывела V4‑Pro (1,6 T, MIT) в GA с тарифами пик/непик; Anthropic внедрила невидимый водяной знак в выводы Claude по требованию EU AI Act, что вызвало негатив в форумах разработчиков; SpaceX завершила $60 млрд полностью акцийную покупку Cursor, редактор теперь в организации Grok; исследователи продемонстрировали возможность воспроизведения зашифрованных трасс рассуждений между моделями (уязвимость уже исправлена), а AI‑блокнот оставил 181 874 встречи доступными для поиска. Подробности: thenewguard.ai/issues/027-the-brake-pedal-had-a-bypass/

🤖 Самостоятельный AI‑аналитик с полным выводом SQL Созданный как альтернатива «чат‑ботам с данными», AI‑аналитик показывает каждый шаг работы: читает схему, планирует запросы и объясняет, почему использует тот или иной источник (в примере – отсутствующая метрика hires, поэтому использована сырая таблица мес‑ц). Все запросы выводятся в виде реального SQL с количеством строк и разбивкой источников, а каждое утверждение в отчёте снабжено ссылкой на соответствующий шаг. При проверке результатов система сама обнаружила несоответствие: суммарный прирост в Engineering (+17) не совпал с изменением численности (122 → 135, +13), что указало на разницу в четырёх человеках. По итогам анализа выяснилось, что около 55 % найма в Engineering является чистым ростом, а не заменой уходов; один месяц зафиксировал всплеск оттока 3,70 %; в Support наблюдается сокращение (коэффициент замещения 1,42 – увольнений больше, чем найма). Платформа полностью самохостится: один Docker‑командой и собственным проектом Supabase (BYOK) можно запустить её на любой модели, в демонстрации использовался Kimi K3 через OpenRouter. Включены функции проверки, генерации вопросов, планирования повторных запусков и экспорта в CSV и PDF. Код доступен под Elastic License 2.0 (source‑available) в репозитории https://github.com/AgentSwarms-fyi/agentswarms. 📊

🛠️ Как заставить Pi‑агента работать без остановок При длительных сеансах с oMLX Pi‑агент иногда прекращал работу из‑за ошибки «out of memory», даже при агрессивной защите памяти и разумной длине контекста. Решение — добавить триггер‑слово, которое заставит Pi автоматически выполнять компактирование. 1️⃣ Клонируем репозиторий и открываем файл `overflow.ts`: ``` git clone https://github.com/jundot/omlx cd omlx open packages/ai/src/utils/overflow.ts ``` Найдите строку `/token limit exceeded/i, // Generic fallback` и сразу под ней добавьте: ``` /reduce context/i, // oMLX ``` 2️⃣ Переустанавливаем зависимости и собираем проект: ``` npm install npm run build npm install -g ./packages/coding-agent ``` После этого Pi будет автоматически пытаться компактировать контекст и продолжать работу, когда oMLX посылает сообщение об ошибке с фразой «reduce context». Теперь можно запускать модель qwen‑3.8‑27b часами, в том числе ночью.

🛠️ pagedMark удаляет невидимые SynthID‑водяные знаки на Apple Silicon Инструмент убирает два типа следов ИИ‑контента: метаданные (C2PA, EXIF, XMP, IPTC, параметры генератора) и невидимый пиксельный водяной знак класса SynthID, который требует регенерации изображения. Поддерживаются генераторы ChatGPT, gpt‑image, DALL·E, Sora, Gemini, Nano Banana и реестр видимых меток (Doubao, Jimeng, Qwen, Kling, Yuanbao, Baidu, LibLibAI, Samsung Galaxy AI); для видео – видимые метки Sora, Veo, Seedance, Dola, Hailuo, Kling и их метаданные. Тесты проведены на Mac M5 с 16 ГБ RAM. При отключённом VAE‑тайлинге 1,57 МП кадр требовал 18,74 ГБ и 59 сек, а с тайлингом – 10,92 ГБ и 23 сек. Последовательный CPU‑оффлоад позволяет использовать 8 ГБ‑машины: стек весов занимает 7,7 ГБ, а рабочий набор ≈ 5,3 ГБ. Дистилляция LoRA в четыре шага (strength 0.15) дала PSNR ≈ 28,5 дБ при ускорении 1,73×, а увеличение шагов ухудшало артефакты. Сокращение LoRA увеличивало время в три раза, но восстанавливало точность. Важно: на MPS отсутствует тип torch.float8_e4m3fn, float64‑промпты требуют приведения к поддерживаемому типу, а fp16‑сэмплинг может бесшумно возвращать нулевые изображения – необходимо проверять вывод и отбрасывать пустые кадры.

🚀 Бенчмарк Qwen 3.8‑27B на четырёх RTX 3090 Тесты проводились на системе с 4 × RTX 3090 24 ГБ, соединённых NVLink‑парами (GPU0↔2, GPU1↔3) и обычным PCIe между парами, с vLLM 0.20.1, fp8 KV‑кешем и параметром --kv-cache-dtype fp8. Главный вывод: при параллельных запросах от 12 и выше конфигурация TP=2 на одной NVLink‑паре быстрее TP=4 на всех четырёх картах на 33‑41 % (например, при конкуренции 24 TP=2 — 532 tok/s, TP=4 — 399 tok/s). В однопоточном режиме TP=4 лишь слегка опережает (77.6 vs 66 tok/s). Две инстанции TP=2 дают суммарно ≈ 1 175 tok/s, тогда как один TP=4 достигает 418 tok/s. Спекулятивный декодинг MTP оказался менее эффективным: средний коэффициент принятия ≈ 64 % (2.6‑2.9 токенов за шаг), но время шага выросло с 11.3 мс до 39 мс, что привело к падению пропускной способности на 27‑42 % и даже к OOM на TP=2. Обработка запросов (prompt pre‑fill) выполняется последовательно, поэтому увеличение конкуренции почти не меняет скорость (16 k запросов — 310 с). Гибридное внимание сохраняет большой контекст: KV‑пул — 1.45 млн токенов при TP=4 и 503 k при TP=2; максимальный контекст — 262 k токенов, удерживаемый до 5 одновременных запросов на TP=4 и до 32 запросов на TP=2.