Лента новостей

⚠️ Не стоит квантизировать KV‑кеш DeepSeek V4 Flash Исследователь проверил влияние перехода от BF16 KV к Q8 KV на качество модели DeepSeek V4 Flash и обнаружил заметное ухудшение метрик, в отличие от модели Qwen 397B. **DeepSeek V4 Flash:** - Перплексия: Mean PPL(Q) = 5.877076 ± 0.042497, Mean PPL(base) = 5.839660 ± 0.041730, Correlation = 95.74 % - KL‑дивергенция: Mean KLD = 0.145884 ± 0.001043, Maximum KLD = 12.467786, 99.9 % KLD = 4.535020, Median KLD = 0.032079, Minimum KLD = -0.000025 - Вероятность токенов: Mean Δp = -0.007 ± 0.031 %, RMS Δp = 11.884 ± 0.069 %, Same top p = 87.189 ± 0.088 % **Qwen 397B (для сравнения):** - Перплексия: Mean PPL(Q) = 3.747980 ± 0.020507, Mean PPL(base) = 3.746773 ± 0.020461, Correlation = 99.89 % - KL‑дивергенция: Mean KLD = 0.003552 ± 0.000034, Maximum KLD = 2.220941, 99.9 % KLD = 0.131591, Median KLD = 0.000866, Minimum KLD = -0.000176 - Вероятность токенов: Mean Δp = 0.019 ± 0.005 %, RMS Δp = 2.024 ± 0.022 %, Same top p = 97.929 ± 0.037 %

📊 Оценка 29 открытых LLM на китайский уклон Создан набор CCPBench, который позволяет количественно измерять степень предвзятости моделей к точкам зрения КПК. В тесте приняли участие 29 открытых языковых моделей, каждой задали по 500 вопросов по политике, географии, науке и другим темам. Оценку ответов провела модель Gemini 3 Flash, после чего результаты были опубликованы на странице https://www.alignmentarena.com/ccpbench/. Подробности методологии доступны по адресу https://www.alignmentarena.com/ccpbench/methodology/, а код проекта размещён на GitHub: https://github.com/lesageethan/CCPBench. Автор отмечает, что измерение не является идеальным, так как в качестве судьи использовалась американская LLM, но инструмент может быть полезен тем, кто ищет модели, не отрицающие события на площади Тяньаньмэнь. 🗂️

🧩 Ухудшение контекста в LLM Длинные сессии работы с большими языковыми моделями теряют качество ещё до достижения лимита токенов. В статье рассматриваются реальные результаты исследований и описываются привычки, которые автор выработал для длительных аналитических сессий. Особое внимание уделяется управлению контекстом в Claude Code: объясняется, почему происходит «гниение» контекста и как его контролировать.

🔧 Как заставить локальное слово‑пробуждения срабатывать с первой попытки Мы провели несколько месяцев экспериментов с пользовательской фразой, аналогичной “Hey Google”, на Windows, macOS и Linux. Основная цель — работать полностью локально, без передачи аудио в сеть, но это накладывает ряд ограничений, о которых ниже. 1️⃣ Проверяйте уровень сигнала микрофона, а не громкость: в логах микрофон показывал здоровый диапазон — ‑10…‑22 dBFS даже при неудачных попытках. 2️⃣ Локальная модель может «залипать» из‑за небезопасных потоков в ctranslate2 и ONNX; решением стал неблокирующий lock и принудительная перестройка после двух подряд неудачных запусков. 3️⃣ Тестируйте на самом слабом устройстве: небольшая модель на двух CPU‑потоках сработала 8 из 13 раз, медиана — 1097 мс; более крупная модель на GPU — 11 из 13, 225 мс. 4️⃣ Не ограничивайте пробуждение проверкой текста – это приводит к ложным срабатываниям и пропуску реальных. Вместо этого используйте проверку энергии аудио и форму кандидата. 5️⃣ Бенчмарк должен проводиться на записанных потоках, а не по окнам: в одном сеансе было 288 транскрипций и 0 совпадений за 26 минут, а срабатывания были лишь “Hey Hey Nova”. Транскрипция — неправильная архитектура для слова‑пробуждения; “Hey Google” использует небольшой нейронный споттер, работающий за миллисекунды без полной распознавания речи. Реализация и регрессионные тесты доступны в открытом проекте Personal Jarvis.

🔍 Тест DeepSeek‑V4‑Flash‑0731: Low оказался более «трудоёмким» Провёл сравнение модели DeepSeek‑V4‑Flash‑0731 в локальном режиме (квантование Unsloth UD‑Q2_K_XL) и через официальное API. При проверке через OpenRouter обнаружил серьёзный баг, который ломает режимы рассуждений. Модель поддерживает четыре режима усилий: none, low, high и max. Оказалось, что режим Low значительно более «болтлив», чем ожидалось. Среднее потребление токенов по 20 запросам в каждом режиме: - **None** – локально 801,7 токенов (0 рассуждения / 801,7 финал), API 948,9 (0 / 948,9) - **Low** – локально 1 227,5 (874,4 рассуждения / 353,2 финал), API 1 349,2 (889,6 / 459,7) - **High** – локально 605,8 (410,5 / 195,4), API 481,5 (253,9 / 227,7) - **Max** – локально 1 301,4 (1 031,8 / 269,6), API 698,7 (473,9 / 224,8) Отмечаю, что хотелось бы увидеть официальные бенчмарки для всех режимов, а не только для max. 🚀

🦙 Llama.cpp запомнил предзаполнение и ускорил работу в 10‑30 раз Автор перенёс KV‑кеш из оперативной памяти на диск на бесплатном ARM‑сервере Oracle (4 ядра, 0 €/мес). При повторном запросе время предзаполнения сократилось с 54,4 с до 3,5 с при чтении с диска и до 0,10 с, если блоб уже в page‑cache — это ускорение от 15‑ до 300‑кратного, а в повторных нагрузках в целом в 4,8 раз. ⚡ При запуске таймера systemd в 03:00 для предобработки предсказуемых префиксов время первого токена (TTFT) для документа в 2815 токенов упало с 89,7 с до 16,7 с (5,4 ×). Выключение спекулятивного декодирования устранило баг «warm‑ahead»: время с включённой спекуляцией = 90,5 с, без = 16,7 с при одинаковом кеше. Не дали ожидаемых результатов: использование прошлых выводов сервера как спекулятивного черновика дало +5 % принятия, но -3,8 % пропускной способности; спекулятивный поиск по подсказке лишь +3,9 %; более грубая квантизация Q4_0 ускорила предзаполнение на 37 %, но потеряла 5 из 20 фактов; уменьшение числа активных экспертов MoE ускорило предзаполнение на 44 %, но испортило кеш и снизило точность. Успешные приёмы: переписывание ввода в формат «метка: значение» сократило токены с 2137 до 405, TTFT = 40,5 с → 6,2 с и повысило оценку фактов с 19/20 до 20/20; сокращение словаря с 151 936 до 32 000 записей дало +17,8 % скорости декодирования без потери качества (добавилось лишь 1,9 % токенов). Проект MIT‑лицензирован, демо доступно по https://swellweb.github.io/reame/, код — https://github.com/swellweb/reame.

🔍 Обзор Kimi K3: 2,78 трлн параметров Автор опубликовал технический разбор модели Kimi K3 от Moonshot AI, в котором подробно рассматриваются архитектурные новшества, приёмы стабилизации обучения и результаты бенчмарков. В статье описаны такие компоненты, как Kimi Delta Attention (KDA), Attention Residuals, Stable LatentMoE, Quantile Balancing, NoPE, контекст до 1 млн токенов, RL‑pipeline и оптимизации инфраструктуры и сервиса 📊. Ссылка на блог: https://imrancoder786.github.io/blog-post.html?post=kimi-k3-deep-dive – автор приглашает к обсуждению и обратной связи.

⚡ Deepseek v4 Flash ускорился в 100–150 раз в префилле и пост‑процессинге Deepseek v4 Flash демонстрирует рост скорости в 100‑150 раз по сравнению с предыдущими версиями при работе в режимах prefill и pp. Пользователям предлагаются два пути решения: понизить CUDA с 13.3 до 13.1 (избегая 13.2 из‑за известных багов, как указал u/fairydreaming) 🛠️ или перейти на форк, совместимый с CUDA 13.3 — https://github.com/vektorprime/working_ds4_speed. По словам fairydreaming, в CUDA 13.2 вместо argsort используется DeviceTopK, что резко ухудшает скорость pp. Тесты с профайлером Nvidia и помощью LLM подтверждают, что DS4 Flash тратит значительное время не на умножение матриц.

🚀 DeepSeek‑V4‑Flash на DGX Spark: 2‑битный MoE в работе Запустили модель **deepseek‑ai/DeepSeek‑V4‑Flash‑0731** (155.43 GiB FP8, 48 шардов) на единственном DGX Spark (GB10, 121.7 GiB унифицированной памяти, aarch64) с помощью vLLM‑Moet и 2‑битной квантизации. Образ необходимо собрать непосредственно на Spark — перенос x86‑образа на arm64 невозможен. Для корректной работы пришлось: собрать vLLM‑Moet на ARM64, включить PR #11, заменить в Dockerfile базовый digest на мульти‑архитектурный тег `vllm/vllm-openai:v0.25.0`, создать 128 GiB swap‑файл и добавить его в `/etc/fstab`. Также требуется использовать git‑bundle для переноса репозитория и не пересобирать SASS‑кубины для sm_121 (см_120 работают без проблем). 📊 Производительность: предзаполнение стабильно ≈ 1000 tps. Прямой декод ≈ 19 tok/s (ограничено пропускной способностью LPDDR5X), а с подключённым 1‑слойным MTP‑head ≈ 26.6 tok/s (+48 %). Время «прогрева» планов ≈ 10 мин (холодный запуск 31–46 мин). При конкуренции 1 запроса ускорение +31.5 %, при 2 запросов +17.3 %, при 4 — небольшое падение ‑5.3 % (перезапросы не ухудшают). MTP‑head из ревизии 0731 (DSpark) не работает в этой конфигурации; вместо него можно использовать простой декод без `--speculative-config` или загрузить отдельный 1‑слойный MTP‑head из репозитория https://huggingface.co/ycui7/DeepSeek-V4-Flash-MTP.

⚡️ ИИ‑бум в Азии сталкивается с энергетическим лимитом Рост искусственного интеллекта в азиатском регионе замедлился из‑за нехватки электроэнергии. Центры обработки данных стали драйвером суперцикла инвестиций в энергетику — по оценкам, в течение ближайших лет в регион будет вложено около 5 трлн долларов.