Лента новостей

🛑 Сандерс требует паузы в развитии ИИ Сенатор Берни Сандерс отправил письма генеральным директорам OpenAI, Anthropic и Meta, призвав их приостановить дальнейшую разработку крупных моделей искусственного интеллекта. В письме он предупреждает, что если компании не замедлят темпы, Конгресс может принять законодательные меры. Сандерс отмечает, что почти каждый день появляется новая история, показывающая, как текущие проекты ИИ вызывают опасения.

🤖 Япония рассматривает применение отечественного ИИ в командовании ССЗ Министерство обороны Японии изучает возможность внедрения разработанного в стране искусственного интеллекта в систему управления Силой самообороны. Пока конкретные сроки и масштаб проекта не объявлены.

🚀 Тест MTP: ускорение и точность моделей Gemma 4 и Qwen 3.6 В детальном тесте on/off MTP проверили 11 пар моделей Gemma 4 и Qwen 3.6, фиксируя модель, квантизацию, графический ускоритель, корпус и уровень параллелизма. Скорость выросла от 1,65× до 2,54× во всех парах. Точность не изменилась: отклонения не превысили обычные колебания между запусками. Исключением стал Muse Glimmer, который показал худший результат. DFlash от Meta на той же видеокарте 7900 XTX оказался медленнее на 9 % и сохранил лишь 24,55 % сгенерированных токенов, тогда как у Gemma и Qwen их было около 80 %. При этом показатель «acceptance» падал в течение теста, а не повышался. По данным карточки модели Meta, на RTX 5090 наблюдался рост производительности в 3,1 раза, но открытые проблемы в llama.cpp для DFlash на AMD и Vulkan указывают на влияние бекенда, а не модели. «Acceptance» оказался слабым предиктором скорости: изменение составило менее 4 пунктов, тогда как множитель почти удвоился. Чем более ограничена пропускная способность цели, тем больше выгода от тяжёлой квантизации; пары mixture‑of‑experts показали наименьший прирост. Перед бенчмарками помните, что параметр ‑md mtp‑head.gguf отключает спекуляцию. Для её включения используйте ‑hf REPO:QUANT ‑hfd REPO и проверяйте файл /slots. Подробные таблицы и результаты доступны по ссылкам: https://rakuensoftware.com/blog/local-llm-speculative-decoding и https://rakuensoftware.com/blog/local-llm-fact-extraction-head-to-head.

🚀 DeepSeek‑V4‑Flash‑0731 запущен на кластере DGX Spark Запуск модели DeepSeek‑V4‑Flash‑0731 (284 B MoE, 13 B активных, FP4/FP8, контекст 1 M) на двух серверах DGX Spark, соединённых одним QSFP‑DAC кабелем, полностью задокументирован в репозитории https://github.com/raullenchai/twinspark. Скорость обработки — 74,8 токенов/с на реальных кодовых запросах (спекулятивное декодирование в 2,74 × превышает базовый порог 27,3 ток./с), предзаполнение 1,7–1,9 k ток./с, время до первого токена 42 с на запросе 64 k, декодирование ≈ 50 мс/ток при KV‑кэше 2,74 M токенов (реально используемый контекст ≈ 1 M токенов). При двойном перезапуске система восстанавливается за ≈ 9 минут без ручных вмешательств, благодаря самовосстанавливающимся контейнерам, проверенным перезагрузкой обоих узлов. В процессе выявлены несколько «подводных камней»: один QSFP‑клетка подключена к двум контроллерам ConnectX‑7, один 400 G кабель активирует две 200 G линии, каждая ограничена ≈ 109 Gb/s RDMA; для полной пропускной способности NCCL требуется указать обе линии (NCCL_IB_HCA=rocep1s0f0,roceP2p1s0f0) → 21,7 GB/s шина. Монитор памяти Ray ошибочно считает GPU‑выделения как хост‑RAM, приводя к OOM‑завершениям даже при свободных 117 GiB (RAY_memory_monitor_refresh_ms=0). Неправильные переменные окружения DSpark вызывают искажённый чат‑вывод с китайскими символами; исправление VLLM_DSPARK_GPU_REJECTED_CONTEXT_MASK=1 и VLLM_USE_BREAKABLE_CUDAGRAPH=0 решает проблему. Спекулятивное декодирование меняет эффективность при конкуренции: spec7 лучше в одиночном потоке (74,8 tok/s), spec3 — при 4 потоках (105,7 tok/s), но при реальном агентном трафике принятие черновика падает с 75 % до 40 %. Для интеграции с Codex CLI 0.147 необходимо использовать API /v1/responses и файл model_catalog_json; примеры конфигураций находятся в репозитории. Оценка агентного сценария показала, что совместное использование Codex и этой модели позволило добавить функцию ленивой загрузки модели‑пула в проект из 1 831 файла (≈ 17 k тестов) за один цикл CI. Стек: DGX OS 7.2.3, CUDA 13.0, образ ghcr.io/anemll/dspark‑vllm‑gx10:0.1.1 (vLLM 0.25.2 + sm_121 kernels), Ray 2.57. Все версии зафиксированы в README, а сырые результаты бенчмарков доступны в bench/results/.

🚀 Тесты Qwen3.6-35B на двух AMD V620 Продолжаются испытания модели Qwen3.6‑35B‑A3B‑UD на двух видеокартах AMD V620 (2 GPU, 64 ГБ VRAM) стоимостью 700 $, с производительностью более 80 токенов/сек. Запуск производится через llama‑server с файлами Qwen3.6-35B-A3B-UD-Q6_K_XL.gguf и Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf, параметрами: --ctx-size 65536, --n‑gpu‑layers 999, --split-mode layer, --tensor-split 1,1, --flash‑attn on, --batch-size 3072, --ubatch-size 384, --threads 32 и другими, на устройствах ROCm0, ROCm1. Результаты (tok/s): - **Q6, 2‑GPU tensor split**: предзаполнение 4K – 2 148.76, 16K – 2 782.79, 32K – 2 454.54, 60K – 1 973.22; генерация – 86.96; MTP – 446 / 633 (70.46 %); Vision – 100.76. - **Q8, 2‑GPU tensor split**: предзаполнение 4K – 1 531.50, 16K – 1 660.89, 32K – 1 449.88, 60K – 1 174.72; генерация – 81.92; MTP – 452 / 619 (73.02 %); Vision – 93.83. PP (pipeline parallelism) показал вполне приемлемый уровень на этих недорогих GPU, однако в обсуждении возник вопрос: какие способы могут улучшить PP и TG?

🔧 Revision Prompting ускоряет обработку запросов Если при изменении входных данных нужно снова запустить тот же запрос, можно отправить модели старый ввод и вывод плюс diff‑файл изменения и попросить её сгенерировать патч. Такой подход уменьшает количество генерируемых токенов в 2–10 раз, а неизменные части вывода остаются байтово идентичными. Метод работает потому, что в больших языковых моделях узким местом является декодирование, тогда как предварительное заполнение (prefill) почти бесплатно. В наших автоматических конвейерах (перевод документации, извлечение данных из счетов) прежний способ – полный перезапуск запроса – приводил к переписыванию неизменных фрагментов из‑за недетерминированности модели и тратил время. Мы сохраняем исходный ввод и вывод, а при изменении передаём инструкцию: «Ввод → Вывод. Теперь ввод изменён так: [diff]. Пожалуйста, создайте патч для обновления вывода». Для текста используется формат Unix diff, для JSON — JSON Patch. В наших пайплайнах это сократило время обработки примерно на 80 % и стоимость – на 65 %. При крупном изменении лучше выполнить полный запуск, а также требуется хранить пары старый ввод/вывод. Подробнее: https://revisionprompting.info

📜 Позиция Марка Цукерберга по ИИ В открытом письме Марк Цукерберг изложил видение позитивного будущего искусственного интеллекта. Он выступил за выпуск большего количества открытых моделей с открытыми весами и призвал правительства сотрудничать с разработчиками ИИ для совместного тестирования их безопасности.

🚀 Новый Chunked KL‑loss уменьшает VRAM до 5 ГБ Исследователь представил эффективную реализацию функции KL‑loss, которая переводит потребление видеопамяти с квадратичной на линейную зависимость, используя подход, похожий на Flash Attention (разбиение и объединение прямого и обратного проходов). При контексте 32 К токенов требуемый объём памяти упал с ~85 ГБ до ~5 ГБ, а скорость расчёта стала примерно в 3 раза выше, что делает возможным локальное обучение Knowledge Distillation. Код открыт на GitHub https://github.com/CompactifAI/Full-Chunked-KL-Loss/; для применения требуется патчинг forward‑прохода модели, что можно быстро выполнить с помощью Claude Code, Kimi K3, GLM и др. Метод работает с кешированными top‑100 логитами учителя; подробности в статье на arXiv https://arxiv.org/abs/2608.03796 📊

🎧 Spotify вводит метку «AI Persona» для искусственно созданных профилей Spotify объявил, что все артистические профили, представляющие AI‑созданные личности, получат специальную пометку «AI Persona». По умолчанию их треки будут исключены из редакционных подборок, алгоритмических рекомендаций и персонализированных плейлистов. 🎶

🔖 Anthropic добавит водяные знаки в тексты ИИ Компания Anthropic объявила, что будет помечать специальным водяным знаком весь текст, создаваемый её искусственным интеллектом. Эту возможность планируют внедрить не только в новые модели, но и расширить поддержку на более старые версии ИИ‑систем. 🛡️