Лента новостей

🏛️ Суд признал нарушение прав Anthropic Судебный процесс завершился победой компании Anthropic над Министерством обороны США. Судья Рита Лин заявила, что правительство использовало аргументы национальной безопасности, чтобы ограничить правила ИИ компании, нарушив её конституционные права по Первой поправке 📜. Суд постановил, что Anthropic была лишена необходимых гарантий надлежащей правовой процедуры.

🚀 181 токен/с на Qwen3.8-Flash-Next с 2 × DGX Spark Сегодня удалось достичь суммарной скорости 181 токен/с на кластере из двух узлов DGX Spark, используя модель Qwen3.8-Flash-Next с контекстом 512 K (2,8 M kvc). Однопоточный декодер обычно работает со скоростью 30–50 токен/с, а 181 токен/с — это общий пропуск при ~9 одновременных сессиях агентов. Пиковый показатель достиг 195 токен/с. 🖥️ Оборудование: 2 × NVIDIA DGX Spark (GB10 Grace Blackwell, 128 GB унифицированной памяти, 20‑ядерный ARM). Узлы соединены прямым кабелем ConnectX‑7, NCCL по RDMA (RoCE, 200 Gb), TP=2. Проверка через IB в логе NCCL, fallback TCP отключён. Модель Qwen3.8-Flash-Next использует квантизацию RadixArk NVFP4 (4‑битные роутируемые эксперты, FP8 n‑gram таблица). Гибридная архитектура: 3/4 линейного внимания + 1/4 разреженного полного, MoE с 512 экспертами, MTP‑спекулятивный декодинг k=3 (~40 % принятие). Нативный контекст 262 K растянут до 512 K с YaRN‑фактором 2.0, проверено до глубины 487 K. Трюк с PLE‑таблицей на NVMe: таблица n‑gram embedding 320 M строк (47,7 GiB в FP8) читается напрямую с NVMe, каждый токен затрагивает только 16 строк (~2,5 KB). mmap сразу с диска сократил вес модели на узел с 65 GiB до 41 GiB. Быстрость обеспечили madvise(MADV_RANDOM) и 64 потока gather, чтение с диска уменьшилось с 603 GB до 19 GB. Пул KV‑кэша теперь 2,89 M токенов (5,5× полных контекстов) при 40,6 GiB pinned памяти. Параметры vLLM: --kv-cache-memory 40600000000, --max-num-batched-tokens 8192, --long-prefill-token-threshold 4096, --enforce-eager, --enable-prefix-caching (99 % hit‑rate). Добавлен патч планировщика, ограничивающий одновременные холодные префиллы, и стек llama‑swap с nginx TLS и earlyoom.

📢 Новые GGUF‑модели Qwen3.8‑27B с квантованием GSQ‑RCO Мы публикуем три версии модели Qwen3.8‑27B, квантованные новейшими методами GSQ и RCO. Размер файлов — 8.4 – 10.1 ГБ (2.50, 2.75 и 3.00 бит/вес). 🤖 GSQ (Gumbel‑Softmax Quantization) — посттренировочная скалярная квантовка, одновременно обучающая распределения и масштабы, достигает качества 2‑3 бит при полной совместимости с форматом GGUF. RCO (Riemannian Constrained Optimization) — градиентный подбор типа квантования для каждого тензора в рамках строгого бюджета размера, без ручной настройки. По тестам (AIME25, GPQA‑Diamond, LiveCodeBench v6) модели показывают результаты, сравнимые с базовым BF16 и часто лучше опубликованных квантовок. При 3.00 bpw (10.1 ГБ) достигают 100 % на AIME25, 88.89 % на GPQA‑Diamond и 84.57 % на LiveCodeBench; при 2.75 bpw (9.3 ГБ) превосходят BF16 в среднем (75.70 % vs 74.34 %). При размере ~8.4 ГБ улучшения над UD‑IQ2_S составляют +10.0 % (AIME25), +8.6 % (GPQA‑Diamond) и +4.6 % (LiveCodeBench). Модели доступны на Hugging Face, а статьи и код по GSQ и RCO размещены в arXiv и GitHub. Это первая публикация серии SOTA GGUF от ISTA Deep Algorithms and Systems Lab; принимаем отзывы и запросы на новые модели.

🚀 FastH3 Preview v1: 14‑кратный ускоритель на GPU Blackwell FastVideo совместно с Nuva Lab и командой NVIDIA FastGen открыли исходный код FastH3 Preview v1 — модели для преобразования текста в видео и аудио (T2VA), дообученной на Minimax H3. Технология представляет собой открытый весовой 4‑шаговый разреженный дистиллированный Minimax H3, обеспечивая ускорение в 14 раз на графических процессорах NVIDIA серии Blackwell. Разработчики подчеркнули готовность к промышленному использованию, внимание к качеству, удобству и открытости, рассчитывая, что решение будет применимо в реальных коммерческих проектах, а не только в академических экспериментах.

🤖 Китайские автопроизводители следуют за ставкой Tesla на роботов Тесла заявила, что роботы станут следующим крупным источником прибыли, и теперь к этой идее присоединились китайские автокомпании. Технический прогресс вдохновил новый набор компаний вложиться в разработку гуманоидных роботов. Все участники – китайские автопроизводители.

🕶️ Норвегия ужесточит правила для AI‑очков Власти страны готовят новые ограничения на умные очки, способные делать фотографии, записывать видео и использовать искусственный интеллект. 📸 Эти меры направлены на регулирование технологий, которые могут собирать и обрабатывать визуальные данные в реальном времени.

🚀 Киберпреступники использовали Cursor от SpaceX для взлома семи фирм Российскоязычные хакеры применили новый инструмент искусственного интеллекта Cursor, разработанный SpaceX, чтобы получить доступ к системам семи компаний. 🛡️ По данным расследования, злоумышленники использовали возможности ИИ для автоматизации атак, что позволило им быстро обойти защиту и украсть данные. Взлом затронул семь организаций, официальных заявлений о масштабе утечки пока нет.

💰 Neocloud Lambda привлекла $1 млрд долга Neocloud Lambda получила частный займ на 1 млрд долларов, чтобы закупить AI‑чипы Nvidia и сдавать их в аренду Microsoft. Это очередное кредитование в серии, подчёркивающее высокие затраты, связанные с ростом рынка искусственного интеллекта 🤖

📊 Аудит 443 GGUF‑квантов выявил 64 несоответствия Проведён проверочный скрипт, который читает таблицу тензоров в файлах GGUF и сравнивает реальное количество бит на вес с тем, что указано в названии. Оказалось, что из 443 квантов в 25 репозиториях 64 файла не соответствуют заявленному типу. При к‑ и i‑квантизации первая размерность тензора должна делиться на 256; если это не так, llama‑quantize заменяет её на совместимый тип (обычно IQ4_NL для i‑квантов или Q4_0 для k‑квантов), что приводит к плотности около 4,5 бит/вес вместо запрошенного. Это поведение заложено в llama.cpp с PR #3747 (2023) и сопровождается предупреждением, которое попадает в лог квантования и не виден в скачанном файле. Самыми яркими примерами проблемных моделей стали: Nemotron‑3.5‑Lightning (≈99 % параметров перешли в fallback‑типы, все четыре уровня IQ2 измерены в 4,58 bpw), Qwen3.8‑Flash‑Next (51,9 % fallback, файл UD‑IQ1_S заявлен 1,56 bpw, измерено 3,28 bpw) и Nemotron‑3‑Super‑120B (18 из 23 уровней с fallback). Среди чистых результатов – MiniMax‑M2.1, квантования Qwen3.6 от byteshape, Ornith‑1.5 от bartowski и стандартные Llama и Qwen, где заявленные и измеренные плотности совпадают. Практический вывод: в моделях, где доминирует fallback, самые «низкие» уровни квантования могут не уменьшать размер файла. При выборе модели лучше ориентироваться на реально измеренную плотность (например, Q4_0 или IQ4_NL), а не только на название. Инструмент и полные результаты доступны на GitHub — https://github.com/JoshBolding/ggufaudit. 🛠️

🚀 Qwen3.8‑27B работает на RTX PRO 4000 Blackwell с 128 K контекстом Тест проведён на NVIDIA RTX PRO 4000 Blackwell 24 GB (145 W) под Ubuntu LXC в Proxmox, CUDA 13.3, драйвер 610.x и NInfer (ветка rtx‑5060ti). После установки недостающих зависимостей и принудительной сборки NInfer с компилятором /usr/local/cuda-13.3/bin/nvcc модель успешно запустилась, использовав 15.92 GiB весов и оставив от 5.61 GiB до 0.73 GiB свободной видеопамяти в зависимости от размера KV‑кэша. Без MTP‑декодинга скорость decode составляла ~31 tok/s. При включённом MTP3 (спекулятивный декодинг) она выросла до 59‑62 tok/s, а процент принятия черновых токенов – 64‑68 % при нулевых откатах. При разных размерах KV‑кэша (32 K, 64 K, 128 K INT8) общая пропускная способность оставалась около 60 tok/s, а потребление VRAM увеличивалось от 4.00 GiB до 4.38 GiB, оставляя после старта лишь ~727 MiB. В полном долгосрочном тесте с 130 048 токенами (INT8 KV, без MTP) префилл достиг 785 tok/s (~166 s), а decode – 24.4 tok/s. С MTP3 decode ускорился до 67 tok/s (≈2.74×), при 100 % принятии черновых токенов модель корректно выдала заранее зашитые значения ORCHID=493817 и COLOR=COBALT. Общий объём запланированной видеопамяти – 21.61 GiB, после старта осталось ~727 MiB.