Лента новостей

🧠 Тест памяти небольших моделей Я провёл тесты точности памяти небольших моделей с помощью ChatSorter — API‑слоя памяти для чат‑ботов, используя набор LoCoMo для долгосрочных диалогов. Тестировались пять конфигураций на трёх моделях — Gemma 2 9 B, Gemma 3 4 B и Gemma 3 12 B. По первому взгляду Run 4 показывал 75 % точности, но эта цифра завышена из‑за более снисходительного судейского модели. При замене судьи на более крупный (Run 5) появилось больше отказов «I don’t know», и реальная точность Run 4 составляет 55‑60 %. Для сравнения, компании вроде MemoryLake рекламируют 96 % на аналогичных тестах, но на передовых моделях. Модели с 4‑12 млрд параметров, то есть примерно в 17 раз меньше GPT‑4o, достигают 55‑60 % с ChatSorter, тогда как GPT‑4o без слоя памяти показывает около 60 % 🚀. Готов ответить на вопросы.

🚜 Caterpillar переносит опыт автоматизации добычи в AI Caterpillar уже десятки лет использует автономные машины на удалённых шахтах. Сейчас компания применяет полученные знания к развертыванию искусственного интеллекта. 🤖 Опыт работы с роботами в сложных горнодобывающих условиях будет использован для ускорения внедрения AI‑технологий в промышленные процессы.

🔍 5 самых удивительных открытий OpenAI в расследовании HuggingFace OpenAI провело расследование в компании HuggingFace, изучая её модели и практики. 🤯 В результате было выделено пять находок, которые команда назвала самыми «безумными» среди выявленных.

⚡ FlashAccel: ускорение LLM через High‑Bandwidth Flash Исследователи представили работу «FlashAccel: Leveraging High‑Bandwidth Flash (HBF) for High‑Throughput LLM Inference», в которой описывают применение памяти HBF для ускорения вывода больших языковых моделей. По данным автора, HBF обеспечивает от 8‑ до 16‑кратного увеличения ёмкости по сравнению с HBM при тех же затратах и достигает пропускной способности до 3 ТБ/с.

🚀 Qwen3.8‑27B на RTX 5090: 144‑256 ток/с, 175 k контекст С помощью sglang, модели NVFP4 (эквивалент Q6) и спекулятивного декодирования DFLASH2 Qwen3.8‑27B запускается на одной RTX 5090. Готовые чекпоинты доступны для скачивания, сборка не требуется, что делает решение удобным для Hermes и Opencode. Производительность: один слот — ≈144 ток/с для прозы и ≈256 ток/с для кода; два параллельных слота — ≈261 ток/с и ≈451 ток/с соответственно. Время предзаполнения (TTFT) при холодных запусках: 5 k токенов — 0,33 с, 10 k — 0,37 с, 20 k — 0,91 с, 50 k — 4,08 с, 100 k — 11,85 с, 150 k — 23,46 с. Контекстный пул — 175 k KV, восстановление диалога ~1 с вместо ~20 с. Особенности: хост‑RAM KV‑tier ускоряет возобновление разговоров, caps — 16 k токенов рассуждений и 8 k контента, шаблон froggeric улучшает агентные задачи. Оценки по внешним бенчмарам: GPQA Diamond 84.8 % (xhigh 89.2 %), GSM8K 96.8 %, MATH‑500 95.6 %, AIME 2024 83.3 %, HumanEval 56.7 %, MBPP 75.0 %. 🔧 Тонкая настройка: параметр --speculative-dflash-block-size (по умолчанию 6), максимальный контекст --max-total‑tokens 175 064 (~260 MiB свободно). Vision отключается флагом --language-only, при необходимости можно задать 150 k контекст. В качестве бонуса рекомендуется установить лёгкий admission‑control прокси перед sglang, чтобы крупные запросы не блокировали мелкие.

📊 Трудовые изменения из‑за ИИ Согласно национальному опросу 1 250 работающих взрослых, лишь 3 % считают, что ИИ может лишить их работы. В том же исследовании выяснилось, что 6 % получили позиции, созданные искусственным интеллектом, а 9 % — повышения, связанные с ИИ, в период с 2023 по 2026 годы 🤖.

📐 Автономные математические открытия в открытом мульти‑агентном мире В эксперименте «Station» AI‑агенты разных моделей работают без центрального координатора, выбирают собственные исследовательские направления, проводят эксперименты, сотрудничают и формируют общую научную литературу. На 12 задач из каталога AlphaEvolve и двух дополнительных кейс‑стади система представила новые результаты по пяти проблемам: бесконечное семейство конечнопольных наборов Какаи, точная конфигурация из 604 точек в 11‑мерном пространстве, рекорды по дискретному «игольному» Какаи и проблеме знаковой неопределённости, а также существенно улучшенную нижнюю границу для задачи Эрдёша о минимальном перекрытии. Кроме того, агенты нашли новые бесконечные семейства чисел Бук‑Рамсея. Все открытия сопровождаются не только численными конструкциями, но и формулировками теорем и аналитическими объяснениями, что упрощает их дальнейшее использование математиками 🧩. Исходные диалоги агентов, доказательства и код проверки опубликованы открыто, обеспечивая прозрачность процесса открытий.

🎯 Sony и Warner обвиняют Anthropic в использовании пиратского контента Sony Music Publishing и Warner Chappell заявили, что компания Anthropic обучала свою модель Claude, используя десятки тысяч нелицензированных произведений, полученных через массовый торрентиг, скрейпинг и скачивание. Anthropic отвергает обвинения и сообщает, что будет защищать свою позицию в суде. По мнению экспертов, штраф может стать лишь обычными издержками, но требование отказаться от модели или переобучить её с нуля может изменить правила игры в индустрии ИИ. Вопрос остаётся открытым: что будет справедливо — выплата лицензионных отчислений, компенсация ущерба или полное переобучение модели?

🚀 Qwen3.8-Flash-Next: 170 К токенов на одной видеокарте Модель Qwen3.8‑Flash‑Next способна обрабатывать контекст до 170 000 токенов на одной 96 ГБ видеокарте, достигая скорости около 110 токенов/с. Для этого использована квантизация n‑gram до INT4 (32 ГБ, memory‑mapped с диска). Тесты показывают стабильную работу в диапазоне 150‑160 К токенов, а мониторинг VRAM подтверждает возможность превышения 170 К; качество генерации остаётся высоким, модель успешно решала сложные HTML‑игры без браузера. Скорость однопоточного вывода составляет 76–125 токенов/с. При оценке MTP получено ~87 % точности на коде и JSON и ~40 % в разговорном режиме; кэш префиксов работает более 90 % на длительных задачах. Потребление памяти: ~89 ГБ VRAM, ~33 ГБ page‑cache. Развёртывание выполнено на одном GPU Pro 6000 (CUDA 13/580, Ubuntu 24.04 без GUI) через k0s‑yaml: указаны параметры VLLM, INT4‑таблицы, отключён BF16‑offload, заданы лимиты CPU и GPU, а также необходимые тома и порты (8990 → 32001).

🛠️ Реализация Kimi K3 в PyTorch Сообщаем, что начата работа по полной реализации модели Kimi K3 с нуля в фреймворке PyTorch. Проект предполагает создание всех основных компонентов модели, а готовый код будет опубликован в открытом доступе для сообщества.