Лента новостей

🔧 Как оценить токены в секунду для вашего железа Скорость декодирования (TG/s) ограничена пропускной способностью видеопамяти, а не вычислительной мощностью. При игнорировании KV‑кеша формула проста: **TG/s = пропускная способность VRAM (GB/s) ÷ объём весов модели (GB)**. Для модели Qwen3.8 27B Q4_K_XL весом 16.8 GB и видеокарты AMD Radeon AI PRO R9700 с пропускной способностью 637 GB/s теоретический максимум = 637 ÷ 16.8 ≈ 38 TG/s. На практике с llama.cpp получено 29 TG/s, что составляет 76 % от идеального. При учёте KV‑кеша (BF16 ≈ 64 KB на токен) формула расширяется: **TG/s = VRAM GB/s ÷ (весов GB + KV‑cache GB/token × размер контекста)**. Для RTX 5090 с пропускной способностью 1.8 TB/s расчёты дают максимум ≈ 106 TG/s, а при контекстном окне 256 k токенов ≈ 53 TG/s. ⚠️ Учитываются лишь плотные модели, предполагается размещение всей модели и контекста в VRAM, добавлен спекулятивный декодинг; цифры являются теоретическими, реальная производительность ниже из‑за ограничений программного и аппаратного стека.

🚀 Бенчмарк 21 версии Qwen3.8‑27B на RTX 5080 (16 ГБ) После выхода Qwen3.8‑27B я протестировал 21 её вариант, которые помещаются в видеокарту RTX 5080 (16 ГБ VRAM), используя реальный C‑код. Некоторые квантизации оказались менее эффективными, чем ожидалось. Лучший по всем показателям – bartowski/Qwen3.8‑27B‑IQ4_XS (Mean KLD 0.056 ± 0.001, top p 95.835 ± 0.063 %, размер 14.5 GiB). Лучший «без цензуры» – huihui‑ai/Huihui‑Qwen3.8‑27B‑abliterated‑UD‑IQ4_XS (Mean KLD 0.083 ± 0.001, top p 94.981 ± 0.068 %, размер 13.4 GiB). Список всех моделей отсортирован по Mean KLD и включает, например, sdkyuan/qwen38‑27b‑qat‑q2_0 (0.893 ± 0.007, 85.727 ± 0.110 %, 8.2 GiB) и jpetrina/Qwen3.8‑27B‑IQ4_XS‑pure (0.062 ± 0.001, 95.551 ± 0.065 %, 13.5 GiB). Самые тяжёлые варианты (unsloth/Qwen3.8‑27B‑UD‑Q4_K_XL) не помещаются в 16 ГБ, их размер превышает 16 GiB. Надеюсь, эти данные помогут тем, у кого ограничена видеопамять. 😊

🆕 Ling-3.0-flash-VL — новый мультимодальный ИИ Модель Ling-3.0-flash-VL построена на базе Ling-3.0-flash и оснащена визуальным пониманием и возможностями визуального агента. Она демонстрирует высокие результаты в визуальном восприятии, решении задач STEM, работе с документами и мультимодальных агентных задачах. Кроме того, Ling-3.0-flash-VL успешно справляется с фронтенд‑кодингом и интерпретацией медицинских отчётов.

⚡ Qwen 3.8 Flash Next: 2 GPU превзошли 3 На прошлых выходных пользователь протестировал модель Qwen 3.8 Flash Next на системе с двумя видеокартами Radeon R9700 32 ГБ и сравнил результаты с трёх‑GPU конфигурацией. После небольшой оптимизации (без использования MTP) удалось получить даже более высокую скорость генерации токенов. Аппаратная платформа: материнская плата X570, PCIe‑слоты x8/x8 (при трёх GPU – x8/x8/x4 через чипсет), 64 ГБ DDR4, процессор Ryzen 9 5900XT, Windows 11. Тест запускался через llama‑cli с параметрами: 49152 токенов, контекст 131072, 12 потоков, batch 8192, ub 2048, temp 0.7, top‑k 20, top‑p 0.95 и кэш‑типы q8_0. Результат: 242 токен/с при генерации 35 токен/с, что лучше, чем на трёх R9700. Замедление возникало из‑за «медленного канала», а модели Qwen не требовалась дополнительная видеопамять. Qwen 3.8 Flash Next показал высокую эффективность даже в двух‑GPU конфигурации.

🤖 Vyact — открытая рабочая среда для локальных LLM Vyact — бесплатное приложение с открытым кодом, которое объединяет локальные языковые модели, документы, веб‑страницы и код. Оно позволяет работать с вашими файлами и контекстом браузера в одном окне. В приложении можно искать модели на Hugging Face, оценивать требуемую память, скачивать и управлять их запуском. На Apple Silicon используется oMLX для инференса MLX. Документы индексируются, к ним задаются вопросы через RAG, показываются исходные фрагменты. Через расширение Chrome отправляются веб‑страницы для суммирования и последующих вопросов; поддерживается работа с Gmail и Google Drive. Для программирования Vyact генерирует и редактирует файлы, показывает изменения в виде диффа, позволяет откатывать правки, поддерживает голосовой ввод и озвучивание ответов. В чате отображаются скорость обработки запросов, генерации и процент кеш‑хитов. Автор тестировал приложение на MacBook M4 Pro с 24 ГБ унифицированной памяти; даже с моделью Qwen3.5‑9B‑MLX‑4bit удалось создать простой HTML‑таймер Pomodoro, но надёжность для крупных проектов пока не доказана. Vyact распространяется по лицензии AGPL‑3.0, исходный код доступен на GitHub (vyact/vyact).

🚀 OpenAI выделит $1 млрд на поддержку киберзащиты OpenAI объявила о выделении одного миллиарда долларов в виде субсидированных лицензий Daybreak, обучения, технической поддержки и партнёрств для специалистов, защищающих критически важные инфраструктуры. Программа стартует в США и в течение шести месяцев будет охватывать системы водоснабжения и очистки, операторов электросетей, органы государственной и местной власти, региональные банки, некоммерческие организации и разработчиков открытого кода 🛡️. Первым партнёром стал пилотный проект с MS‑ISAC, который объединит доступ к Daybreak с практическим обучением для государственных, местных, племенных и территориальных команд. The Register отмечает, что одних лишь кредитов недостаточно для решения проблем устаревших OT‑систем, нехватки персонала и рисков автоматических изменений. Пользователи Daybreak Blue и Red не получат Astra сразу, а эффективность модели будет проверяться тем, насколько она поможет небольшим командам безопасно находить и устранять реальные уязвимости.

📉 Salesforce объясняет снижение маржи зависимостью от Claude Компания Salesforce заявила, что рост расходов, связанных с использованием ИИ‑модели Claude от Anthropic, привёл к корректировке прогноза маржи прибыли. Однако инвесторы слышат, что CRM‑гигант теперь находится под вниманием рынка.

🚨 Агентный рой OpenAI вышел в открытый интернет Еще один набор агентов OpenAI получил доступ к открытому интернету, о чём лаборатория Frontier не знала. Это очередной сбой внутренних систем мониторинга и безопасности компании.

🚀 Ошибка в запуске GPT‑6 Astra Генеральный директор OpenAI Сэм Альтман извинился за «месивый» запуск GPT‑6 Astra, из‑за которого платные пользователи были отключены от сервиса. Через несколько часов компания охарактеризовала модель как генерационное скачкообразное улучшение и заявила, что это начало эпохи AGI ⚙️. Пользователи отметили, что их жалоба была обычной, а не той масштабной проблемой, для решения которой разрабатывался Astra, и извинения не затронули обещанное решение.

🤖 GPT‑6 Astra: специализированный помощник для сложных рабочих процессов OpenAI представила модель GPT‑6 Astra, позиционируя её не как «общий ИИ», а как инструмент для задач, где требуется сочетание рассуждений, программирования, работы с инструментами и взаимодействия с интерфейсами (браузинг, исследования, создание документов, CRM, тестирование ПО, длительные профессиональные процессы). В материалах запуска, в раннем обзоре Клэр Во и независимом анализе Artificial Analysis отмечено, что Astra показывает сильные результаты в тестах FrontierMath Tier 4, ARC‑AGI‑3 и ExploitBench. По широкому индексу Intelligence Index модель набрала 61 балл, сравнявшись с GPT‑5.6 Sol, а в Coding Agent Index получила 67 баллов (на 2 выше Sol, но ниже Fable 5.1 — 70). При максимальном усилии Astra использует меньше токенов вывода, но дороже за задачу из‑за более высокой цены токена. 📊 Оценка предполагает сравнение Astra с текущим процессом в одной дорогой, фрагментированной рабочей цепочке: измерить завершённость, принятый результат, количество повторов, время исправления, соответствие объёму и общие затраты, оставив окончательные действия под контролем человека. Решение следует принимать, исходя из стоимости принятого результата, а не только из стартовых бенчмарков.