Лента новостей

🤖 Qwen 3.8 27b: быстрый переход между режимами мышления Для пользователей встроенного интерфейса (и любых других UI с аналогичной функцией) в llama.cpp‑Server есть простое решение — использовать параметр **Custom JSON**. Он позволяет мгновенно переключать режимы «thinking», полностью отключать их или сохранять текущие настройки. Пример конфигурации: ```json { "chat_template_kwargs": { "enable_thinking": true, "reasoning_effort": "medium", "preserve_thinking": true } } ```

📊 Квантование Qwen3.8‑27B: детали тестов и результаты Перед квантованием я проверил каждую группу весов модели, измеряя KL‑дивергенцию относительно исходного варианта. Было протестировано 14 категорий (attn_qkv, attn_gate, ssm_alpha, ssm_beta, ssm_out, ffn_gate, ffn_up, ffn_down, attn_v, attn_q, attn_k, attn_output, token_embd и output_weight) как по отдельности, так и в комбинированном виде. Наихудший изолированный результат показал attn_v, но его защита в комбинированной модели не изменила итоговый показатель; аналогично attn_gate и ssm_alpha не принесли пользы. Наибольший эффект дали восстанавливаемые attn_qkv (закрыли 55 % разрыва в tool‑calling и 13 % в общем) и ffn_down (добавили ещё 24 % и 15 % соответственно). Защита token_embd и output_weight вместе улучшила общие, кодовые и математические задачи, но ухудшила tool‑calling, что было компенсировано добавлением attn_gate. 🛠 Итоги измерений KL‑дивергенции (по сравнению с базой Q8_0): - **Bedrock** (13.91 GiB, 4.37 BPW): general 0.0177, code 0.0034, math 0.0048, toolcalling 0.0200. - **Tightrope** (13.14 GiB, 4.13 BPW): general 0.0252, code 0.0040, math 0.0067, toolcalling 0.0404. - **Gambit** (12.54 GiB, 3.94 BPW): general 0.0455, code 0.0064, math 0.0112, toolcalling 0.0542. Ни в одной сборке не было «красных» значений; код оставался «зелёным» во всех уровнях, тогда как категории general и tool‑calling не достигли зелёного порога. Все цифры — чисто количественные KL‑значения. Подробнее и пример запроса для Gambit: https://huggingface.co/enginetown/Qwen3.8-27B-Calibrated.

🖥️ Llama.cpp Windows Manager – три месяца развития проекта Три месяца назад разработчик разместил свою первую версию решения для запуска llama.cpp на Windows. Сейчас это открытое приложение — доступно как установщик для Windows, так и портативный ZIP‑архив — и предоставляет визуальный интерфейс для управления рантаймами, переключения между моделями и одновременной работы нескольких локальных эндпоинтов без скриптов и ручных серверных процессов (https://github.com/alekk89/llama-cpp-windows-manager). Менеджер позволяет создавать отдельные профили запуска для каждой модели, запускать их параллельно и обращаться к ним через общий шлюз, совместимый с OpenAI, либо по отдельности. Встроены пошаговые настройки для нативных Windows и WSL‑рантаймов, сбор метрик производительности, визуальная конфигурация параметров, упрощённый режим с часто используемыми настройками, группировка моделей для совместной загрузки, автоматический откат и выгрузка в режиме простоя. Также доступны мониторинг в реальном времени, логи сервера, слоты и использование ресурсов, а управление можно автоматизировать через аутентифицированный API и утилиту llwmctl. Проект открыт для обратной связи: принимаются сообщения об ошибках и предложения по новым функциям. 🚀

🔍 Водяной знак в будущих моделях Claude Будущие версии Claude будут генерировать текст с встроенным водяным знаком, что позволяет оценить вероятность участия Claude в написании текста. Эта мера вводится совместно с несколькими крупными поставщиками ИИ в рамках соблюдения требований EU AI Act. В статье мы отвечаем на вопросы о выбранном методе водяного знака, его влиянии на выводы Claude и причинах внедрения изменения.

🏠 Оспоренный выселение в Нэшвилле отклонили Житель Нэшвилла подал апелляцию против решения суда о выселении, опираясь на юридические аргументы, сгенерированные искусственным интеллектом. Суд рассмотрел материалы и отказал в удовлетворении апелляции. Таким образом, решение о выселении осталось в силе.

🔻 Nvidia сократила планы гарантии $250 млрд для дата‑центра OpenAI Компания Nvidia объявила о сокращении объёма гарантии в $250 млрд, которую она планировала предоставить для нового дата‑центра OpenAI. Точные параметры уменьшения не раскрыты, но компания подтвердила, что намерения по поддержке проекта остаются. Это изменение отражает пересмотр стратегии Nvidia в отношении крупномасштабных инвестиций в инфраструктуру ИИ.

📢 OpenAI вводит рекламу Компания OpenAI объявила о запуске рекламных объявлений в своих сервисах. По словам генерального директора Сэма Альтмана, это решение является «последним средством» для компании. Альтман отметил, что реклама поможет финансировать дальнейшее развитие продуктов и поддерживать их доступность, однако детали формата и стоимости пока не раскрыты. Внедрение рекламы планируется в ближайшее время, но точные сроки не объявлены 💡

🚀 OpenAI планирует показывать рекламу в своих моделях Вчера, за день после выхода модели Qwen 3.8 27B, компания OpenAI объявила о внедрении рекламы в свои ИИ‑модели. Qwen 3.8 27B была выпущена бесплатно и сразу продемонстрировала высокие возможности без дополнительной настройки. OpenAI сообщает, что реклама будет интегрирована в их сервисы, чтобы обеспечить финансовую устойчивость.

🚀 Qwen3.8‑27B на RTX 5090: 880 токенов / с На одной видеокарте RTX 5090 (CachyOS + COSMIC) модель Qwen3.8‑27B в 4‑битном формате NVFP4 обрабатывает 880 токенов в секунду при полном контексте 262 k, используя около 150 МБ видеопамяти для рабочего стола. При 6 параллельных запросах суммарная скорость достигает 880 ток./с (пиковый показатель 967), а в одиночном потоке – более 200 ток./с с MTP‑спекулятивным декодированием и предзаполнением ≈ 5 950 ток./с. Для сравнения, llama.cpp Unsloth Q5_K_XL на той же системе показывает ≈ 1 700 ток./с. Запуск выполнен через однопоточный движок NInfer (github.com/Neroued/ninfer), написанный с нуля, а не как форк llama.cpp или vLLM. Вес модели 16,8 ГиБ оставляет ≈ 13 ГиБ для KV‑кэша. Формат артефакта закрыт, входной GGUF нет, поэтому веса в BF16 конвертированы в NVFP4 при помощи инструментов Neroued. Для сравнения использовался опубликованный артефакт Qwen3.8‑27B с целочисленной квантизацией (Q4/Q5/W8), который не задействует FP4‑ядра Blackwell. После исправления несовпадения масштабных коэффициентов (выбран меньший из двух) и повторной квантизации ошибка восстановления снизилась с 0.09471 до 0.09470. 📊 В тестах HumanEval+ (164 задачи) и AIME 25/26 (60 задач) обе версии показали одинаковый результат (152/164 и 55/60 соответственно), но NVFP4 был в 1.56‑1.98 раз быстрее по реальному времени. Ограничения: работает только на GPU Blackwell, требуется 6‑строчный патч к NInfer (ещё не в upstream) и подтверждённые результаты только на HumanEval+ и AIME. Файл с моделью доступен по ссылке: https://huggingface.co/Ostfralla/Qwen3.8-27B-NVFP4-NInfer.

🚀 Узкое место в оборонных технологиях — производство За последние три года в оборонных стартапах делали ставку на более точные сенсоры, модели и программное обеспечение для принятия решений. Компании Anduril, Shield AI и Palantir продвигали идею, что «AI‑нативные» фирмы могут превзойти традиционных гигантов вроде Lockheed и Raytheon. Инвестиции подтверждают интерес: в 2025 году стартапы в сфере оборонных технологий привлекли почти 50 млрд долларов, почти вдвое больше, чем в предыдущем году, а к середине 2026 года уже превзошли этот показатель. В 2026‑м году ограничивающим фактором стали не алгоритмы, а производство: дешёвые одноразовые дроны, которые можно терять, оказываются более экономичными, чем дорогостоящие системы с высокой точностью. Побеждает компания, способная выпускать тысячи физических единиц в месяц, а не та, у которой самая «умная» модель. Это отражает более общую тенденцию: сначала узким местом были модели, затем данные, потом вычислительные мощности, а сейчас — фабрики, когда речь идёт о продукции, взаимодействующей с реальным миром. «AI‑нативный» подход остаётся важным, но уже не является единственным условием успеха.