Лента новостей

AIr/LocalLLaMA·14 авг. 2026 г., 18:40

🚀 Конфиги Qwen3.8-27B для DGX Spark и RTX 4090 🔧 На Nvidia DGX Spark опубликован сервисный образ vLLM для модели unsloth/Qwen3.8-27B-NVFP4. Контейнер `unsloth-qwen3.8-27b-nvfp4` использует образ `vllm/vllm-openai@sha256:c96082d33456ceeae7ec0d4faf2b5e47fb806a103decf94f9fbc9b35fd7d6b25`, открывает порт 8000, монтирует модели из `/home/erdal/Documents/models/unsloth-Qwen3.8-27B-NVFP4`, задаёт параметры: `tensor-parallel-size=1`, `max-model-len=262144`, `max-num-seqs=4`, `gpu-memory-utilization=0.50`, `kv-cache-dtype=fp8`, а также спекулятивный режим `mtp` с 2 токенами. Для видеокарты RTX 4090 представлен сервер llama.cpp (образ `ghcr.io/ggml-org/llama.cpp:server-cuda13`) с моделью `Qwen3.8-27B-Q4_K_M.gguf`. Контейнер `qwen38-27b-gguf` открывает порт 8080, использует все GPU, монтирует модели из `/root/models`, задаёт параметры: `n-gpu-layers=999`, `ctx-size=131072`, типы кэша `q8_0`, включён flash‑attn, batch‑size 2048, temp 1.0, top‑p 0.95, top‑k 20, предсказание 32768 токенов.

Источник ↗
AITechCrunch·14 авг. 2026 г., 16:14

🔧 Google убирает водяной знак с AI‑изображений Сервис теперь позволяет пользователям отключать видимый водяной знак на генерируемом искусственным интеллектом контенте. При этом отключение не влияет на скрытые метки, которые используют для определения, что файл создан ИИ.

Источник ↗
AITechCrunch·14 авг. 2026 г., 15:43

🚀 Meta выпустила открытый AI‑модель Glimmer На этой неделе компания представила Glimmer — модель с открытыми весами, которую любой пользователь может скачать и запустить на собственном оборудовании. Это контрастирует с Muse Spark, более мощной моделью Meta, доступной только через её API. Вместе с релизом Цукерберг опубликовал письмо, в котором настаивает, что искусственный интеллект должен быть «для всех», а не находиться в руках ограниченного числа лабораторий.

Источник ↗
AITechCrunch·14 авг. 2026 г., 14:51

🚀 Kog оптимизирует работу GPU Французский стартап Kog углубляет исследования, чтобы увеличить объём инференса, получаемого от графических процессоров. Компания заявляет, что представление о том, что GPU плохо подходят для агентных рабочих процессов, может быть ошибочным.

Источник ↗
AIr/LocalLLaMA·14 авг. 2026 г., 12:55

🚀 Оставшиеся 2 часа до завершения выпуска Qwen 3.8‑27B На сегодня осталось всего два часа до окончания релиза модели Qwen 3.8‑27B. Скачать её можно по ссылке https://huggingface.co/Qwen/Qwen3.8-27B. В тот же день была опубликована новая версия модели GLM 5.3 ✨.

Источник ↗
AIr/LocalLLaMA·14 авг. 2026 г., 12:04

🚀 Nitro: безопасный CLI‑агент для команд оболочки Nitro — небольшое CLI‑приложение, которое принимает запросы на естественном языке и переводит их в соответствующие shell‑команды, автоматически присваивая каждому запросу уровень риска и теги поведения. 🔐 Для каждой команды выводится запрос разрешения: команды только для чтения выполняются автоматически, а любые действия, изменяющие состояние, требуют подтверждения. В строгом режиме подтверждение требуется для каждой команды, а встроенная защита от подстановки запросов предотвращает злоупотребления. Инструмент работает как с облачными сервисами, так и с локальными моделями — например, через Llama.cpp на RTX 5080 с дообученной 1.5 B моделью для shell‑команд. Nitro поддерживает многошаговое использование инструментов, задаёт уточняющие вопросы, читает выводы и корректирует действия. Примеры запросов: «Сжать последние 5 коммитов в один с сообщением «Bug fix»», «Найти все Markdown‑файлы, кроме node_modules, посчитать строки и показать топ‑10», «Получить 10 последних открытых задач с тегом P1, исключив AI‑сгенерированные, вывести ID и заголовок». Проект открыт: установить можно командой `npm i -g @aerovato/nitro`, исходный код доступен на github.com/aerovato/nitro, принимаются форки и pull‑request’ы. Автор отмечает, что использует Nitro почти каждый день и будет рад любой поддержке в виде звёзд на GitHub.

Источник ↗
AITechCrunch·14 авг. 2026 г., 10:44

🚗 Uber и Pony.ai готовятся к 2000 роботакси в Европе Компания Uber совместно с Pony.ai объявила о планах запустить в Европе 2 000 роботакси. После пилотного проекта в Загребе, Хорватия, партнёрство расширяется 🚀 на четыре новых европейских города.

Источник ↗
AIr/LocalLLaMA·14 авг. 2026 г., 10:42

🚀 Qwen 3.8 Max — быстрый и продуманный помощник Модель уже доступна в полном релизе после предварительного API‑превью. По отзывам, она работает заметно быстрее, чем аналогичные модели того же размера, и часто самостоятельно исправляет свои предположения. При этом наблюдается рост общего числа параметров — разработчики снова ориентируются на триллионные масштабы, как у GLM, который может превысить 3 трлн. ⚙️ Qwen 3.8 Max особенно эффективен в планировании: он умеет выявлять избыточные абстракции, дублирование компонентов и ненужные сервисы, при этом не упрощает систему слепо, а отделяет действительно необходимую сложность от лишней. По мнению автора, в работе с крупными проектами модель опережает Sol, превращая разрозненные идеи в последовательный план действий. Также модель показывает высокую точность в исследовательской работе: предлагает абляции, выявляет конфаундеры, проверяет справедливость сравнений и стремится к экспериментам, способным опровергнуть гипотезу. В инфраструктурных задачах (шифрование, RBAC, настройка безопасности) Qwen менее склонен к отказам, а в креативных проектах (демо‑видео в Remotion) демонстрирует чувство типографии, ритма и даже пишет скрипты для синхронизации музыки с видеорезами. После тестов в превью и полном релизе основные преимущества модели – планирование, упрощение, экспериментальный дизайн, самокоррекция, инфраструктурная работа и креативная реализация.

Источник ↗
AIr/LocalLLaMA·14 авг. 2026 г., 02:39

🚀 Mistral добавил модель GLM‑5.2 Mistral объявил о поддержке новой модели GLM‑5.2 в своей платформе. Стоимость использования GLM‑5.2 оказалась ниже, чем у текущей флагманской модели Mistral Medium 3.5. Модель также доступна у конкурента Z.ai. Подробнее в документации: https://docs.mistral.ai/models/zai-glm-5-2

Источник ↗
AIr/LocalLLaMA·14 авг. 2026 г., 01:55

⚡ Nemotron 3.5 Lightning 30B: W4A16 vs IQ4_XS на RTX 3090 Новый квантованный вариант модели Nemotron 3.5 Lightning 30B в формате W4A16 полностью помещается в одну видеокарту RTX 3090 (24 ГБ) и демонстрирует почти одинаковую точность при batch‑size 1, а при batch‑size 16 ускоряется примерно в 4,5 раз по сравнению с IQ4_XS. Квантование совместимо с VLLM, использует INT4 и после калибровки работает в несколько раз быстрее, чем эквивалентный IQ4_XS GGUF в сборке llama.cpp (commit 28d7068ec, build 10396) под CUDA. Подходит для пакетной разметки и агентных ответов, где критична скорость, а не кодинг. 📊 По ключевым метрикам инструкций разница минимальна: W4A16 — 73.94 % / 81.29 % / 77.45 % / 83.69 %; IQ4_XS — 74.49 % / 82.01 % / 78.00 % / 84.53 % (строгий/свободный запрос‑инструкция). Текст написан человеком, карточка модели подготовлена codex. Будем рады вашим замечаниям.

Источник ↗