Лента новостей

🚀 Бенчмарки AMD V620: Vulkan опережает ROCm Проведены тесты llama.cpp на Windows 11 с видеокартой AMD V620, сравнивающие бэкенды Vulkan и ROCm (версии ROCm 7.15.0a20260728, TheRock nightly SDK). Тесты включали модели Qwen 3.8‑27B‑Uncensored, Gemma 26B и Gemma 31B с одинаковыми настройками KV‑квантования и размером батча 1024. Для ROCm‑пути потребовалось небольшое исправление в файле fattn.cu, чтобы поддержать Q4_0 при head_dim = 512. 📊 При генерации токенов (256‑токеновые генерации, первая прогонка отбрасывается) Vulkan показал более высокую скорость во всех измерениях: от ≈ 3.4 k tokens/s до ≈ 26.7 k tokens/s, в то время как ROCm не превзошёл его ни по модели, ни по глубине контекста. Обработка подсказок (PP) дала смешанные результаты. На модели Qwen ROCm выигрывал на всех глубинах. Для Gemma 26B Vulkan был быстрее при небольших контекстах (1057.9 vs 973.1 tokens/s при 3.4 k) и отстал лишь в среднем диапазоне, а при глубине ≈ 26.7 k опередил ROCm. У Gemma 31B ROCm лидировал при мелких глубинах, но Vulkan обогнал его начиная с ≈ 13.4 k. Дополнительные проверки показали, что при масштабировании n‑max оба бэкенда теряют эффективность после n≈3 одинаково, а изменение ubatch (512 – 2048) в ROCm меняет скорость PP лишь на ≈ 6 %, без явной тенденции. Gemma 26B (MoE, ~4 B активных параметров) генерирует в 2‑3 раза быстрее плотных моделей, особенно при глубоком контексте.

📄 Wikihow подала в суд на OpenAI за нарушение авторских прав Wikihow объявил о подаче иска против OpenAI, обвиняя компанию в несанкционированном использовании материалов сайта для обучения своих искусственных интеллектов. В иске говорится, что контент Wikihow был скопирован и использован без согласия правообладателя, что нарушает закон об авторском праве. Судебный процесс начался в США; обе стороны пока не комментируют детали разбирательства.

🚀 IBM представила семейство моделей Granite 4.2 На платформе Hugging Face опубликованы три модели: Granite‑4.2‑30B (флагман), Granite‑4.2‑8B и Granite‑4.2‑3B. Все они открыты по лицензии Apache 2.0 и доступны для коммерческого и исследовательского использования. Granite‑4.2‑30B демонстрирует лучшую производительность в задачах, требующих рассуждений, благодаря встроенному chain‑of‑thought. Модель поддерживает три режима мышления — полный (по умолчанию), без размышлений и экономичный — что позволяет регулировать глубину ответа и задержку. Также реализовано reasoning‑augmented tool calling и контекстное окно до 512 К токенов. 📚 Технически модели построены на декодер‑только трансформере с группировкой запросов (GQA) — 32 attention‑heads и 8 KV‑heads, позиционным кодированием RoPE (θ = 10 000 000), MLP с активацией SwiGLU (hidden size = 32768), нормализацией RMSNorm (ε = 1e‑5), отдельными входными и выходными эмбеддингами и вычислениями в формате bfloat16. Модели Granite‑4.2‑8B и Granite‑4.2‑3B сохраняют те же возможности (chain‑of‑thought, гибкие режимы, tool calling, 512 К контекст), но имеют меньше параметров, соответственно 8 млрд и 3 млрд.

🚀 GPT‑OSS 20B проработал неделю без облачных API Запустив открытый помощник на MacBook Pro M5 с 12‑ГБ бинарником, я отключил все внешние облачные вызовы и полностью положил на GPT‑OSS 20B управление агентом. За 7 дней он выполнил 312 реальных задач, сделав 1 847 вызовов инструментов. 93,2 % задач завершились без моего вмешательства, а 97,4 % вызовов прошли проверку схемы с первой попытки. Было реализовано 71 многошаговый процесс, а уровень повторных попыток составил 4,1 %. Я начал эксперимент, пытаясь выявить слабые места модели, а закончил, отменив работу с Perplexity computer.

🔬 Обзор 11 вариантов Gemma‑4 12B: детали эксперимента Исследователи протестировали 11 «незамедлённых» вариантов Gemma‑4 12B, взятых с HuggingFace и отсортированных по количеству скачиваний. Было проведено 10 полных абляций и 2 LoRA‑адаптера, сравнив их с официальной базовой моделью. На одной видеокарте RTX 5090 затрачено 165 GPU‑часов за 3,5 недели. Анализ включал весовую форензику, KL‑дивергенцию, 13 бенчмарков и HarmBench с 400 поведениями; каждый из 6 800 ответов оценивался LLM‑судьёй, получено 6 000 вердиктов. Полный отчёт доступен на abliterlitics.dev и HuggingFace. 📊 По показателю Judge ASR (точность судей) лидируют: huihui — 89,8 % (самый «джейлбрейкнутый», но с падением TQA ‑14,3 pp и 24 % незавершённых GSM8K), trevorjs — 85,8 % (лучший компромисс, почти базовый уровень во всех задачах) и coder3101 — 81,0 % (лучший результат по GSM8K). Наименее изменённые модели (sdft‑LoRA) сохраняют способности полностью, а более «хирургические» правки (huihui, 12 изменённых тензоров) дают высокий ASR, но ухудшают другие метрики. Главный вывод: Gemma‑4 12B оказалась самой сложной моделью в тестах; впервые HarmBench ASR не превысил 90 % для всех вариантов. При оценке только завершённых попыток модель достигает 88,0 % ASR, почти на уровне базовой (разница 0,7 pp). Показатели пустых ответов варьируются от 6,9 % (coder3101) до 38 % (openyourmind). Наименее разрушительные «разблокировки» показали trevorjs и prithiv (самый низкий KL = 0,064). Стандартные regex‑классификаторы могут недооценивать такие модели до 13 pp. Полный отчёт, интерактивный просмотр ответов и кода доступны по ссылкам: abliterlitics.dev/models/gemma4-12b, abliterlitics.dev/harmbench/gemma4-12b, HuggingFace DreamFast/Gemma4-12b-it-abliterlitics, github.com/dreamfast/abliterlitics. В планах – анализ Qwen 3.8 27B; предложения и обратную связь можно оставить в Discord‑канале проекта.

🚨 Прерывание российской AI‑кампании влияния Российские спецслужбы выявили и нейтрализовали новую covert‑операцию, в которой использовались генеративные модели искусственного интеллекта для скрытого воздействия на общественное мнение. По данным ведомств, цель кампании — распространение дезинформации в соцсетях и мессенджерах, при этом инструменты ИИ позволяли быстро генерировать тексты, имитирующие реальные обсуждения. Операция была остановлена на ранних этапах, детали её масштабов и участников пока не раскрыты.

🚗 Waymo едет в Мюнхен Компания Waymo объявила о планах запустить свои роботакси в Мюнхене. Германия стала привлекательной площадкой для испытаний автономных автомобилей благодаря прогрессивному регулированию, которое создает условия для будущего коммерческого внедрения роботакси. Эти правила делают страну центром тестирования и подготовки к массовому использованию автономных транспортных средств.

🔧 Тест Qwen3.8‑27B на NVIDIA IGX Thor Запустил самостоятельный inference‑сервер на дев‑кит NVIDIA IGX Thor (T7000, aarch64, 14‑ядерный CPU, Ubuntu 24.04.4) с дискретным GPU RTX PRO 6000 Blackwell Max‑Q (96 ГБ, sm_120, лимит 300 Вт) и встроенным iGPU Thor (sm_110, 122 ГБ LPDDR5X). В стеке: драйвер CUDA 580.00 / 13.0, SGLang dev build 5f55db35e, PyTorch 2.13.0+cu130, модель Qwen3.8‑27B‑FP8 (27,8 млрд параметров, гибридный Gated DeltaNet, контекст 262 144). При тесте sglang.bench_serving (ISL 8192 / OSL 1024) лучшая пропускная способность — 126,3 токен/сек с DFlash2 + bf16 SSM (latency 6,67 мс, 32‑конкурентных запроса). Спекулятивное декодирование повышает токен/сек почти в 2,8 раз (44,7 → 126,3) и ускоряет TTFT в 3,3 раз (10 530 мс → 3 161 мс). Переключение состояния модели с fp32 на bf16 уменьшает объём пула до ~12 ГБ, восстанавливает 32‑слота и почти удваивает KV‑пул, при этом точность на GSM8K (200 вопросов) меняется незначительно: 93,5 % bf16 vs 94,0 % fp32. Для небольших моделей (0,6 B) iGPU Thor показывает лучшую задержку, чем RTX PRO 6000: STT batch RTFx 27,8 vs 34,3, финальная задержка @ 320 мс 67,3 ms vs 105,9 ms; TTS first audio 93,0 ms vs 96,6 ms, синтез 102,3 ms vs 105,6 ms. Три одновременных голосовых запроса завершаются за < 1 сек, четвёртый ≈ 1,2 сек. На aarch64 возникли проблемы с PyTorch 2.10.0+cu130 (ошибки cuBLAS sgemm), решённые фиксом на версии 2.11.0. Для Docker‑контейнеров требуется запуск с --runtime=nvidia и задержка старта до загрузки драйверов — добавьте systemd‑drop‑in, проверяющий nvidia‑smi перед запуском. Если нужны другие конфигурации, дайте знать.

🍎 Новые настольные компьютеры Apple ориентированы на локальный ИИ Apple представила обновлённые настольные ПК, специально разработанные для работы с искусственным интеллектом прямо на устройстве. В учёте того, что пользователи часто соединяют несколько Mac‑ов для ИИ‑задач, в новой серии предусмотрены функции, облегчающие локальное обучение и вывод моделей 🤖. Это позволяет запускать и обучать ИИ‑модели без необходимости обращения к облачным сервисам.

🚨 Тайвань предъявил обвинения сотрудникам NVIDIA за экспорт AI‑серверов в Китай Тайвань официально возбудил дело против нескольких сотрудников компании NVIDIA, обвиняя их в поставке серверов искусственного интеллекта, запрещённых к экспорту в Китай. Это происходит несмотря на то, что США недавно ослабили ограничения на экспорт AI‑чипов в Китай, однако, по сообщениям, нелегальные поставки продолжаются. 🖥️