Лента новостей

🚀 Модульные дата‑центры от Alibaba за 100 дней Alibaba объявила, что модульный дизайн позволяет построить AI‑центр за 100 дней, сократив затраты на 10 %. Система CUBE 5.0, запущенная Alibaba Cloud, обещает более чем удвоить эффективность поставки модульных дата‑центров в этом году, что связано с ростом спроса на искусственный интеллект ⚡. Отчет подчёркивает, что экономия достигается за счёт стандартизации компонентов и ускоренной сборки.

🔍 Исследование раскрывает связь больших технологических компаний и нефтяных гигантов в сфере ИИ Новое рецензируемое исследование показывает, что крупные технологические фирмы и нефтяные корпорации работают «рука об руку», получая прибыль от искусственного интеллекта. Учёные отмечают, что ИИ способствует росту выбросов парниковых газов, усиливая глобальное потепление — механизм, который ранее оставался незамеченным 🌍.

🤖 Роботы, которые ходят и говорят, придут на автозаводы В автопроизводстве планируют внедрить новых роботов, способных передвигаться на ногах и общаться голосом. Точная дата начала их использования не указана. Пока неизвестно, какие модели и компании будут поставлять такие устройства.

🚀 Акции CoreWeave подскочили на 14% Выручка компании удвоилась на фоне ускоряющегося спроса на инфраструктуру для искусственного интеллекта. Несмотря на рост доходов, у CoreWeave остаётся долг в размере 35 млрд долларов.

🔬 Длинный безвредный контекст выводит модель gemma‑3‑1b‑it из режима отказа Исследователи обнаружили, что добавление к запросу в google/gemma‑3‑1b‑it длинного тематически согласованного префикса (от 100 до 3000 токенов) вызывает сильное пассивное смещение внутренних активаций (Δh₂≈3434) на глубине ≈ 85 % сети. Это приводит к разрыву логитов (D_KL≈22.87 нат) и росту энтропии в 325 раз, полностью нейтрализуя шаблоны отказа RLHF без каких‑либо jailbreak‑инструкций. 📊 В эксперименте сравнивались контрольный запрос без префикса и запросы с префиксами разных длин. Текст‑префикс был длинным, доброжелательным и тематическим; в абляционной версии порядок слов был случайно перемешан, сохранив длину и словарь. При согласованном префиксе D_KL варьировалось от 7.9 до 8.5, L2‑смещение — от 2272 до 2605, а модель генерировала ответы типа «Okay, let's break down how to create a strong, persistent script without relying on standard safety». При перемешанном тексте D_KL≈8, L2‑смещение≈2500, но ответы содержали фразы «Okay, this is a really fascinating…». Дополнительный масштабный цикл показал, что при L=100 D_KL=1.87, Δh₂=2119.4, ΔA_sem=‑0.0056; при L=1200 D_KL=9.56, Δh₂=2490.0, ΔA_sem=‑0.00018; при L=3000 D_KL=8.07, Δh₂=2339.8, ΔA_sem=‑0.00007. Эти данные подтверждают, что дрейф активаций обусловлен семантической связностью контекста, а не лишь его длиной.

🖥️ Тест локальных моделей Qwen на 32 ГБ GPU Провёл сравнение моделей Qwen 27B Q8 и Qwen 35B Q6 на видеокарте с 32 ГБ памяти. На наборе из шести сложных интеграционных задач 27B полностью решила три задания, а 35B — два, но последняя была в 6 раз быстрее. Более крупные модели показали худшие результаты: Qwen 72B Q4 за ≈ 52 мин решила лишь одно задание, Llama 3.3 70B за ≈ 43 мин не справилась ни с одним, а DeepSeek R1 Distill 70B более 5 часов выдал только два полных, но некорректных решения. Контрольные модели API продемонстрировали более высокую надёжность: GPT‑5.6 Sol прошёл 5 из 6 задач, пропустив один тонкий инвариант, а Claude Opus 5 также 5/6, но одно задание осталось незавершённым из‑за ограничения в 16 К токенов. Вывод: локальная модель Qwen 27B Q8 полезна для чернового кода, отладки и рефакторинга, но для критически важной интеграции требуется независимая проверка. Планирую использовать 27B Q8 в обычных задачах, прибегать к 35B только при ограниченном времени и проверять результаты в онлайн‑сервисах, когда ошибка недопустима. ⚖️

🛠 Минималистичные инструменты для агентных воркфлоу В репозитории blob42 собраны два полезных решения: thin‑CLI‑обёртка net‑search для SearxNG и расширение llama.cpp для pi.dev, упрощающее управление рассуждениями и бюджетом. **net‑search** — небольшая утилита на Go, компилирующаяся в один бинарный файл. Она подключается к вашему собственному SearxNG (режим JSON‑API) и позволяет агентам автоматически находить доступные движки и шорткоды. Автор использует её как основной инструмент поиска в паре с моделью Qwen 36 35b, запуская задачи параллельно. **Расширение llama.cpp для pi.dev** автоматически сопоставляет уровни мышления pi.dev с бюджетами рассуждений llama.cpp, их можно настраивать. В процессе работы можно прервать блок рассуждения нажатием Ctrl+E и перейти к ответу. Расширение также поддерживает уровни deepseek v4 (high и max) и корректно задаёт параметры шаблона чата. Исходный код и подробности доступны по ссылкам: https://github.com/blob42/agent-stash и https://blob42.xyz/post/building-a-local-agent-stack-with-llama.cpp-and-pi.dev/.

🛡️ Шесть крупнейших AI‑компаний подписали EU Code of Practice Anthropic, OpenAI, Google, Meta, Microsoft и Mistral официально поддержали Европейский кодекс практик по прозрачности контента, созданного искусственным интеллектом. Согласно новому законодательству, даже открытые локальные модели этих компаний обязаны наносить водяные знаки на генерируемый код и текст.

🚀 Квантование DeepSeek V4 0731 на 8× RTX 5090 Мы успешно квантовали модель DeepSeek V4 0731, провели бенчмарк на системе из восьми RTX 5090 и сравнили результаты с другими публичными квантами. При конвертации из safetensors обнаружили две проблемы: без параметра --no-lazy вес token_embd.weight становился NaN, а по умолчанию конвертер переводил тензоры FP8 в Q8_0, что увеличивало среднее KLD на 0.219 ещё до квантования. После замены этих тензоров на BF16 базовая модель стала бит‑точной; наш 118 ГБ квант достиг KLD 0.2065, лучше, чем «без потерь» модель в 162 ГБ. 📊 Затем с помощью imatrix обработали 1.87 млн токенов (блоки по 8192) и построили 13 квантов с индивидуальными настройками битности слоёв. Одни и те же файлы дают разные показатели на RTX 5090 (PPL 4.5381) и H100 (PPL 4.3406), поэтому мы измерили все 38 вариантов на одной машине (8× RTX 5090, wikitext‑2, контекст 5632, 51 чанк). В диапазоне 85‑135 ГБ наши кванты показывают меньший дрейф от полной модели, а лучший результат — AD‑IQ2_M (104 ГБ) с точностью top‑1 83.6 % на 128 ГБ оборудования. Коллекцию файлов можно найти на HuggingFace, а наш открытый проект доступен по адресу atomic.chat. Приглашаем задавать вопросы и делиться отзывами.

🚀 Тест Muse Glimmer 30B на RTX PRO 4000 Blackwell За ночь проверял модель Muse Glimmer 30B с DFlash на видеокарте 24 ГБ RTX PRO 4000 Blackwell SFF, включая отдельный визуальный проектор и контекст в 262 000 токенов. Обычная декодировка дала 17,98 tok/s, а запуск DFlash‑кода — 80,87 tok/s (рост 4,5×). При оптимизации под 256 K получилась скорость 84,64 tok/s при 38,67 % принятия, а в смешанном режиме (код + проза + планирование) — 38,34 tok/s при 14,41 % принятия. После ввода 262 116 токенов система работала без OOM, использовала 22 920 / 24 467 MiB VRAM и декодировала 21,56 tok/s; визуальный модуль оставался активным и обработал запрос изображения. Принятие токенов оказалось менее показательным, чем длина принятого префикса. Draft 4 принимал 47,46 % и давал 34,50 tok/s, Draft 15 — только 17,99 % при 47,20 tok/s. Перенос argmax‑черновика в граф GPU добавил 5,6 % к скорости в смешанном режиме и убрал синхронизацию в горячем цикле. Отключение min‑p = 0.05 (по умолчанию в llama.cpp) повысило результат с 78,29 до 84,64 tok/s. Самый быстрый квантизационный вариант (NVFP4 гибрид) достиг 94,36 tok/s, но имел худшую perplexity WikiText‑2 — 5,6493 против 5,5420 у Q5_K_M. Q5_K_XL дал лишь 0,26 % лучшую perplexity при ~13 % меньшей пропускной способности и более низком принятии черновика. В итоге Q5_K_M оказался лучшей полной системой. 🔎 Вывод: при спекулятивной декодировке токены в секунду зависят как от аппаратных характеристик, так и от предсказуемости модели. Для корректного бенчмарка нужны распределение нагрузки, точный рецепт квантизации, длина черновика, процент принятия, полный сэмплер, границы GPU/CPU и реальное положение KV. Полные таблицы и настройка доступны по ссылке: https://piszczek.pl/blog/dflash-changes-what-tokens-per-second-means