Лента новостей

🚀 Разделение GPU ускорило работу Ollama Разделив одну виртуальную машину с тремя объединёнными GPU на две машины (одна с выделенным GPU и две с общими), удалось увеличить пропускную способность токенов почти в три раза. Для модели Qwen3.8:27b скорость выросла с 12,2 tok/s до 33,91 tok/s, а для muse‑glimmer:30B — с≈14,3 tok/s до 22,61 tok/s. Аппаратное обеспечение: два RTX PRO 4000 и один RTX PRO 2000. Ранее все три GPU использовались в одной VM для удобства тестирования, но после перераспределения выделенный GPU почти утроил производительность, а оставшиеся два в пуле почти удвоили её по сравнению с единой моделью на трёх GPU.

🚀 MTP теперь доступен в GLM‑4.5‑Air Если вы помните GLM‑4.5‑Air прошлого года, теперь можно включить MTP в llama.cpp и получить заметный прирост скорости. Модель представляет собой MoE‑архитектуру 106 млрд параметров, из которых активны лишь 12 млрд, что делает её удобной для систем с большим объёмом памяти, но ограниченными вычислительными ресурсами (например, Strix Halo, DGX Spark). Автор использует её на видеокартах RTX 3090. Модель по‑прежнему хорошо подходит для креативного письма, особенно учитывая отсутствие Gemma 4 124 млрд MoE. На Hugging Face доступны несколько доработок для творческого письма и ролевых игр, а также рекомендуется Intellect 3.x от PrimeIntellect. Если ваш GGUF‑файл не содержит блока MTP, его можно скачать по ссылке https://huggingface.co/jacek2024/GLM-4.5-Air-MTP-GGUF. Благодарности devMiikaK и HeadCutter за тестирование PR. Примечание: MTP работает и в полной версии GLM‑4.5, но её, вероятно, уже не используют.

🔍 Итоги недели тестов Qwen 3.8‑27B Автор собрал синтез результатов недели тестирования модели Qwen 3.8 27B, обсуждавшихся в r/LocalLLaMA и r/LocalLLM. Полный материал со ссылками на источники размещён на Reddit — https://www.reddit.com/r/LocalLLaMa_V2/comments/1vvzckl (правило 3). 📊 В отчёте перечислены конфигурации, бенчмарки, ошибки и разногласия, а также факторы, влияющие на различия: квантизация, среда инференса, настройки контекста и KV‑кэша, MTP или спекулятивный декодинг, параметры рассуждения, схемы инструментов и оборудование. Вывод: конфликтные результаты часто объясняются настройками и средой, а не только весами модели. Без указания квантизации, рантайма, контекста и задачи трудно оценить сообщения о плохом вызове инструментов, медленном декодинге, потере качества или сильных кодинговых способностях. Цель отчёта — упростить сравнение и проверку данных, а не дать единую оценку. При наличии воспроизводимых противоречивых результатов автор готов добавить недостающие конфигурации и источники. Благодарность модераторам за компромисс. https://preview.redd.it/4hkljzpsg6lh1.png?width=801&format=png&auto=webp&s=b9b27403ac0fb76f7f6562cf35880383748033a4

📢 Британские издатели требуют исключить ChatGPT из выбора поисковой системы Google обязан показывать пользователям в Великобритании экран выбора поисковика — это предписание нового закона DMCCA. Издатели подали запрос в регулятор CMA, чтобы ChatGPT и Perplexity не появлялись рядом с Google и Bing. Аргумент прост: при выборе Bing пользователь переходит на страницу со ссылками, что генерирует переходы на сайты издателей. При выборе ChatGPT ответы выдаются прямо в окне чат‑бота, без перехода и без реферального трафика. Таким образом, спор касается не конкуренции, а определения понятия «поисковая система»: считается ли она сервисом, который лишь ранжирует ссылки, или же сервисом, который сразу даёт ответы. CMA пока не приняла решения, которое может установить статус чат‑ботов как поисковых систем в Великобритании.

⚡ UBS прогнозирует $4,1 трлн расходов на ИИ‑инфраструктуру к 2028 году UBS оценивает, что к 2028 году мировые инвестиции в инфраструктуру искусственного интеллекта достигнут 4,1 триллиона долларов. Прогноз построен на предположении, что необходимая электроэнергия будет доступна одновременно с финансированием. В отрасли всё чаще указывают, что ограничением становится подключение к электросетям, а не нехватка микрочипов. Очереди на подключение новых дата‑центров могут длиться годы, и ускорить процесс нельзя просто увеличением бюджета или заказом большего количества GPU. ⚡ В этом месяце произошли три события, подтверждающие рост проблемы: Tennessee Valley Authority создала отдельный тарифный класс для ИИ‑дата‑центров; датский оператор сетей начал ставить заявки новых центров позади других категорий спроса; совет PJM отменил собственное голосование по правилам ограничения, показывая борьбу за приоритет доступа к перегруженным линиям. Эти изменения не отражаются в прогнозе капитальных расходов, где предполагается, что мегаватты появятся вместе с деньгами. В ряде регионов именно доступ к электросети может стать главным ограничением, а не поставки чипов или системы охлаждения.

⚡ Qwen3.8‑27B работает в 14 раз медленнее на 4070 Super Скачав модель Q4_K_M в формате GGUF, пользователь получил скорость 5,7 токенов/с, тогда как на RTX 5090 та же версия показывала 81,5 токенов/с. При запуске на 4070 Super только 38 из 66 слоёв загрузились в видеопамять, остальные 28 обрабатывались из системной ОЗУ процессором. Для проверки был написан инструмент Picchio, отображающий расположение слоёв, активность GPU и отдельные скорости prefill/ decode в одном запуске: https://github.com/logxio/picchio. Оба измерения проводились в llama.cpp с контекстом 4096, одним запросом и режимом decode. 📊

🚀 Лучший движок для Qwen 3.8‑27B на macOS После пяти дней тестирования и более 100 GPU‑часов на Apple Mac Studio M2 Max (96 ГБ unified memory) был проведён агентный кодинг‑бенчмарк. Наивысшую скорость и качество показали MTPLX и llama.cpp + MTP, работающие с 8‑битными GGUF/MLX‑весами, 262 k контекстом и лимитом 100 k токенов. MTPLX xhigh – 20‑22 ток/с, 152 k токенов, оценка 93, время 2 ч 05 мин; MTPLX medium – 21‑24 ток/с, 117 k, оценка 91, 1 ч 35 мин. llama.cpp + MTP xhigh – 17‑19 ток/с, 179 k, оценка 86, 2 ч 52 мин; llama.cpp + MTP medium – 18‑20 ток/с, 70 k, оценка 84, 1 ч 04 мин. Остальные движки (mlx‑dspark DFlash2, oMLX, vllm‑mlx и базовый llama.cpp) работают медленнее (9‑15 ток/с) и дают более низкие баллы (50‑82). Увеличение «xhigh»‑режима добавляет от 30 % до 100 % времени размышления. На быстрых движках (MTPLX, llama.cpp + MTP) это даёт заметный рост качества за полчаса, тогда как на медленных (oMLX, dspark DFlash2) время удваивается и улучшения не компенсируют задержку. Для воспроизведения использовались команды: - `llama.cpp baseline`: `llama-server -m Qwen3.8-27B-Q8_0.gguf --mmproj mmproj-F16.gguf --jinja -c 262144 --parallel 1 -ngl 99 --port 8030` - `llama.cpp + MTP`: добавлен `-md mtp-Qwen3.8-27B-Q8_0.gguf --spec-type draft-mtp --spec-draft-n-max 3` - `MTPLX`: `mtplx start web --model Qwen3.8-27B-MTPLX-Optimized-Quality --max-tokens 100000` - `oMLX`, `mlx‑dspark`, `vllm‑mlx` – аналогичные настройки с указанием пути к 8‑битным моделям и `--max-tokens-cap 262144`. Эти данные позволяют выбрать оптимальный движок для локального использования Qwen 3.8‑27B на macOS.

🚀 Qwen 3.8 27B удивил автономным контролем качества изображений Модель Qwen 3.8 27B (Q6_UD_K_XL) с режимом xhigh thinking в тестах для инструмент‑ориентированных агентов сделала то, чего не показывали другие передовые модели: самостоятельно запустила проверку изображений. В демонстрации на GuideAnts, где набор навыков использовал comfy‑ui, модель последовательно выполнила задачи «текст‑в‑изображение», «изображение‑в‑изображение» и инпейнтинг. При многократных шагах инпейнтинга агент выбрал Python‑инструмент и SDK OpenAI, чтобы с помощью Vision‑модуля проверить, не обрезана ли голова персонажа и подходит ли размер маски. Для этих операций использовались модели: - qwen_image_2512_bf16.safetensors — генерация UNet - qwen_image_edit_2511_bf16.safetensors — редактирование/инпейнтинг UNet - qwen_2.5_vl_7b_fp8_scaled.safetensors — CLIP/текстовый энкодер - qwen_image_vae.safetensors — VAE - Qwen-Image-2512-Lightning-4steps-V1.0-bf16.safetensors — генерация Lightning LoRA - Qwen-Image-Edit-2511-Lightning-4steps-V1.0-bf16.safetensors — редактирование/инпейнтинг Lightning LoRA 🔍

🚗 Кастомный чип, движущий роботакси Waymo TechCrunch Mobility публикует материал о собственном микрочипе, который поддерживает амбиции Waymo в сфере роботакси. В выпуске отмечается, что чип предназначен для улучшения вычислительных возможностей автономных автомобилей Waymo. TechCrunch Mobility — ваш центр новостей и аналитики о будущем транспорта.

🔧 Выделяем всю видеопамять GPU для локального LLM Переключив рабочий стол Windows на интегрированный графический процессор, вы освобождаете 100 % памяти выделенного GPU для работы локальной языковой модели. Для этого подключите монитор к HDMI или DisplayPort интегрированного процессора — это позволяет сэкономить от 1 до 4 ГБ высокопроизводительной VRAM. При этом можно продолжать играть в любимые игры на выделенном GPU без смены кабелей. Если у вас материнская плата AMD, включите в BIOS опцию «Hybrid graphics» для автоматического распределения нагрузки. 🙂