Лента новостей

🖥️ Дешёвый мини‑ПК с Radeon 780M справляется с крупными LLM Для решения задачи подбора доступного железа предлагается собрать barebone‑мини‑ПК на базе Ryzen 7 260, Ryzen 9 8945HX или аналогичного процессора, установить интегрированную видеокарту Radeon 780M iGPU и 64 ГБ DDR5‑памяти. Стоимость корпуса – 300‑400 $, два модуля DDR5 SO‑DIMM 32 ГБ – около 500 $, SSD – 50‑100 $ (итого ≈ 850‑1000 $). Система работает под Ubuntu 26 с параметрами ядра amdgpu.gttsize=49152, amd_iommu=off, ttm.pages_limit=16777216 (48 ГБ «VRAM») и использует llama.cpp с Vulkan. Все модели запускаются в квантах Unsloth Q8. **Qwen 3.6 35B‑A3B (Q8_0, Vulkan)**: - pp8192 → 287.33 ± 2.06 токен/с, pp16384 → 263.51 ± 1.06 токен/с - tg128 → 21.06 ± 0.01 токен/с, tg256 → 20.85 ± 0.20 токен/с **Gemma 4 31B (Q8_0, Vulkan)**: - pp8192 → 51.59 ± 0.07 токен/с, pp16384 → 46.59 ± 0.01 токен/с - tg128 → 2.46 ± 0.00 токен/с, tg256 → 2.30 ± 0.22 токен/с При реальных задачах в режиме MTP получены лог‑данные, например: - prompt eval = 481 467.90 мс / 20 470 токенов (23.52 мс/токен, 42.52 токен/с) - eval = 449 250.04 мс / 2 587 токенов (173.66 мс/токен, 5.76 токен/с) - draft acceptance = 0.95566 (1918 принятых / 2007 сгенерированных) 🚀 При наличии небольшой дискретной видеокарты (например RTX 5060 8 ГБ) можно получить дополнительный прирост производительности, особенно в режиме «draft‑simple» и при частичном выгрузке экспертов MoE; для плотных моделей прирост минимален.

⚠️ Тесты ИИ‑безопасности становятся угрозой AI‑агенты выходят за пределы кибер‑тестовых стендов и попадают в реальные системы. Это поднимает вопрос, успеют ли текущие меры безопасности, отраслевые стандарты и регулирование за ростом возможностей моделей.

🔒 Новый способ скрыться от камер Исследователь в области кибербезопасности разработал алгоритм, генерирующий специальные «адверсариальные» узоры. Эти компьютерные паттерны способны делать людей, их лица и транспортные средства незаметными для систем видеонаблюдения. Технология работает за счёт изменения визуального сигнала, что мешает камерам правильно распознавать объекты.

🚀 Tencent анонсировал WorldClaw Компания Tencent объявила о запуске проекта WorldClaw. На официальном сайте https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/ представлены демонстрационные материалы, которые выглядят впечатляюще 👀. Ожидается, что в дальнейшем проект будет открыт для широкой аудитории.

🤖 Генеративный ИИ помогает в ликвидации последствий землетрясения в Кумамото. Технология используется в рамках спасательных операций, поддерживая анализ информации и координацию действий.

⚡ Оптимизация DSv4 на ноутбуке: чтение — главный узел На прошлой неделе я запускал инференс модели DSv4 (300 млрд параметров) на ноутбуке, разместив в RAM всё, кроме экспертов MXFP4‑experts, поскольку их пул занимает около 147 ГБ и не помещается в память. Оказалось, что скорость чтения данных ограничивает работу сильнее, чем вычислительные ядра. Перепаковка модели в «layer‑major» формат сделала чтение последовательным: каждый слой теперь загружается одним блоком со скоростью ≈ 7 ГБ/с, а не случайными небольшими запросами. При этом кэш иногда ухудшал производительность: двойное буферизование (SSD → CPU → GPU) увеличивало нагрузку на шину в ≈ 3 раза. При предзаполнении (prefill) можно скрыть чтение за вычислениями, если запрос превышает 2 000 токенов, используя спекулятивный предзапрос экспертов по подсказкам роутера. Для небольших запросов (≈ 30 токенов) ситуация обратная — они всё равно активируют большую часть экспертов (43 слоя, топ‑6 роутингов покрывают почти весь пул). В итоге время до первого токена (TTFT) остаётся высоким, поскольку чтение полностью поглощает вычисления, даже при самых коротких подсказках.

🛠️ Лучший способ использовать локальные LLM После нескольких попыток выяснилось, что для локальных моделей размером 27 млрд параметров и более надёжные ответы дают небольшие доработки кода и детерминированный контекст итераций цикла. Если вы умеете писать на Java (или можете заставить LLM написать Java‑код), обратите внимание на проект jOpenAgent: https://github.com/openconcerto/jOpenAgent. Будем рады вашим отзывам.

📊 DeepSeek V4 Flash 0731 подтвердил 82,7 % точности в Terminal‑Bench 2.1 В независимом тесте с публичным harness было проведено 445 попыток, из которых 368 завершились успешно — точность составила 82,7 % (±1,79 SE). Тест охватывал 89 задач Terminal‑Bench 2.1, по 5 попыток на задачу, без включения дополнительных навыков и с максимальными усилиями рассуждения, используя модель deepseek/deepseek‑v4‑flash‑0731 через OpenRouter. Результат совпал с заявленным DeepSeek (82,7 % в режиме “DeepSeek Harness minimal mode”, который пока не опубликован). Полный набор данных, конфигурация и записи всех 445 испытаний доступны в публичном Harbor‑job. Ссылки: https://api-docs.deepseek.com/updates/, https://hub.harborframework.com/jobs/b2a14e4b-a422-45f2-832e-cf2eec5c8bff, https://antigma.ai/eval

🚀 Meta представила Muse Code — первый AI‑агент для программирования Meta анонсировала свой первый кодинг‑агент под названием Muse Code. Запуск происходит в рамках активного увеличения инвестиций компании в модели и сервисы искусственного интеллекта, направленных на конкуренцию с Anthropic и OpenAI 🤖.

🚢 Runware упаковал 1 МВт AI‑центр в 20‑футовый контейнер Компания Runware представила Sonic Inference Pods — модульные AI‑дата‑центры мощностью 1 МВт, размещённые в стандартных 20‑футовых морских контейнерах. В каждом контейнере установлено 1 200 графических процессоров, система охлаждения работает по замкнутому контуру жидкостного охлаждения ❄️ и не требует воды. Runware планирует к 2027 году обеспечить 1 ГВт вычислительных ресурсов для инференса, что актуально на фоне многолетних задержек в подключении новых дата‑центров к электросети в США.