Лента новостей

📚 Руководство по Medusa: от обучения до вывода Автор опубликовал двухчастное руководство, в котором подробно объясняет работу Medusa с нулевого уровня. В первой части рассматриваются «головы» Medusa, обучение моделей Medusa‑1/2, сдвинутый loss и сравнение с MTP. Во второй части описываются деревья кандидатов top‑K, механизм tree‑attention, процесс верификации и отклонения, а также различия между жадным и типичным приёмом. Ссылка на первую часть: https://sudhirpol522.github.io/blog/medusa-inference-tree-verification/ Ссылка на вторую часть: https://sudhirpol522.github.io/blog/medusa-multi-token-prediction/ Будут полезны отзывы, особенно от тех, кто уже реализовывал или тестировал декодирование в стиле Medusa.

🚫 SUSS отказалась от AI‑детектора Сингапурский университет социальных наук (SUSS) прекратил использование автоматического инструмента для выявления искусственного интеллекта после того, как несколько местных вузов выразили сомнения в его надёжности. На данный момент Национальный университет Сингапура (NUS), Университет технологий и дизайна Сингапура (SUTD) и Сингапурский институт технологий (SIT) полностью не применяют такие детекторы 🤖. Сингапурский университет управления (SMU) уточнил, что AI‑детекторы могут использоваться лишь как один из факторов при расследовании возможных нарушений академической честности.

🤖 Бесплатный ИИ для всех в Южной Корее Правительство Южной Кореи объявило о запуске программы «AI for All», которая предоставит бесплатный доступ к искусственному интеллекту без ограничений по токенам для всего населения. 📅 Бета‑тестирование начнётся в сентябре, а широкое внедрение планируется к концу текущего года. В пятницу в Сеуле назвали три технологических консорциума, которые будут участвовать в реализации проекта.

🚀 Gemini 3.5 Pro — все ещё в пути Google закрыла аккаунт Джеффа Дина. 📅 Разработка Gemini 3.5 Pro отложена: планируемый выпуск в июне не состоялся, и продукт остаётся «скоро». В DeepMind проведена реорганизация, в результате которой компания потеряла Джеффа Дина и двух со‑руководителей проекта Gemini.

🚀 Сравнение Qwen3.8‑Flash‑Next‑NVFP4 и Qwen3.8‑27B‑FP8 Тесты проводились на одной машине — RTX PRO 6000 Blackwell Max‑Q с 96 ГБ видеопамяти и 256 ГБ DDR5, используя одинаковые запросы и vLLM nightly. Оценивались скорость генерации, точность ответов и устойчивость к JSON‑инъекциям. Flash‑Next показал скорость около 177 токенов/сек, полностью соблюдал строгий JSON и не имел таймаутов. В реальном рабочем наборе запросов (320 у 27B, 36 у Flash‑Next) он набрал 33 из 36 (91,7 %) при 0 % нарушений SLA, тогда как 27B‑FP8 достиг 319 из 320 (99,7 %). Оба модели успешно отразили все 9 из 9 попыток инъекции, но в многократных символических задачах (баг‑фиксы, длинные контексты, код‑генерация) 27B продемонстрировал более стабильные результаты. В батарее из 8 задач 27B превзошёл Flash‑Next в большинстве пунктов: баг‑фиксы 0.900 vs 0.525, длинные инструкции 0.917 vs 0.675, Codeforces 1117‑D 0.667 vs 0.562; лишь в многоредактировании письма разница была минимальна (0.887 vs 0.870). Оба модели одинаково справились с фактическим воспроизведением 2026‑го года (0.250). Итог: Flash‑Next быстрее и надёжен в механических аспектах, но не заменяет 27B‑FP8 в длительных символических задачах, где последний сохраняет более высокую точность. 🧩

⚙️ Тюнинг llama.cpp на двух GPU Инструмент позволяет увеличить контекстную длину моделей QWEN при работе с двумя видеокартами, используя параметр --override-tensor. При запуске llama.cpp с --split-mode layer задаётся значение --tensor-split для распределения памяти (например, при 16 ГБ + 12 ГБ — 0.6,0.4). Это обеспечивает грубый сплит модели; более точную настройку памяти обеспечивает --override-tensor, который «переставляет» тензоры, как детали конструктора. Для модели Qwen3.8-27B-UD-Q6_K_M.gguf контекст достигает 110 848 токенов при обычном сплите, 136 704 токенов при 17 графовых сплитах и 139 776 токенов при 23 графовых обменах. Команда выглядит так: -ot '^blk\.43\.\w[\w.]*$=ROCm0,^blk\.40\.\w[\w.]*$=ROCm0'. Тестирование требует перезапуска модели: после первой оценки генерируется скрипт с пробами, модель останавливают, запускают скрипты, затем возобновляют работу, сохранив KV‑кеш (--slot-save-path). Тесты проведены на ROCm и Vulkan, ожидается работа и на CUDA. Скрипты рассчитаны на Linux, но их можно адаптировать под Windows. Скачать можно по ссылкам: https://store.piffa.net/lm/dual-gpu-tuner/ и https://store.piffa.net/lm/dual-gpu-ot-tuner.tgz 🛠️

🧠 Интеллектуальная плотность LLM‑моделей Автор собрал все известные бенчмарки по программированию LLM и вычислил их «Agentic Coding Index» (ACI). На основе ACI был построен агрегированный показатель — Intelligence Density, отражающий соотношение интеллекта и количества параметров модели. Формула расчёта: Intelligence/Parameter = Scale × (Agentic Index / Norm)^(Super_Linear_Exponent) / √(PCount + PLowerBound), где Norm = 50 (нейтральный базис), Scale = 2.5354, PCount — число параметров в миллиардах, а PLowerBound — минимальное значение параметров (регулятор). В ACI учитываются следующие бенчмарки с указанными весами: DeepSWE v1.1 — 20 %, Code Arena Elo — 20 %, Terminal‑Bench v4.0 — 15 %, SWE‑bench Pro — 15 %, Terminal‑Bench v3.0 — 13 %, Terminal‑Bench v2.1 — 12 %, LiveCodeBench v6 — 5 %. Все результаты взяты из проверенных публичных и официальных источников — от создателей моделей и в рецензируемых оценочных отчётах. 🚀

📢 Amazon закрывает Mechanical Turk Amazon объявил, что платформа Mechanical Turk завершит работу 30 сентября, спустя 21 год с момента запуска. На пике сервис привлекал около 500 000 человек, которые за несколько центов за задание помечали изображения и расшифровывали аудио. Эти метки использовались для обучения моделей ИИ, которые впоследствии смогли выполнять те же задачи самостоятельно. Исследование EPFL 2023 года показало, что от трети до половины работников MTurk уже применяли большие языковые модели для выполнения заданий, скрыто заменяя человеческий труд машинным. Заказчики платили за «человеческое» суждение, получая результат, полученный с помощью ИИ. После закрытия платформы более 500 000 человек потеряют гибкий доход ⚡

📚 Архивисты‑энтузиасты спасают редкие книги Самодельные архивисты использовали бюджетные камеры Nikon, сделав 902 000 щелчков, чтобы отсканировать 1 800 редких томов. Для ускорения обработки они обучили нейросеть на правках в Photoshop, что позволило обработать 526 000 сканов 🖼️. Проект показывает, как доступные технологии могут способствовать сохранению культурного наследия.

🚫 Техас приостановил финансирование проекта Flock Губернатор Техаса Грег Эбботт решил заблокировать выделение средств на систему камер Flock, которые используют искусственный интеллект для видеонаблюдения. Это решение пришло на фоне растущей общественной критики и протестов против подобных технологий. Ранее демократический соперник Эбботта уже открыто осудил его за поддержку финансирования камер Flock. 📹