Лента новостей

🚀 Новый INT8‑форк vLLM для Qwen3.8 27B Разработчик опубликовал полностью INT8‑ориентированный стек для модели Qwen3.8 27B, построенный на vLLM, AITER и GPTQ‑квантовании W8A8 с DFlash2, позволяющий эффективно использовать старые графические карты с поддержкой INT8. 🔧 На системе с четырьмя AMD MI100 (стоимость ≈ 6 500 $) производительность выросла с 15 токенов/сек (стоковый vLLM) до 972 токенов/сек, 5 680 токенов/пакет, при почти референсном качестве. Стек включает полную поддержку INT8 в тензорном параллелизме, оптимизированные GEMM‑библиотеки, KV‑кеш, унифицированный attention AITER (быстрее Flash Attention), Mamba и GDN attention, кастомный allreduce/allgather для XGMI, INT8‑встраивание и множество fused‑ядер. Качество проверено измерением KLD для каждого токена, GEMM, блока attention, KV‑lookup и слоя; все диагностические скрипты доступны в ветке vLLM. Fork подходит для карт, у которых INT8‑TOPS превышает FP8‑FLOPS, и работает на старых AMD и Nvidia GPU без нативного FP8, где обычный vLLM использует медленные BF16/FP16. Репозитории и модели: https://github.com/curvedinf/int8-vllm, https://github.com/curvedinf/int8-aiter, https://huggingface.co/curvedinf/Qwen3.8-27B-GPTQ-INT8-W8A8-GS128, https://huggingface.co/curvedinf/Qwen3.8-27B-DFlash2-GPTQ-INT8-W8A8-GS128. Обратную связь и запросы на доработку оставляйте в issues vLLM, PR‑ы приветствуются.

🚀 Тонкая настройка Mistral 7B сэкономила $300 000 Автор доработал модель Mistral 7B, и она превзошла дорогую базовую модель, позволив сэкономить 300 000 долларов. Ранее он считал доработку бесполезной и полагал, что все задачи решаются через RAG, но обнаружил, что адаптеры LoRA/QLoRA дают значительный прирост, особенно при агрессивных системных подсказках 📊. В руководстве показано, как запустить QLoRA на потребительском GPU, в том числе на бесплатном Colab T4, и представлена математическая база работы LoRA/QLoRA. Автор предлагает помощь в настройке вашего пайплайна и подтверждает, что метод действительно работает.

🛠️ Новый инструмент ctx для анализа кода Создатель проекта ctx, компания Eagle‑Logic, выпустил открытый код (MIT) инструмента, который превращает дерево исходных файлов в запросимый граф кода. Архитектуру и эвристики графа разработал автор, а реализацию написал Claude в рамках совместной работы. Инструмент предназначен для агентных систем, чтобы они могли быстро находить нужные функции без лишних запросов к контексту. ctx представляет собой единый бинарный файл на Rust, поддерживает Rust, Python, TypeScript/TSX и Markdown через Tree‑sitter и позволяет выполнять запросы типа `ctx path`, `ctx trace --reverse`, `ctx changed --api --since main` и др. Точность восстановления внутреннего графа вызовов достигает 96,2 %, сборка полного графа занимает около 100 мс. Ограничения: имена получателей из неоценённых выражений обрабатываются эвристикой, а преобразование текста в код из Markdown пока не реализовано. Установить ctx можно через `cargo install code-context` или `brew install eagle-logic/tap/ctx` (для macOS); доступны готовые бинарные файлы для шести платформ. Добавление поддержки новых языков требует 500–1000 строк кода, поэтому приветствуются PR‑ы для Go, Java, C#. Репозиторий и примеры API находятся на GitHub: https://github.com/Eagle-Logic/context.

🚀 Strix Halo + R9700: ускорение AI‑модели Пользователь собрал систему на базе Framework Strix Halo с 128 ГБ ОЗУ, добавив видеокарту AMD Radeon Pro R9700. Общая стоимость около $5 000, сопоставима с DGX Spark, но с ≈160 ГБ памяти и обычным 16‑ядерным Ryzen‑процессором. В плате есть слот PCIe 4.0 ×4, к нему подключён удлинитель, и видеокарта без проблем разместилась в корпусе Fractal Design; блок питания поддерживает новый 12‑V коннектор. 🔧 При работе с моделью Qwen‑3.5‑122B‑A10B‑Opus‑Reasoning система достигает 49 токенов/с и 682 токенов/с предзаполнения при контексте 32 K, что вдвое быстрее базовой скорости (24 ток/с) и в 2,5 раза ускоряет предзаполнение. 62 ГБ из 71 ГБ модели размещены в общей памяти Strix, а плотные части (~4 ГБ), KV‑кеш и MTP‑драфтер находятся на R9700; через x4‑линк передаётся лишь ~12 KB данных на токен. Модифицированный Llama‑server и конфигурация опубликованы на GitHub (github.com/sixvolts/llama-halo-hybrid), готовый вариант модели доступен на Hugging Face. Аналогичный эксперимент с NVIDIA‑GPU в док‑станции Occlink показал стоимость $15 000 и необходимость Vulkan. Сегодня вышел Qwen 3.8 flash‑next, планируется тестировать его в этой гибридной схеме.

🍋 Lemonade — обновление: 15 движков уже в работе Сообщаем, что проект Lemonade к концу лета поддерживает 15 движков и предоставляет единый сервис‑инсталлятор для любой ОС, который управляет моделями и движками через один базовый URL и продвинутый роутер. За лето добавлена кроссплатформенная поддержка: бекенды CUDA, ARM64, Metal и Vulkan для всех основных движков. Появились экспериментальные движки для новых модальностей (музыка, 3D‑активы) и оптимизаций (DwarfStar4, TheNoise). Роутер теперь умеет семантическую и политическую маршрутизацию, автоматически выбирая LLM по запросу. В планах — полная замена GUI (в бета‑тестировании), инструменты бенчмаркинга и плагин‑интерфейс. Проект открыт для вклада сообщества; более 100 участников, в числе которых u/mikkoph, u/ilintar, u/Geramy, уже работают над развитием. GitHub: https://github.com/lemonade-sdk/lemonade Discord: https://discord.gg/5xXzkMu8Zk

🚀 Qwen3.8-Flash-Next работает на Strix Halo Сегодня Qwen выпустил модель Qwen3.8-Flash-Next (125B‑A6B). Уже после релиза я запустил её на системе Ryzen AI Max+ 395 с 128 ГБ унифицированной памяти (Fedora 44). Модель отдает 23 токена в секунду при декодировании и 390 токенов в секунду при предзаполнении. Модель содержит 125 млрд параметров, из них активно 6 млрд, плюс таблица n‑gram‑эмбеддингов 51 млрд (llama‑bench считает общий объём 176.94 млрд). Использован квант UD‑IQ4_XS от unsloth, архив GGUF в три части, занимает 87 ГиБ на диске. Архитектура гибридного внимания: Gated DeltaNet и новая разрежённая attention (QSA). Для сборки пришлось воспользоваться веткой PR #27742 (danielhanchen) в репозитории llama.cpp, добавить исправление из комментариев PR (добавить model.arch == LLM_ARCH_QWEN4EXP || в функцию graph_max_nodes). Сборка выполнялась с поддержкой Vulkan 🖥️ (RADV) через cmake‑команды. Сервер запускается командой llama‑server с параметрами ‑ngl 999 ‑fa 1 … и занимает около 91 ГБ при контексте 131 072 токенов, загружается за ≈ 45 секунд. По бенчмаркам: 390 ток/с при pp512, 357 ток/с при pp4096, 23 ток/с при tg128; при глубине 16384 токенов – 305‑318 ток/с и 19‑20 ток/с соответственно. 23 ток/с декодирования у модели класса 125 B на APU считается пригодным для ежедневного использования.

💡 Anthropic и Nscale заключили облачную сделку на $45 млрд По условиям соглашения компания Anthropic арендовала около 460 мВт вычислительной мощности в новом дата‑центре Nscale в Западной Вирджинии ⚡

📚 Amazon: внутри склада, где книги сканируют и уничтожают для обучения ИИ В одном из складов Amazon происходит сканирование и последующее уничтожение книг, которые используются для обучения систем искусственного интеллекта. Операцию проводят в специализированном объекте VGT3 – центре подготовки данных для ИИ. В интервью сотрудник Amazon, работающий в VGT3, рассказал о процессе: книги сначала сканируют, затем материалы утилизируют, чтобы обеспечить безопасное и эффективное использование данных. Эта практика направлена на создание больших массивов текстовой информации, необходимых для развития моделей искусственного интеллекта. 🤖

📚 Автоматизация оцифровки редких урду‑книг Автор проекта – Ibteda Digital Library, частный архив в Пакистане, который в течение десяти лет вручную оцифровывал 1 765 редких книг (литографии, словари, периодика) на самодельном фотоустройстве, обрезая каждую страницу в Photoshop. За это время было завершено 575 729 страниц, и их геометрия была восстановлена к исходным фотографиям с помощью SIFT + MAGSAC, что дало более 575 000 меток обрезки. Пробовалcя увеличение объёма обучающих данных (с 378 до 572 книг), переход на ResNet‑50, входные изображения 1024 px и добавление пространственного голова – всё это не изменило показатель pass@80 на новых книгах. Ошибки оказались почти постоянным смещением полей, зависящим от предпочтений оператора, которого не учитывали модели. 🛠️ Когда для каждой книги использовали медиану из десяти вручную откорректированных обрезок, pass@80 вырос с 0,71 до 0,83 на отложенных томах – десять меток превзошли любые попытки масштабирования. Для удаления пятен и штампов нейросеть использовалась только для детекции (U‑Net), а восстановление бумаги делалось классическим OpenCV, при этом всё за пределами маски оставалось бит‑идентичным оригиналу. Строгий отбор меток (REMOVE/KEEP/IGNORE) повысил IoU маркировки с 0,56 до 0,60 и полностью устранил ложные срабатывания на урду‑диакритиках. Команда ищет мнения по двум вопросам: (1) есть ли исследования, где границы документа задаются «невидимыми» человеческими предпочтениями и применяется калибровка остаточных смещений; (2) существует ли надёжный метод диффузионного/инпейнтингового заполнения, гарантирующий отсутствие изменений за пределами заданной области, или классическое заполнение остаётся единственным честным вариантом для архивов. Полные рецепты обучения и пороги отбора меток находятся в приложении к Reproduction Contract; код и веса пока находятся на архивном рассмотрении.

📢 Новый Qwen3.8‑Flash‑Next: архитектура для максимальной экономии Qwen Studio представила модель Qwen3.8‑Flash‑Next, построенную на новой архитектуре, ориентированной на достижение высочайшей эффективности затрат. Платформа объединяет широкий набор функций: чат‑бот, анализ изображений и видео, генерацию изображений, обработку документов, интеграцию веб‑поиска, использование инструментов и работу с артефактами 🛠️