Лента новостей

🖥️ Новый открытый дашборд для локального LLM‑сервера Разработчик представил одностраничный, полностью независимый от библиотек дашборд, отображающий состояние вашего локального сервера LLM в режиме реального времени. Интерфейс — одна зелёная терминальная страница, открывается через file://, а бекенд — один файл на чистом Python, читающий nvidia‑smi и метрики Prometheus. 🛠️ На экране показываются загрузка каждой видеокарты, объём VRAM, потребляемая мощность, температура, частоты и текущие вычислительные задачи (полученные из nvidia‑smi --query‑compute‑apps). Для основного воркера выводятся токены/сек, количество запросов, заполнение контекста/KV и используемые LoRA‑адаптеры. Поддержка llama.cpp ( /metrics + /props ) и vLLM ( /metrics + /v1/models ) с автоматическим определением порта. Дополнительно можно добавить вторичные серверы через переменную SECONDARY_SERVERS, отображаются системные метрики CPU, RAM, нагрузка, сеть и диск, а также библиотека моделей с информацией о квантизации, контексте и измеренной пропускной способности, управляемая JSON‑реестром. Опциональная панель «reasoning tap» выводит цепочку рассуждений модели, если её лог включён. Проект доступен на GitHub: https://github.com/NHClimber87/llm-serve-dashboard. Автор просит попробовать инструмент и задавать вопросы — это помогает улучшать наблюдаемость, особенно при работе с дистилляцией учительских моделей.

🚀 Tencent‑HY3: 295‑млн‑параметров на 128 ГБ Tencent представила модель HY3 (295B‑A21B MoE) — новый открытый весовой LLM, размер которого сопоставим с DeepSeek v4 Flash, но показывает лучшие результаты в бенчмарках. Для тестов использовался MacBook M5 Max с 128 ГБ ОЗУ, где был установлен quant‑файл UD128 (107 ГБ) — единственный с опубликованными показателями perplexity. Установка прошла через PR #25395 в репозитории llama.cpp, с включённой поддержкой Metal и увеличенным лимитом видеопамяти до 122 ГБ (по умолчанию 96 ГБ). После небольшого исправления названия архитектуры (замена “hy‑v3” на “hy_v3” в 21 файле GGUF) модель загрузилась за ~30 секунд, и WebUI открылся без ошибок. Бенчмарк на M5 Max (llama‑bench, q8_0, без MTP) показал: предзаполнение pp512 при пустом контексте 528 токенов/сек, декодирование tg128 — 32.4 ток/сек; при 16 К контексте 124 ток/сек (prefill) и 16.3 ток/сек (decode). Скорость генерации токенов вдвое превышает DeepSeek v4 Flash при схожем качестве. С включённым MTP (вариант n=2) достигнут пик 38 токенов/сек, что даёт прирост ≈ 19 % и сравнимо с Qwen 3.6‑27B‑MTP. Автор отмечает, что модель отлично справляется с обычными запросами и базовыми инструментами, используется для исследований в ML через HF MCP и CLI, и приглашает коллег протестировать HY3 и поделиться результатами.

🚀 Новая 7B‑модель HiLS‑Attention от Tencent Tencent разместил на Hugging Face модель HiLS‑Attention‑7B — механизм разреженного внимания по чанкам, обучаемый энд‑туп‑энд под задачей предсказания следующего токена, что позволяет эффективно работать с длинными контекстами. Модель построена на базе OLMo3‑7B, дообучена и содержит около 7 млрд параметров. В статье «Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling» (arXiv 2607.02980) описан подход: вместо полного вычисления QK используются сжатые ключи чанков для оценки их «массы», а внимание делится на меж‑ и внутричанковое softmax. Код и чекпоинт доступны в репозитории на GitHub и Hugging Face. Это предварительно обученная базовая модель без выравнивания и безопасностных настроек; она может сохранять предвзятости и генерировать неточный или небезопасный контент, поэтому пользователи должны самостоятельно оценивать её пригодность.

📈 Выбросы Microsoft выросли на 25 % за год В результате строительства дата‑центров, управляемых искусственным интеллектом, компания за последний год увеличила свои выбросы парниковых газов на четверть. Microsoft заявляет о желании поддерживать экологию, однако одновременно активно развивает и внедряет ИИ‑технологии, что создает внутренний конфликт между экологическими целями и продвижением ИИ.

💰 Долг крупнейших технологических компаний удвоился до $350 млрд Пять гиперскейлеров увеличили общий долг до $350 млрд, что вдвое больше, чем годом ранее. Одновременно они объявили о планах вложить $725 млрд в развитие искусственного интеллекта 🤖. Аналитики отмечают, что пока неясно, окупятся ли такие инвестиции.

🚫 Meta убрала функцию AI‑изображений в Instagram На этой неделе Meta AI запустила возможность создавать изображения с помощью ИИ на основе публичных постов в Instagram. Функция позволяла пользователям генерировать картинки, используя контент из открытых профилей, но сразу вызвала споры из‑за установленного по умолчанию режима. В ответ на критику компания решила отключить эту опцию, полностью удалив её из сервиса.

🚫 Meta убирает спорную AI‑функцию в Instagram Meta решила отключить новую AI‑функцию после широкой негативной реакции пользователей. По словам Дилана Байерса из Puck News, компания подтвердила, что удаление функции было вызвано обратной связью аудитории.

📜 Apple подала иск к OpenAI о краже коммерческих тайн Компания Apple возбудила судебный процесс против OpenAI, обвиняя её в присвоении конфиденциальных материалов, полученных от бывших сотрудников Apple. 🛡️ В иске Apple утверждает, что OpenAI систематически использует её коммерческие тайны и закрытую информацию, нарушая права компании.

🍎 Apple подала иск против OpenAI, заявив о краже коммерческих тайн Apple обвиняет OpenAI в систематическом присвоении её конфиденциальных технологий, утверждая, что «схема действовала на всех уровнях». По заявлению компании, в результате были нарушены её права на интеллектуальную собственность. В 2024 году компании заключили публичное партнёрство, когда функционал ChatGPT был интегрирован в операционную систему iPhone 📱. Сейчас Apple требует судебного вмешательства для защиты своих секретов.

⚖️ Apple подала иск против OpenAI и бывших сотрудников Apple подала в суд иск, обвиняя OpenAI и двух своих бывших работников в краже коммерческих тайн. В иске заявлено, что бывшие сотрудники передали конфиденциальную информацию компании OpenAI, нарушив обязательства о неразглашении. Судебный процесс будет рассматривать вопросы защиты интеллектуальной собственности и ответственности за утечку данных.