Лента новостей

🤝 Nvidia и Cloverleaf начали сотрудничество Nvidia объявила о партнерстве с разработчиком дата‑центров Cloverleaf. 🚀 Компания продолжает активно инвестировать в развитие дата‑центров, одновременно получая значительные доходы от AI‑центрических проектов.

🚀 Rillet собрал $100 млн и стал единорогом за 48 часов AI‑стартап в сфере бухгалтерии Rillet привлек инвестиции на сумму $100 млн, что позволило ему получить статус единорога всего за два дня. Генеральный директор Николас Коуп на заседании совета директоров представил цифры роста, после чего инвесторы Iconiq, Sequoia и другие начали активно вкладываться, не требуя дополнительных усилий.

📉 Apple сокращает сотни позиций в командах Siri и Vision Pro Apple официально объявила о сокращении сотен рабочих мест в подразделениях Siri и Vision Pro. 🔄 По словам компании, это связано с переориентацией усилий на другие инициативы, из‑за чего некоторые роли оказываются под угрозой.

🚪 Apple сокращает более 200 сотрудников Компания объявила о сокращении работников, занятых в проектах Vision Pro и Siri. Сокращения затронут более 200 человек. Вопрос о дальнейшем развитии Vision Pro остаётся открытым.

🚀 Nucleo обгоняет официальную runtime на бесплатных ARM‑ядрах Новый движок Nucleo, написанный полностью с нуля, показывает лучшую производительность, чем официальная форка llama.cpp, при работе с тернарной моделью Bonsai‑8B от PrismML на бесплатном двухъядерном ARM‑инстансе Oracle Always‑Free. 📊 В тестах на том же запросе Nucleo достиг 2.8 ток/с (декод) и 4.3 ток/с (префил) на 2 ядрах и 5.3 / 7.7 ток/с на 4 ядрах, тогда как llama.cpp‑fork показывал 2.46 / 2.77 и 4.84 / 5.5 соответственно. На 180‑токенном запросе первый токен генерировался за ~42 сек, а не за ~66 сек. Модель преобразуется в интерливированный формат 2.125 бит/вес (2.2 ГБ для 8 B модели) и обрабатывается NEON‑ядром, которое суммирует блок из 128 весов в точном int32, гарантируя бит‑идентичный вывод как в одиночном, так и в пакетном режиме. В живом демо модель работает через бесплатный туннель, достигая 19 из 20 правильных ответов в тесте по арифметике и фактам на английском и итальянском. Движок построен тест‑драйвом (149 тестов, 254 000 утверждений) и проверен как на ARM, так и на Apple Silicon. Разработчики уточняют, что не претендуют на абсолютный рекорд: оригинальный llama.cpp быстрее на модели 1.7 B и на чипах M3, а их оптимизации станут следующей целью. Полная таблица результатов доступна в docs/BENCHMARKS.md.

⚡️ Поставщики готовятся к возможному спаду после бума дата‑центров Поставщики оборудования для дата‑центров отмечают, что спрос, вызванный ростом интереса к искусственному интеллекту, превышает их текущие возможности. Тем не менее компании принимают меры предосторожности, чтобы не понести убытки, если расходы на ИИ замедлятся. 📉 Они усиливают подготовку к потенциальному падению спроса, одновременно поддерживая высокий уровень обслуживания текущих клиентов.

🚀 Qwen3.8‑27B на RTX 5060 Ti: 64 К токенов и агентные возможности Тестировал модель Qwen3.8‑27B как замену Qwen3.5‑9B на видеокарте RTX 5060 Ti с 16 ГБ памяти (Ubuntu, llama.cpp build 10520, Flash Attention, полное GPU‑выгрузка, один слот, без конкуренции). Цель — не только скорость, но и большой контекст, надёжный вызов инструментов, многократные диалоги и работа с визуальными данными в одном GPU. IQ4‑квантизации показали разные результаты: jpetrina IQ4_XS‑pure + MTP‑1 — 46,9 ток/с при 15 188 MiB VRAM; Unsloth UD‑IQ4_XS без MTP — 27,4 ток/с при 13 764 MiB; Unsloth UD‑IQ4_XS + MTP‑1 — 45,6 ток/с при 14 918 MiB; F16 mmproj — 45,4 ток/с при 15 680 MiB. При предзаполнении≈55 К токенов обработка промпта достигла 738,7 ток/с, генерация — 31,3 ток/с, что делает 64 К контекста пригодным для интерактивного агента. Визуальный модуль (F16‑проектор) прошёл OCR‑тест на изображении газеты, использовав 1 024 токена изображения. Однако 64 К контекста + MTP + проектор оставляют лишь 136–208 MiB свободной памяти, поэтому рекомендуется отдельный профиль: текстовый агент — 64 К с MTP‑1, визуальный режим — меньший контекст по требованию. По измерениям качества IQ4‑варианты почти совпали с Q8: perplexity 7.4958 (jpetrina) и 7.3789 (Unsloth), KLD 0.02359 и 0.01800, корреляция log‑PPL ≈ 92–93 %. BFCL‑тесты показали, что 27‑B модели лучше справляются с многошаговыми сценариями: jpetrina IQ4 MTP‑1 — 40/80, Unsloth UD‑IQ4 — 38/80, оба — 6/6 по поддержке сценариев, в то время как 9‑B модель отстала в многократных вызовах инструментов. Все модели прошли 8/8 тестов нативного вызова инструментов. Вывод: оптимальный режим — 64 К текстового контекста с MTP‑1, генерация ≈ 45–47 ток/с (короткий контекст) и ≈ 31 ток/с после предзаполнения. Unsloth UD‑IQ4_XS обладает лучшей точностью, но jpetrina‑квант чуть лучше в многошаговой оценке, поэтому сейчас предпочтительнее. Визуальная часть работает, но требует отдельного профиля; Q8‑квант не подходит для полной работы на этой карте.

🚀 Qwen3.8-27B Q6 — мощный кодер В ходе длительного теста модель Qwen3.8-27B Q6 продемонстрировала стабильную работу почти 20 часов без перерыва, решая целенаправленные задачи. Тест проводился на видеокартах RTX 3090 и RTX 3060, при этом скорость генерации оставалась в диапазоне 60–63 токена в секунду на протяжении всей сессии. Эти показатели подтверждают высокую эффективность модели в агентном программировании.

🚀 Открытая модель dots3-note preview – первая в семействе dots3 В Pull Request #27060 репозитория ggml-org/llama.cpp представлена модель dots3-note preview. Это Mixture‑of‑Experts модель с 280 млрд параметров в общей сложности, из которых активными являются 16 млрд, и поддержкой контекста до 512 тыс. токенов. Модель умеет воспринимать текст, изображения, видео и аудио 🎥 и генерировать текстовые ответы.

🚀 DeepSeek‑V4‑Flash на MacBook с 64 ГБ: результаты тестов Две недели я запускал модель DeepSeek‑V4‑Flash (284 млрд параметров) на M5 Pro Mac с 64 ГБ ОЗУ. Размер модели — 165 ГБ при смешанной 4/8‑битовой точности, но она помещается благодаря потоковой загрузке экспертов с SSD. Всё кодовое обеспечение, логи и веб‑чат доступны в репозитории https://github.com/kk-r/dsv4-streaming. Потоковая работа не ухудшает качество: перплексия по wikitext‑корпусу составляет 6.1250, против опубликованного значения 6.1262. 📊 Небольшой кэш экспертов показывает лучшую производительность: 8 ГБ дают 2.04 токен/с, тогда как 32 ГБ — лишь 1.23 токен/с при в четыре раза большем объёме памяти. Реальную работу выполняет кэш страниц ОС. То же наблюдалось в движке ds4 от antirez: 8 ГБ превзошли рекомендованные 32 ГБ при декодировании, предзаполнении и RSS, достигнув 11.4 токен/с при 5.1 ГБ резидентной памяти. Спекулятивное декодирование и предварительная загрузка экспертов уменьшали пропускную способность. В IO‑ограниченном режиме дополнительные байты стоили больше, чем скрытая ими задержка. Спекуляция поиска подсказок дала ускорение 0.44–0.96×, а предзагрузка с предсказанием следующих слоёв (точность 70–77 %) не повысила скорость. Квантование кодовой книги до 2‑бит (класс AQLM) не прошло проверку качества: перплексия выросла на +9.4 % на подмножестве из 6 слоёв, почти сравнимо с обычным аффинным 2‑битным квантованием. В репозитории находятся процедуры перебора, данные о рабочем наборе по слоям и шесть задокументированных «мертвых концов» с их механизмами. При необходимости могу предоставить сырые цифры.