Лента новостей

🚀 Тест Qwen3.8‑Flash‑Next на MacBook Pro M5 Max Запустили модель Qwen3.8‑Flash‑Next (79 ГБ, 2‑бит) с контекстом 350 K токенов на MacBook Pro M5 Max (128 ГБ) — 3,5 ч работы, 100 ходов, один график скорости vs глубины контекста. Настройка: macOS 26.5.2, llama.cpp b10686 (Metal, 12 потоков, batch 2048, flash‑attn, kv‑unified, ngram‑mod spec decode), модель Qwen3.8‑Flash‑Next UD‑Q2_K_XL (Unsloth), 78,9 ГБ. Через YaRN получен слот в 358 400 токенов из нативных 262 144, fp16 KV. Вес модели + полный KV 350 K помещаются в стандартный лимит GPU 96 GB без системных хаков. Сессия: один слот, 100 ходов, две беседы. Первая беседа выросла с 0 до 48 K токенов при повторном использовании префикса; после ~20‑минутного простоя остался лишь системный префикс 5,5 K, поэтому следующий ход занял 333 с на холодную предзагрузку полного 105 K промпта — самый длительный префилл. Диалог продолжил расти до 169 425 токенов (глубина), при этом слот‑capacity 350 K не был заполнен. После сброса слот, вторая беседа достигла ~125 K, где запись остановлена. График (X — размер контекста, Y — токены/с, лог‑шкала): зелёный — предзагрузка, красный — генерация. Холодные предзагрузки: 1 561 токен/с при 5,6 K, падают до 318 токен/с при 111 K. Обычный ход: 77–854 токен/с до 169 K. Генерация: ~30‑35 токен/с при небольшом контексте → 21 токен/с при 45 K → 13‑15 токен/с при 100‑125 K → 11,5 токен/с при 169 K, с небольшим спадом до 7,7 токен/с около 140 K из‑за Low Power Mode macOS. Декодирование учитывает ngram‑mod spec decode (принятие черновика 0‑81 %); при повторном использовании префикса предзагрузка занимает секунды, единственный длительный префилл (5,5 мин) произошёл после простоя. Интерактивность сохранялась до 169 K, но при глубине > 100 K наблюдалась путаница ролей, вероятные причины — 2‑битная квантизация и/или качество длинного контекста preview‑модели.

⚡️ Nemotron‑3.5‑Lightning: 16 ГБ вариант с ShimQuant Теперь существует файл модели Nemotron‑3.5‑Lightning размером 11.77 GiB (3.07 bpw), который помещается в видеокарту с 16 GB памяти и поддерживает контекст до 262 144 токенов. Для его запуска нужен patched llama.cpp — обычные LM Studio и Ollama не работают. Ранее все публичные low‑bit GGUF‑версии этой модели получались около 4.70 bpw, потому что квантизаторы k‑quant и i‑quant требуют ширину строки, кратную 256, а у Nemotron‑а её нет. В результате почти все параметры не могли быть квантованы, а llama‑quantize заменял тип блока на 32, оставляя размер около 4.70 bpw независимо от названия. ShimQuant решает проблему: патч расширяет каждую проблемную строку до следующего кратного 256, а при инференсе отрезает лишнее. Это уменьшает файл до 11.77 GiB, сохраняет 262 K контекст и даёт лучшую точность — на 6.2 GiB меньше, чем IQ2_M, и достигает 91.5 % на HumanEval, сравнимо с 19.65 GiB сборкой AtomicChat, но на 7 GiB легче. 🛠️ Без патча llama.cpp файл не загрузится (ошибка check_tensor_dims). Ссылка на модель: https://huggingface.co/BoldingBuilds/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ShimQuant-GGUF, патч — https://github.com/JoshBolding/shimquant, аудит — https://github.com/JoshBolding/ggufaudit.

🚀 Анализ стабильности LLM: за сутки отклонение ≈ 2.8 пт, а между днями ≈ 8.4 пт Исследователи обработали 31 352 часовых оценки моделей (49 идентификаторов от разных провайдеров) с помощью открытой системы AIStupidLevel. Оценки проводились по единым задачам в областях кодинга, глубоких рассуждений, вызова инструментов и быстрых канарейных тестов; каждый тест повторялся пять раз, а результаты агрегировались в нормализованный балл 0‑100. Выявлено, что суточные колебания в 2.8 пт объясняются обычной стохастичностью, тогда как разница между днями в 8.4 пт (≈ 3 раза больше) указывает на значимые изменения производительности. Для обнаружения таких изменений построен конвейер, который собирает ежедневные медианные показатели и применяет последовательное обнаружение точек изменения. Инцидент считается деградацией или восстановлением только если отклонение сохраняется дольше ожидаемой вариации и превышает статистические и минимальные пороги. Система уже обработала более 169 858 запусков тестов, 104 458 измеренных баллов, более 88 млн токенов, мониторит 22 модели от 6 провайдеров и классифицирует их как стабильные, волатильные, деградирующие или восстанавливающиеся. На момент скриншота зафиксировано 32 % падение производительности у Gemini 3.1 Flash Lite, отмеченное как критический инцидент. Данные также питают роутер, выбирающий модель по текущей эффективности, стабильности, надежности вызова инструментов, задержке и стоимости.

🚀 Как малому бизнесу использовать AI для роста в поиске Новый гайд «Breakout Search Trends: AI Marketing Playbook for SMBs» показывает, как небольшие компании могут превратить всплески поисковых запросов в ускоренный SEO, более эффективную рекламу, контент и рост конверсий с помощью искусственного интеллекта. 📈 В руководстве описаны практические шаги по анализу трендов, автоматизации рекламных кампаний и созданию релевантного контента, что позволяет быстро реагировать на изменения спроса. Использование AI‑инструментов помогает оптимизировать бюджеты и повышать результативность маркетинга без необходимости больших ресурсов.

🤖 Machine Witness: ИИ комментируют новости недели Каждую неделю три искусственных интеллекта — Gemini, Claude и ChatGPT — отслеживают реальные новости из мира искусственного интеллекта. Они анализируют полученную информацию, формируют собственное мнение и превращают его в художественное произведение, охватывающее как положительные, так и отрицательные аспекты. Для каждой работы публикуется обоснование, объясняющее, почему выбран тот или иной взгляд.

🤖 Новый подход Google сокращает токены агентов на 94 % Исследователи предложили заменить хранение полной истории диалога на структурированное представление текущего состояния и последнего наблюдения. Агент записывает в это состояние важную информацию для последующих шагов и удаляет историю, поэтому объём входных данных почти не растёт. В 100‑шаговом тесте с моделью Gemini‑3‑Flash метод SKILL.state показал точность 0,94, используя всего 65 тыс. токенов, тогда как традиционный LangGraph‑подход достиг 0,91 при 1,1 млн токенов. Подчёркивается, что эффективность зависит от способности агента предвидеть, какие данные понадобятся позже; иначе информацию придётся запрашивать заново. Подробнее в статье: https://arxiv.org/abs/2608.26263

🚀 OpenAI прекращает поставки моделей Cursor к 12 ноября 2026 г. OpenAI объявила о завершении контракта с Cursor: поставки ИИ‑моделей будут остановлены 12 ноября 2026 г. Причина — изменение контроля над компанией после её приобретения SpaceX, что активировало ограниченное окно отмены. ⚙️ По данным Reuters, Anthropic планирует увеличить вычислительные ресурсы для моделей Claude в Cursor, а со‑основатель Cursor Майкл Труэлл сообщил, что компании находятся в диалоге для урегулирования ситуации. Случай подчёркивает риск зависимости от поставщика: при смене владельца или условий контракта доступ к моделям может быть ограничен, поэтому важна их переносимость и наличие резервных решений.

⚖️ Sony Music и Warner подали иск против Anthropic Компания Sony Music совместно с Warner Music обвинила Anthropic в организации масштабной кампании по незаконному использованию их интеллектуальной собственности. В иске заявлено, что Anthropic систематически копирует защищённый контент, нарушая авторские права. Судебный процесс охватывает широкий спектр претензий, связанных с пиратством.

🚀 Вижай Пандэ о новых подходах в биотехнологиях Вижай Пандэ, который в прошлом году покинул биотехнологическое подразделение a16z, управлявшее примерно 4 млрд долларов, основал небольшую AI‑ориентированную компанию VZVC. По его словам, биология переходит от науки «открытий» к инженерному подходу 🧬, однако клинические испытания остаются чрезвычайно дорогими. Пандэ считает, что открытые, общедоступные наборы данных, а не закрытые, станут ключом к реальному применению ИИ в медицине.

🚀 Как построить эффективные агентные графы За последние 4 месяца работы с графами я выявил несколько ключевых ошибок и сформулировал правила их избегания. Агентные графы (или воркфлоу) — это направленные графы с циклами, где задачи передаются между агентами через предопределённые переходы. Параллельные ветки часто увеличивают расходы и замедляют выполнение: если в цикле одновременно проходят проверка кода, QA и архитектурный аудит, любые исправления заставляют повторно проходить уже одобренные этапы. Практическое решение — делать проверки зависимыми и выполнять их последовательно; так я сократил количество параллельных стадий и сэкономил токены. Агенты теперь могут задавать вопросы и уточнять, как действовать при конфликтных комментариях, а окончательное решение оставляю себе или передаю PM‑агенту. В Kent (мой открытый проект kent.sh) агенты могут обмениваться ID сессий, чтобы обсуждать ситуацию и находить компромисс. Статические проверки ставятся в приоритет: линтер, архитектурные и юнит‑тесты вынесены в отдельные скриптовые узлы, что избавляет основной агент от лишних токенов. Кроме того, подбирая модели под конкретные задачи и используя возможности Kent по управлению кэшами, можно существенно снизить затраты.