Лента новостей

🚀 Новый роутер HybridInfer: локальная модель + автоматический переход в облако HybridInfer — небольшая система‑маршрутизатор, которая сначала отправляет каждый запрос к локальной модели Ollama, а при зависании (отсутствие токенов ≥ N секунд), ошибке OOM или иной ошибке автоматически переключает запрос на удалённый OpenAI‑совместимый сервис в том же запросе. Система запоминает запросы, вызывающие зависание (обычно длинные), и после первой неудачи сразу направляет их в облако. «Залипающие» модели выводятся из ротации и проверяются снова после периода охлаждения. HybridInfer совместим с любым клиентом, использующим OpenAI API: локальная модель — любой образ, скачанный через `ollama pull`, удалённый — любой endpoint (OpenAI, OpenRouter, vLLM и др.). Установка: `pip install hybridinfer`, затем `hybridinfer init` и `hybridinfer serve`. Это лишь роутер, он не хранит веса. Версия 0.1, лицензия Apache‑2.0, есть Kotlin/Android вариант для приложений на устройстве. Код и демонстрация доступны в репозитории https://github.com/SimranKoul2026/HybridInfer-Python-tool. Разработчики ждут отзывов, особенно по работе механизма отката. 🛠️

❄️ Waymo начинает работу в снежном городе Waymo, ранее действующий в регионах с тёплым климатом и мягкой зимой, открывает сервис в новом городе, где ожидаются значительные снегопады. Это будет самым сложным испытанием для компании, так как ей придётся адаптировать свои автономные автомобили к езде по снегу и льду. Запуск в условиях снежной погоды отмечает новый этап развития автопилотных технологий Waymo. 🚗

⚠️ AI‑угрозы киберриска — главная проблема глобальной финансовой стабильности, сообщает надзорный орган AI‑угрозы киберриска стали самым важным риском для мировой финансовой стабильности, заявили представители надзорного органа. По их оценке, данный риск сейчас занимает первое место среди факторов, способных повлиять на глобальную финансовую систему.

🇺🇸 США за свободный подход к регулированию ИИ На технологическом саммите G20 представители США выступили с рекомендацией оставить регулирование искусственного интеллекта без строгих ограничений, призывая к минимальному вмешательству.

🚀 Qwen3.8‑Flash‑Next ускорил генерацию до 84 токенов/с на Strix Halo + RTX 3090 Ti Тест проведён на AMD Ryzen AI MAX+ 395 в ноутбуке Strix Halo (128 GB unified memory, 64 GB iGPU) с внешним RTX 3090 Ti через PCIe x4. При такой конфигурации токен‑пропускная способность выросла с 22 ток/с до 84 ток/с в режиме четырёх потоков, а время решения задачи HumanEval+ сократилось до 0,4 × от времени двойного сервера с двумя RTX 3090. Модель Qwen3.8‑Flash‑Next (104 GB MoE) использует 512 экспертов на слой, 36‑слойный DeltaNet, 12‑слойный top‑k sparse attention, 26,8 GiB n‑gram таблицу и встроенный MTP‑draft‑head, квантована в unsloth UD‑Q4_K_XL (103,69 GiB) и полностью помещается в память Strix Halo. Базовый показатель – 22,2 ток/с на iGPU; после распределения нагрузки между iGPU и RTX 3090 Ti достигнут 32,9 ток/с, а с включённым MTP‑head – 31,3 ток/с (MTP‑head оказался менее эффективным). 🔧 Оптимизации: перенос снимков состояния на устройство сократил задержку с 19,75 мс до 0,29 мс; ускорение обмена данными через write‑combined mapping уменьшило 10,19 мс до 0,77 мс на 4 MB; улучшения в sparse attention, графе и индексе n‑gram дали +51 % скорости в одиночном потоке и +98 % при четырёх потоках. В HumanEval+ модель прошла 155 из 164 задач за 22,5 с, тогда как Qwen3.8‑27B на двойном RTX 3090‑vLLM — 156 из 164 за 58,9 с. Примечание: MTP‑спекулятивный декодинг не бит‑точен, результаты могут немного отличаться от последовательного декодинга; сравнение с 27 B выполнено на разных системах, поэтому рекомендуется проверять на собственных нагрузках. Полный разбор и код доступны по ссылке: https://definedrr.medium.com/sixty-extra-tokens-per-second-e1bd744b2a56

🚀 DeepSeek‑V4‑Flash‑Vision стабильно работает на RTX PRO 6000 Запущена конфигурация из двух NVIDIA RTX PRO 6000 Blackwell Max‑Q (~96 ГБ каждая) под Ubuntu 24.04, драйвер 610.43.02, CUDA 13.3, SGLang Vision preview, FlashInfer 0.6.18, TP=2, MXFP4, MoE DSPARK, контекст‑длина 278 528, chunked‑prefill‑size 8192, max‑running‑requests 8, mem‑fraction‑static 0.94. Модель успешно обрабатывает текст, зрительные запросы и реальный промпт из 269 320 токенов. 1️⃣ Проблема с предзаполнением sparse‑MLA на SM120 (ошибка «Unsupported sparse‑MLA prefill configuration») решена добавлением проверки поддержки формы предзаполнения и откатом к реализации Triton, что позволило выполнить запросы без падения планировщика. 2️⃣ При запросе текста в 269 320 токенов возникал OOM из‑за временного fp32‑тензора логитов (≈1.5 ГБ). Был внедрён построчный разрез: логиты вычисляются кусками, используя лишь часть свободной памяти (≈0.3 ГБ), что устранило OOM и дало результат LONG_CONTEXT_OK за ~82 сек. 3️⃣ В Vision preview искачивалась история вызовов инструментов: encode_arguments_to_dsml.py неправильно оборачивал уже нормализованные аргументы, что приводило к неверному формату. Исправлена логика распознавания строковых и словарных аргументов, после чего тесты многократных вызовов прошли успешно. Итог: локальная сборка проходит все проверки (текст, Vision, двойное кэш‑предзаполнение, 269 k‑токенный запрос, история инструментов, DSPARK, TP=2) и работает в режиме сервера с параметрами, указанными в финальном конфиге. 🛠️

🚀 AfterQuery — самый быстрый unicorn Y Combinator AI‑стартап по обучению моделей AfterQuery объявил о новом раунде инвестиций, который оценил компанию в $3,2 млрд. Это произошло всего через пять месяцев после серии A в $30 млн, проведённой в апреле, когда оценка составляла $300 млн. 📈 AfterQuery стал первым стартапом‑единорогом Y Combinator, достигшим такой оценки за такой короткий срок.

🚀 Ожидается модель Astra от OpenAI OpenAI объявила о скором выпуске новой языковой модели Astra, предназначенной для кибер‑безопасности. 🔓 По заявлению компании, модель демонстрирует высокую эффективность в тестах по проникновению в компьютерные системы. OpenAI также представила набор мер предосторожности, которые будут применяться при её запуске, чтобы ограничить потенциальные риски.

🚀 Новый Fable 5.1 от Anthropic — дешевле и свободнее Anthropic представила обновление модели Fable 5.1, в котором снижена стоимость токенов. Изменения в системе защиты направлены на уменьшение ложных срабатываний и ограничений, делая работу с моделью более гибкой.

🚧 Instagram ужесточает правила для ИИ‑персон Платформа объявила о новых мерах, направленных на то, чтобы полностью искусственно созданные аккаунты не могли выдавать себя за реальных людей. По словам представителей Instagram, помимо распространения «мусорного» контента, в сети уже существует множество ИИ‑персон, которые выглядят как настоящие пользователи. Новые алгоритмы и система проверки помогут выявлять такие профили. Изменения начнут действовать в ближайшее время, а пользователи смогут сообщать о подозрительных аккаунтах через встроенные инструменты.