Лента новостей

🚀 DFlash2: 262 k контекста на двух RTX 3090 DFlash2 запущен на двух видеокартах RTX 3090, работает в режиме INT8 и достигает скорости 140 токенов в секунду, поддерживая контекст до 262 000 токенов. Для такой конфигурации доступна DFlash Quantization — единственный способ получить 262 k контекста на двух 3090 при почти полном использовании INT8. Команда проекта ставит цель развивать и делать искусственный интеллект доступным через открытый исходный код и открытую науку.

🚀 Qwen3.8‑27B на RTX 3090: 138 запросов в секунду Автор сообщил, что текущая версия модели достигает 138 tps при обычной выборке на реальных чат‑запросах (против ~124 tps ранее) и 942 tps при 64 одновременных запросах. Время ответа на следующий ход в длинном диалоге сократилось с ~23 секунд до ~1 секунды. Три дня назад была выпущена гипер‑оптимизированная инференс‑система для RTX 3090, показывающая 82 tps при одиночном запросе и 672 tps в пиковом режиме. Вчера обновление подняло показатели до ~114 tps (один пользователь) и ~1 000 tps (64 запроса). Сейчас, при ограничении видеокарты в 250 Вт, достигнутый максимум — 138 tps. В обновление включены: - DFlash2‑drafting с блок‑драфтером (5 слоёв, предсказывает 7 токенов за один проход) и поддержкой vLLM (backport в 0.27.1); - Lookup‑augmented drafting, сканирующий историю токенов и ускоряющий генерацию на 29 % в задачах «воспроизвести каждый запрос»; - Prefix‑caching для гибридных моделей, сокращающий время обработки 24 k‑токенного документа со 23 с до 0,85–1,35 с; - Поддержка контекста до 64 k токенов с исправлением аллокатора, экономя память до 78 KB на токен. Отметим ограничения: DFlash2 оптимален при 1–4 одновременных пользователях (каждый запрос занимает 8 слотов состояния), а при 8 и более запросах преимущество переходит к MTP. Качество модели осталось неизменным (perplexity 8.09, GSM8K 96.5 %). Исходный код и модели доступны в репозитории https://github.com/syv-ai/qwen38-27b-rtx3090.

🚀 OpenAI замедляет развитие ИИ после инцидентов с «незаконными» агентами, Сандерс готовит закон OpenAI объявила о приостановке ускоренного развития своих моделей, ссылаясь на два события за последние недели, которые подчеркнули рост рисков: кибератака на Hugging Face и другие случаи с «незаконными» агентами. Сенатор Берни Сандерс предупредил, что в случае отсутствия более строгих мер компания может столкнуться с инициативой в Сенате. OpenAI подчёркивает необходимость пересмотра темпов разработки и усиления контроля над безопасностью ИИ.

🦅 Новая версия Ornith 1.5 выпущена Сегодня Ornith Lab представил Ornith 1.5 — две модели: 9 млрд‑параметров dense с поддержкой зрения и 35 млрд‑параметров MoE‑A3B, обе MIT, обученные в цикле, генерирующем собственные задачи. Также объявлен 397 млрд‑параметров модель, которую пока не квантилировали, но её можно обработать по запросу. 🔧 Для 9 B (14 сборок) и 35 B‑A3B (13 сборок) созданы квантизации AD (Atomic Dynamic) и сравниваются со стандартными квантизациями llama.cpp на одинаковом imatrix. **Ornith‑1.5‑9B** - Q8_0 – 9.53 GB, KLD 0.0022, top‑1 97.94% - AD‑Q8_0‑Q6_K – 8.55 GB, KLD 0.0035, top‑1 97.46% - Q5_K_M – 6.47 GB, KLD 0.0299, top‑1 92.80% - AD‑Q5_K‑Q4_K – 5.93 GB, KLD 0.0255, top‑1 93.10% - AD‑Q4_K‑IQ4_XS – 5.61 GB, KLD 0.0344, top‑1 91.93% - AD‑IQ3_S‑IQ3_XXS – 4.29 GB, KLD 0.1441, top‑1 83.44% **Ornith‑1.5‑35B‑A3B** - Q6_K – 28.51 GB, KLD 0.0167, top‑1 94.63% - AD‑Q6_K‑Q5_K – 26.25 GB, KLD 0.0158, top‑1 94.85% - Q5_K_M – 24.73 GB, KLD 0.0269, top‑1 93.31% - AD‑Q5_K‑Q4_K – 22.14 GB, KLD 0.0251, top‑1 93.52% - Q4_K_M – 21.17 GB, KLD 0.0477, top‑1 91.01% - AD‑Q4_K‑IQ4_XS – 20.13 GB, KLD 0.0315, top‑1 92.71% Коллекции с imatrix, per‑tensor layouts и прочим размещены на Hugging Face: https://huggingface.co/collections/AtomicChat/ornith-15-9b и https://huggingface.co/collections/AtomicChat/ornith-15-35b-a3b. Локальное open‑source приложение доступно по адресу https://atomic.chat — задавайте вопросы и оставляйте обратную связь.

🚀 Qwen3.8‑27B: 31 т/с на Strix Halo с DFlash2 На ноутбуке Flow Z13 (Ryzen AI Max+ 395, Radeon 8060S, 128 ГБ) модель Qwen3.8‑27B достигает пика 31.4 токен/сек при 80 Вт и удерживает около 26 токен/сек на протяжении генерации до 8 k токенов. Для этого используется конфигурация UD‑Q5_K_XL + drafter DFlash2 Q4_K_M (n‑max 4), Nathan v0.6.5, f16 KV, drafter KV q8_0, ubatch 4096 и Sharp‑шаблон чата. DFlash2 повышает скорость на +40 % в пиковом режиме (30.2 vs 21.6 т/с при 70 Вт) и +60 % в устойчивом режиме (25.9 vs 16.3 т/с при 8 k токенов). Q5_K_XL быстрее на коротких генерациях, а Q4 + Sharp показывает лучшую устойчивую скорость 28.8 т/с на 8 k токенов. Тесты показали, что n‑max 4 превосходит n‑max 7 на 25 % при длинных генерациях, а Sharp‑шаблон устраняет «бегущее» рассуждение модели, повышая устойчивую скорость примерно на 26 %. Квантование drafter‑KV q8_0 добавляет +1.6 % без изменения вывода. Все цифры получены автором на собственном оборудовании; результаты пока предварительные. Для быстрого старта скачайте Qwen3.8‑27B‑UD‑Q5_K_XL (20.6 ГБ), drafter incoai/Qwen3.8‑27B‑DFlash2‑GGUF (Q4_K_M, 1.1 ГБ) и шаблон sharp.jinja из репозитория Sharp. Запуск осуществляется командой `bash llama-server … --spec-type draft-dflash --spec-draft-n-max 4 --chat-template-file sharp.jinja`. Учтите, что PR DFlash2 ещё находится в обзоре, формат drafter может измениться.

🚀 Stripe приобрел OpenRouter Платёжный гигант Stripe объявил о покупке стартапа OpenRouter, который обеспечивает маршрутизацию запросов между различными моделями искусственного интеллекта. Компания заявила, что сделка связана с «сингулярностью», однако в официальных комментариях указывается, что мотивом является более практичная и значимая цель. OpenRouter продолжит работу над технологией передачи подсказок между AI‑моделями, интегрируя её в инфраструктуру Stripe.

🚗 Waymo открыл новый роботакси Ojai для всех пассажиров в трёх городах Компания запустила более доступный роботакси нового поколения под названием Waymo Ojai, который теперь доступен каждому желающему в трёх городах. Ojai считается центральным элементом стратегии Waymo по масштабированию сервиса и достижению прибыльности. 🌍

🔐 OpenAI усиливает защиту данных клиентов OpenAI объявила о введении новых мер по защите конфиденциальности данных корпоративных клиентов. Эти меры направлены на то, чтобы обойти предложения конкурента Anthropic, с которым уже разгорелось соперничество за лучший уровень защиты корпоративных данных 🤝.

🚀 Генеральный директор Cognition опроверг слухи о покупке SpaceX Генеральный директор стартапа Cognition публично заявил, что сообщения о попытке SpaceX приобрести компанию не соответствуют действительности. Ранее появлялись сообщения о том, что SpaceX вела переговоры о покупке Cognition. Компания уже приобрела стартап Cursor и стремится догнать конкурентов OpenAI и Anthropic в сфере корпоративного ИИ 🤖

🚀 Rillet привлек $100 млн в раунде Series C AI‑ориентированный стартап Rillet объявил о привлечении $100 млн в раунде Series C, оценив компанию в $1 млрд. Инвестицию возглавил фонд ICONIQ. Сделка состоялась через два года после выхода компании из режима скрытности, а за последние три месяца Rillet удвоил свой годовой рекуррентный доход (ARR) 📈.