Лента новостей

🛡️ Эксперт использовал ChatGPT в защите 3M В деле о взрыве, унесшем три жизни, эксперту‑свидетелю пришлось писать заключение с помощью искусственного интеллекта. Судебный иск оценивается в 61 млн долларов, а защита 3M подготовила отчёт, полностью сформированный запросами к ChatGPT. Показанные в процессе подсказки демонстрируют, как ИИ может быть задействован при подготовке юридических документов.

🚨 OpenAI распустила команду готовности OpenAI, согласно сообщениям, официально закрыла подразделение, отвечавшее за подготовку к чрезвычайным ситуациям. Это очередное изменение в структуре отделов безопасности компании, которое происходит на фоне подготовки к предстоящему IPO. 📈

📚 Трекер показал путь редких книг к Amazon Мы вложили в посылку с редкими книгами отслеживающее устройство, чтобы выяснить, какая компания покупает их для обучения ИИ. Устройство привело к объекту Amazon, где книги сканируют и уничтожают, используя полученные данные в проектах искусственного интеллекта.

🚀 DeepSeek V4 Flash запущен на GH200 с DSpark Мы запустили модель DeepSeek‑V4‑Flash‑0731 на единственном GPU GH200, используя DSpark и выгрузку 88 ГБ экспертов в память LPDDR5x через UVA. Оборудование: GH200 Grace‑Hopper (144 ГБ HBM3, 480 ГБ LPDDR5x, NVLink C2C ≈ 450 ГБ/с). Модель занимает 167 ГБ на диске, MoE 284 B, активные 13 B, работает в FP4+FP8. Полный набор DS4F не помещается в HBM, поэтому часть весов перенесена в LPDDR5x. 🛠️ Технически запуск выполнен через vLLM nightly 0.27.2rc1.dev122 без патчей, с параметрами offloader‑а и DSpark‑спекулятивного вывода (k=5). Производительность выросла с 64 токенов/с до 171 токенов/с (2,7 ×). Нужно использовать nightly‑версию, отключить pin‑memory и выгружать только экспертов; выгрузка FP8‑весов ломает DeepGEMM. Селективный стриминг экспертов на GH200 не требуется – C2C достаточно быстрый, Marlin может читать UVA‑виды напрямую. В ближайшие недели планируем эксперименты на DGX Station GB300 Blackwell Ultra (288 ГБ HBM3e) с двумя узлами.

🚀 FlashInfer — лучший бекенд внимания для VLLM на Ampere При работе с VLLM на графиках Ampere оптимальным бекендом внимания оказался FlashInfer. FA2 и triton_attn теряют скорость, особенно при контексте более 70 000 токенов, даже с включённым MTP. FlashInfer сохраняет производительность, а MTP работает без сбоев. На модели Qwen 3.8 27B INT8/W8A16 с FlashInfer достигается более 100 токенов за шаг при большом контексте, используя MTP на четырёх RTX 3090, каждая ограничена 200 Вт. Аналогичный эффект наблюдается и с моделями Gemma. При запуске VLLM в логе должно появиться сообщение `Using AttentionBackendEnum.FLASHINFER backend`. Если его нет, FlashInfer не используется. Для Gemma требуется параметр `--language-model-only`, иначе модуль зрения блокирует работу FlashInfer.

📈 Wispr привлекла $280 млн при оценке $2 млрд Компания объявила о новом раунде финансирования в размере 280 млн долларов, что подняло её рыночную стоимость до 2 млрд долларов. После сделки общий объём инвестиций в Wispr превысил 361 млн долларов. 💡

📚 AI‑книги заполняют Amazon AI‑сгенерированные книги составляют 20 % каталога самиздата на Amazon, но приносят лишь 12 % всех продаж. Новое исследование показывает, что доход на книгу падает и у изданий, написанных людьми, в семи из восьми жанров. Эти цифры могут стать доказательством рыночного ущерба в судебных делах по авторским правам против компаний, разрабатывающих ИИ ⚖️

🚀 Оптимальная настройка Qwen 3.8 27B на RTX 5060 Ti (16 ГБ VRAM) После обработки более 1 млн токенов пользователь делится своей конфигурацией llama.cpp, позволяющей разместить контекст в 73 728 токенов в 16 ГБ видеопамяти и запускать агентный кодинг. Эксперимент проводился на бюджетном сервере: Intel N100 (4 ядра/4 потока, 16 ГБ ОЗУ) + RTX 5060 Ti 16 ГБ, модель Qwen3.8‑27B‑UD‑Q3_K_XL.gguf. Технические параметры: KV‑кеш квантизация q4_1 (основной) и q5_1 (draft), спекулятивное декодирование MTP (draft‑mtp, n‑max = 2), сэмплинг temp 0.4, top_p 0.90, top_k 15, min_p 0.02. В рамках реального проекта из трёх запросов была построена полностью автономная цепочка: 1 — спецификация сайта (~1500 строк Markdown), 2 — план реализации API на NestJS в 9 фаз, 3 — оркестровка под‑агентов, написание тестов и доставка готового кода за ~2 часа (потребовалось лишь одно небольшое исправление). Ключевые строки конфигурации llama.cpp: `fit = off`, `ctx-size = 73728`, `cache-type-k = q4_1`, `cache-type-v = q4_1`, `spec-type = draft-mtp`, `spec-draft-n-max = 2`, `batch-size = 1024`, `ubatch-size = 512`, `flash-attn = on`, `fit-target = 128` MiB. Эта настройка полностью использует доступную видеопамять и сохраняет производительность при работе с большими контекстами. 🎯

🧩 Новая архитектура Mobius‑v0 для моделей ИИ Исследователи представили Mobius‑v0 — модель, в которой глобальная память (FFN) хранит векторные представления знаний, а несколько модулей‑рассуждателей (Self‑Attention) последовательно выполняют композиционное рассуждение. Скрытые состояния служат кэшем и переносчиком: рассуждатели запрашивают нужные векторы из памяти, а полученные знания возвращаются к операторам рассуждения. Такое разделение знаний и рассуждений повышает степень сжатия информации и эффективность вывода. На базе Mobius‑v0 разработан 7 млрд‑параметровый вариант, обученный с нуля, который достигает тех же результатов, что и аналогичный 7 млрд‑параметровый трансформер, используя лишь 62,6 % объёма его обучающих данных. Продолжая работу, команда создала Intern‑S2‑Mobius, дообученный от Qwen3.5‑35B. Он сохраняет аналогичную точность, но обеспечивает почти 4‑кратное ускорение полной инференс‑цепочки 🚀. Подробнее: https://arxiv.org/abs/2608.14290, https://github.com/InternLM/Intern-S2-Mobius, https://huggingface.co/internlm/Intern-S2-Mobius

🚀 Новый мультиязычный VDR‑модель EVIE‑Preview‑4.5B EVIE‑Preview‑4.5B — современная модель визуального поиска документов, построенная на Qwen3.5‑4B. Она использует 128‑мерные мультивекторные токен‑эмбеддинги, имеет 4,54 млрд параметров и работает в формате BF16. Техника сочетает линейное внимание GatedDeltaNet и полное внимание, а также компактную визуальную проекцию. Благодаря 128‑D индексам объём хранилища и время индексации сокращаются в 8‑32 раз по сравнению с традиционными 2560‑4096‑D представлениями. Модель демонстрирует лидирующие результаты в бенчмарках ViDoRe V1+V2 (85,93 nDCG@5) и ViDoRe V3, обгоняя 8‑млрд‑параметровые модели и возглавляя 7 из 8 публичных доменов. Поддерживает множество языков (EN, FR, DE, IT, ES, PT, ZH и др.) и форматы (графики, таблицы, научные отчёты, финансовые документы) 📊. Полностью совместима с экосистемой colpali‑engine и пайплайнами позднего взаимодействия.