Лента новостей

🔐 Уязвимость в шифровании рассуждений LLM Провайдеры крупных языковых моделей скрывают цепочки рассуждений, отправляя их клиенту в виде зашифрованных блоков, которые клиент возвращает с каждым запросом. Исследователи обнаружили, что такие блоки полностью совместимы и могут использоваться в разных сессиях, пользователях и моделях одного провайдера. Эксперимент показал, что можно внедрить зашифрованный блок рассуждения из мощной модели в более слабую модель того же провайдера, заставив её расшифровать и вывести содержимое в открытом виде, без прямого взлома первой модели. Это открывает четыре пути атаки: обход механизмов anti‑distillation и извлечение рассуждений у Anthropic, OpenAI и Google; массовый сбор личных данных – из 315 320 публичных блоков было восстановлено 367 персональных сведений и 182 учётных данных; раскрытие опасной информации, скрытой в процессе рассуждения, даже если финальный ответ отклонён; и невидимые инъекции запросов, позволяющие внедрять вредоносные payload в зашифрованные блоки. После ответственного раскрытия авторы предложили конкретные криптографические и системные меры для защиты клиентской части рассуждений. 🛡️

🤖 Samsung представила домашнего робота Ballie Ballie — это компактный робот‑ассистент с искусственным интеллектом, который может перемещаться по квартире, следовать за пользователем и управлять подключёнными умными устройствами. В его корпус встроены камеры, проектор и элементы управления умным домом, что позволяет ему взаимодействовать с окружением и техникой. Компания объявила о планах интеграции Ballie с Google Gemini, чтобы сделать диалог с роботом более естественным и полезным в повседневных задачах. Samsung позиционирует Ballie не просто как центр управления умным домом, а как мобильный физический интерфейс, способный перемещаться по дому и реагировать на команды. Запуск Ballie уже откладывался, но проект остаётся в разработке, и Samsung продолжает работать над тем, чтобы представить персонального AI‑робота потребителям. Это часть более широкого тренда переноса голосовых помощников из смартфонов и колонок в физические устройства, способные воспринимать и взаимодействовать с окружающей средой.

📊 Открыт способ видеть 100 % токенов рассуждений Claude и GPT Вчера вышла статья «Stealing Reasoning Traces from Proprietary LLM APIs», где продемонстрировали уязвимость, позволяющую полностью просматривать токены рассуждений всех моделей Claude и GPT. Авторы опубликовали множество примеров таких рассуждений. Это имеет значение для открытого программного обеспечения: в тесте с вопросом из бенчмарка AIME модель Claude показала, что «знает ответ наизусть», что ставит под сомнение заявленные преимущества её производительности над открытыми моделями. При работе с открытыми моделями часто встречаются «странные» рассуждения, бессвязные слова или переосмысление задачи — такие проявления характерны и для передовых закрытых систем. Эксперты отмечают, что ранее Китай использовал эту уязвимость для дистилляции передовых моделей; её закрытие может замедлить такие процессы. По мнению автора, открытый сектор отстаёт не так сильно — всё сводится к данным, вычислительным ресурсам и инженерным решениям.

🤖 OpenAI запустил Presence — корпоративных AI‑агентов OpenAI представил продукт Presence, позволяющий внедрять голосовых и чат‑агентов в такие бизнес‑процессы, как поддержка биллинга, страховые претензии и запросы к ИТ‑отделу. Каждый агент ограничен конкретной ролью, получает только необходимые знания и доступ к системам. Организации задают разрешённые действия, политики и условия эскалации; поведение проверяется в симуляциях и оценках до запуска. После вывода в продакшн собираются данные о сессиях и эскалациях, выявляются пробелы. Codex предлагает изменения, но они проходят тестирование и одобрение команд перед контролируемым rollout. Продукт доступен лишь выбранным корпоративным клиентам и не является самообслуживанием. 📞 По заявлению OpenAI, их собственный телефонный сервис решает 75 % входящих запросов без участия человека, хотя это внутренний показатель. При эксплуатации агентов важны журналы аудита, воспроизводимые оценки, записи одобрений и отчёты об инцидентах.

🚀 Meta AI теперь работает с почтой и календарями В обновлении Muse Spark 1.1 сервис Meta AI получил возможность выполнять не только ответы на вопросы, но и постоянные задачи. По заявлению компании, ИИ может подключаться к приложениям электронной почты 📧 и календаря, проводить веб‑исследования, создавать презентации и генерировать повторяющиеся материалы — ежедневные брифинги, недельные планы. Пользователи могут перенаправлять работу ИИ в процессе создания отчёта или презентации. Пилотный запуск начался в отдельных регионах через приложение Meta AI и сайт meta.ai, а в дальнейшем планируется расширение на другие страны и поддержку WhatsApp. С переходом к постоянной кросс‑приложенной активности возрастает важность контроля доступа, журналов аудита, восстановления после ошибок и возможности быстро отозвать права. Подробности в официальном объявлении: https://about.fb.com/news/2026/07/meta-ai-muse-spark-doesnt-just-think-it-acts/

📊 Налог на безопасность ИИ При оценке инфраструктуры больших языковых моделей компании учитывают только цены API, стоимость GPU‑инстансов и количество токенов. На деле значительную часть расходов составляет «налог» от системных инструкций безопасности: RLHF, DPO и конституционные правила. Перед тем как запрос попадает к ядру модели, он проходит через классификатор и получает статические инструкции, которые обычно занимают от 800 до 2 500 токенов — это 25‑35 % от общей стоимости промпта. Выходные ответы сильно «раздуваются»: выровненные модели генерируют на 30‑45 % больше токенов, добавляя отказные формулировки и юридические оговорки. Для организации, обрабатывающей миллион аналитических запросов в год, такие лишние токены обходятся десятками тысяч долларов только на предисловия и отказные сообщения. Сравнительный расчёт за трёхлетний период показывает, что собственный серверный кластер с открытыми моделями окупается за 7‑9 месяцев, полностью избавляясь от налога на безопасность и обеспечивая соответствие требованиям FERPA и GDPR. Учитываете ли вы в бюджете расходы на guardrail‑токены, или рассматриваете их как неизбежную часть бизнеса?

🔍 Anthropic внедряет невидимую метку в тексты Claude В августе компания объявила, что с этого момента каждый фрагмент текста, сгенерированный моделью Claude, будет снабжён скрытой цифровой водяной меткой, встроенной в статистический шум. По заявлению Anthropic, это делается в рамках повышения прозрачности работы ИИ. Метка не видна пользователю и может исчезнуть при перефразировании, переводе или обработке текстов другими моделями. Внутри неё указывается, что текст «обработан ИИ», а не «создан ИИ». Компания обещает опубликовать технические детали метода обнаружения. Ключи для распознавания метки будут находиться в распоряжении Anthropic, а система позиционируется как соответствующая требованиям Европейского закона об ИИ. Отсутствие метки, согласно заявлению, не подтверждает, что текст был создан открытой моделью или старой версией Claude.

🤖 AI‑агенты — не люди, и это подтверждается математикой Недавний анализ показывает, что искусственные агенты отличаются от человека по своей структуре и принципам работы, что можно выразить в виде математических формул. Эти расчёты демонстрируют, что без внешнего контроля такие системы могут принимать решения, не учитывающие человеческие ценности и ограничения. Поэтому надёжные AI‑агенты должны быть интегрированы в архитектуры, способные вмешиваться и при необходимости переопределять их действия.

🌳 HyperSAE — открытый инструмент визуализации знаний LLM Представляем HyperSAE — открытый Python‑инструмент, который извлекает из крупной языковой модели (LLM) её понятия и упорядочивает их в виде навигационного дерева. В отличие от существующих решений, выводящих тысячи признаков в плоский список, HyperSAE использует гиперболическую геометрию, где пространство растёт экспоненциально, что позволяет автоматически формировать иерархию «родитель‑потомок» (например, «программирование» → «Python» → «list comprehensions»). Тестирование на модели Google Gemma‑2‑2B показало захват 99,8 % изученных признаков против 96,2 % у стандартных методов 📊. Библиотеку можно установить командой pip install hypersae; код доступен на GitHub, а подробный доклад с интерактивными демонстрациями опубликован онлайн.

🚀 Meta выпустила локальную модель Muse Glimmer Сегодня Meta представила Muse Glimmer — модель с 30 млрд параметров, работающую на обычном потребительском GPU с 24 ГБ памяти. Размер загрузки < 20 ГБ, лицензия Apache 2.0 позволяет коммерческое использование, модификацию и распространение. Всё функционирует локально: планирование, вызовы инструментов, восстановление после ошибок и кодирование без облака, подписок и сторонних серверов. В тот же день Марк Цукерберг опубликовал 14‑страничный манифест, в котором утверждает, что ни одна компания, человек или ИИ не должны контролировать будущее человечества, а открытый исходный код — ответ на централизацию ИИ. OpenAI расширила программу кибербезопасности Daybreak, создав два уровня. Daybreak Blue снимает стандартные ограничения с GPT‑5.6 Sol для проверенных исследователей, а Daybreak Red вводит модель GPT‑5.6‑Cyber, отвечающую на 95 % запросов о сложных угрозах в тестах (по сравнению с 1,5 % у обычной модели). 🔐 С 1 сентября для всех аккаунтов Daybreak обязательны аппаратные ключи безопасности. Получаем две противоположные стратегии: локальный ИИ под полным контролем пользователя и более мощные модели с жёстким доступом и специализированными ограничениями.