Лента новостей

🖥️ Open Terminal расширил возможности Open WebUI Пользователь, занимающийся юридическим поиском в больших документах (например, налоговый кодекс — 500 + страниц), работает с Open WebUI на сервере Unraid, подключённом к GPU 5060 Ti и 5070 Ti. После попыток использовать Hermes и LM Studio Bionic он искал самодостаточное решение, которое бы оставалось в рамках собственного контроля. В итоге он подключил контейнер Open Terminal — компаньон проекта Open WebUI, предоставляющий модели отдельный shell. Контейнер работает без привилегий, в режиме bridge, с монтированным appdata в /home/user, что изолирует оболочку от хоста. Благодаря терминалу модель (Qwen 27B Q4_K_M в Ollama с контекстом 100 k) теперь может пошагово искать и извлекать нужные фрагменты из документов, превышающих окно контекста, используя команды list, grep и чтение только релевантных частей. На запросе около 35 k токенов измерена скорость ≈ 1 050 т/с при обработке и ≈ 46 т/с при генерации, что делает работу с большими текстами более комфортной. Если ваш сценарий похож, стоит обратить внимание на Open Terminal.

🚀 Nvidia объявила о сделке с Equinix и Together AI В среду Nvidia анонсировала новое партнёрство с Equinix и Together AI, направленное на поддержку корпоративных клиентов в инференсе открытых ИИ‑моделей. Сделка предполагает использование инфраструктуры дата‑центров Equinix для развертывания и масштабирования открытых моделей, что даст компаниям более гибкие и доступные решения. Это событие происходит на фоне многотриллионного роста рынка AI‑дата‑центров, где Equinix нашёл свою нишу. 💡

🤖 AI и проектирование печатных плат Исследователи проверили, насколько современные модели ИИ способны создавать схемы печатных плат. 🛠️ Оказалось, что ИИ умеет генерировать базовые топологии, но часто допускает ошибки в трассировке и размещении компонентов. Для оценки использовалась платформа EEBench, которая имитирует работу электроники и проверяет полученные проекты в симуляции.

🤖 ИИ уже пишет в ведущих изданиях В колонках Wall Street Journal, Washington Post и New York Times появились материалы, созданные искусственным интеллектом. По оценкам, из 310 публикаций за последний месяц около 10 статей, опубликованных в этих трех газетах, написаны с помощью AI‑моделей 📰

🔍 Инструмент AI за $500 в месяц привлек внимание Конгресса Сейчас на рынке существуют AI‑инструменты‑брокеры данных, способные собрать подробный профиль любого гражданина США за 500 долларов в месяц. ⚖️ Эти сервисы вызывают обеспокоенность законодателей, которые начали рассматривать проблему «пробела» в наблюдении и регулировании подобных технологий. В последние недели в Конгрессе обсуждаются возможные меры контроля и защиты персональных данных от таких практик.

🚀 ByteDance расширит AI‑центр в Внутренней Монголии Компания‑владелец TikTok объявила о планах увеличить кластер дата‑центров в городе Уланцаб, регион Внутренняя Монголия. Это решение пришло на фоне роста инвестиций в искусственный интеллект среди крупнейших китайских технологических компаний.

🛡️ Совместное заявление спонсоров законов о безопасности ИИ Спонсоры законодательных инициатив по регулированию передовых технологий искусственного интеллекта из штата Нью‑Йорк опубликовали совместное заявление. Заявление отражает их позицию по развитию и контролю за ИИ, а также служит основой для дальнейшей работы в рамках Нью‑Йоркского законодательного собрания.

🔍 Сигнал формы энтропии предсказывает ошибки Qwen3-4B Исследователь обнаружил, что характер изменения энтропии во время генерации текста позволяет предсказать, когда модель Qwen3-4B‑Instruct‑2507 (квантование Q5_K_L) выдаст неверный ответ. Сигнал сохраняет свою эффективность и на задачах, которые не использовались при калибровке. В эксперименте было протестировано 60 кодовых задач (108 уникальных генераций, 20 провалов). Для каждой генерации собрали около 170 статистик, связанных с энтропией и логитами, и применили коррекцию Бенджамини‑Хохберга. После коррекции единственным значимым показателем оказался «trajectory‑shape» — плоская, ранняя стабилизация энтропии коррелировала с ошибкой (d = ‑0.94, p‑adj = 0.008). Стандартный максимум энтропии не дал статистически значимых результатов (d = +0.17, p = 0.39). При проверке на 300 случайных разбиениях задач, где целые задачи удерживались в стороне, средняя сбалансированная точность на новых задачах составила 0.73, превзойдя случайный уровень в 92 % запусков. Для модели Granite‑4.1‑3b такой сигнал не обнаружен; на тренировочных данных он выглядел обещающе (0.87), но на новых задачах упал до 0.47. Кроме того, в другом наборе из 18 задач тот же Qwen показывал обратный сигнал — ранний всплеск неопределённости предсказывал правильный ответ. 📊 Полные отчёты, данные и код доступны по ссылкам: Qwen — https://charlesdvaught-hash.github.io/calibration-kit-public/examples/qwen60_report.html; Granite — https://charlesdvaught-hash.github.io/calibration-kit-public/examples/granite60_report.html; репозиторий — https://github.com/charlesdvaught-hash/calibration-kit-public. При желании можно запустить аналогичный анализ для других моделей и квантов.

🎬 Новый этап для китайского развлечения: ИИ‑драма в прайм‑тайм Полностью сгенерированный искусственным интеллектом сериал «Путешествие на Запад» из 30 эпизодов вышел в эфир. Премьера ознаменовала переход ИИ‑контента в основной телевизионный блок, что меняет экономику производства в отрасли. Эксперты отмечают, что такие проекты могут стать новой нормой для китайского медиа‑рынка 🤖

🚀 Как собрать локальный LLM от buun без лишних хлопот Сборка бинарников для форка buun‑llama‑cpp можно выполнить полностью в облаке: в репозитории есть workflow `.github/workflows/build-cuda-windows.yml`, который запускается вручную на Windows‑2022‑раннерах GitHub. Microsoft компилирует три варианта — CUDA 12.4 x64, CUDA 13.3 x64 и CUDA 13.4 arm64 — и результат сохраняется только в виде артефакта, если добавить шаг `upload-artifact`. Чтобы получить готовые *.exe, достаточно форкнуть репозиторий (`gh repo fork spiritbuun/buun-llama-cpp --clone`), добавить в workflow строку `uses: actions/upload-artifact@v4` с указанием пути `build/bin/Release/`, закоммитить и запустить задачу «CI (CUDA, windows)». После завершения её можно скачать через `gh run download`. Для тестов автор использует модель Qwen 3.8 27B, которая набирает 46.8 балла в Artificial Analysis Agentic Index и опережает 80 % сравниваемых моделей. В форке доступно 14 вариантов квантования весов и 8 кодеков KV, что даёт 112 комбинаций; 56 из них помещаются в видеокарту 16 GiB с контекстом минимум 4 k токенов. Среди них выбран 3‑битный вариант GSQ IQ3_XXS, который, по результатам тестов, способен выполнять реальную работу. Запуск модели упрощён скриптом‑обёрткой: ```bash #!/bin/bash MODEL="/path/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf" SERVER="/path/buun-llama-cpp/build/bin/llama-server" export LD_LIBRARY_PATH="$(dirname "$SERVER"):$LD_LIBRARY_PATH" "$SERVER" -m "$MODEL" -ngl 99 -c 262144 -fa on --kv-unified -np 1 -ctk vbr -ctv vb ``` Нужно лишь подставить свои пути, сделать файл исполняемым и запустить из терминала.