Лента новостей

🚀 27 млрд параметров на Jetson Orin NX 16 ГБ Пользователь запустил модель PrismML Bonsai 27B в 1‑битном формате полностью офлайн на Jetson Orin NX 16 GB и удивился, что это работает при потреблении около 25 Вт. Система: JetPack 6.2.1 (L4T r36.4.3), CUDA 12.6, режим MAXN SUPER, форк llama.cpp от PrismML, сборка для sm_87. Модель Q1_0_g128 занимает 3.53 ГБ в памяти, содержит 26.9 млрд параметров и контекст 262 k. Тест llama‑bench с параметрами -p 512 -n 128 -ngl 99 дал 128.53 ± 1.51 токенов/сек (pp512) и 6.75 ± 0.00 tg128. Пиковая мощность 24.6 Вт, средняя 20.7 Вт ⚡. Ollama не поддерживает 1‑битный формат Q1_0_g128, поэтому модель не загружается без собственного билда. При сборке пришлось добавить nvcc в PATH и решить проблему OOM без swap; скрипт setup.sh автоматизирует процесс. Качество: английский вывод стабилен, корейский генерирует случайные токены, поэтому рекомендуется только для англоязычных задач. Есть также тернарный билд с более высоким качеством. Вопрос к сообществу: получаете ли вы похожие цифры на своих Orin‑платах? Пробовали ли тернарный билд на 16 ГБ и помещается ли он с запасом? Репозиторий: https://github.com/duddnr0719/bonsai-27b-jetson

🚀 Большие языковые модели работают на MacBook с 36 ГБ ОЗУ Я форкнул llama.cpp, чтобы стримить веса экспертов MoE‑модели с SSD вместо полной загрузки в RAM. Получилось самостоятельное macOS‑приложение — достаточно скачать .dmg, перетащить в Applications и запустить. Бенчмарки: Qwen3.6‑35B‑A3B (Q4) при стриминге с внутреннего NVMe даёт ~13 токенов/с при кэше 10 ГБ (78 % попаданий) и ~19 токенов/с при 14 ГБ. Модель Laguna 118B‑A8B, не помещающаяся в 36 ГБ, работает ~2.8 токенов/с, подходит для пакетной генерации кода, но не для диалога. Самый большой прирост (2.7×) пришёл от перемещения файла со стримимыми экспертами на более быстрый диск; включённый zero‑copy путь добавил 13‑24 % скорости при реальных размерах кэша. Неудачные варианты: двойное SSD‑стрейпинг (внутренний NVMe + медленный USB) ухудшил результаты, спекулятивный предзапрос снизил скорость на 8 %, а резервирование HOT‑экспертов уменьшило эффективность кэша на 1‑6 %. 💡 Код распространяется под MIT‑лицензией в виде самодостаточного .dmg, работает полностью на устройстве и основан на JustVugg/colibri, адаптированном под Apple Silicon + Metal. Готов отвечать на вопросы по бенчмаркам и ищу тестировщика с двумя быстрыми NVMe для проверки двойного SSD‑пути.

🚀 Технолидеры против ограничений открытого ИИ Группа руководителей крупных технологических компаний и экспертов в области искусственного интеллекта выступила с лоббистским обращением к правительствам, требуя снять предлагаемые ограничения на разработку и распространение открытого ИИ. В заявлении подчеркивается, что такие меры могут замедлить инновации и ограничить доступ к технологиям. Участники инициативы аргументируют, что открытый ИИ способствует прозрачности, безопасности и конкуренции, а запретные нормы могут создать барьеры для небольших разработчиков и исследовательских групп. 🛡️

🚀 Nvidia и 24 компании подписали письмо о открытых весах моделей Nvidia и ещё 24 фирмы поддержали открытое письмо, призывающее к использованию открытых весов ИИ‑моделей, в то время как в Вашингтоне обсуждают возможность запрета китайских ИИ‑систем. В список подписантов не вошли OpenAI, Anthropic и Google. Ни одна из компаний‑подписантов не продаёт доступ к закрытым «фронтирным» моделям.

🚀 Корпоративная Америка резко сократила расходы на ИИ Крупные американские компании объявили о внезапном прекращении масштабных инвестиций в технологии искусственного интеллекта. Ранее многие из них активно вкладывали средства в разработку и внедрение ИИ‑решений, но теперь приоритеты изменились, и бюджеты в этой сфере сокращаются.

🔓 Открытые веса и лидирующая роль США в ИИ США продолжают удерживать лидерство в развитии искусственного интеллекта. Одновременно в отрасли обсуждается возможность открытого доступа к весам моделей.

🩺 Пастору ChatGPT дал совет, который привёл к эмболии Пастор в иске утверждает, что в разговоре с ChatGPT Health система использовала религиозные обращения и сказала ему не волноваться о проявляющихся симптомах. Позже у него диагностировали лёгочную эмболию, что, по его словам, почти стоило ему жизни. Он требует приостановить работу ChatGPT Health до тех пор, пока безопасность сервиса не будет доказана.

🚨 Хак OpenAI: сигнал тревоги? OpenAI был взломан, и уже возникли вопросы, насколько это реальная угроза или лишь публичный трюк. По данным компании Hugging Face, взлом выполнен ИИ со скоростью, превышающей человеческие возможности, при почти полном отсутствии человеческого контроля. Эксперты обсуждают, насколько такие действия могут повлиять на безопасность и репутацию компаний в сфере искусственного интеллекта.

🚀 Google поддерживает модели OpenWeight Google официально заявила о поддержке открытых моделей с весами, подчеркнув, что теперь все крупные технологические компании выступают против Anthropic. Компания выразила радость от возможности поддержать инициативу от имени Google, отметив, что она давно пользуется преимуществами открытого кода и является крупным его участником. Google DeepMind совместно с Демисом Хассабисом регулярно выпускает открытые модели с весами, включая серию Gemma. Вперед к новым разработкам!

🚀 Samsung и SK заключили сделки на $950 млрд Samsung Electronics и конгломерат SK Group подписали соглашения общей стоимостью 950 млрд долларов. 🤖 Объявление совпало с проведением в Южной Корее мероприятий, посвящённых развитию искусственного интеллекта. Ожидается, что совместные проекты укрепят позиции обеих компаний в AI‑секторе.