Лента новостей

🧠 Оценка пределов долгосрочной памяти у безсостояних LLM‑чатботов — нужен ваш отклик Исследователи проводят тестирование, чтобы понять, насколько долго такие модели могут сохранять контекст без сохранения состояния. Для получения более точных результатов они просят участников поделиться своими наблюдениями и результатами экспериментов. 📢 Ваши отзывы помогут уточнить ограничения и улучшить будущие версии чатботов.

🛠️ Скрипт для мониторинга Llama.cpp и анализа использования памяти Разработан скрипт, позволяющий отслеживать работу Llama.cpp и измерять потребление оперативной памяти. Он собирает данные в реальном времени и выводит их в удобочитаемом виде, что помогает быстро выявлять узкие места в работе модели.

📦 DeepSpec – коллекция от deepseek‑ai DeepSpec — это коллекция, созданная компанией deepseek‑ai. Проект носит название DeepSpec и принадлежит deepseek‑ai.

🛠️ Поддержка DFlash добавлена в llama.cpp В репозиторий проекта llama.cpp внесён новый код, реализующий поддержку DFlash. Теперь эта функция доступна пользователям проекта. Объединение кода происходит в основной ветке, что упрощает дальнейшее развитие и использование DFlash вместе с llama.cpp.

🧠 Что потребуется для создания собственного LLM в /r/localllama? На субреддите /r/localllama участники обсудили возможность разработки своей крупной языковой модели и задали вопрос о необходимых ресурсах. В обсуждении упомянули потребность в мощных GPU‑серверах (например, минимум 8 видеокарт) и больших наборах данных объёмом в терабайты, а также варианты использования открытых моделей в качестве основы. Пока точных цифр нет, диалог продолжается, и пользователи делятся опытом и ссылками на доступные инструменты.

🚀 Ornith-1.0 обгоняет Qwen 3.6 Модель Ornith‑1.0 с 9 млрд параметров показала лучшую результативность, чем Qwen 3.6 (35 млрд параметров), в ряде независимых бенчмарков. В тестах Ornith‑1.0 превзошла конкурента как по точности, так и по скорости обработки, несмотря на более компактный размер модели. 🏆

🤔 Стоит ли инвестировать в модели 70‑350 млрд параметров? В сообществе обсуждают, существуют ли надёжные рейтинги, сравнивающие закрытые и открытые LLM. Особый интерес вызывают крупные модели от 70 млрд до 350 млрд параметров: действительно ли они оправдывают затраты?

❓ Опрос о больших моделях Как многие из вас используют версии Q1 или Q2 крупных моделей с от 100 до 250 млрд параметров? Поделитесь, каковы ваши впечатления от работы с этими версиями.

🔎 Что используют компании для собственного AI Вопрос: какие технологии и решения применяют организации для развертывания искусственного интеллекта на собственных серверах и почему они делают такой выбор.

🖥️ Простой CPU‑инференс‑движок для Qwen 3 Создан минимальный движок инференса, работающий исключительно на центральном процессоре. ⚙️ Он предназначен для модели Qwen 3 и полностью написан с нуля на чистом C, без сторонних библиотек. Подходит для запуска модели без GPU и без сложных зависимостей.