II.4Отладка, тестирование и качество ПО

CodeLlama-34B-Instruct-fp16 — преобразованная в формат Transformers/Hugging Face копия модели Code Llama 34B Instruct от Meta AI, подготовленная TheBloke. Это авторегрессионная плотная Transformer-модель с 33,5 млрд параметров для следования инструкциям, генерации и понимания кода, в том числе для создания помощников по программированию. Модель принимает и выдаёт текст; карточка указывает английский язык и поддержку контекста 16 384 токена. В репозитории представлены веса safetensors в формате FP16. Для корректной загрузки этих весов README требует параметр trust_remote_code=True из-за изменения RoPE Theta. Модель рассчитана на коммерческое и исследовательское применение по условиям лицензии Llama 2; перед внедрением следует проверить точные условия лицензии. Она может выдавать неточный или нежелательный текст, а заявленное тестирование проводилось на английском языке.

CodeLlama 7B Python GGUF — это квантизированная версия языковой модели CodeLlama 7B Python, разработанной Meta и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена прежде всего для генерации кода, решения задач программирования и работы с запросами, требующими написания Python-кода. Это текстовая модель архитектуры Llama с 7 миллиардами параметров; заявленный язык — code, а поддерживаемые модальности ограничены текстом и кодом. Размер контекста в представленных данных не указан. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантизации с разной разрядностью, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти при CPU- и GPU-инференсе. Ограничения включают возможное снижение качества из-за квантизации, отсутствие в README данных о результатах тестирования и точных требованиях к ресурсам. Модель распространяется по лицензии Llama 2.

CodeQwen1.5-7B-Chat-GGUF — набор GGUF-квантизированных вариантов чат-модели CodeQwen1.5-7B-Chat от Qwen, подготовленный пользователем bartowski для запуска через llama.cpp. Модель относится к задачам генерации текста и ориентирована прежде всего на работу с программным кодом в диалоговом формате: написание, объяснение и редактирование кода, а также ответы на связанные с программированием запросы. В названии указано около 7 миллиардов параметров; точная архитектура, размер контекста и перечень поддерживаемых языков в предоставленных данных не описаны. В метаданных указан английский язык. Для диалога необходимо использовать шаблон с ролями system, user и assistant в формате специальных токенов Qwen. Репозиторий содержит варианты с разной степенью квантизации — от Q8_0 размером 7,70 ГБ до IQ1_S размером 2,36 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S отмечены как рекомендуемые; более компактные варианты экономят память, но могут заметно терять в качестве. Q8_0 обеспечивает наиболее высокое качество среди доступных вариантов, однако обычно не требуется. Ограничения модели включают зависимость качества от выбранной квантизации и отсутствие в README сведений о бенчмарках, мультимодальности и поддержке языков помимо заявленного английского. Указана лицензия other с названием tongyi-qianwen; подробные условия приведены в лицензии исходной модели Qwen. Квантизация выполнена с использованием llama.cpp и метода imatrix.

Fireball-12B-v1.01a — дообученная EpistemeAI языковая модель на архитектуре Mistral, основанная на EpistemeAI/Fireball-12B-v1.0. Модель содержит 12,1 млрд параметров и предназначена для генерации текста, выполнения инструкций и помощи с программированием. В README описаны supervised fine-tuning на наборах Code Alpaca и Alpaca Cleaned, а также два этапа ORPO дообучения на предпочтениях. Модель принимает текст и генерирует текст. В карточке указаны мультиязычные и программные данные, а рекомендуемый шаблон запросов — Alpaca. Метаданные указывают контекст до 1 024 000 токенов; в README для исходной модели Mistral Nemo приводится окно 128k, поэтому заявленная длина контекста для этой версии в источниках расходится. Модель выпущена под лицензией Apache 2.0. По README, у базовой модели нет встроенных механизмов модерации; для контролируемого применения следует предусмотреть отдельную модерацию.

Gemini 3 Flash Preview — предварительная версия быстрой мультимодальной модели Google для диалога, агентных сценариев и помощи с программированием. Карточка описывает её как thinking-модель с рассуждениями, близкими к уровню Pro, и поддержкой работы с инструментами. Модель предназначена для многошагового чата, агентных рабочих процессов и задач по программированию. Метаданные каталога относят её к задаче image-text-to-text. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных материалах нет.

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

GLM-4-9B-0414-GGUF — это квантизированная в формате GGUF версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Квантизация выполнена bartowski на основе llama.cpp, релиз b5228. LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации текста и ориентирована на продвинутое программирование, создание артефактов, function calling и агентские сценарии. Заявлена сопоставимая с существенно более крупными моделями производительность. Поддерживается контекст до 32 тысяч токенов. В метаданных указаны китайский и английский языки. Архитектура исходной модели и точный размер файлов не описаны подробнее; конкретный вариант квантизации также не указан. Модель может быть полезна для локального запуска задач кодирования, автоматизации и построения LLM-агентов при наличии совместимого ПО для GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и требований к ресурсам от выбранного варианта квантизации. Лицензия модели — MIT.

HyperNova 60B 2602 — языковая модель, разработанная Multiverse Computing на основе open-weight модели OpenAI gpt-oss-120b. Она сжата с помощью проприетарной технологии CompactifAI, которая уменьшает количество параметров и требования к памяти при сохранении заявленных возможностей рассуждения. Модель instruction-tuned и предназначена для эффективного развёртывания через библиотеку Transformers. Модель рассчитана на рассуждение, генерацию кода, приложения с RAG, агентские сценарии и задачи с использованием инструментов. Она поддерживает нативный вызов функций, OpenAI-совместимые схемы инструментов, структурированные ответы и настраиваемый уровень рассуждения. Архитектура — decoder-only Transformer; общий объём составляет 60 млрд параметров против 117 млрд у базовой модели. Основной язык — английский, другие языки формально не оценивались. Мультимодальность и размер контекста в README не указаны. К сильным сторонам относятся уменьшенный объём памяти, гибкость развёртывания, поддержка tool calling и агентских рабочих процессов. Ограничения включают отсутствие формальной оценки других языков и неполные сведения о контекстном окне, а также необходимость использовать trust_remote_code при загрузке. Модель распространяется по лицензии Apache 2.0.

LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками модели. Это разреженная MoE-модель для генерации текста и диалогов; README указывает 1,6 трлн параметров и около 48 млрд активируемых на токен, тогда как метаданные репозитория указывают 42,1 млрд параметров. В карточке заявлены архитектура LongcatCausalLM и контекст 262 144 токена. Модель предназначена для программирования, понимания кода, редактирования репозиториев, автоматизированного выполнения задач и агентных сценариев. Она поддерживает интерфейс вызова инструментов; в README также описаны LongCat Sparse Attention для длинного контекста и ускорение декодирования с прогнозированием нескольких токенов. Вход и выход — текст. README сообщает о предварительном обучении более чем на 35 трлн токенов и развёртывании на GPU и NPU. Для GPU описана поддержка SGLang и рекомендована конфигурация из 16 H20; часть механизма Hierarchical Indexing при этом недоступна. Разработчик предупреждает, что модель не была специально спроектирована или всесторонне проверена для всех прикладных сценариев. Лицензия репозитория — MIT.

Moderato-V1-Pro — открытая по весам языковая модель NitrAI Research Team для генерации текста, ориентированная прежде всего на программирование, системную инженерию и агентные сценарии. Это причинная модель со sparse Mixture-of-Experts архитектурой: шесть специализированных экспертных путей объединены с общими блоками внимания, а механизм Reflexive Role Routing, согласно карточке, может переключать экспертов по ходу генерации. В репозитории указаны 113,3 млрд параметров и 32,7 млрд активных параметров на токен. Модель предназначена для написания и исправления кода, инженерных задач, математических рассуждений, планирования и работы с инструментами. Карточка заявляет поддержку многоязычного текста и кода, а также контекст 131 072 токена с возможностью расширения до 1 000 000 токенов через YaRN. Метаданные подтверждают текстовую генерацию, чат, кодовые возможности и интерфейс вызова инструментов; доступный формат весов — safetensors. Модель распространяется по лицензии Apache-2.0. Заявления README о качестве на бенчмарках и преимуществах механизма маршрутизации являются данными разработчика и не подтверждены независимой проверкой; фактическая производительность и совместимость с инструментами могут зависеть от инфраструктуры запуска.

NeoHorse-1-9B — текстовая причинно-следственная языковая модель TokenRhythm, дообученная на базе Qwen3.5-9B для работы с агентными системами. Модель имеет 7,2 млрд параметров, использует архитектуру Qwen3.5 и принимает только текст; визуальные веса в этом выпуске отсутствуют. Заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов, следования инструкциям, вызова инструментов, программирования и рассуждений в текстовых агентных сценариях. В техническом отчёте авторы сообщают о среднем результате 69,04 по десяти тестам против 65,60 у базовой Qwen3.5-9B; это результаты авторской оценки, а не гарантия качества в конкретном применении. Доступны веса в формате safetensors и интерфейс для вызова инструментов. Лицензия — Apache-2.0.

North Mini Code 1.0 — открытая по весам исследовательская модель, разработанная Cohere и Cohere Labs. Она предназначена для генерации кода, агентной разработки программного обеспечения и выполнения задач через терминал, включая работу с инструментами и решение сложных задач программирования. Модель принимает только текст и генерирует текст. Это decoder-only Transformer со sparse Mixture-of-Experts: всего 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Архитектура использует 128 экспертов, 8 из них выбираются на токен, активацию SwiGLU, а также чередование sliding-window attention с RoPE и глобального attention без позиционных embedding в соотношении 3:1. Перед sparse-слоями используется один dense-слой. Модель дообучалась в два этапа с помощью supervised fine-tuning и reinforcement learning with verifiable rewards, ориентированных на агентное программирование. Контекст составляет до 256K токенов, максимальная длина вывода — до 64K токенов. Сильные стороны модели — специализация на коде, агентных сценариях разработки и терминальных задачах, большой контекст и сравнительно небольшое число активных параметров на токен. Ограничения включают текстовую модальность и исследовательский статус; README не приводит конкретные результаты бенчмарков и не описывает поддерживаемые естественные языки. FP8-чекпойнт предназначен для запуска с vLLM и несовместим с Transformers из-за используемого алгоритма квантования; для Transformers рекомендуется BF16-версия. Модель распространяется по лицензии Apache 2.0.

Ornith-1.5-35B-A3B — среднеразмерная Mixture-of-Experts модель семейства Ornith-1.5, разработанная командой Ornith. Она создана как развитие Ornith-1.0, обучавшейся на основе Qwen3.5 и Gemma4 с дополнительным продолженным предварительным обучением, mid-training и post-training. В Ornith-1.5 применяется цикл самоулучшения, в котором совместно оптимизируются генерация задач, построение scaffold и rollouts решений с использованием reinforcement learning. Модель предназначена прежде всего для генерации текста, программирования и агентных сценариев, включая работу с терминалом и автономное решение задач в репозиториях. При общем размере около 35 млрд параметров на каждый токен активируется примерно 3 млрд параметров, что снижает вычислительную нагрузку по сравнению с полноразмерной плотной моделью. В README указана интеграция с библиотекой MLX и pipeline text-generation; сведения о модальностях, размере контекста и поддерживаемых языках не приведены. Сильной стороной модели заявлена производительность в coding- и agentic-бенчмарках: она превосходит сопоставимую Qwen 3.6-35B-A3B, а также плотные Gemma 4-31B и Muse Glimmer-30B в ряде агентных задач. В частности, приведены результаты 79 на SWE-bench Verified и 67,8–68,5 на Terminal-Bench 2.1 в зависимости от используемого окружения. Ограничения включают отсутствие в карточке подробных сведений о качестве вне программирования, контекстном окне, языках, требованиях к оборудованию и лицензии; лицензия в README не указана.

Ornith 1.5 35B-A3B Uncensored — мультимодальная модель для диалогов, программирования и агентных задач, созданная на основе Ornith 1.5 35B-A3B. Разработчик применил к весам Ornith task-vector с модели Qwen3.6-35B-A3B-abliterated: изменены 102 совместимых тензора, а vision- и MTP-компоненты Ornith сохранены. Модель использует архитектуру Qwen3.5 MoE и файлы Safetensors; базовая модель содержит 35 млрд параметров. Контекст настроен на 262 тыс. токенов. Модель предназначена для текстовых диалогов, программирования, агентных сценариев и анализа изображений. В README заявлено, что дообучение Ornith для программирования и агентных задач сохранено, а склонность к отказам намеренно снижена. Локальная проверка на квантованной сборке Q4_K_M охватывала 20 промптов; её эвристические результаты не являются общим бенчмарком этой модели. Лицензия — Apache-2.0. Для запуска требуются актуальные версии Transformers, vLLM или SGLang; README указывает Transformers 5.8.1+, vLLM 0.19.1+ и SGLang 0.5.9+.

Qwen2.5-Coder-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF для запуска с помощью llama.cpp. Исходная модель разработана командой Qwen; данный вариант конвертирован через GGUF-my-repo на базе llama.cpp. В README также указано, что модель предназначена для генерации текста и работы с кодом в диалоговом формате. Модель ориентирована на программирование, генерацию и обработку кода, а также сценарии локального запуска через llama.cpp в CLI или серверном режиме. Она содержит 14 миллиардов параметров, использует квантизацию Q4_K_M и поддерживает текстовый ввод и вывод. В метаданных указан английский язык, однако дополнительных сведений о языковом охвате, архитектуре, максимальном контексте и точных требованиях к аппаратному обеспечению нет. Ключевое преимущество варианта — возможность более экономичного локального инференса благодаря формату GGUF и квантизации, включая запуск на совместимом оборудовании через llama.cpp. Ограничения связаны с потерей точности по сравнению с полной версией модели из-за квантизации, а также с отсутствием в README подробных результатов оценки качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

ggml-org/Qwen2.5-Coder-14B-Instruct-Q8_0-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF командой ggml-org с использованием llama.cpp и проекта GGUF-my-repo. Базовая модель разработана командой Qwen; в предоставленных данных точное название разработчика базовой модели не уточняется. Модель предназначена для генерации текста и работы с исходным кодом, включая сценарии программирования и диалогового взаимодействия. Она ориентирована на запуск через llama.cpp в локальной среде, как в режиме командной строки, так и в виде сервера. Указана поддержка английского языка. Модель является текстовой, имеет 14 миллиардов параметров и использует квантование Q8_0. Архитектура, максимальная длина контекста и полный перечень поддерживаемых языков в README не указаны; пример запуска использует контекст 2048 токенов, но это не подтверждает максимальный размер контекста. К сильным сторонам относятся специализация на задачах программирования, совместимость с экосистемой llama.cpp и возможность локального развертывания в GGUF-формате. Ограничения связаны с необходимостью подходящего оборудования и программной среды для запуска, а также с отсутствием в предоставленных данных подробностей о качестве на бенчмарках, производительности и фактическом языковом охвате. Модель распространяется по лицензии Apache-2.0.

CISCai/Qwen2.5-Coder-32B-Instruct-SOTA-GGUF — это квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и кода в диалоговом формате, включая написание, дополнение и исправление программ. Она поддерживает сценарий Fill-in-the-Middle и использует шаблон запросов ChatML. Модель основана на архитектуре Qwen2 и содержит 32 млрд параметров. Поставляется в формате GGUFv3 с вариантами квантизации от 1 до 4 бит, включая IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с importance matrix. Размер файлов составляет примерно от 6,8 ГБ, а требуемый объём оперативной памяти — от 7,8 ГБ, в зависимости от варианта. Базовая длина контекста составляет 32 768 токенов; для отдельных файлов доступны варианты с YaRN и контекстом до 131 072 токенов. Основные преимущества — возможность локального запуска через llama.cpp и совместимые интерфейсы, а также снижение требований к памяти благодаря квантизации. При этом наиболее компактные варианты сопровождаются существенной или высокой потерей качества, поэтому выбор файла требует компромисса между размером и точностью. В README язык указан как английский; сведения о поддержке других языков отсутствуют. Файлы совместимы с llama.cpp начиная с версии от 27 февраля 2024 года. Модель распространяется по лицензии Apache-2.0.

Jongbin-kr разработал эту модель как дообученную версию Qwen/Qwen2.5-Coder-7B-Instruct с использованием TRL. Это плотная языковая модель семейства Qwen2 для генерации текста в формате диалога, в том числе для задач программирования и рассуждений. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель работает через библиотеку Transformers и распространяется в формате safetensors. В README приведён пример генерации ответа на вопрос в диалоговом формате. Лицензия в предоставленных данных не указана.

Qwen3-Coder-30B-A3B-Instruct-GGUF — квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста, прежде всего для задач программирования и работы с кодом, и может запускаться через GaiaNet с шаблоном запросов ChatML. Модель имеет архитектуру и параметры исходной Qwen3-Coder-30B-A3B-Instruct; в README указано обозначение 30B-A3B, однако подробности архитектуры не приведены. Поддерживается контекст размером до 256 000 токенов. Модель работает в текстовой модальности, а сведения о поддерживаемых языках в README отсутствуют. Квантизация выполнена с использованием llama.cpp b6031. Модель подходит для локального или распределённого запуска в сценариях генерации текста и помощи с программированием. Ключевое преимущество — большой контекст и формат GGUF, удобный для совместимых сред запуска. Ограничения README не описывает; также не приведены сведения о точном типе квантизации, требованиях к ресурсам, производительности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

Карточка модели Zhangdanyang/Qwen3-Coder-30B-A3B-SFT-TH-4epoch на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Coder-30B-A3B-Instruct — инструктивная языковая модель для программирования от команды Qwen. Это причинная модель семейства Qwen3 MoE: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; в архитектуре 48 слоёв и 128 экспертов, из которых задействуются 8. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель предназначена для генерации и анализа кода, агентного программирования и использования в браузерных сценариях. Большое окно контекста помогает разбирать целые репозитории; модель также поддерживает специальный формат вызова функций. Выпускается только в режиме без рассуждений (non-thinking) и не генерирует блоки ``` в ответах. Доступна по лицензии Apache-2.0.

Qwopus3.5-9B-Coder-MTP-GGUF — набор GGUF-квантизаций модели Qwopus3.5-9B-Coder, разработанной Jackrong, с сохранёнными MTP-головами для multi-token prediction и speculative decoding. Квантизации подготовлены автором репозитория с использованием imatrix от mradermacher и инструментов llama.cpp. Модель ориентирована на генерацию и анализ кода, рассуждения, агентские сценарии, tool use и function calling; также заявлена поддержка работы с изображениями и текстом через mmproj-файлы. Доступны варианты IQ4_XS размером примерно 4,99–5,29 GiB. В README заявлены контекст до 98 304 токенов при использовании YaRN за пределами исходных 32 768 токенов, запуск примерно в 6 ГБ VRAM и начальная скорость около 60 токенов в секунду на RTX 4060 в Windows 11 с KVarN. Поддерживаются английский, китайский, корейский, русский, японский и испанский языки. Версии различаются распределением более точных форматов квантования по отдельным слоям; по наблюдениям автора, у V3 лишь незначительно снизилась доля принятых предсказаний по сравнению с V1, оставаясь выше 60% в задачах программирования. Модель подходит для локального запуска через llama.cpp и совместимые приложения, особенно когда важны небольшой размер, длинный контекст и ускорение декодирования MTP. Ограничения включают зависимость мультимодального режима от отдельного mmproj-файла, необходимость корректной настройки YaRN, KVarN и speculative decoding, а также отсутствие подробных независимых бенчмарков. Распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Coder-Fusion-9010-1x-TIES-v1.0 — слияние языковых моделей, созданное с помощью mergekit методом TIES. В качестве базовой модели использована huihui-ai/QwQ-32B-Coder-Fusion-9010, также в слияние включена rombodawg/Rombos-Coder-V2.5-Qwen-32b; веса объединены с нормализацией и сохранены в формате bfloat16. Модель предназначена для диалоговой генерации текста, рассуждений и помощи с программированием. Она построена на архитектуре Qwen2, содержит 32 млрд параметров и рассчитана на контекст до 32 768 токенов. Карточка указывает интерфейс чата и вызова инструментов. Модель опубликована в формате safetensors и использует библиотеку Transformers. README не содержит сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя. Поскольку это слияние QwQ- и Qwen2.5-Coder-производных моделей, качество ответов и кода может зависеть от задачи; отдельные результаты оценки в карточке не приведены.

Stable Code Instruct 3B — авторегрессионная языковая модель на основе декодерной архитектуры Transformer, разработанная Stability AI и дообученная на базе stable-code-3b. Модель содержит около 2,7 млрд параметров и оптимизирована для работы с английским языком, программным кодом и инструкциями. Модель предназначена для диалоговых задач в software engineering, генерации и объяснения кода, решения задач программирования, а также генерации SQL и общения по вопросам, связанным с базами данных. Она поддерживает сценарии текстового ввода и вывода, включая работу с несколькими языками программирования, среди которых Python, C++, Java, JavaScript, PHP и Rust. Дообучение выполнялось на общедоступных и синтетических наборах данных с применением Direct Preference Optimization (DPO), что ориентировано на более эффективное следование инструкциям. К сильным сторонам относятся компактный размер для локального развертывания и заявленная высокая производительность среди моделей сопоставимого размера на тестах MultiPL-E и кодовой части MT-Bench. В README приведены результаты pass@1 для разных языков, однако они не были независимо подтверждены. Модель ограничена английским языком и текстовой модальностью; качество сгенерированного кода требует проверки и тестирования, а сравнительные результаты зависят от методики оценки. Модель распространяется по StabilityAI Community License; для коммерческого использования необходимо обратиться к условиям коммерческой лицензии Stability AI.

Tri-70B-preview-SFT — исследовательская предварительная версия крупной языковой модели компании Trillion Labs. Это плотная авторегрессионная модель на архитектуре Transformer Decoder с 69,5 млрд параметров, обученная с нуля на 1,5 трлн токенов и затем прошедшая supervised fine-tuning. В архитектуре используются iRoPE, скользящее внимание с окном 4096 токенов, SwiGLU, RMSNorm и GQA; размер контекста — 32 768 токенов. Модель предназначена для генерации текста в диалогах, рассуждений по шагам, ответов на вопросы, решения математических задач и программирования. Она специально оптимизирована для английского, корейского и японского языков. Выпуск прошёл только supervised fine-tuning без обширного RLHF, поэтому модель может быть полезна для исследований и экспериментов с методами выравнивания, но ответы могут быть менее отполированными и безопасно настроенными, чем у моделей с более полной постобработкой. Модель выпущена под лицензией Apache-2.0. Заявленная дата отсечения знаний — февраль 2025 года; качество на языках, отличных от английского, корейского и японского, может быть ниже.

Code Llama 13B Instruct — авторегрессионная плотная Transformer-модель Meta для генерации и понимания кода. Репозиторий содержит версию с настройкой на выполнение инструкций в формате Transformers; модель насчитывает 12,9 млрд параметров и поддерживает контекст до 16 384 токенов. Модель предназначена для дополнения и заполнения кода, ответов на инструкции и диалогового взаимодействия при разработке кодовых помощников. Она принимает текст и генерирует текст, работает с английским языком и языками программирования. Это instruct-вариант семейства Code Llama, основанный на CodeLlama-13b-hf. Модель может выдавать неточные или нежелательные ответы; перед внедрением следует проверить её поведение для конкретного применения. Использование регулируется лицензией Meta Llama 2.

Dolphin3.0-R1-Mistral-24B-GGUF — это квантизированная версия языковой модели Dolphin3.0-R1-Mistral-24B, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста на английском языке и запуска локально через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на архитектуре Mistral и содержит 24 миллиарда параметров. Она обучалась на смесях данных для инструкционного следования, рассуждений, математики, программирования, function calling и агентных сценариев, включая наборы Dolphin, OpenCoder, Orca, Hermes, NuminaMath, Tulu и CodeFeedback. Доступны варианты квантизации от Q4 до Q8 и полноточный вариант f32; размер файлов варьируется примерно от 13,5 до 94,3 ГБ. Квантизация уменьшает требования к памяти, сохраняя приемлемое качество, однако более компактные варианты могут уступать исходной модели по точности. Сильными сторонами являются поддержка локального запуска, широкий выбор уровней квантизации и ориентация на рассуждения, математические задачи, код и выполнение инструкций. README не содержит данных о длине контекста, мультимодальности, подробных результатах оценки, системных требованиях или лицензии, поэтому эти характеристики нельзя достоверно определить.

PiehSoft подготовил квантованную версию DeepSeek-R1-Distill-Llama-70B в формате GGUF для запуска на видеокартах NVIDIA Blackwell. Это текстовая диалоговая модель на основе дистиллированной модели DeepSeek с архитектурой Llama; веса квантованы в NVFP4, что снижает требования к памяти и рассчитано на ускорение генерации на совместимом оборудовании. В README указана длина контекста 131072 токена. Модель подходит для диалогов, математических рассуждений, программирования и ответов на сложные вопросы. Она принимает текст и генерирует текст. По данным карточки, квантование выполнено с использованием 128 калибровочных примеров, после чего веса преобразованы в GGUF; лицензия — MIT. Это неофициальная конверсия сообщества. В README отмечены незрелость поддержки NVFP4 в экосистеме GGUF и возможные изменения производительности по мере развития реализации; результаты также зависят от совместимого оборудования и программного обеспечения.

DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit — это 4-битная динамически квантизированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе модели DeepSeek-R1 от DeepSeek AI. Модель относится к семейству больших языковых моделей на архитектуре Llama и предназначена для работы через библиотеку Transformers. Модель ориентирована на задачи рассуждения, включая решение математических задач, генерацию и анализ кода, а также другие сценарии, требующие пошагового вывода. Указан английский язык. Размер базовой модели составляет 8B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. Ключевое преимущество версии — динамическое 4-битное квантование Unsloth, при котором отдельные параметры выборочно не квантуются для сохранения более высокой точности по сравнению со стандартным 4-битным квантованием. Это снижает требования к памяти и упрощает локальный запуск, однако квантизация может влиять на качество по сравнению с полноразмерной версией. Сведения о точных ограничениях, показателях производительности и рекомендуемых аппаратных требованиях не приведены. Модель распространяется по лицензии Llama 3.1.

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

Dolphin 2.5 Mixtral 8x7b — дообученная модель разработчика Eric Hartford на базе Mixtral-8x7b, обучение которой спонсировала Convai. Это разговорная языковая модель для генерации ответов и кода; автор отмечает её хорошее качество в задачах программирования и высокую готовность следовать инструкциям. Модель использует архитектуру Mixtral MoE и формат диалогов ChatML. В README указано дообучение с контекстом 16 000 токенов; базовая модель поддерживает 32 000 токенов. Метаданные указывают 7,1 млрд параметров, форматы PyTorch и Safetensors и поддержку английского языка. Модель обучалась методом qLoRA на смесях разговорных и кодовых датасетов, включая Dolphin, OpenHermes, Synthia, PureDove и MagiCoder. По заявлению автора, она не проходила DPO-настройку и намеренно не ограничивает ответы по соображениям безопасности. Для публичного сервиса автор рекомендует отдельно реализовать слой согласования и безопасности. Лицензия — Apache-2.0.