I.11Классификация, ранжирование и сопоставление

Карточка модели roskosmos19/Whale-4B-Thinking-2507 на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Thinking, поэтому описание составлено по ней. Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

Карточка модели Bepemin/Babelbit-h1 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Bagel 34B v0.4 — это дообученная jondurbin модель на базе 01-ai/yi-34b-200k, разработанная с использованием вычислительных ресурсов Convai Technologies. Это плотная причинно-авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов. Она предназначена для генерации текста в диалогах и по инструкциям. Модель обучалась на разнообразных наборах данных для диалогов, ответов на вопросы, рассуждений, математики, программирования, суммаризации и ролевого общения. В карточке также перечислены данные для вызова функций и offensive cybersecurity, а README указывает на несколько вариантов формата запросов: Vicuna, Llama 2, Alpaca и ChatML; по умолчанию используется шаблон Llama 2. Метаданные отмечают поддержку чата, но отдельная возможность вызова инструментов не подтверждена. Модель принимает текст и генерирует текст. Данные карточки указывают на многоязычные обучающие материалы, включая набор Belebele, однако конкретный перечень поддерживаемых языков не задан. Лицензия обозначена как other, поэтому условия использования следует уточнить на странице модели. Обучение на разных форматах и источниках может давать неоднородное качество; ответы могут быть ошибочными, а специализированные навыки не гарантированы.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.

DiscoLM 70b — языковая модель команды DiscoResearch, обученная Бьёрном Плюстером на базе LeoLM 70B. Это плотная авторегрессионная модель семейства Llama 2 с 68,7 млрд параметров и контекстом до 8192 токенов. После дополнительного предобучения на 65 млрд токенов немецкого текста модель дообучили на наборах инструкций и диалогов, включая SlimOrca, OpenHermes, MetaMathQA и UltraChat DE. Модель предназначена для генерации текста и ответов на инструкции и подходит для диалогов, письма, рассуждений, решения математических задач и написания кода. Усилена поддержка немецкого языка при сохранении возможностей английского; карточка также приводит результаты тестов по нескольким задачам. Разработчики называют модель ранней альфа-версией и предупреждают о возможном загрязнении тестовых данных. Для использования заявлена лицензия Llama 2 с её ограничениями и ограничениями обучающих наборов; авторы указывают исследовательское назначение.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash, разработанная BatiAI на основе официальных весов Z.ai. Это текстовая генеративная модель для локального запуска и сценариев on-device AI, включая диалоги, генерацию текста на английском, корейском и китайском языках, а также вызов инструментов. Модель использует архитектуру glm5next и разреженную MoE-конфигурацию: около 320 млрд параметров всего, из которых примерно 18 млрд активируются для каждого токена. В составе указаны 288 экспертов с выбором 8 экспертов на токен. Доступны варианты квантизации Q4_K_M, Q3_K_M, Q2_K, IQ3_XXS и IQ2_XXS; размер файлов составляет примерно от 76,6 до 175,7 GiB. Размер контекста в README не указан. Сильными сторонами являются возможность локального запуска, поддержка нескольких языков и проверенная генерация корейского текста и вызовов инструментов на всех заявленных уровнях квантизации. Ограничения связаны с тем, что архитектура пока требует специальной сборки llama.cpp с PR #27752 и не поддерживается стандартными сборками, Ollama и LM Studio. Вызовы инструментов выдаются в собственном XML-подобном формате, поэтому OpenAI-совместимый endpoint llama.cpp может возвращать пустое поле tool_calls; требуется самостоятельный разбор содержимого и запуск с параметром --jinja. Модель распространяется по лицензии MIT.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

GRaPE 2.5 Helios — мультимодальная инструктивная модель компании SL-AI, дообученная на базе Qwen/Qwen3.5-9B. Она принимает текст и изображения, а также, согласно карточке, видео, и генерирует текст. Модель предназначена для диалога, анализа изображений, рассуждений, творческих задач, программирования с использованием инструментов и задач STEAM. В модели предусмотрены настраиваемые режимы глубины рассуждений и усилий при работе с инструментами; заявлена поддержка нескольких языков. Архитектура — плотная Qwen3.5 для генерации текста с визуальным входом; в метаданных указано 9 млрд параметров, а в README размер округлён до 10 млрд. Модель распространяется по лицензии Apache 2.0. Карточка заявляет, что обучение ориентировано на качество данных, более естественный стиль ответов и улучшение обобщения и агентного программирования. Эти заявления не сопровождаются результатами независимых сравнительных тестов. Для видеовхода и работы с инструментами требуется совместимая обвязка; конкретный формат входного видео README не описывает.

IceSakeV82RP-7b — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из IceSakeV8RP-7b и WestKunai-Hermes-7b. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов; в метаданных также указана возможность диалогового общения. Модель предназначена для генерации текста и диалоговых сценариев. Веса опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

Llama-3-Groq-70B-Tool-Use-GGUF — набор GGUF-квантизаций модели Llama-3-Groq-70B-Tool-Use, опубликованный bartowski на основе исходной модели Groq. Модель предназначена для генерации текста, использования инструментов и function calling, включая сценарии, где языковая модель взаимодействует с внешними функциями или сервисами. Указан английский язык. Модель относится к семейству Llama 3 и имеет размер 70B параметров. README не содержит сведений о точной архитектуре, длине контекста или поддержке мультимодальности; по указанным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Доступны варианты квантизации от F32 до Q2_K и IQ2_M с размерами файлов примерно от 24 до 282 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio; предусмотрен специальный prompt format на основе шаблона Llama 3. Сильными сторонами являются специализация на tool use и function calling, а также широкий выбор уровней квантизации, включая варианты Q4–Q6, ориентированные на высокое качество при меньшем размере. Ограничениями выступают большие требования к оперативной или видеопамяти даже у квантизированных вариантов и возможное снижение качества при низких уровнях квантизации. Модель распространяется по лицензии llama3; README не уточняет дополнительные условия лицензии.

Poro 2 Long Instruct — чат-модель с инструкционной настройкой, разработанная LumiOpen на основе семейства Poro 2 и архитектуры Llama. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров, полученная объединением базовой модели Poro 2 Long и её версии после supervised fine-tuning. README заявляет контекст до 128 тыс. токенов; метаданные указывают native context 8192 токена. Модель предназначена для диалогов и выполнения инструкций на финском и английском языках. Она подходит для суммаризации и анализа длинных документов, вопросов по нескольким документам, генерации текстов, обучения, поддержки клиентов и перевода между финским и английским. В README приведены результаты тестирования следования инструкциям на обоих языках и длинноконтекстных задачах. Качество на английском в приведённых короткоконтекстных тестах уступает Llama 3.1 8B Instruct, тогда как на финском модель показывает более высокие результаты. Возможны фактические ошибки и смещения; навыки на других языках и в узкоспециализированных областях ограничены, а работа с длинным контекстом требует больше памяти и может быть медленнее. Лицензия в метаданных указана как llama3.3.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Это консолидированный чекпойнт Meta-Llama-3.1-8B-Instruct, опубликованный camenduru и преобразованный в формат Hugging Face с помощью слегка изменённого скрипта convert_llama_weights_to_hf.py из репозитория Transformers. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для диалоговой генерации текста и работы в сценариях, где нужно получать ответы на запросы пользователя. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и возможность чата. Карточка не описывает отдельные дообучения или специализированные области применения этой копии. Условия лицензии в доступных данных не приведены.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

MiniCPM5-2B-RotSVDMix — это сжатая и квантизованная версия языковой модели openbmb/MiniCPM5-2B, опубликованная ewin-reg. Модель предназначена для генерации текста, диалоговых сценариев, написания и анализа кода, суммаризации и запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные устройства. Поддерживаются английский и китайский языки; модель относится к текстовым causal language models и поставляется в формате SafeTensors. Модель содержит около 2 миллиардов параметров и основана на 42 слоях трансформера. Благодаря сочетанию ортогонального вращения, низкорангового SVD и квантизации ExTernD она занимает 1 985 213 632 байта, то есть менее 2 ГБ. Заявлена совместимость с PyTorch, Hugging Face Transformers, vLLM и TGI без необходимости компиляции специализированного C++-рантайма. Длина контекста в README не указана. На тестовой выборке WikiText-2 модель показала perplexity 20,92 против 20,46 у базовой FP16-версии, что соответствует ухудшению примерно на 2,25%. Косинусное сходство логитов с базовой моделью составило 98,70%, совпадение наиболее вероятного токена — 96%, а пересечение пяти наиболее вероятных токенов — 100% на ограниченном наборе из 25 промптов. Эти результаты указывают на хорошее сохранение поведения исходной модели при существенном уменьшении размера, однако качество может зависеть от задачи, языка и входных данных; заявленные измерения не заменяют полноценную оценку прикладных сценариев. Модель распространяется по лицензии Apache 2.0.

Mistral-7B-v0.3 — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой Mistral AI. Это версия Mistral-7B-v0.2 с расширенным словарём; в метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста и может служить базой для адаптации под конкретные задачи. Модель принимает текст и генерирует текст. Для запуска рекомендована библиотека mistral-inference; также приведены инструкции по использованию с Transformers. В карточке указано, что модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации. Лицензия — Apache 2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая локальные сценарии использования через совместимые приложения и библиотеки. В репозитории представлены варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Формат GGUF разработан командой llama.cpp и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими инструментами. Ключевое преимущество — возможность запуска квантизированных версий локально с использованием CPU и GPU, однако конкретные требования к ресурсам и производительность зависят от выбранного варианта квантизации и программного окружения. README не содержит сведений об архитектуре, размере, поддерживаемых языках, длине контекста, модальностях, сильных сторонах базовой модели или лицензии. Поэтому эти характеристики нельзя надежно определить по представленным данным.

Mixtral-8x22B-v0.1 — предварительно обученная генеративная языковая модель семейства Mixtral, разработанная командой Mistral AI. Это разреженная архитектура Mixture of Experts; модель предназначена для генерации текста и может служить базой для адаптации под конкретные задачи. Репозиторий содержит веса в формате safetensors, совместимые с vLLM и библиотекой Transformers. В карточке указано 22B параметров и контекст до 65 536 токенов. Модель поддерживает английский, французский, итальянский, немецкий и испанский языки. Она не содержит механизмов модерации, поэтому выдачу следует проверять при пользовательском применении. Лицензия — Apache 2.0.

Nemotron-Research-Reasoning-Qwen-1.5B — языковая модель NVIDIA с открытыми весами, дообученная методом ProRL на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Это плотная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста и решения задач, требующих многошаговых рассуждений: математических задач, программирования, научных вопросов, логических головоломок и следования инструкциям. По данным карточки, она улучшила результаты базовой модели на ряде математических, кодовых и логических тестов. Модель работает с текстом; в метаданных указана поддержка английского языка. Карточка описывает её как модель для исследований и разработок. Распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.

NeuralContext-7b-v2 — объединённая диалоговая модель на архитектуре Mistral, созданная Kukedlc с помощью LazyMergekit. Веса в формате safetensors; размер модели — 7,1 млрд параметров, нативная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов. В объединении использованы Mistral-7B-Instruct-v0.2, NousResearch/Yarn-Mistral-7b-128k и Kukedlc/MyModelsMerge-7b. Лицензия в предоставленных данных не указана.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

Q3.5-9B-DS-v4-Flash-v2.0 — экспериментальная плотная мультимодальная модель на 9 млрд параметров, разработанная prithivMLmods на основе Qwen/Qwen3.5-9B. Её дообучили в несколько этапов на трассах рассуждений DeepSeek V4 Flash и других примерах для улучшения многошаговых рассуждений и следования инструкциям. Модель предназначена для математического и научного анализа, задач с длинным контекстом, помощи в программировании и оценки следования инструкциям. В метаданных заявлена поддержка обработки изображений и диалога; README описывает её как модель для локального запуска и исследований. Карточка указывает английский язык. Длина контекста не приведена. Это экспериментальный выпуск: модель может ошибаться в промежуточных рассуждениях и выводах, а результаты зависят от охвата обучающих данных. Распространяется по лицензии Apache-2.0.