I.11Классификация, ранжирование и сопоставление

Apertus-8B-2509 — открытая языковая модель семейства Apertus, разработанная Swiss AI. Это плотный авторегрессионный трансформер-декодер с 10,3 млрд параметров, обученный с нуля на 15 трлн токенов и дообученный с учителем с последующим выравниванием. Модель предназначена для генерации текста, многоязычного общения и работы с длинным контекстом; поддерживает вызов инструментов. Контекстное окно — до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков. Модель ориентирована на открытое и прозрачное применение: разработчики публикуют веса, данные и сведения о процессе обучения. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Модель может генерировать фактически неточный или непоследовательный текст и отражать предвзятость обучающих данных. Фильтр для персональных данных в комплект не входит, поэтому важные ответы следует проверять, а выводы с персональными данными — обрабатывать с осторожностью.

Aya 23 35B — мультиязычная instruction-tuned языковая модель, разработанная Cohere For AI. Представлена в формате GGUF для локального запуска, а квантование выполнено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, рассуждений и решения широкого спектра общих задач, особенно в мультиязычных сценариях. Модель имеет размер 35B параметров и поддерживает арабский, китайский, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский языки. Указанные данные не содержат информации о размере контекстного окна, конкретной архитектуре базовой модели или доступных модальностях, поэтому модель следует рассматривать как текстовую. Сильная сторона Aya 23 35B — качество работы с большим числом языков, включая языки, для которых у моделей сопоставимого размера часто меньше обучающих данных. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей, а также требования к вычислительным ресурсам, обусловленные размером 35B параметров; фактические требования зависят от выбранного варианта квантования и среды запуска. Модель распространяется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование при соблюдении условий лицензии.

Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ — квантованная версия модели DeepSeek-R1-Distill-Llama-70B, основанной на DeepSeek-R1 и разработанной командой DeepSeek AI. Модель относится к большим языковым моделям для задач рассуждения и создана посредством дистилляции: в меньшую плотную модель перенесены образцы и паттерны рассуждений, полученные от DeepSeek-R1. В README также указано, что семейство DeepSeek-R1 ориентировано на задачи математики, программирования и общего логического рассуждения, а исходная модель демонстрировала результаты, сопоставимые с OpenAI o1 в этих направлениях. Представленная сборка использует 4-битное AWQ-квантование, выполненное с помощью AutoAWQ 0.2.8, с group size 128, zero point и режимом GEMM. Это снижает требования к памяти и делает запуск крупной 70B-модели более доступным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией; конкретные результаты для этой сборки в README не приведены. Архитектура, размер контекста, поддерживаемые языки и модальности отдельно не указаны, поэтому подтверждённо описать можно только текстовый LLM-сценарий. Модель распространяется по лицензии llama3.3; README также ссылается на Model Agreement для лицензии модели. Условия лицензии следует проверить перед коммерческим или иным ответственным использованием.

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

FastwebMIIA — языковая модель Fastweb с 7 млрд параметров на авторегрессионной архитектуре Transformer с декодером и RoPE. Она рассчитана прежде всего на итальянский язык и культурный контекст, также обучена на английском. Собственный токенизатор Fastweb оптимизирован для итальянского, английского и основных языков программирования; словарь содержит 50 000 токенов, контекстное окно — 16 тыс. токенов. Модель принимает текст и предназначена для диалоговой помощи, генерации контента, суммаризации и извлечения информации, в том числе из длинных документов и многоходовых бесед. По карточке, веса на Hugging Face доступны для некоммерческих исследований, образования и внутреннего применения; коммерческое использование требует отдельной коммерческой лицензии Fastweb. Ответы могут быть фактически неверными, неполными или предвзятыми, поэтому модель не следует считать авторитетным источником или заменой профессионального суждения. Для важных решений и применений с существенными рисками необходима проверка человеком.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Hermes 2 Pro — диалоговая языковая модель Nous Research, созданная совместно с Interstellarninja и Fireworks.AI на основе дообучения Meta Llama 3 70B. Модель с плотной архитектурой Llama содержит 69,5 млрд параметров, принимает текст и генерирует текст; родной размер контекста — 8192 токена. Для диалога используется формат ChatML. Модель предназначена для общения, выполнения инструкций, вызова функций и формирования структурированных ответов в JSON по заданной схеме. По данным разработчиков, обучение включало обновлённый набор OpenHermes 2.5, а также специально подготовленные данные для вызова функций и JSON Mode. Для использования этих возможностей нужны соответствующие системные инструкции и обработка вызовов инструментов в приложении. В метаданных указан английский язык. Модель наследует возможности базовой Llama 3 70B для генерации текста и кода, однако карточка отдельно не описывает языковую поддержку сверх английского. Доступна в формате safetensors; лицензия в предоставленных данных не указана.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная версия языковой модели Hermes 2 Pro, созданной на базе Meta-Llama-3-8B командой NousResearch. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых систем и задач ассистирования, включая function calling и формирование структурированных ответов в JSON. Модель имеет около 8 млрд параметров, работает с текстом и ориентирована на английский язык. Она обучена с применением дообучения, DPO, RLHF, синтетических данных и дистилляции; в качестве набора данных указан OpenHermes-2.5. Для взаимодействия используется шаблон ChatML. Доступны варианты квантизации от Q8_0 до Q2 и IQ-квантов размером примерно от 2,75 до 8,54 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются поддержка диалогового режима, function calling, JSON-ответов и возможность локального запуска через совместимые инструменты, включая llama.cpp. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; точные ограничения контекстного окна и результаты бенчмарков в представленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

LFM2-2.6B-Exp — экспериментальный языковой чекпойнт Liquid AI, построенный на LFM2-2.6B с применением обучения с подкреплением. Модель содержит около 2,4 млрд параметров и предназначена для следования инструкциям, ответов на вопросы, математических задач и диалогов. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки; карточка указывает контекст до 128 000 токенов. Архитектура — гибридная: блоки коротких свёрток сочетаются с блоками группового внимания запросов. Модель поддерживает чатовый шаблон и вызов инструментов. Разработчик отмечает пригодность для агентных сценариев, извлечения данных, RAG, творческого письма и многошаговых диалогов, а также сильный результат на тесте следования инструкциям. Из-за небольшого размера для максимального качества рекомендуется дообучение под узкие задачи; модель не рекомендуется для задач с интенсивным использованием знаний или программирования. Лицензия указана как other, конкретные условия использования следует сверять с карточкой модели.

unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.

Карточка модели florentin-one/Llama-3-8B-Instruct-V41-1048k на Hugging Face совпадает с карточкой WeMake/Llama-3-8B-Instruct-V41-1048k, поэтому описание составлено по ней. WeMake/Llama-3-8B-Instruct-V41-1048k — разговорная языковая модель WeMake на архитектуре Llama 3 с 7,5 млрд параметров. Модель создана на основе gradientai/Llama-3-8B-Instruct-Gradient-1048k и meta-llama/Meta-Llama-3-8B; в карточке указано, что она объединяет их с настройками WeMake V41 и обучалась методом WeMake ICU. Репозиторий содержит веса в формате safetensors, лицензия — llama3. Модель предназначена для диалоговых агентов, создания текстов, анализа данных и извлечения выводов. Заявлены учёт эмоционального контекста, согласование ответов с человеческими ценностями и поддержка нескольких языков. Максимальная длина контекста — 1 048 576 токенов, однако карточка не приводит независимых оценок качества и не перечисляет поддерживаемые языки помимо английского в метаданных. Перед использованием следует проверять точность и уместность ответов; заявления об эмоциональном интеллекте и согласовании приводятся разработчиком.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

Meta-Llama-3-70B-Instruct-GGUF — квантизированная GGUF-версия инструкционной языковой модели Meta-Llama-3-70B-Instruct, разработанной Meta. Квантизацию и публикацию сборок выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона llama-3-chat, включая ответы на пользовательские запросы и работу с системными инструкциями. Модель относится к семейству Llama и имеет размер 70B параметров. В README указана поддержка английского языка, текстовая модальность и контекстное окно до 8192 токенов. Доступны варианты GGUF с точностью от 2 до 8 бит, а также f16; размеры файлов зависят от варианта и составляют примерно от 26,4 до 50 ГБ для основных квантизированных сборок. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу между качеством и размером. Сильной стороной модели является большой размер и возможность локального запуска через совместимые инструменты, включая LlamaEdge. Ограничения связаны с высокими требованиями к дисковому пространству и вычислительным ресурсам, а низкобитные варианты могут заметно терять в качестве; README не рекомендует некоторые из них для большинства задач. Лицензия указана как llama3 с типом other; перед использованием необходимо учитывать условия лицензии Meta Llama 3.

Это копия Mistral-7B-Instruct-v0.1, опубликованная sanchit-gandhi. Модель представляет собой плотный трансформер Mistral с 7,1 млрд параметров, дообученный для следования инструкциям на общедоступных диалоговых наборах данных. Веса разбиты на шарды по 5 ГБ, чтобы облегчить загрузку в средах с ограниченной оперативной памятью; по остальным характеристикам модель идентична оригиналу. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Архитектура использует Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтового отката; контекст составляет до 32 768 токенов. Для формата инструкций применяются маркеры [INST] и [/INST], также доступен шаблон чата Transformers. Лицензия — Apache-2.0. В карточке отмечено отсутствие встроенных механизмов модерации, поэтому сгенерированные ответы могут не соблюдать ограничения безопасности. Уменьшенный размер шардов упрощает загрузку модели, но не уменьшает её объём параметров или вычислительные требования при генерации.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-NVFP4 — это квантизированная версия модели Nex-N2.5-mini от Nex-AGI, подготовленная primitive-ai. Модель предназначена для генерации текста, агентных сценариев и вызова инструментов. Она распространяется в формате NVFP4 и рассчитана на запуск через Transformers и vLLM на одной видеокарте NVIDIA с архитектурой Blackwell. Модель имеет разреженную MoE-архитектуру: маршрутизируемые эксперты во всех 40 слоях квантизированы до 4 бит, тогда как механизмы внимания, linear attention, общие эксперты, эмбеддинги и vision tower сохранены в BF16. Размер весов составляет 23,91 ГБ против 70,24 ГБ у версии BF16. Заявлена поддержка контекста до 32 768 токенов; на видеокарте с 96 ГБ памяти измерен KV-пул объёмом 2,74 млн токенов. Языки и точный перечень поддерживаемых модальностей в README не указаны, хотя наличие vision tower указывает на мультимодальную составляющую исходной модели. Сильными сторонами являются существенное уменьшение размера, высокая пропускная способность при параллельной нагрузке и отсутствие заметного ухудшения результатов на приведённых наборах тестов. На одной RTX PRO 6000 Blackwell модель показала 145 токенов/с при одном потоке и 1019 токенов/с при параллелизме 32, а также результаты 90,5 на наборе знаний и 77,0 на наборе вызова инструментов. Ограничения включают обязательную совместимость с Blackwell, зависимость производительности от уровня параллелизма и особенности шаблона чата: по умолчанию модель формирует пустой блок рассуждений. Доступно управление reasoning_effort со значениями low, medium и xhigh. Лицензия — Apache 2.0.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

attashe/q-2.5-deepseek-r1-veltha-v0.4 — объединённая модель языковой модели, созданная с помощью mergekit методом Linear DELLA. В качестве базовой использована arcee-ai/SuperNova-Medius; в объединение также вошли allura-org/TQ2.5-14B-Aletheia-v1, huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2 и v000000/Qwen2.5-Lumen-14B. Модель построена на архитектуре Qwen2 с плотной 14-миллиардной языковой моделью и предназначена для диалогов и генерации текста. Она загружается через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Qwen2.5-7B-Instruct-fp8-dynamic — динамически квантованная версия инструкционной языковой модели Qwen2.5 от Qwen, размещённая llmcompressor-quants. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; метаданные указывают формат safetensors. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для ответов на вопросы, следования заданным ролям и формирования структурированных ответов, например JSON. Модель поддерживает русский, английский, китайский и другие языки. Заявленный в метаданных контекст составляет 32 768 токенов; в README описана настройка YaRN для обработки более длинных входов, потенциально влияющая на качество на коротких текстах. В README также отмечены сильные стороны семейства в следовании инструкциям, генерации длинных текстов и работе со структурированными данными. Лицензия — Apache-2.0. Квантование FP8 может снизить требования к памяти по сравнению с полной точностью, однако сведения о конкретной скорости и качестве этой сборки не приведены.

bunnycore/Qwen2.5-7B-Instruct-Fusion — языковая модель для генерации текста, созданная автором репозитория с помощью слияния нескольких предварительно обученных моделей методом Model Stock через mergekit. В качестве основы использована Qwen/Qwen2.5-7B; также объединены rombodawg/Rombos-LLM-V2.5-Qwen-7b, fblgit/cybertron-v4-qw7B-MGS и sethuiyer/Qwen2.5-7B-Anvita. Модель имеет плотную архитектуру Qwen2 и 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Подходит для диалогов и широких задач генерации текста; в README приведены результаты оценивания на IFEval и BBH. Веса опубликованы в формате Safetensors и указана библиотека Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Sonorix/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.