I.3Извлечение и структурирование данных

Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere For AI и Cohere. Это версия на 8 млрд параметров семейства Aya 23, дообученная следовать инструкциям на основе предварительно обученной модели семейства Command и коллекции Aya. Модель предназначена для диалогов, ответов на вопросы, написания и преобразования текстов на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Поддерживает текстовый ввод и генерацию текста, а также интерфейс вызова инструментов. Контекстное окно составляет 8192 токена. Веса доступны по лицензии CC-BY-NC-4.0; применение также регулируется политикой допустимого использования Cohere For AI. Для работы с моделью требуется версия Transformers с необходимыми изменениями. Модель ориентирована на мультиязычное следование инструкциям, но карточка не приводит подробностей об ограничениях качества по отдельным языкам.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

RedHatAI/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic — квантизированная версия модели DeepSeek-R1-Distill-Llama-70B, разработанная Neural Magic на базе модели DeepSeek. Это текстовая авторегрессионная модель с архитектурой LlamaForCausalLM: принимает текст и генерирует текст. Модель предназначена для задач рассуждения, ответов на вопросы, математических и общих языковых задач, а также для развертывания через vLLM и OpenAI-совместимый сервер. Модель содержит около 70 миллиардов параметров и использует FP8-квантизацию весов и активаций. Квантизации подвергаются линейные операции внутри трансформерных блоков; веса квантизируются по симметричной поканальной схеме, а активации — по симметричной потокенной схеме. Переход с 16-битного представления на 8-битное примерно вдвое сокращает размер модели на диске и требования к памяти GPU. Для квантизации использован LLM Compressor. В README не указаны поддерживаемые языки и максимальная длина контекста. По приведенным оценкам, FP8-версия сохраняет близкую к исходной точность на тестах рассуждения и OpenLLM Leaderboard, включая AIME 2024, MATH-500, GPQA Diamond, GSM8K и MMLU. Основное преимущество модели — снижение требований к памяти и возможность эффективного инференса на GPU, однако фактическая производительность зависит от оборудования и конфигурации vLLM. Модель распространяется по лицензии MIT.

puwaer/DeepSeek-V4-Flash-0731-reap-150b-gguf — GGUF-сборка модели puwaer/DeepSeek-V4-Flash-0731-reap-150b, подготовленная для llama.cpp с использованием moe-compress и llama.cpp. Это текстовая генеративная модель класса Mixture-of-Experts (MoE), созданная на основе DeepSeek-V4-Flash-0731 и сжатая методом REAP: в каждом слое используется 132 маршрутизируемых эксперта вместо 256 в базовой модели. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. В GGUF встроен шаблон чата с включённым по умолчанию режимом reasoning; поддерживаются вызовы инструментов через OpenAI-совместимый интерфейс. Доступны варианты MXFP4_MOE размером 79,21 GiB, а также Q3_K_M, IQ3_XXS и Q2_K размером от 66,07 до 58,11 GiB. Вариант MXFP4_MOE битово идентичен исходному checkpoint, тогда как остальные являются повторной квантизацией уже 4-битных данных и могут сильнее снижать качество. Рекомендуется полный GPU offload; проверенный размер контекста — 4096 токенов. Базовый вариант помещается в одну видеокарту с 96 GB памяти. Сильные стороны модели — существенно меньший размер по сравнению с базовой моделью, сохранение высокой производительности после экспертного pruning и поддержка llama.cpp. Для REAP 150b приведены результаты исходного checkpoint: GSM8K — 0,9295, MATH-500 — 0,7140, HumanEval+ — 0,8963 и MBPP+ — 0,7593; отдельные варианты квантизации не тестировались, поэтому их влияние на точность не измерено. Языки и максимальный контекст модели в README не указаны. Распространение заявлено по лицензии MIT.

DeepSeek-V4-Flash-Vision-Exp-GGUF — текстовая GGUF-квантизация базовой модели DeepSeek-V4-Flash-Vision-Exp, разработанная qtum на основе модели DeepSeek AI. Она предназначена для генерации и обработки текста, рассуждений, программирования, ответов на вопросы и развертывания через llama.cpp или совместимые инструменты. Входные изображения не поддерживаются, поскольку vision encoder в этот выпуск не включен. Модель использует MoE-архитектуру DeepSeek-V4 с 256 экспертами и маршрутизацией top-6; заявленный общий размер составляет около 2,1 трлн параметров, из которых 50,4 млрд активны при одном проходе. Контекст — до 128K токенов, языки — английский и китайский. Доступны семь уровней квантизации от Q3_K_M до IQ1_S: варианты Q3_K_M–Q2_K ориентированы на использование с минимальной потерей качества, а IQ1_M и IQ1_S обеспечивают максимальное сжатие, но заметно снижают качество. Размер файлов составляет примерно 59–130 ГБ, а требования к видеопамяти — около 61–135 ГБ, поэтому для запуска требуется мощное GPU-оборудование и загрузка всех частей многотомной модели. Модель распространяется по лицензии MIT.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Dolphin 2.9 Llama 3 8B GGUF — квантизированная версия модели cognitivecomputations/dolphin-2.9-llama3-8b, разработанная и обученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Модель создана на базе Meta Llama 3 8B с использованием llama.cpp и полным дообучением всех параметров в формате ChatML. Указано, что обучение проводилось на последовательностях длиной 4 096 токенов, а базовая модель поддерживает контекст до 8 000 токенов. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, решения математических задач, начальных агентских сценариев и function calling. В обучении использовались наборы данных для диалогов, кода, инструкций, tool use и математических задач, включая Dolphin 2.9, OpenHermes 2.5, CodeFeedback, Dolphin Coder, UltraChat и Orca Math. Модель рассчитана на работу с текстом; поддерживаемые языки явно не указаны. К сильным сторонам относятся сочетание разговорных, инструкционных и кодовых навыков, а также начальная поддержка инструментов и вызова функций. Модель описана как uncensored и высоко послушная, поэтому перед предоставлением доступа через сервис рекомендуется самостоятельно добавить слой фильтрации и выравнивания; безопасность и корректность результатов не гарантируются. Лицензия указана как Meta Llama 3 Community License Agreement; коммерческое использование допускается только в пределах условий этой лицензии.

Карточка модели belltechsoft/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

mlx-community/GLM-5 — версия GLM-5, преобразованная сообществом mlx-community для запуска с MLX на устройствах Apple. Это диалоговая языковая модель семейства GLM с архитектурой GlmMoeDsaForCausalLM и 30,4 млрд параметров; она предназначена для генерации текста и общения. В карточке базовая GLM-5 описана как модель для рассуждений, программирования и длительных агентных задач. Модель поддерживает английский и китайский языки и имеет контекстное окно 202 752 токена. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с библиотекой MLX; README указывает преобразование из zai-org/GLM-5 с помощью mlx-lm версии 0.30.7. Лицензия — MIT. Метаданные указывают связь с базовой моделью как finetune, хотя README описывает именно преобразование в формат MLX; поэтому происхождение классифицировано как конверсия формата.

GLM-5.2-NVFP4 — это квантизированная версия языковой модели GLM-5.2, разработанной zai-org и подготовленной сообществом local-inference-lab. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошаговой агентной работы, tool calling и function calling. Заявлена поддержка английского и китайского языков; модель опубликована для использования с Transformers и относится к классу text-generation. В основе лежит Mixture-of-Experts-модель на 744 млрд параметров, из которых около 40 млрд активируются для каждого токена. В каждом MoE-слое предусмотрено 256 экспертов, восемь из которых выбираются на токен; также используется архитектура DeepSeek Sparse Attention (DSA). Квантизация NVFP4 выполнена напрямую из полноразмерного BF16-чекпойнта GLM-5.2, а не из FP8-версии. В NVFP4 переведены только MLP-проекции неразделяемых MoE-экспертов, тогда как веса attention, плотных MLP-слоёв и общих экспертов сохранены в BF16, что снижает требования к памяти при сохранении значительной части исходной точности. Калибровка охватывала кодирование, разнообразные пользовательские диалоги и длинные последовательности свыше 8K токенов, включая английские и китайские системные промпты. Сильными сторонами модели являются крупный объём параметров, разреженная активация экспертов, оптимизация под задачи программирования и агентного взаимодействия, а также существенная экономия памяти благодаря NVFP4. Ограничения включают высокие требования к оборудованию: рекомендована конфигурация из восьми GPU RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Максимальная длина контекста, точные показатели качества и полный перечень поддерживаемых языков в README не указаны. Модель распространяется по лицензии MIT.

GLM-5.3-Flash — разработанная Z.ai модель семейства GLM-5, опубликованная RedHatAI в формате BF16. Это плотная мультимодальная модель с архитектурой GLM5 Next: всего 320 млрд параметров, из которых активно используются 18 млрд. Она сочетает разреженное и линейное внимание для более экономичной обработки длинных контекстов и предназначена для диалогов, программирования и агентных сценариев. Модель обучена с нуля на мультимодальном корпусе из 30 трлн токенов. В README заявлена поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers; метаданные Hugging Face указывают библиотеку Transformers и возможность чата. Метки карточки указывают английский и китайский языки. Лицензия — MIT. В предоставленных данных не приведены численные результаты независимой оценки качества или ограничения по аппаратным требованиям.

JiRack Ultra 1B — компактная языковая модель от CMSManhattan для генерации текста и диалогов. Она построена на архитектуре Qwen2, содержит около 1,5 млрд параметров и оптимизирована для инференса на CPU. В карточке заявлены переработанная архитектура с поддержкой тернарных BitNet-признаков, обновлённый токенизатор с тегами маршрутизации, вызова инструментов и робототехники, а также контекст до 131 072 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для локального запуска на малоресурсном оборудовании, диалоговых сценариев, использования как экспертной модели в RAG-системах и интеграции с агентами и инструментами. Карточка также описывает применение в задачах программирования и робототехники, однако метаданные подтверждают только задачу генерации текста, а заявленные возможности токенизатора не доказывают качество этих специализированных сценариев. В метаданных перечислены 14 языков: английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Веса опубликованы по лицензии MIT, разрешающей коммерческое использование и распространение. При этом Docker-образ, готовые Ollama-сборки и клиенты интерфейса, согласно карточке, распространяются на отдельных коммерческих условиях.

Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V6-70B — языковая модель Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе V5. Модель семейства Llama с плотной архитектурой содержит 69,5 млрд параметров и принимает контекст длиной до 131 072 токенов. Веса доступны в формате Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста и диалогов, а также для многоязычных задач на японском, корейском, китайском и английском языках. В карточке заявлены усиленная работа с отзывами и публикациями в социальных сетях, программированием, письмом, математикой и логическими задачами, а также интерфейс вызова функций и инструментов. Обучение включало японский SFT и DPO, многоязычные данные и корпус японских новостей и Википедии.

Llama-3.1-Nemotron-70B-Instruct-HF — текстовая модель NVIDIA на архитектуре Llama 3.1 с 69,5 млрд параметров. Это версия в формате Hugging Face Transformers, преобразованная из Llama-3.1-Nemotron-70B-Instruct; исходная модель Meta Llama-3.1-70B-Instruct была дообучена NVIDIA методом RLHF, включая REINFORCE, на предпочтениях из HelpSteer2 и данных модели Nemotron-70B-Reward. Модель предназначена для диалогов и выполнения общих инструкций: она генерирует ответы на пользовательские запросы и ориентирована на их полезность, связность и соответствие предпочтениям. Принимает текст, выдаёт текст, поддерживает контекст до 128 тысяч токенов и интерфейс вызова инструментов. В карточке приведены высокие результаты на Arena Hard, AlpacaEval 2 LC и MT-Bench; показатели могут отличаться от оценки исходной версии в NeMo-Aligner. Модель общего назначения, не настроенная специально для математики или узкопрофильных областей. Для запуска через Transformers в README указаны две или более видеокарты с 80 ГБ памяти каждая и не менее 150 ГБ свободного места на диске. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

Карточка модели Undi95/Meta-Llama-3-8B-Instruct-hf на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Карточка модели context-labs/meta-llama-Llama-3.2-3B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

MiniMax-M3 — мультимодальная модель семейства MiniMax, представленная в репозитории dshive/MiniMax-M3. Она принимает текст и изображения и предназначена для диалогов, анализа визуального содержимого, работы с видео, программирования и длительных агентных сценариев. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA); в карточке указана архитектура MiniMax-M3-VL и формат весов safetensors. Разработчик заявляет ускорение обработки длинного контекста и сильные результаты в задачах программирования и совместной работы с агентом. Для использования описаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers. Репозиторий опубликован под лицензией other; конкретные условия лицензии следует проверять в карточке модели.

JANGQ-AI выпускает JANG_6M — квантованный вариант Mistral Small 4 от Mistral AI, подготовленный Jinho Jang для запуска через MLX на компьютерах Apple с большим объёмом памяти. Это модель семейства Mistral3 с архитектурой MoE: 119 млрд параметров всего и около 6 млрд активных на токен; в README указаны 36 слоёв, 128 экспертов с выбором четырёх, MLA-внимание и квантование JANG с точностью 6,04 бита. Для вычислений используется bfloat16. Модель предназначена для диалогов, рассуждений, генерации кода и математических решений, а также анализа изображений через визуальный энкодер Pixtral с заявленным пределом 1540 пикселей. В README заявлены режим рассуждений с маркерами [THINK] и управление reasoning_effort. Указаны размер файлов 84 ГБ, пиковое потребление памяти 95 ГБ и скорость генерации 74 токена в секунду на M3 Ultra; эти показатели относятся к описанной конфигурации тестирования. Карточка называет MLX Studio приложением с полной поддержкой, а также упоминает поддержку oMLX. Лицензия — Apache-2.0. Метаданные связывают модель с базовой Mistral-Small-4-119B-2603 как дообучение, хотя README описывает прежде всего квантование; поэтому происхождение отражено по метаданным, а детали обучения в карточке не раскрыты.

Карточка модели luckyChenY/nothink_284 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Olmo-3.1-32B-Instruct-DPO — авторегрессионная трансформерная языковая модель Allen Institute for AI (Ai2), дообученная методом DPO на основе allenai/Olmo-3.1-32B-Instruct-SFT. Модель содержит 31,7 млрд параметров, работает с текстом и предназначена для диалогов и выполнения инструкций. Разработчики отмечают задачи математики, программирования, общих знаний и чата; контекстная длина составляет 65 536 токенов. Модель обучалась на английском языке и распространяется в формате Safetensors для использования с Transformers. Ai2 публикует семейство Olmo для исследований языковых моделей; лицензия Apache 2.0. В README приведены результаты оценивания, но они не гарантируют точность ответов в конкретных сценариях.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

mlx-community/Qwen3-1.7B-bf16 — конверсия модели Qwen/Qwen3-1.7B в формат MLX, подготовленная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров; она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений и работы с кодом. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Нативная длина контекста — 40 960 токенов. Репозиторий использует safetensors, а вариант bf16 рассчитан на запуск в экосистеме MLX. Лицензия — Apache-2.0.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

Это GGUF-представление модели Qwen3.6-35B-A3B от команды Qwen компании Alibaba, подготовленное FreedomAISVR и основанное на NVFP4 Fast-квантизации Unsloth. Модель мультимодальная, с архитектурой MoE: 35 млрд параметров всего и около 3 млрд активных на токен; текстовая часть использует 40 слоёв с гибридом Gated DeltaNet и полнослойного внимания, а для изображений и видео предусмотрен визуальный энкодер на базе SigLIP. В репозитории есть файл модели NVFP4 и отдельный vision-проектор F16. Модель предназначена для диалогов, анализа изображений и видео, работы с инструментами и агентных задач, включая программирование. Заявлены контекст 262 тыс. токенов с возможностью расширения через YaRN и поддержка Multi-Token Prediction для ускорения декодирования. README сообщает о более высокой пропускной способности Fast-варианта по сравнению с другими NVFP4-квантованиями при конкурентных результатах бенчмарков; фактическая скорость зависит от оборудования и среды запуска. Для полной выгрузки на GPU рекомендуется не менее 32 ГБ видеопамяти; оптимальная производительность заявлена на NVIDIA Blackwell B200. Модель распространяется по лицензии Apache-2.0. Это производная модель в формате GGUF с NVFP4-квантизацией; для обработки изображений нужен отдельный файл vision-проектора. Указаны английский и китайский языки, поэтому качество на других языках не следует считать подтверждённым.

Qwen3.8-27B-Omnimerge-v6 — плотная мультимодальная модель семейства Qwen, созданная ManniX-ITA слиянием опубликованных чекпойнтов на базе Qwen/Qwen3.8-27B. Веса получены арифметическим слиянием трёх дообученных моделей Qwen3.6 с переносом их изменений на новую базу; модель сама не дообучалась и не дистиллировалась. Архитектура поддерживает обработку текста и изображений, диалог, программирование, рассуждения и интерфейс вызова инструментов. Модель предназначена для диалоговых сценариев, анализа изображений, задач программирования и многошаговых рассуждений. В единственном сравнительном тестировании на выборке из пяти бенчмарков заметное улучшение относительно v4 показано на LiveCodeBench; остальные результаты в основном находятся в пределах погрешности, а GPQA ниже на 2 процентных пункта. Модель склонна к длинным рассуждениям и может исчерпать лимит бюджета ответа. Оценки проводились на Q6_K; другие уровни квантования отдельно не проверялись. Модель использует Transformers и формат Safetensors. Лицензия — Apache-2.0. README характеризует её как исследовательский чекпойнт и отмечает ограничения оценки: одна выборка, один seed и один уровень квантования.

Ternary-Bonsai-2-27B-gguf — языковая модель класса 27B, разработанная Prism ML на базе Qwen3.8-27B. Это причинно-следственная transformer-модель с гибридным механизмом внимания: примерно 75% линейного и 25% полноформатного внимания, архитектурой SwiGLU, RoPE и RMSNorm. Модель предназначена для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. README не указывает поддерживаемые языки. Модель содержит 27,36 млрд параметров и рассчитана на контекст до 262 тыс. токенов. Языковые веса представлены в троичном формате {−1, 0, +1} с групповым масштабированием FP16; доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрен отдельный опциональный vision-пакет mmproj в формате Q8_0. Модель поддерживается llama.cpp на CPU, CUDA и Metal; также существует отдельная MLX-версия для Apple Silicon. Ключевое преимущество — существенно меньший размер при сохранении заявленных разработчиком возможностей рассуждения, программирования и агентского поведения: по данным README, сохранено 98,2% показателей FP16 на среднем наборе из 14 тестов. Гибридное внимание и большой контекст делают модель подходящей для локального запуска на ноутбуке или одной GPU. Ограничения включают необходимость совместимых низкоразрядных ядер и runtime с поддержкой специального формата, а также отсутствие в README независимых подтверждений заявленных benchmark-результатов и сведений о фактическом качестве на конкретных языках. Распространяется по лицензии Apache 2.0.