I.3Извлечение и структурирование данных

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.

Ling-3.0-tiny — компактная гибридная языковая модель для диалогов, рассуждений и агентных задач; разработчик в предоставленной карточке не назван. Модель использует архитектуру MoE с чередованием слоёв KDA и MLA: на каждый токен активируется часть экспертов. README сообщает о 7,9 млрд параметров всего и 1,3 млрд активных на токен, тогда как метаданные Hugging Face указывают 977,5 млн параметров, поэтому размер модели в источниках расходится. Метаданные указывают контекст 131 072 токена и формат safetensors; карточка также описывает варианты весов BF16, FP8 и INT4. Модель предназначена для локального и ресурсно-ограниченного запуска, ответов на инструкции, программирования, математических и научных рассуждений, понимания длинного контекста и агентных сценариев. Режим пошагового рассуждения можно включать для сложных запросов. README приводит результаты собственных оценок и примеры запуска на отдельных устройствах, но они не гарантируют такую же скорость или качество на другом оборудовании. Лицензия по метаданным — MIT.

Llama-2-7B-32K-Instruct — диалоговая языковая модель Together Computer, дообученная на основе Llama-2-7B-32K на наборах инструкций и диалогов. Она предназначена для генерации ответов в чате, следования инструкциям, суммаризации длинных текстов и ответов на вопросы по нескольким документам. Модель имеет плотную архитектуру LlamaForCausalLM и 6,6 млрд параметров. Она принимает текст и поддерживает контекст до 32 768 токенов; в карточке указан английский язык. Для дообучения использовались 19 тысяч диалогов, BookSum и данные для вопросов по нескольким документам. Модель распространяется в формате PyTorch по лицензии Llama 2. В опубликованной оценке модель показала результаты на Alpaca Eval, суммаризации BookSum и многодокументном QA. Как и другие языковые модели, она может давать неточные или предвзятые ответы; опубликованные результаты оценки не гарантируют качество для конкретного применения.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

MiniCPM5-2B-MLX — компактная языковая модель из серии MiniCPM5, разработанная командой OpenBMB. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и локального развертывания на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков, а также сценарии on-device и edge AI. Модель рассчитана на следование инструкциям, программирование, математические задачи, понимание длинного контекста, использование инструментов и агентские сценарии. По заявлению разработчиков, среди открытых моделей сопоставимого размера она показывает передовые результаты и в целом остается конкурентоспособной моделям класса 4B, особенно в коде, математике, работе с длинным контекстом и tool use. Точная максимальная длина контекста и подробные результаты тестов в предоставленных данных не указаны. К основным ограничениям относятся меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения качества, требования к оборудованию и поддерживаемые форматы MLX в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-24B-Instruct-2501-bf16 — конвертированная в формат MLX версия инструктивной языковой модели Mistral AI Mistral-Small-24B-Instruct-2501, подготовленная сообществом mlx-community для запуска на устройствах Apple с MLX. Модель представляет собой плотную авторегрессионную архитектуру MistralForCausalLM с 23,4 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалогов и генерации текста по инструкциям на нескольких языках. Подходит для ответов на вопросы, составления и редактирования текстов, суммаризации и многоязычных ассистентских сценариев. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса в safetensors и описывает конвертацию в MLX с помощью mlx-lm 0.21.1. Лицензия — Apache 2.0. Качество ответов и следование инструкциям зависят от формулировки запроса; как и другие языковые модели, она может генерировать ошибки и недостоверные сведения.

ModernCE-large-sts — англоязычный cross-encoder, разработанный dleemiller на основе answerdotai/ModernBERT-large и дообученный для оценки семантического сходства пар текстов. Модель принимает два текста вместе и выдаёт оценку от 0 до 1: чем выше балл, тем ближе их смысл. Она предназначена для сравнения предложений и длинных текстов, в том числе для оценки ответов LLM и ранжирования кандидатов по смысловой близости. Модель построена на архитектуре ModernBERT-large, содержит около 395 млн параметров и обрабатывает до 8192 токенов. Обучение включало пары из dleemiller/wiki-sim и дообучение на sentence-transformers/stsb. В README указаны результаты на тестовой части STS-Benchmark: корреляция Пирсона 0,9256 и Спирмена 0,9215. Для использования модели требуется библиотека sentence-transformers; лицензия — MIT. Как cross-encoder, она оценивает пары текстов совместно, поэтому для массового поиска по большому корпусу может потребоваться предварительный отбор кандидатов; заявленные метрики относятся к STS-Benchmark и не гарантируют такое же качество на других данных.

OpenAI o4-mini — компактная модель рассуждений из серии o-series, разработанная OpenAI. Она предназначена для быстрых и экономичных ответов с сохранением развитых мультимодальных и агентных возможностей, включая использование инструментов. В доступной карточке указаны мультимодальность и поддержка инструментов, но не уточнены входные и выходные типы данных, конкретные языки или размер контекста, поэтому эти характеристики не конкретизируются.

Open-Instruct Human-mix 13B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA с 12,9 млрд параметров на смеси созданных людьми инструкционных данных, включая FLAN V2, CoT, Dolly и OpenAssistant 1. Модель предназначена для генерации ответов на инструкции и запросы на естественном языке; её обучали и оценивали в рамках исследования состояния instruction tuning на открытых ресурсах. Модель использует плотную архитектуру LLaMA и принимает текст. Контекст составляет 2048 токенов; в карточке указан английский язык. Для генерации рекомендуется соблюдать заданный авторами формат входа с переносами строк. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Это diff весов, поэтому для использования нужна доступная базовая LLaMA в формате Hugging Face. Модель распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании.

Qwen1.5-7B-Chat — диалоговая языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для генерации текста в формате беседы и ответов на запросы. Модель принимает текстовые сообщения и генерирует текст. Модель поддерживает контекст до 32 768 токенов и многоязычную работу. В карточке указаны улучшения качества диалоговых моделей по предпочтениям пользователей и токенизатор, адаптированный к нескольким естественным языкам и программным кодам. Для загрузки используется библиотека Transformers; удалённый код не требуется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить на странице модели. В README отмечено, что при переключении между языками или других проблемах генерации рекомендуется использовать параметры из generation_config.json.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

bunnycore/Qwen-2.5-7B-R1-Stock — слитая с помощью mergekit методом Model Stock языковая модель на архитектуре Qwen2. В основу объединения легла Qwen/Qwen2.5-7B-Instruct; также использованы DeepSeek-R1-Distill-Qwen-7B и модель Qwen-2.5-7b-rp-lora на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и задачи, где полезны возможности включённых базовых моделей. Доступна на английском языке; метаданные также указывают интерфейс вызова инструментов. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

Qwen3-1.5B-Instruct — компактная языковая модель на 1,5 млрд параметров, созданная сообществом с помощью mergekit. Это слияние методом TIES инструктивной модели Qwen2.5-1.5B-Instruct с Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель использует архитектуру Qwen2 для генерации текста и диалогов; заявленный контекст — до 32 768 токенов. Модель подходит для ответов на вопросы, инструктивных диалогов, генерации кода и решения математических задач. Метаданные также отмечают интерфейс для вызова инструментов. Модель распространяется в формате Safetensors; README указывает, что при слиянии использовалась точность float16. Лицензия в предоставленных материалах не указана.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-MXFP4-GGUF — мультимодальная модель для генерации текста и понимания изображений, представленная в формате GGUF. По карточке, она основана на Qwen3.5-4B и распространяется в виде MXFP4-квантизированных весов; для обработки изображений используется отдельный проектор SigLIP в F16. Модель рассчитана на многоязычные инструкции, диалог, рассуждения и вызов инструментов; также заявлена поддержка видео. Режим рассуждений по умолчанию выключен. Архитектура включает 32 блока Transformer с гибридными механизмами внимания, FFN и SSM, а также одну голову Multi-Token Prediction. Заявлено контекстное окно 262 144 токена. Карточка указывает поддержку английского, китайского и кода; метаданные также отмечают мультиязычность. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями нужен файл мультимодального проектора; фактическая скорость и качество зависят от используемого оборудования и совместимого ПО.

YTan2000/Qwen3.6-27B-TQ3_4S — сборка Qwen3.6-27B, опубликованная YTan2000 в формате GGUF с квантизацией TurboQuant TQ3_4S для локального запуска. В основе — мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; архитектура семейства Qwen3.5 включает блоки Gated DeltaNet и Gated Attention. Исходная модель имеет контекст до 262 144 токенов, однако в README для конфигурации на GPU с 16 ГБ видеопамяти отмечено, что 32K и 64K помещаются, а 128K — нет. Модель предназначена для диалогов, задач программирования и рассуждений, а также работы с изображениями в поддерживающем это окружении. Файл весов занимает около 13 ГБ. Для нативной поддержки TQ3_4S нужен TurboQuant-совместимый рантайм, например форк llama.cpp tq3; README также сообщает, что для публичной сборки GGUF нет отдельного артефакта mmproj, поэтому возможности обработки изображений могут быть недоступны при таком способе запуска. Указана лицензия Apache-2.0.

Qwen3.6-35B-A3B-Escha-W2 — это 2-битная квантизованная версия модели Qwen3.6-35B-A3B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, программирования, рассуждений и диалоговых сценариев. Она использует архитектуру Mixture-of-Experts с 256 экспертами; эксперты квантизованы в 2–3 бита, а плотные слои представлены в int8. Размер модели на диске составляет 12,3 ГБ, заявлен поддерживаемый язык — английский. Длина контекста в README не указана. Модель ориентирована на локальный запуск через OpenAI-совместимый HTTP API. Для работы рекомендуется видеокарта с 24 ГБ VRAM, минимально заявлено 16 ГБ с ограничениями по параллельности и длине контекста. Поддерживаются NVIDIA GPU от Ampere до Blackwell на Linux x86-64; для Apple Silicon доступен отдельный runtime на базе MLX. В комплекте находятся квантизованные веса, токенизатор и конфигурация, а runtime вынесен в отдельный репозиторий. Среди заявленных результатов — pass@1 92,07 на HumanEval+, точность 61,75 на CRUXEval-O, 80,9 на MMLU-Pro, 93,8 на MATH-500 и 77,8 на GPQA-Diamond. Сильными сторонами являются высокая эффективность по объёму памяти и производительность на совместимом потребительском GPU, однако 2-битная квантизация может снижать качество относительно полноразмерных версий, а запуск требует подходящего оборудования и специализированного runtime. Лицензия — Apache-2.0.

Qwen3.7-Max — флагманская модель серии Qwen3.7, разработанная Alibaba. Она принимает и выдаёт текст и предназначена для агентных сценариев, включая программирование, работу с офисными задачами и повышение продуктивности. Карточка модели отмечает сильные стороны в задачах кодирования и офисной работы. В метаданных Hugging Face указана задача генерации текста и дата публикации 21 мая 2026 года. Сведений о размере, длине контекста, языках, лицензии и ограничениях в доступных материалах нет.

RobinsonLabs/Qwen3.8-27B-abliterated-GGUF — это набор imatrix-квантованных сборок GGUF на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая технические диалоги, отладку, работу с инфраструктурой, построение моделей, использование инструментов и следование инструкциям. Доступны варианты от IQ2_M до Q8_0 размером примерно от 10,30 до 29,05 ГБ. Модель содержит около 27,32 млрд параметров, 64 основных trunk-слоя и MTP-блок; контекст в примере запуска настроен на 32768 токенов. Модель поддерживает текстовый ввод, а визуальные возможности сохраняются через отдельный файл mmproj-Qwen3.8-27B-abliterated-f16.gguf, который необходимо подключать вместе с основной квантованной моделью. Без mmproj доступен только текстовый режим. Квантизация оптимизирована на корпусе технических операторских диалогов, поэтому сборки ориентированы на длинные технические обсуждения и instruction-following, но для общего чата или неанглоязычных сценариев универсальная калибровка может оказаться предпочтительнее. Сильными сторонами являются сохранённая vision tower, специализированная калибровка и широкий выбор вариантов под разные объёмы VRAM. Качество заметно снижается на самых компактных сборках: IQ2_M показывает ухудшение perplexity на 13,4% относительно Q8_0, хотя остаётся связной и способной следовать форматным инструкциям. Abliteration уменьшает жёсткие отказы для взрослого и творческого контента, при этом защитные ограничения против самоповреждения заявлены как сохранённые; модель не предназначена для содействия реальным правонарушениям. Распространяется по лицензии Apache-2.0.

Карточка модели nurdich/Qwen3.8-9B-Distill-uncensored-heretic на Hugging Face совпадает с карточкой petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, поэтому описание составлено по ней. Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

Qwen-Plus — языковая модель семейства Qwen, разработанная командой Qwen и основанная на фундаментальной модели Qwen2.5. Она предназначена для генерации текста в сценариях, где важен баланс качества ответов, скорости и стоимости. Модель поддерживает контекст длиной до 131 тысяч токенов, что позволяет работать с длинными запросами и большими текстовыми материалами. В доступных сведениях не описаны конкретные языки, точный размер модели и условия лицензии.

mradermacher/Qwopus3.8-27B-Flash-i1-GGUF — квантованная GGUF-версия модели Qwopus3.8-27B-Flash, подготовленная mradermacher на основе модели Jackrong/Qwopus3.8-27B-Flash. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, генерации текста, диалоговых сценариев, рассуждений, агентских задач, использования инструментов, function calling и генерации кода. Также заявлена поддержка обработки изображений вместе с текстом. Модель относится к мультимодальным vision-языковым моделям с архитектурой и размером семейства Qwen3 8 / 27B; точные архитектурные параметры и размер контекста в README не указаны. Заявлены английский, китайский, испанский, русский и японский языки. Репозиторий содержит набор imatrix-квантов разных уровней, примерно от 11,0 до 22,5 ГБ; варианты различаются компромиссом между размером, скоростью и качеством. В README отмечены рекомендации по отдельным вариантам, но количественные результаты оценки качества не приведены. Сильными сторонами являются мультимодальность, поддержка нескольких языков, широкий набор сценариев применения и возможность локального инференса при выборе подходящего уровня квантования. Ограничения включают потерю качества по сравнению с полноразмерной моделью из-за квантования, зависимость характеристик от выбранного варианта GGUF и отсутствие подробных данных о производительности, контексте и требованиях к оборудованию. Лицензия — Apache-2.0.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

Карточка модели DIYIN/Youtu-LLM-2B-Base на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B-Base, поэтому описание составлено по ней. Youtu-LLM-2B-Base — базовая авторегрессионная языковая модель Tencent из семейства Youtu-LLM. Она содержит около 1,96 млрд параметров, использует плотную архитектуру с Multi-head Latent Attention (MLA) и предназначена для генерации текста и дальнейшей адаптации под конкретные задачи. Модель принимает текст и генерирует продолжение; карточка описывает её возможности в рассуждениях, STEM, программировании, работе с длинным контекстом и агентных сценариях. Контекст модели составляет 131 072 токена. В README приведены результаты сравнительных тестов, в том числе по общим знаниям и агентным задачам; заявленные результаты не гарантируют аналогичного качества в каждом применении. Указана лицензия `other`, поэтому перед использованием следует проверить её условия в карточке модели. README не уточняет поддерживаемые естественные языки.

Youtu-LLM-2B-Base — базовая авторегрессионная языковая модель Tencent из семейства Youtu-LLM. Она содержит около 1,96 млрд параметров, использует плотную архитектуру с Multi-head Latent Attention (MLA) и предназначена для генерации текста и дальнейшей адаптации под конкретные задачи. Модель принимает текст и генерирует продолжение; карточка описывает её возможности в рассуждениях, STEM, программировании, работе с длинным контекстом и агентных сценариях. Контекст модели составляет 131 072 токена. В README приведены результаты сравнительных тестов, в том числе по общим знаниям и агентным задачам; заявленные результаты не гарантируют аналогичного качества в каждом применении. Указана лицензия `other`, поэтому перед использованием следует проверить её условия в карточке модели. README не уточняет поддерживаемые естественные языки.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Qwen-7B — языковая модель на архитектуре Qwen2, преобразованная сообществом mlx-community из deepseek-ai/DeepSeek-R1-Distill-Qwen-7B в формат MLX с помощью mlx-lm 0.21.1. В основе лежит дистиллированная модель DeepSeek R1 Distill Qwen 7B с 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и программирования. Она поддерживает контекст до 131 072 токенов. В метаданных указаны чат-возможности и интерфейс вызова инструментов. Репозиторий содержит преобразованную версию для MLX; README описывает использование через mlx-lm. Это преобразование формата, а не отдельное дообучение или квантизация. Сведений о лицензии и ограничениях применения в предоставленных данных нет.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

Карточка модели dealignai/Gemma-4-31B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-31B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.