I.3Извлечение и структурирование данных

Functionary Medium v3.1 — языковая модель компании MeetKai для диалогов и работы с функциями и плагинами. Она основана на meta-llama/Meta-Llama-3.1-70B-Instruct и использует плотную архитектуру Llama; в метаданных указаны 69,5 млрд параметров и контекст до 131 072 токенов. Модель принимает определения инструментов в формате JSON Schema, выбирает, когда вызывать функции, может запускать несколько вызовов параллельно или последовательно и учитывать их результаты в ответе. Она также может вести обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Модель предназначена для ассистентов, которым нужно вызывать API и плагины, оркестрировать инструменты и формулировать ответы с учётом полученных данных. README рекомендует запуск через совместимый с OpenAI сервер vLLM; для разбора сырых ответов в JSON предусмотрен специальный код. Репозиторий содержит веса Safetensors. Лицензия — MIT.

FwF-Qwen-7B-0.1 — языковая модель на архитектуре Qwen2, созданная объединением моделей bunnycore. В README описано слияние методом TIES с базой bunnycore/FuseQwQen-7B и моделями, ориентированными на рассуждения, длительные цепочки размышлений, ролевой диалог и общие задачи. Репозиторий содержит веса в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, многошаговых рассуждений и ролевых сценариев. Указанные в метаданных возможности включают чат и интерфейс вызова инструментов. Сведения подтверждают поддержку генерации текста, но не устанавливают конкретный уровень качества на отдельных задачах. Лицензия в предоставленных данных не указана.

unsloth/gemma-3-1b-pt-unsloth-bnb-4bit — 4-битная квантованная версия предобученной модели google/gemma-3-1b-pt, подготовленная Unsloth. Базовая модель разработана Google DeepMind в рамках семейства Gemma, созданного на основе технологий Gemini. Это модель с открытыми весами, предназначенная для локального и ресурсосберегающего развертывания. Модель ориентирована на генерацию текста, ответы на вопросы, суммаризацию, рассуждения и понимание изображений. Она принимает текстовые и графические входные данные и генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов, максимальный объём вывода — 8192 токена. Семейство Gemma 3 поддерживает более 140 языков; в карточке этой версии явно указан английский язык. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битной квантизации, что упрощает запуск на ноутбуках, настольных компьютерах и другой ограниченной по ресурсам инфраструктуре. При этом это именно предобученная, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения команд может потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация также может немного снижать точность по сравнению с полноразмерной версией, однако README заявляет о применении селективной квантизации Unsloth Dynamic Quants для улучшения сохранения качества. Использование регулируется лицензией и условиями Gemma; перед применением необходимо ознакомиться с соответствующими Terms of Use.

unsloth/gemma-3-270m-it-unsloth-bnb-4bit — квантованная 4-битная версия instruction-tuned модели google/gemma-3-270m-it, подготовленная проектом Unsloth. Исходная модель разработана Google DeepMind как часть семейства Gemma — открытых моделей, созданных на основе исследований и технологий Gemini. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и работы с программным кодом. Для версии с размером 270M заявлен контекст до 32K токенов на запрос. Обучение проводилось на данных более чем из 140 языков, включавших веб-тексты, код, математические материалы и изображения; дата отсечения знаний — август 2024 года. В данном репозитории модель представлена как text-generation-модель для Transformers, а 4-битное представление снижает требования к памяти и упрощает локальный запуск. К сильным сторонам относятся небольшой размер, экономичность и пригодность для развёртывания на устройствах с ограниченными ресурсами. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными вариантами Gemma, возможные потери качества из-за квантования и отсутствие в README отдельных результатов оценки именно этой квантованной версии. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать соответствующие условия Google.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

inferencerlabs/GLM-5.3-MLX-Q4i — квантизированная версия языковой модели GLM 5.3, основанная на zai-org/GLM-5.3-BF16 и подготовленная сообществом inferencerlabs. Модель предназначена для генерации и продолжения текста, локального текстового инференса и других задач, поддерживаемых библиотекой MLX. Данные о размере модели, архитектуре, языках и максимальной длине контекста в README не указаны. Модель использует формат MLX и квантизацию Q4-INF, настроенную методом INF для повышения общей точности при ограничении памяти до 512 GiB. По приведённым данным конверсии GLM 5.1, Q4-INF показала perplexity 1,21093, точность токенов 97,70% и missed divergence 10,65%; эти показатели не следует напрямую считать результатами для GLM 5.3. На M3 Ultra заявлена скорость около 15,8 токена в секунду при обработке последовательности длиной около 1000 токенов и потребление примерно 428,6 GiB памяти. Сильной стороной модели является адаптация под экосистему MLX и сохранение высокой точности при 4-битной квантизации, однако использование требует значительного объёма оперативной памяти и совместимого оборудования или программного окружения. Модальности ограничены текстом согласно указанному pipeline_tag. Лицензия в README не указана.

ibm-granite/granite-4.1-8b-GGUF — это версия модели IBM Granite 4.1 с 8 млрд параметров, преобразованная в формат GGUF. Модель разработана IBM и предназначена для задач генерации текста; репозиторий содержит варианты с различными уровнями квантования, созданные на основе модели ibm-granite/granite-4.1-8b в формате Safetensors. Формат GGUF удобен для локального запуска и совместим с программными средствами, поддерживающими этот формат, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантованной версии. В предоставленной карточке не указаны архитектурные детали, поддерживаемые языки, размер контекста, дополнительные модальности и специализированные сценарии применения, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0. Для подробной информации о возможностях, ограничениях и базовых характеристиках следует обратиться к полной карточке базовой модели ibm-granite/granite-4.1-8b.

Human-Like-Qwen2.5-1.5B-Instruct — компактная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная с помощью AutoTrain на Human-Like-DPO-Dataset. Модель предназначена для генерации текста и диалоговых ответов; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит веса в формате safetensors и доступен по лицензии other; конкретные условия этой лицензии следует проверить перед использованием.

InternLM2-Chat-1.8B-SFT — диалоговая языковая модель команды InternLM, созданная контролируемой тонкой настройкой базовой InternLM2-1.8B. Она содержит около 1,7 млрд параметров, использует плотную архитектуру InternLM2 и рассчитана на генерацию текста в формате чата. Метаданные указывают контекст до 32 768 токенов; в README также заявлена поддержка длинных входов до 200 000 символов для семейства InternLM2. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. Семейство также улучшено для рассуждений, математики и программирования, однако версия SFT уступает последующей версии InternLM2-Chat, дополнительно выровненной с помощью RLHF и рекомендованной авторами для прикладного использования. Модель можно загружать через Transformers; в README также описано развёртывание через vLLM и LMDeploy. Карточка предупреждает, что модель может выдавать предвзятые, дискриминационные или иным образом вредоносные ответы. Код распространяется по Apache-2.0; для весов заявлен свободный доступ для академических исследований и возможность запросить бесплатное коммерческое разрешение.

jinaai/jina-embedding-b-en-v1 — англоязычная модель эмбеддингов текста, разработанная Jina AI. Она предназначена для сопоставления предложений и поиска близких по смыслу текстов, включая пары запрос—документ. Модель обучалась на наборе Linnaeus-Clean из 380 миллионов пар предложений, собранных из разных областей и прошедших очистку; в метаданных также указан датасет jinaai/negation-dataset. Модель построена на архитектуре T5 Encoder, содержит 123,8 млн параметров и принимает последовательности длиной до 512 токенов. Она выдаёт текстовые эмбеддинги для семантического поиска, сравнения предложений и ранжирования кандидатов по близости смысла. Доступна в формате PyTorch. Модель распространяется по лицензии Apache-2.0. Ограничение контекста в 512 токенов делает её менее подходящей для прямого кодирования длинных документов; назначение и языковые данные ориентированы на английский.

jina-embeddings-v5-text-small-retrieval-GGUF — мультиязычная модель для построения текстовых эмбеддингов, разработанная Jina AI. Это GGUF-квантизированная версия модели jina-embeddings-v5-text-small-retrieval, предназначенная прежде всего для задач информационного поиска и семантического retrieval: сопоставления запросов с документами, поиска по базам знаний и построения систем с векторным поиском и RAG. Модель содержит 677 млн параметров, использует архитектуру на базе jina-embeddings-v5-text-small, стратегию pooling по последнему токену и формирует эмбеддинги размерностью 1024. Поддерживаются мультиязычные тексты, а также Matryoshka-размерности 32, 64, 128, 256, 512, 768 и 1024, что позволяет выбирать компромисс между качеством и требованиями к хранилищу или вычислениям. Формат GGUF ориентирован на эффективный локальный запуск через llama.cpp; для корректного использования требуется режим pooling last. Сильными сторонами являются специализация на retrieval, мультиязычность, возможность уменьшать размер эмбеддингов и эффективный inference в экосистеме llama.cpp. Ограничения включают целевую ориентацию на retrieval, поэтому модель может быть не оптимальна для других задач эмбеддингов без дополнительной проверки, а также необходимость учитывать особенности GGUF-версии и совместимость сборки llama.cpp. Модель распространяется по лицензии CC-BY-NC-4.0, которая не разрешает коммерческое использование без согласования с Jina AI.

K2S3-Mistral-7b-v1.0 — языковая модель, разработанная K2S3 и дообученная методом supervised fine-tuning с настройкой всех параметров на базе mistralai/Mistral-7B-v0.1. Для обучения использовались alpaca-gpt4-data и образцы из OpenOrca Dataset. Модель относится к плотной архитектуре MistralForCausalLM, содержит 7,2 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и выполнения инструкций в текстовом формате. В метаданных указан английский язык. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Karnak-6B-v1.0 — плотная причинно-языковая модель семейства Qwen3, разработанная Applied Innovation Center на основе Qwen/Qwen3-4B-Instruct-2507. Модель дообучена в несколько этапов с расширением глубины, продолжением предобучения и supervised fine-tuning; в карточке заявлены около 6 млрд параметров, а метаданные указывают 5,4 млрд. Для арабского применён оптимизированный токенизатор. Модель предназначена для генерации текста и диалогов на арабском и английском: она отвечает на вопросы, объясняет темы, пишет материалы и помогает работать с длинными документами и беседами. Метаданные указывают контекст до 262 144 токенов, тогда как README рекомендует ограничивать рабочий контекст 20 000 токенами для стабильной работы. Модель можно запускать локально или на собственных серверах, в том числе через Transformers и vLLM. Разработчик заявляет улучшенное следование инструкциям, беглость арабского текста и обработку длинных зависимостей; независимые показатели качества в предоставленных данных не приведены. Лицензия — Apache-2.0.

Карточка модели ronaldmannak/LFM2.5-Embedding-350M-bf16 на Hugging Face совпадает с карточкой mlx-community/LFM2.5-Embedding-350M-bf16, поэтому описание составлено по ней. LFM2.5-Embedding-350M-bf16 — мультиязычная модель-энкодер Liquid AI, преобразующая запросы и документы в векторы для семантического поиска и сравнения сходства. Репозиторий mlx-community содержит сборку для локального запуска на устройствах Apple Silicon с библиотекой MLX; архитектура — двунаправленный плотный энкодер LFM2.5 с 1024-мерным CLS-представлением. Число параметров — 444,6 млн, исходная точность bf16 сохранена, контекст — до 128 000 токенов. Модель подходит для поиска документов по смыслу, многоязычного и кросс-языкового поиска, а также ранжирования по косинусному сходству векторных представлений. В README приведены оценки retrieval на небольших наборах NanoBEIR и сокращённых пулах MIRACL для нескольких языков; авторы предупреждают, что абсолютные результаты MIRACL нельзя напрямую сравнивать с лидербордом. Это конверсия исходной модели LiquidAI/LFM2.5-Embedding-350M: веса и поведение сохранены, изменён формат для MLX. Лицензия указана как other; конкретные условия следует сверить с карточкой исходной модели.

LFM2.5-Embedding-350M-int4 — 4-битная MLX-квантизация мультиязычного двунаправленного плотного bi-encoder LiquidAI LFM2.5-Embedding-350M для семантического поиска и поиска между языками. Модель формирует вектор размерности 1024 из CLS-токена; для кодирования запросов и документов используются префиксы «query: » и «document: », а сходство оценивается косинусной мерой. Контекст составляет до 128 000 токенов. Вариант рассчитан на запуск на компьютерах Apple Silicon через MLX. В README приведено сравнение с fp16 на подмножестве из четырёх англоязычных наборов NanoBEIR: среднее сохранение NDCG@10 после квантизации указано как 99,9%. Для корректного получения эмбеддингов в репозитории поставляется специальный загрузчик, поскольку обычная загрузка причинной LFM2-модели не учитывает двунаправленное внимание и CLS pooling. Лицензия в метаданных обозначена как other; README не уточняет дополнительные условия.

Saxo, представитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на базе Google Gemma 2 27B IT. В процессе использовались продолженное предобучение примерно 30% параметров на корейском языке, затем настройка по инструкциям и предпочтениям. Модель содержит 27,6 млрд параметров, использует исходный токенизатор Gemma 2 и рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, прежде всего на корейском языке. Она обучалась на корейском новостном корпусе объёмом около 90 млн записей, многоязычных данных для перевода между корейским, китайским, английским и японским, а также примерах суммаризации, ответов на вопросы, анализа отзывов и публикаций в соцсетях, программирования, математики и логических задач. Заявлены улучшенные возможности для анализа отзывов и социальных публикаций, письма, кода и решения математических и логических задач. Модель распространяется под лицензией Apache 2.0. Карточка описывает обучение и целевые сценарии, но не приводит количественных результатов сравнительной оценки; качество на конкретных задачах следует проверять отдельно.

Positron AI публикует неизменённую копию Llama-3.2-1B-Instruct от Meta: веса, токенизатор и конфигурация побайтно совпадают с указанным upstream-снимком. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, предназначенная для диалогов и генерации текста; заявленное контекстное окно — 131 072 токена. Метаданные указывают поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также интерфейс для вызова инструментов. Модель подходит для ответов на вопросы, суммаризации, помощи в написании текста и других задач генерации текста. Репозиторий содержит веса в формате SafeTensors и распространяется по лицензии Llama 3.2. README сообщает, что это неизменённая перепубликация исходной модели, а не отдельное дообучение; при этом метаданные классифицируют связь с базовой моделью как finetune, поэтому происхождение указано по метаданным. Подробные оценки и ограничения в карточке этой копии не приведены.

bunnycore/Llama-3.2-3B-RP-DeepThink — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear merge. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также в объединение вошли bunnycore/Llama-3.2-3B-All-Mix и prithivMLmods/Codepy-Deepthink-3B. Модель основана на архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и работает с текстом; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и ответов в диалоге, включая сценарии, где полезны смешанные возможности объединённых моделей. Карточка приводит результаты Open LLM Leaderboard, в том числе IFEval 71,44 и BBH 23,76. Доступна в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Llama-3-Chinese-8B-Instruct-v3 — диалоговая языковая модель семейства Llama, опубликованная HFL. Это инструкционная модель на архитектуре LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. По карточке, она создана на основе объединения трёх моделей: hfl/Llama-3-Chinese-8B-Instruct, hfl/Llama-3-Chinese-8B-Instruct-v2 и meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для диалогов, ответов на вопросы и генерации текста. Заявлены китайский и английский языки; поддержка чата указана в метаданных. Репозиторий содержит веса safetensors. Использование регулируется лицензией Apache-2.0 в метаданных; README также требует соблюдать лицензионные условия исходной Meta Llama 3.

UKzExecution/LlamaExecutor-8B-3.0.5 — диалоговая языковая модель, созданная слиянием моделей Meta с помощью mergekit. В основе лежит Meta-Llama-3.1-8B-Instruct; в слияние также включена Meta-Llama-3-8B-Instruct. Использован метод task arithmetic с нормализацией и int8-маской. Модель содержит 7,5 млрд параметров, построена на архитектуре Llama и предназначена для генерации текста и диалоговых ответов, включая работу через интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Её нативный контекст составляет 131 072 токена. Карточка приводит результаты оценок IFEval и BBH, однако этих данных недостаточно для выводов о качестве в конкретных пользовательских сценариях. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Undi95/Lumimaid-Magnum-v4-12B — объединённая разговорная модель на архитектуре Mistral, созданная автором Undi95 с помощью mergekit. В объединение вошли Lumimaid, Magnum v4, LocalC и Mistral Nemo Instruct; также автор добавил дообученную на входах Claude версию Nemo. Модель содержит 12,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 131 072 токенов. Для prompt используется шаблон Mistral [INST]…[/INST]. Модель предназначена для диалога и генерации текста по инструкциям, в том числе для продолжительных бесед и сценариев с вызовом инструментов. В README не описаны отдельные специализированные области применения или подробные оценки качества. Лицензия в предоставленных данных не указана.

Megrez2-3x7B-A3B-Preview — предварительная версия языковой модели от Infinigence на архитектуре Mixture-of-Experts (MoE). Модель обучена на 5 трлн токенов; в карточке указано 3×7 млрд параметров, из которых активируются 3 млрд. Метаданные каталога указывают 2,7 млрд параметров. Модель принимает текстовые запросы и генерирует текст, в том числе в диалоговом режиме; заявлена длина контекста 163 840 токенов. Модель предназначена для генерации ответов и диалогов, а также для задач рассуждения и работы с агентами; разработчик описывает её как компактную модель с MoE, сочетающую сильные стороны экспертной и плотной архитектур. Доступны веса в формате safetensors, поддерживаются Transformers, vLLM и SGLang. Для инференса рекомендуется Transformers версии 4.52.4 или новее. Модель распространяется по лицензии Apache-2.0. Это preview-релиз: разработчик сообщает, что будущая официальная версия будет обучена на большем объёме данных и получит улучшенные способности к рассуждению и агентной работе. README не приводит численные результаты бенчмарков, поэтому качество для конкретных сценариев следует оценивать отдельно.

Это GGUF-квантизированная версия модели Mistral-Small-2501-SCE-Mashup-2-24B, разработанной mergekit-community. Квантизацию выполнил bartowski с использованием llama.cpp версии b5147 и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 24B параметров и представлена в нескольких вариантах точности, включая BF16, Q8_0, Q6, Q5, Q4 и IQ4, с размером файлов примерно от 12,76 до 47,15 ГБ. Для взаимодействия используется шаблон промпта с системным сообщением и инструкцией. В README не указаны модальности, поддерживаемые языки и размер контекстного окна. Сильной стороной являются варианты Q6 и Q5 с высоким заявленным качеством, а также Q4-варианты, предлагающие компромисс между качеством и требованиями к памяти. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но могут иметь более низкое качество. Лицензия в README не указана.

Это текстовая языковая модель для генерации кода и помощи в программировании на Python. Она основана на Meta-Llama-3.1-8B-Instruct_CODE_Python_English_Asistant-16bit-v2 от Agnuxo, а GGUF-квантизации подготовлены mradermacher. Модель ориентирована на локальный запуск, генерацию и объяснение Python-кода, а также на сценарии научных исследований и разработки. В карточке указаны английский и испанский языки, а для обучения использовались датасеты jtatman/python-code-dataset-500k и Vezora/Tested-143k-Python-Alpaca. Модель имеет около 8 млрд параметров и распространяется в формате GGUF с различными вариантами квантизации i1-IQ и i1-Q размером примерно от 2,1 до 4,8 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; некоторые конфигурации оптимизированы для ARM-процессоров. Размер контекста и точный набор поддерживаемых модальностей в карточке не указаны, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-heretic — небольшая языковая модель на базе openbmb/MiniCPM5-1B и производного дообучения GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель создана автором saidutta69 с использованием Heretic 1.4.0 и метода directional ablation («abliteration»): целевые изменения весов подавляют поведение отказа без дополнительного дообучения. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, tool calling и function calling, а также локальных агентов, ролевых сценариев и исследований механизмов отказов и выравнивания. Модель имеет размер около 1,1 млрд параметров, поддерживает режимы Think и No-Think, контекст до 128K токенов и языки английский и китайский. Для локального запуска доступны версии GGUF, включая F16 и различные варианты квантования; заявлена совместимость с llama.cpp, Ollama, LM Studio и Jan. Благодаря небольшому размеру она подходит для потребительских GPU, CPU и edge-устройств. В README также заявлены сохранение возможностей базовой модели, сильные стороны в tool calling, кодинге и рассуждениях, а также снижение числа отказов с 93 до 3 на 100 тестовых запросов; эти показатели приведены автором модели и не подтверждены независимой оценкой. Ограничения включают малый размер модели по сравнению с современными крупными LLM, возможное ухудшение качества при агрессивном квантовании и потенциальные риски, связанные с подавлением защитного поведения. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/MiniMax-M2.7-JANG_3L — квантованная версия MiniMax M2.7 от Jinho Jang (JANGQ), подготовленная для запуска на компьютерах Mac с Apple Silicon через MLX. Это языковая MoE-модель для диалогов, генерации текста, рассуждений и работы с инструментами. Исходная модель MiniMaxAI/MiniMax-M2.7 содержит 228,7 млрд параметров; в этой сборке применена смешанная точность со средним размером около 3,08 бита и объёмом около 89 ГБ. Внимание и выходной слой сохранены в 8-битной точности, эмбеддинги — в 4-битной, а большая часть экспертных MLP-слоёв сжата до 3 бит; маршрутизатор экспертов хранится в float16. Метаданные каталога указывают 2,9 млрд параметров, поэтому размер модели в них расходится с описанием исходной модели в README. Модель предназначена для локального диалогового использования, сложных рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 196 608 токенов и использует режим рассуждений перед ответом. README приводит результаты MMLU для профиля JANG_3L: 191 из 200 вопросов (95,5%), однако это оценка автора карточки, а результаты сравнения с исходной моделью отдельно не представлены. Для запуска требуются Mac с Apple Silicon и не менее 128 ГБ объединённой памяти; рекомендуется MLX Studio с загрузчиком JANG, поскольку стандартный mlx_lm не поддерживает эту смешанную точность. Автор указывает, что температура должна быть 1,0: жадная генерация и температура 0 могут привести к бесконечным циклам рассуждений. Лицензия MiniMax M2.7 запрещает коммерческое использование без предварительного письменного разрешения MiniMax.

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Minirecord/Mini_synatra_7b_03 методом SLERP. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; файлы представлены в формате safetensors. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. В карточке не описаны специализированные предметные области или отдельные мультимодальные возможности; вход и выход — текст. Модель выпущена под лицензией Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о поддерживаемых языках, поэтому пригодность для конкретного языка или узкой задачи следует проверять отдельно.

unsloth/mistral-7b-instruct-v0.2-bnb-4bit — это 4-битно квантованная версия Mistral-7B-Instruct-v0.2, подготовленная Unsloth на базе модели mistralai/mistral-7b-instruct-v0.2. Модель предназначена для генерации текста и диалоговых сценариев, включая conversational-форматы ShareGPT, а также для дообучения на собственных наборах данных. Она интегрируется с библиотекой Transformers и может экспортироваться в форматы GGUF и vLLM. Из известных характеристик: модель относится к семейству Mistral, содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Представление bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что делает вариант подходящим для локального запуска и эффективного fine-tuning на ограниченных ресурсах. README также указывает на ускорение дообучения Mistral в Unsloth примерно в 2,2 раза и сокращение использования памяти до 62%, однако эти показатели относятся к процессу дообучения в заявленной конфигурации, а не являются гарантией качества или скорости инференса. Модель может использоваться для чат-ботов, генерации и продолжения текста, экспериментов с instruction tuning и DPO. Ограничения включают зависимость качества от формата промптов и данных дообучения, возможные потери качества из-за 4-битной квантизации, а также отсутствие в README сведений о размере контекстного окна, точной архитектуре, мультимодальности, результатах бенчмарков и требованиях к инференсу. Лицензия — Apache-2.0.