II.10Разработка и эксплуатация AI/ML-систем

unsloth/Qwen2.5-VL-3B-Instruct-bnb-4bit — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в репозитории Unsloth. Это 3B-версия модели Qwen2.5-VL-3B-Instruct, распространяемая в 4-битном формате bnb-4bit для более экономичного использования памяти. Модель предназначена для обработки изображений и видео вместе с текстовыми запросами. Она распознаёт и анализирует объекты, текст, таблицы, графики, иконки и структуру документов, поддерживает визуальную локализацию объектов с помощью bounding boxes или точек, генерацию структурированных данных из счетов, форм и таблиц, а также сценарии визуального агента, включая взаимодействие с компьютером и мобильными устройствами. Для видео заявлена способность анализировать материалы длительностью более часа и находить релевантные временные отрезки. В метаданных README указан английский язык. Архитектура включает языковую модель Qwen2.5 и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm; для видео используются динамические разрешение и частота кадров, а также временные позиционные идентификаторы mRoPE. К сильным сторонам относятся компактный размер, мультимодальное понимание документов и визуальных сцен, структурированный вывод и поддержка длительных видео. Ограничения включают меньшую ёмкость по сравнению с версиями на 7B и 72B параметра, возможное снижение точности из-за 4-битной квантизации и отсутствие в README данных о размере контекста, системных требованиях и подробном перечне языков. Модель указана под лицензией qwen-research; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-3B-Instruct.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

JANGQ-AI/Qwen3.5-397B-A17B-JANG_2L — вариант модели Qwen3.5-397B-A17B, подготовленный Jinho Jang и проектом JANG. Это большая мультимодальная модель класса MoE с гибридной архитектурой GatedDeltaNet и полного внимания; по карточке активны 17 млрд параметров из 397 млрд. Репозиторий содержит смешанно-точное квантованное представление JANG_2L для Apple Silicon: веса с разной чувствительностью хранятся с разной разрядностью, а вычисления выполняются в bfloat16. В метаданных библиотекой указана MLX. Модель предназначена для диалогов, рассуждений и анализа изображений и видео. Режим reasoning позволяет включать пошаговое рассуждение; карточка также сообщает о поддержке vision и интерфейсе вызова инструментов. По заявлению автора, модель занимает 187 ГБ и показывает 36 токенов в секунду на M4 Ultra с 256 ГБ объединённой памяти. Для запуска автор рекомендует MLX Studio или JANG с MLX; заявлена необходимость Apple Silicon с 256 ГБ памяти. Карточка приводит результаты MMLU, но это авторские замеры на ограниченной выборке и не гарантия качества в других задачах. Доступ к изображениям и видео заявлен в README, хотя pipeline_tag и каталог классифицируют модель как text-generation. Указанная лицензия — Apache-2.0.

VisualInference/Qwen3.8-27B-AEON-Ultimate-Uncensored-Multimodal-MLX-6bit — мультимодальная 6-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. Модель предназначена для локального запуска на компьютерах Apple Silicon с использованием MLX и поддерживает текстовые, графические и видео-сценарии через mlx-vlm. Визуальный модуль сохранён полностью, поэтому доступны задачи понимания изображений и видео, а также обычный диалог, генерация текста и агентские сценарии. Модель имеет размер 27B параметров, мультимодальную vision-language архитектуру и 6-битное квантование с group size 64. В карточке заявлены поддержка английского, китайского и других языков, а также функции reasoning, hybrid attention, gated-deltanet и native MTP для speculative decoding. С отдельной моделью-драфтером MTP декодирование может ускоряться примерно в 1,4–1,9 раза без изменения результата. Для работы требуется около 21 ГБ памяти под веса; комфортный запуск рекомендуется на Mac с 48 ГБ и более unified memory, хотя заявлена работоспособность на 36 ГБ. Сильные стороны модели — локальное мультимодальное выполнение на Apple Silicon, сохранённая vision tower, высокая скорость при использовании speculative decoding и отсутствие дополнительной цензуры в варианте AEON. Ограничения включают повышенное потребление памяти, зависимость производительности от пропускной способности памяти и возможные обрывы ответа внутри reasoning при ограничении в 4096 токенов. Также отмечено, что распределение модели заметно сильнее отличается от стандартной Qwen3.8-27B, чем у некоторых альтернативных сборок, а качество 6-битного vision-компонента отдельно не измерялось. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B. Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены. Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан. К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

R1 1776 — языковая модель рассуждений семейства DeepSeek-R1, дообученная Perplexity AI для ответов на чувствительные темы с уменьшенным влиянием цензурных ограничений. Модель предназначена для диалогов, ответов на вопросы и задач, требующих пошагового рассуждения, включая математику. По данным карточки, при дообучении сохранялись способности к рассуждению; README сообщает о результатах на нескольких бенчмарках на уровне базовой R1. Это плотная авторегрессионная модель DeepSeek V3 с 37,6 млрд параметров и контекстом до 163 840 токенов. Она принимает текст и генерирует текст; в метаданных указана поддержка английского языка и интерфейс для вызова инструментов. Модель распространяется в формате Safetensors по лицензии MIT. Оценки устойчивости к цензурным отказам и сохранения математических способностей приведены разработчиком; результаты могут зависеть от запросов и условий оценки. Снижение цензурных ограничений не гарантирует точности ответов и не исключает ошибок или вредного содержания.

SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.

T5-11B — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она представляет задачи обработки естественного языка в формате преобразования текста в текст: модель получает текстовую инструкцию и входной текст, а затем генерирует текстовый ответ. В README указано 11 миллиардов параметров; метаданные каталога сообщают 385,2 млн параметров, поэтому размер модели в источниках расходится. Архитектура — плотная T5WithLMHeadModel, контекст — 512 токенов. Основная задача в метаданных — перевод. Модель также может служить основой для дообученных сценариев суммаризации, ответов на вопросы, классификации и анализа тональности. Указанные языки — английский, французский, румынский и немецкий; предобучение проводилось на корпусе C4 и смеси задач, включая Wiki-DPR и наборы для классификации, сходства предложений и вопросов-ответов. Для загрузки весов требуется значительный объём памяти: README сообщает, что только веса занимают более 40 ГБ, и рекомендует распределение модели между устройствами либо ZeRO-Offload. Лицензия — Apache 2.0.

Vesemir 1.5B — небольшая языковая модель семейства Cirilla, разработанная AnthonyPa57. Это плотная авторегрессионная модель на 1,5 млрд параметров с архитектурой VesemirForCausalLM; она совместима с Transformers и рассчитана на контекст до 8192 токенов. В архитектуре используются Differential Attention, Grouped-Query Attention и блоки SwiGLU с предварительной нормализацией RMSNorm. Модель обучалась с нуля на польских и английских текстах, затем прошла дообучение на инструкциях, примерах RAG и Python, переводах и DPO-данных. Её можно применять для диалогов, генерации и продолжения текста, ответов на инструкции, перевода, задач по Python и работы с контекстом документов. Поддерживаются английский и польский языки; репозиторий содержит веса Safetensors в формате BF16. Автор отмечает, что обучение проводилось на сравнительно небольшом объёме данных и модель следует рассматривать как основу для дальнейшей разработки. Для загрузки через AutoModelForCausalLM и AutoTokenizer требуется trust_remote_code=True. Лицензия — MIT.

sasa2000/cosmos-reason2-2b-text-only — неофициальная текстовая версия NVIDIA Cosmos-Reason2-2B, подготовленная автором репозитория sasa2000. Это плотная причинная языковая модель Qwen3ForCausalLM: из исходной мультимодальной модели оставлены языковой блок и выходной слой lm_head, а компоненты обработки изображений и видео удалены. В метаданных указано 1,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового использования. Она загружается через Transformers как Qwen3ForCausalLM; README сообщает об успешной загрузке и проверочном прямом проходе. В отличие от исходной Cosmos-Reason2-2B, этот чекпойнт не принимает изображения или видео и не включает соответствующие процессоры и проектор. Репозиторий помечен лицензией other; конкретные условия README не приводит. Это производный чекпойнт, созданный не NVIDIA, поэтому перед использованием следует проверить условия исходной модели и репозитория.

gemma-4-E4B-it-Uncensored-MAX-GGUF — языковая модель от prithivMLmods, созданная на основе google/gemma-4-E4B-it. Это модифицированная версия с уменьшенным количеством встроенных отказов, ориентированная на подробные ответы, следование инструкциям, рассуждения и агентские сценарии. В README заявлена аблитерационная обработка и анализ направлений отказа, однако независимые характеристики качества не приведены. Модель относится к семейству Gemma и имеет размер E4B параметров. Она распространяется в формате GGUF, предназначенном, в частности, для llama.cpp и совместимых инструментов. Заявлена поддержка текстовых и визуальных входных данных через отдельные файлы mmproj, а pipeline обозначен как image-text-to-text. Указан английский язык; размер контекста и точная архитектура в README не приведены. Доступны варианты BF16, F16, F32, Q8_0 и соответствующие мультимодальные проекционные файлы. Сильными сторонами заявлены сохранение возможностей рассуждения и следования инструкциям исходной модели, а также снижение отказов при обработке запросов. При этом «uncensored» характер означает потенциально меньшую встроенную защиту, поэтому модель требует дополнительного контроля при использовании в чувствительных сценариях. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash NVFP4 B200 hybrid — это квантизированная версия GLM-5.3-Flash, разработанная tiyuvta и собранная из исходной BF16-версии zai-org. Модель предназначена для генерации текста, диалоговых сценариев, агентных задач и вызова инструментов. В карточке указаны английский и китайский языки, а также поддержка conversational и tool-calling сценариев. Базовый пайплайн — text-generation, формат хранения — safetensors. Модель использует гибридную, а не равномерную 4-битную квантизацию и рассчитана на NVIDIA B200 с архитектурой sm_100. Основной объём весов экспертов MoE, shared-экспертов и некоторых плотных MLP представлен в NVFP4; отдельные линейные слои — в FP8, маршрутизатор — в FP32, а чувствительные компоненты, включая часть attention, нормализации, embeddings и lm_head, сохранены в BF16. Объём модели составляет около 189,1 ГБ в 19 safetensors-фрагментах. Токенизатор унаследован от GLM-5.3-Flash. Сильной стороной модели является специализированная гибридная схема точности, ориентированная на производительность tensor cores NVIDIA B200 при сохранении более высокой точности для отдельных компонентов. Однако это экспериментальная сборка: она ещё не прошла заявленные проверки kernel-check, argmax-margin и vendor-default decode, не является готовым serving pin, не поддерживает заявленную совместимость с NVIDIA RTX PRO 6000 и не должна использоваться как drop-in замена другой версии. Кроме того, в checkpoint отсутствует activation scale plane для W4A4 tensor-core serving, поэтому веса нельзя автоматически считать готовой W4A4-моделью. Лицензия — MIT.

Della-1.5-calc — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit на основе unsloth/Meta-Llama-3.1-8B. В слияние вошли DreadPoor/Spei_Meridiem-8B-model_stock, DreadPoor/Aspire1.1-8B-model_stock и DreadPoor/Heart_Stolen1.1-8B-Model_Stock; в README указан метод della. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Она доступна в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Unsloth/LiquidAI LFM2-700M — компактная языковая модель для генерации текста, созданная на базе модели LiquidAI/LFM2-700M и подготовленная к запуску на периферийных устройствах. В карточке указаны 742 млн параметров, 16 слоёв и контекст до 32 768 токенов. Архитектура гибридная: 10 блоков коротких свёрток LIV и 6 блоков группового внимания GQA; модель распространяется в формате safetensors и рассчитана на работу с Transformers. Модель подходит для локальных диалоговых приложений, многошаговых агентных сценариев, извлечения данных, RAG и генерации творческого текста. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки, а также интерфейс вызова инструментов через формат диалога. Разработчик рекомендует дообучать её под узкие задачи. Малый размер облегчает развертывание на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобили. При этом модель не рекомендуется для задач с высокими требованиями к знаниям или программированию. Лицензия указана как other; конкретные условия следует уточнять в карточке репозитория.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.

LongReward-llama3.1-8b-DPO — языковая модель семейства Llama 3.1, представленная авторами проекта LongReward. Это версия DPO-модели LongReward-llama3.1-8b-SFT, дообученная на предпочтениях с использованием раздела dpo_llama3.1_8b датасета LongReward-10k. Модель предназначена для генерации текста с длинным контекстом и поддерживает контекстное окно до 65 536 токенов. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат Safetensors; для работы README указывает библиотеку Transformers версии 4.43.0 или новее. Её можно применять для диалогов и ответов с учётом длинных документов и больших контекстов. В карточке указаны английский и китайский языки. Доступна под лицензией, указанной в репозитории Hugging Face.

ccdv/lsg-bart-base-16384 — модель на базе BART-base, адаптированная для задач encoder-decoder с длинными входными последовательностями. Она использует локальное, разреженное и глобальное внимание (LSG) и содержит 95,2 млн параметров. Заявленная длина контекста — до 16 384 токенов; модель реализована на PyTorch и использует тот же токенизатор и число слоёв, что и BART-base. Модель предназначена для генерации текста по входной последовательности, включая суммаризацию, а также может применяться для классификации. В README приведены примеры суммаризации и классификации; метаданные также указывают fill-mask и question answering среди поддерживаемых задач. Для загрузки через Transformers требуется включить trust_remote_code=True, поскольку используется пользовательский код архитектуры. Входную длину рекомендуется обрезать токенизатором; при нехватке памяти можно уменьшить размеры блоков или увеличить разреженность внимания. Модель адаптирована от BART-base без дополнительного предварительного обучения. Лицензия в предоставленных данных не указана.

Memgpt-slerp-7b-4 — диалоговая языковая модель, созданная объединением методом SLERP моделей starsnatched/MemGPT и liminerity/Memgpt-slerp-7b-3 с помощью LazyMergekit. В основе лежит архитектура Mistral; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и может использоваться в чат-ботах и сценариях, где требуется вести беседу с учётом длинного контекста. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

mncai/mistral-7b-v5 — языковая модель MindsAndCompany на архитектуре Mistral, основанная на mistral-7b. Согласно карточке, модель прошла инструкционное дообучение и оптимизацию DPO. Она предназначена для генерации ответов на инструкции и диалоговых сценариев; в примере из карточки пользователь задаёт вопрос на корейском языке и просит объяснить решение. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст. Указанная длина контекста — 32 768 токенов. В метаданных отмечен английский язык; пример также демонстрирует ввод на корейском, но этого недостаточно, чтобы считать корейский заявленным поддерживаемым языком. Модель может быть полезна для прототипов бизнес-чатботов и ассистентов, упомянутых разработчиком. Лицензия указана как llama2; перед использованием следует проверить её условия для конкретного сценария.

Phi-4-Reasoning-Vision-15B — мультимодальная модель Microsoft, дообученная на базе Phi-4-Reasoning. Она объединяет плотную языковую архитектуру Phi-4 с визуальным энкодером SigLIP-2 через промежуточное слияние признаков: изображения преобразуются в визуальные токены и передаются языковой модели. Динамическое разрешение поддерживает до 3600 визуальных токенов на изображение, а контекст составляет 32 768 токенов. Модель предназначена для понимания изображений с возможностью пошаговых рассуждений. Она решает математические и научные задачи по изображениям, анализирует диаграммы, графики, таблицы и документы, распознаёт текст, описывает сцены, локализует объекты и элементы интерфейса. В задачах, требующих рассуждений, может формировать развернутый ход решения; для задач восприятия обычно отвечает напрямую. Подходит для визуальных помощников и агентов, работающих с графическим интерфейсом. Модель обучена преимущественно на английском языке и англоязычных парах «изображение—текст», поэтому на других языках качество может снижаться. Возможны ошибки распознавания и фактические ошибки; перед применением в значимых сценариях необходима отдельная оценка. Разработчик не рекомендует использовать её для медицинской диагностики, юридических консультаций, финансового планирования и решений, влияющих на жизненные возможности людей. Лицензия — MIT.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели lyNjx/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen2.5-14B_Uncensored_Instruct-GGUF — это набор квантизированных GGUF-версий инструкционной текстовой модели Qwen2.5-14B_Uncensored_Instruct, разработанной SicariusSicariiStuff и преобразованной в квантизации пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, а также для локального запуска через совместимые инструменты, включая LM Studio. В README указан английский язык модели и формат чата с ролями system, user и assistant. Модель имеет 14 миллиардов параметров. Доступны версии от F16 до Q3 и IQ3 с разными компромиссами между качеством, размером файлов и требованиями к оперативной памяти; размеры указанных вариантов составляют примерно от 6,92 до 29,55 ГБ. Некоторые версии оптимизированы для ARM-инференса и требуют поддержки sve или i8mm. Более высокие разрядности обычно обеспечивают лучшее сохранение качества, тогда как варианты с меньшим размером подходят для систем с ограниченной памятью. Это текстовая модель без заявленной поддержки изображений или других модальностей. Контекстное окно, точная архитектура, производительность и дополнительные языки в README не указаны, поэтому их нельзя достоверно оценить. Условия использования указаны как лицензия Apache-2.0.

coder3101/Qwen2.5-VL-7B-Instruct-heretic — мультимодальная инструкционная модель на 7,1 млрд параметров, созданная на основе Qwen/Qwen2.5-VL-7B-Instruct. Она принимает текст и изображения и формирует текстовые ответы; семейство Qwen2.5-VL также поддерживает работу с видео, включая анализ событий и временных отрезков. Архитектура модели — плотная Qwen2.5-VL с визуальным энкодером, формат весов — safetensors. Метаданные указывают контекст до 128 000 токенов; README базовой модели описывает настройку конфигурации до 32 768 токенов и YaRN для обработки более длинного текста. Модель подходит для вопросов по изображениям, чтения текста и таблиц в документах, разбора диаграмм и визуальной локализации объектов с выводом координат. Также её можно применять для анализа видео и формирования структурированных ответов. В README приведено сравнение с базовой моделью: частота отказов в указанной проверке снизилась со 100 из 100 до 5 из 100; это характеристика конкретного теста, а не гарантия поведения на всех запросах. Модель помечена как uncensored, поэтому может отвечать на запросы, от которых исходная модель отказывается. Лицензия — Apache-2.0.

trohrbaugh/Qwen3.5-9B-heretic-v2 — мультимодальная модель на основе Qwen3.5-9B-Base, дообученная разработчиком trohrbaugh методом abliteration. Она предназначена для диалогов и задач понимания изображений; модель может вызывать инструменты через совместимый интерфейс. В README указаны 9 млрд параметров, гибридная архитектура с Gated Delta Networks и механизмом внимания, а также контекст до 262 144 токенов с возможностью расширения. Базовая карточка Qwen3.5 заявляет поддержку 201 языка и диалекта; отдельный список языков этой версии в предоставленных данных отсутствует. По сравнению с исходной моделью в тесте из README она отказала в 6 из 100 запросов против 100 из 100 у исходной модели. Это указывает на ослабление отказов, поэтому модель может отвечать на большее число запросов, но не гарантирует корректность или безопасность таких ответов. Доступны веса в формате Safetensors для Transformers и совместимых сред. Лицензия — Apache-2.0.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.