II.10Разработка и эксплуатация AI/ML-систем

ZEUS 8B V13 — диалоговая языковая модель, созданная T145 слиянием моделей методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов, принимает текст и выдаёт текст; заявленная длина контекста — до 131 072 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая 78,78% на IFEval и 31,78% на BBH. Модель распространяется по лицензии Llama 3.1. Количественных гарантий качества для конкретных сценариев карточка не даёт; результаты тестов не заменяют проверку на целевых задачах.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.5-GGUF — это квантизированная в формате GGUF версия модели ArliAI-Llama-3-8B-Dolfin-v0.5, созданная с использованием llama.cpp. Исходная модель разработана на основе Meta-Llama-3-8B-Instruct и дообучена OwenArli на улучшенных наборах данных Dolphin и WizardLM. Квантизация выполнена QuantFactory. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Модель использует архитектуру семейства Llama 3 и содержит около 8 миллиардов параметров. Поддерживается текстовая модальность; конкретные языки в README не указаны. Заявлена работа с контекстом до 8192 токенов, хотя обучение проводилось с длиной последовательности 2048 токенов. Модель обучалась с использованием QLoRA: 4-битной загрузки, rank 64 и alpha 128; обучаемыми были примерно 2% весов. Квантизированный формат рассчитан на запуск через llama.cpp и может быть удобен для локального инференса с ограниченными аппаратными ресурсами. Ограничения включают отсутствие подробных результатов OpenLLM Benchmark в представленном README и отсутствие точной информации о поддерживаемых языках, фактическом качестве на разных задачах и требованиях к аппаратному обеспечению. Модель распространяется по лицензии Meta Llama 3 License, унаследованной от базовой Meta-Llama-3-8B-Instruct. Условия этой лицензии необходимо учитывать при использовании и распространении модели.

Bielik-11B-v3.0-Instruct-GGUF — квантизированная версия инструкционной языковой модели Bielik-11B-v3.0-Instruct, разработанной SpeakLeash совместно с ACK Cyfronet AGH. Это каузальная decoder-only модель для генерации текста и диалогового взаимодействия, представленная в формате GGUF для локального запуска с помощью llama.cpp, Ollama и совместимых приложений. Модель мультиязычная и поддерживает 32 европейских языка, при этом оптимизирована для польского. В README размер указан как 11B параметров; сведения о длине контекста и дополнительных модальностях не приведены. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация позволяет снизить требования к ресурсам, но может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 требует значительных ресурсов, а низкобитные варианты требуют особенно осторожной настройки. Модель предназначена для локального текстового вывода, включая диалоги и задачи, поддерживаемые инструкционной языковой моделью. В конфигурации для Ollama предусмотрен экспериментальный вызов инструментов с ответом в формате JSON. Модель распространяется по лицензии Apache 2.0.

comprehend_it-base — англоязычная модель Knowledgator на базе энкодера DeBERTaV3-base, обученная на наборах для вывода на естественном языке и классификации текста. Она предназначена прежде всего для классификации по заданным пользователем категориям в zero-shot режиме: можно передать текст и список меток, не дообучая модель на этих категориях. Также модель применяют для ранжирования результатов поиска и задач извлечения информации, включая распознавание именованных сущностей, извлечение отношений, связывание сущностей и ответы на вопросы. Модель использует архитектуру DeBERTa-v2 для классификации последовательностей, содержит 211,6 млн параметров и принимает контекст до 512 токенов. В карточке заявлено, что на нескольких наборах классификации она превосходила BART-large-mnli в zero-shot сценарии при почти втрое меньшем размере; также приведены результаты для нескольких наборов данных. Доступны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Модель рассчитана на английский язык. Как энкодер-классификатор, она выдаёт метки и оценки классов, а не генерирует свободный текст. Качество зависит от формулировок текста и кандидатов-меток; контекст ограничен 512 токенами, а README не приводит сравнительных результатов для всех заявленных задач извлечения информации.

CrisperWhisper 2.0 Turbo — вариант модели распознавания речи семейства Whisper, разработанный Nyra Labs. Он предназначен для быстрого преобразования аудио в текст с выбором режима: дословная запись слов и речевых особенностей или отредактированная запись предполагаемого смысла. Модель содержит 905,3 млн параметров; репозиторий предоставляет веса в формате safetensors, а библиотека crisperwhisper поддерживает запуск через PyTorch или CTranslate2. Модель рассчитана на распознавание речи, включая заполнители пауз, повторы, обрывы слов и вокальные события, и может выдавать временные границы слов. Вариант Turbo — самый быстрый из описанных стандартных вариантов, но README отмечает некоторое снижение качества относительно более крупных моделей. Заявлена поддержка большинства языков Whisper; метаданные карточки указывают английский и немецкий. Стандартные модели распространяются по некоммерческой исследовательской лицензии, коммерческое лицензирование доступно отдельно.

davidoneil/decisoes-processos-tce-ft-gemma — модель Sentence Transformer, созданная дообучением google/embeddinggemma-300m на 49 816 обучающих примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразирований, классификации и кластеризации. Модель принимает текст длиной до 2048 токенов и выдаёт эмбеддинги. В карточке приведены примеры обучающих данных с длинными текстами, но их тематика и поддерживаемые языки не определены, поэтому специализацию по области или языку установить нельзя. Репозиторий использует библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных сведениях не указана.

DNA3.0-2B — мультимодальная модель Dnotitia на основе Qwen/Qwen3.5-2B, дообученная с использованием uncensored- и persona-training. Она предназначена для диалогов, аналитических рассуждений, помощи в программировании и понимания изображений; также поддерживает интерфейс вызова инструментов. Модель имеет 2 млрд параметров, плотную архитектуру и принимает текст и изображения, выдавая текст. README заявляет поддержку 201 языка и диалектов и контекст до 262 144 токенов с расширением примерно до 1 010 000 токенов через YaRN. Модель обучена отвечать с меньшим числом отказов и учитывать корпоративные знания и терминологию Dnotitia, поэтому подходит для ассистента по продуктам и внутреннему контексту компании. Унаследованные от базовой модели мультимодальные возможности позволяют разбирать изображения в диалоге. Модель распространяется по лицензии Apache-2.0. Сниженное число отказов может привести к выдаче нежелательных ответов; корпоративная настройка способна смещать ответы в пользу точки зрения Dnotitia. Возможны галлюцинации и унаследованные от базовой модели пробелы и предубеждения. README не рекомендует применять модель для автономных решений в критически важных областях без надзора и профильной проверки.

Experiment26Neuralsirkrishna_Experiment28Yam — объединённая модель, созданная на основе automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment28Yam-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель построена на архитектуре Mistral с плотной структурой и содержит 7,1 млрд параметров. Длина контекста составляет до 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Данных о специализированной области применения или языках в карточке нет.

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

asaakyan/gutenberg_authorship — модель Sentence Transformers, дообученная автором на базе FacebookAI/roberta-base. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Архитектура включает RoBERTa с усреднением токеновых представлений; максимальная длина последовательности — 512 токенов. Модель можно применять для поиска семантически близких текстов, обнаружения перефразировок, кластеризации и классификации текстов. В README приведены результаты бинарной классификации на наборах litemb-dev и litemb-test; обучающие и оценочные данные описаны как CSV с тройками anchor, positive и negative. Метаданные указывают англоязычную базовую RoBERTa, но отдельный перечень поддерживаемых языков для этой модели не заявлен. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана. Её контекст ограничен 512 токенами, а приведённая оценка качества относится к указанной задаче бинарной классификации и не гарантирует качество на других доменах.

Infinity-Instruct-7M-Gen-Llama3_1-70B-GGUF — это GGUF-квантизированная версия генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-70B, разработанной BAAI и подготовленной квантизацией пользователем bartowski. Модель основана на Llama 3.1 с 70 миллиардами параметров и предназначена для генерации текста и выполнения инструкций на английском языке. Модель подходит для диалоговых сценариев, обработки инструкций и других задач text generation. Она использует архитектуру Llama 3.1 и запускается через llama.cpp, в том числе в LM Studio. В репозитории доступны варианты квантизации от Q8_0 до Q2_K, включая рекомендуемые Q4, Q5 и Q6; размер файлов составляет примерно от 27 до 75 ГБ. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Сильная сторона модели — большой размер и широкий выбор вариантов квантизации, позволяющий выбирать между качеством и требованиями к памяти. Более высокие варианты обеспечивают качество, близкое к исходной модели, а низкобитные подходят для систем с ограниченным объёмом RAM, но заметно снижают качество. Мультимодальность и размер контекстного окна в README не указаны. Лицензия обозначена как llama3.1; исходная модель обучена на датасете BAAI/Infinity-Instruct.

InternLM2.5-1.8B-Chat — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель с 1,7 млрд параметров и контекстом до 32 768 токенов, предназначенная для практических сценариев общения с LLM. Модель генерирует ответы на запросы, демонстрирует способности к математическим рассуждениям и может работать с инструментами в многошаговых сценариях: README описывает выбор инструментов, анализ результатов и сбор сведений с множества веб-страниц. В метаданных также указана поддержка классификации текста. Модель принимает текст и выдаёт текст; карточка содержит примеры на английском и китайском, но не задаёт полный перечень поддерживаемых языков. Разработчики отмечают сильные результаты на отдельных тестах рассуждения, однако качество ответов может варьироваться. Возможны предвзятые, дискриминационные или иные вредоносные ответы, поэтому результаты требуют проверки. В метаданных лицензия обозначена как other; README указывает, что код распространяется по Apache-2.0, а для весов доступ к академическим исследованиям открыт и коммерческое использование возможно по бесплатной заявке.

InternLM-Chat-7B — диалоговая модель семейства InternLM от команды InternLM, предназначенная для практических сценариев общения и генерации текста. Это плотная авторегрессионная модель класса InternLMForCausalLM с 6,9 млрд параметров; в репозитории представлены веса PyTorch. Карточка сообщает о тренировке на триллионах высококачественных токенов и оценивает модель по языковым, предметным, знаниевым, логическим и понимательным задачам. Модель подходит для диалоговых ассистентов, ответов на вопросы, объяснений и генерации текста; также заявлены возможности вызова инструментов для построения пользовательских рабочих процессов. Метаданные указывают контекст 2048 токенов, тогда как README заявляет окно 8k, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Карточка приводит результаты OpenCompass, включая C-Eval, MMLU и AGIEval. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов указано открытое использование в академических исследованиях, а коммерческое применение требует получения бесплатного разрешения.

JoyFox-OmniFlow-9B — мультимодальная модель общего назначения от JoyFox на основе OpenBMB MiniCPM-o 4.5. Она поддерживает диалог на английском, китайском и других языках, выполнение инструкций, ответы на сложные вопросы, математические рассуждения, генерацию кода, ролевые сценарии и вызов инструментов. Модель принимает текст, изображения, видеокадры и аудио, а также поддерживает потоковое взаимодействие в режиме full-duplex с одновременным аудио- и визуальным вводом и текстовым или речевым выводом. Архитектура MiniCPMO включает языковую модель, визуальный и аудиоэнкодеры, мультимодальные проекционные слои и модуль синтеза речи. В README указан размер 9B, а метаданные сообщают 7,6 млрд параметров; контекст — до 40 960 токенов. Релиз распространяется в BF16 Safetensors и включает ресурсы для TTS и клонирования голоса по образцу аудио. Для полной потоковой генерации речи требуются дополнительные зависимости minicpmo-utils[all]. Модель загружается через Transformers; в README описана проверка полной загрузки на GPU NVIDIA RTX PRO 6000 Blackwell. Независимые внешние результаты бенчмарков не приведены; качество потокового взаимодействия зависит от конфигурации аудио и видео и среды выполнения. Возможны неточные, предвзятые или неподходящие ответы, а схемы и аргументы вызова инструментов требуют проверки. Лицензия — Apache-2.0.

Carnice-V3-GGUF — это квантизированная GGUF-версия модели Carnice-V3, разработанной kai-os и подготовленной bartowski с использованием llama.cpp. Модель рассчитана на задачи генерации текста, агентские сценарии и взаимодействие с инструментами; в метаданных также указана поддержка image-text-to-text и тегов tool-use и agent. Модель содержит 28 млрд параметров и принимает текст, а также изображения при использовании специального mmproj-файла. Поддерживается английский язык. Доступны speculative decoding через MTP и квантизация с imatrix. Представлено множество вариантов квантизации от BF16 и Q8_0 до более компактных Q2/Q3/Q4/Q5/Q6, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q6_K и Q6_K_L — для более высокого качества. К сильным сторонам относятся большой размер, мультимодальный ввод, поддержка агентских задач и инструментов, а также широкий выбор квантизаций. Ограничениями являются значительный объём файлов, необходимость совместимого ПО на базе llama.cpp и mmproj-файла для обработки изображений; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Mungert/LFM2.5-8B-A1B-GGUF — квантованный формат текстовой модели LFM2.5-8B-A1B, разработанной Liquid AI и опубликованной пользователем Mungert. Модель предназначена для локального и периферийного (edge) развёртывания, в частности для персональных ассистентов на устройствах, агентских сценариев, вызова инструментов, структурированных ответов и многоязычного диалога. Модель имеет гибридную архитектуру с 8,3 млрд параметров, из которых активно используется 1,5 млрд; включает 24 слоя — 18 double-gated LIV convolutional layers и 6 слоёв с GQA. Указаны контекст длиной до 128 000 токенов, словарь из 128 000 токенов и поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского и испанского языков. Это текстовая reasoning-модель, поддерживающая function calling; GGUF-формат ориентирован на llama.cpp и совместимые инструменты, а также на быстрый локальный inference на CPU и GPU. Сильные стороны модели — высокая производительность при небольшом числе активных параметров, поддержка длинного контекста, многоязычность, следование сложным инструкциям, tool use и пригодность для on-device deployment. Ограничения: модель не считается оптимальным выбором для сложного программирования и фактологически насыщенных задач без retrieval; README также не указывает конкретный вариант квантования для данного репозитория и его размер. Распространение осуществляется по лицензии lfm1.0; точные условия следует уточнять в файле LICENSE.

Ling-3.0-flash-abliterated-APEX-GGUF — неофициальная общественная GGUF-сборка модели Ling-3.0-flash, разработанной inclusionAI. Модель предназначена для генерации текста и задач рассуждения, включая локальный запуск через совместимое с GGUF программное обеспечение. В официальной версии мышление включено по умолчанию. Модель использует гибридную архитектуру MoE: 124 млрд параметров всего и около 5,1 млрд активных параметров. В её основе — стек из Kimi Delta Attention и gated MLA в соотношении 5:1, разреженный MoE с 512 маршрутизируемыми экспертами, выбором top-8 и одним общим экспертом, два плотных слоя и обученная MTP-голова. Заявленный график контекстного окна составляет 8K, затем 32K и до 256K токенов. Формат GGUF использует архитектуру bailingmoe3 и смешанную квантизацию APEX; наличие поддерживаемых языков в README не указано. Эта сборка отличается от официальной применением abliterix v6 trial 21 для снижения частоты отказов и последующим преобразованием в GGUF. Поэтому она может заметно отличаться от исходной модели по поведению и безопасности; README указывает на необходимость самостоятельной оценки соответствия требованиям, контроля доступа и аудита. Также для указанных уровней квантизации не использовалась imatrix. Лицензия — MIT, при этом необходимо соблюдать условия inclusionAI и применимое местное законодательство.

vhab10/Llama-3.1-8B-Base-Instruct-SLERP — языковая модель, созданная с помощью mergekit объединением Meta Llama 3.1 8B Base и Meta Llama 3.1 8B Instruct методом SLERP. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и ответов на инструкции. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 131 072 токена. Модель можно использовать для генерации продолжений текста, диалоговых ответов, следования инструкциям и иных текстовых задач общего назначения. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оценке, но не гарантируют качество в конкретном применении. Лицензия репозитория — MIT. Модель унаследовала основу от моделей Meta Llama 3.1; перед использованием следует учитывать условия лицензии базовых моделей Meta.

LongCat-Flash-Lite-Sparse-Uncensored-Heretic-Native-MTP-And-LSA-Preserved — дообученная версия LongCat-Flash-Lite-Sparse от независимого автора llmfan46. Это разговорная причинная языковая модель для генерации текста с архитектурой LongCat Flash Sparse и 4,6 млрд параметров. По метаданным, модель принимает контекст до 983 040 токенов; исходное семейство использует разреженное внимание LongCat Sparse Attention для эффективной работы с длинным контекстом. Модель изменена методом abliteration, чтобы снизить частоту отказов: в приведённом README сравнительном тесте отказов стало 9 из 100 против 99 из 100 у исходной модели. Она предназначена для диалогов, генерации текста и сценариев с длинными входными данными; README также ссылается на отдельную GGUF-версию. Заявленная лицензия — MIT. README предупреждает, что модель не оценивалась всесторонне для всех прикладных задач.

bartowski/MiniCPM5-2B-GGUF — это GGUF-квантизированная версия языковой модели MiniCPM5-2B, разработанной OpenBMB. Квантизация выполнена bartowski с использованием llama.cpp; доступны варианты от BF16 и Q8_0 до низкоразрядных IQ- и Q-форматов. README указывает размер модели около 3 млрд параметров, поддержку только текстового ввода и отсутствие speculative decoding. Модель предназначена для генерации текста и может применяться в локальных, on-device и edge AI-сценариях, включая задачи с длинным контекстом и tool-calling, заявленные в метаданных. Поддерживаемые языки — английский и китайский. Рекомендуемым компромиссом между качеством и размером назван вариант Q4_K_M объёмом 1,62 ГБ; более высокие разрядности обычно сохраняют лучшее качество, а низкие требуют меньше памяти, но могут заметно уступать по результатам. Точная архитектура и максимальная длина контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Ministral-3-14B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Ministral-3-14B-Instruct-2512, разработанной Mistral AI и подготовленной квантизатором bartowski. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая сценарии генерации текста и работы с изображениями согласно заявленному типу pipeline image-text-to-text. Модель имеет около 14 млрд параметров в исходной версии, а репозиторий содержит варианты от BF16 до низкобитных форматов Q3 и IQ4. Доступны версии с разным компромиссом между качеством, размером и требованиями к памяти; рекомендуемыми названы некоторые варианты Q4–Q6. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекстного окна в README не указаны, а формат промпта рекомендуется уточнять на странице исходной модели. Основные преимущества этой версии — возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки для снижения потерь качества. Ограничения связаны с тем, что низкобитные варианты требуют компромисса между качеством и потреблением памяти, а подробные сведения о возможностях, контекстном окне и ограничениях исходной модели в README отсутствуют. Репозиторий распространяется по лицензии Apache-2.0.

Sakalti/model-3 — языковая модель Qwen2, созданная слиянием моделей через mergekit методом TIES. В слиянии использованы Qwen/Qwen2.5-7B и Qwen/Qwen2.5-7B-Instruct; итоговая модель имеет около 7,1 млрд параметров, архитектуру Qwen2ForCausalLM и веса в формате Safetensors с точностью bfloat16. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и формирует текстовые ответы; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Данные README содержат результаты оценки на IFEval и BBH, но не описывают специальные предметные области или подтверждённые преимущества модели. Лицензия в предоставленных данных не указана.

TeichAI/Nemotron-Cascade-14B-Thinking-Claude-4.5-Opus-High-Reasoning-Distill — дообученная TeichAI языковая модель на архитектуре Qwen3, основанная на nvidia/Nemotron-Cascade-14B-Thinking. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации текста и диалогов, включая задачи рассуждения. Обучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL; веса доступны в формате safetensors. Модель поддерживает английский язык и контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова инструментов и обучающий набор TeichAI/claude-4.5-opus-high-reasoning-250x. Лицензия — Apache-2.0. Подробные оценки качества и конкретные ограничения в карточке не описаны.