II.10Разработка и эксплуатация AI/ML-систем

Falcon3-10B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Falcon3-10B-Instruct, разработанной Technology Innovation Institute (TII) и опубликованной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. Она рассчитана на запуск через llama.cpp и совместимые приложения, например LM Studio, с использованием формата чата <|system|>, <|user|>, <|assistant|>. Модель содержит 10 млрд параметров и работает только с текстом. В репозитории доступны варианты от исходных весов F16 размером 20,62 ГБ до квантизаций Q4 и Q5 размером примерно 5,9–7,6 ГБ, а также Q6 и Q8. Квантизации позволяют снизить требования к памяти и запускать модель локально, при этом более сильное сжатие может ухудшать качество. Для вариантов Q4–Q6 заявлено хорошее или очень высокое сохранение качества; наиболее сбалансированным вариантом для большинства сценариев указан Q4_K_M. В опубликованных оценках базовая модель получила 78,17% строгой точности на IFEval, 44,82% на BBH, 25,91% exact match на MATH Level 5 и 38,1% на MMLU-Pro; результаты на GPQA и MuSR составили 10,51% и 13,61% соответственно. Эти показатели характеризуют отдельные тестовые сценарии и не гарантируют качество для конкретных прикладных задач. Языки поддержки и размер контекста в README не указаны. Модель распространяется по лицензии Falcon LLM License; перед использованием необходимо ознакомиться с условиями лицензии TII.

FuxiTranyu-8B — плотная авторегрессионная языковая модель семейства FuxiTranyu, разработанная командой TJUNLP и обученная с нуля на 600 млрд токенов с балансировкой данных между языками. Модель содержит около 9,1 млрд параметров, принимает текст и поддерживает контекст до 4096 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для генерации текста и многоязычных сценариев: продолжения и составления текстов, а также работы с запросами на 43 естественных языках, включая русский и английский. Карточка также заявляет поддержку 16 языков программирования. В README приведено сравнение многоязычных возможностей с BLOOM-7B и PolyLM-13B; отдельные варианты модели прошли instruction tuning, но эта карточка описывает базовую модель. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальные ограничения или гарантии качества для отдельных языков и задач.

gemma-2-27b-it-IMat-GGUF — это GGUF-квантизированная версия модели Gemma 2 27B Instruction Tuned, разработанной Google. Версия подготовлена пользователем legraphista с помощью llama.cpp и предназначена для локального запуска задач генерации текста и диалогового взаимодействия в совместимых средах, включая llama.cpp. Модель основана на исходной версии google/gemma-2-27b-it с исходным форматом BF16. Доступны варианты от BF16 и FP16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-вариантов размером примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. README не содержит достоверных сведений о поддерживаемых языках, длине контекста, модальностях помимо текста или конкретных результатах тестирования. Основное преимущество сборки — широкий выбор уровней квантизации для подбора компромисса между качеством, требованиями к памяти и скоростью локального вывода. Ограничения связаны с большими требованиями к ресурсам даже у компактных вариантов, а качество низкобитных версий может отличаться от исходной модели. Для доступа и использования действует лицензия Gemma от Google; на Hugging Face требуется принять условия лицензии.

PocketWeights/Gemma-4-12B-agentic-abliterated-GGUF — это квантизированная в формате GGUF версия 12-миллиардной модели на архитектуре Gemma, разработанной Google. К использованной базовой модели Huihui-gemma-4-12B-agentic-fable5-abliterated применены дообучение и методы удаления отказов от huihui-ai / yuxinlu1; сборку и оптимизацию GGUF выполняет PocketWeights. Модель предназначена для генерации текста, диалогов, многошагового планирования, декомпозиции сложных запросов, структурированного вывода, агентских сценариев и использования инструментов или function calling. Заявлены возможности технического анализа, автономного выполнения многошаговых целей, red-teaming и творческого письма. Поддерживаемые модальности и языки в README не указаны; контекстное окно также не заявлено. Доступны варианты IQ3_M размером 5,73 ГБ, рассчитанный примерно на 6 ГБ VRAM или 8 ГБ RAM, и Q4_K_M размером 7,38 ГБ, рекомендованный для 8–12 ГБ VRAM или 16 ГБ RAM. Ключевое преимущество — сочетание 12B-параметров с локальным запуском на потребительском оборудовании. Ограничение — удалённые защитные механизмы, поэтому модель может генерировать небезопасный контент и рекомендуется для авторизованных исследований безопасности, симуляций red-teaming и локальных изолированных сред. Модель распространяется по Gemma Terms of Use / Open Model License; конкретные условия применения следует проверять в тексте лицензии.

win10/ghost-13.3b-beta-1608 — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе ghost-x/ghost-8b-beta-1608. Модель использует плотную архитектуру Llama с классом LlamaForCausalLM и предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Объём модели составляет 12,7 млрд параметров, заявленная длина контекста — 131 072 токена. Базовая модель описана как многоязычная модель на основе Llama 3. Модель распространяется в формате safetensors. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

GLiFormer Large v1 — модель Knowledgator с 575,6 млн параметров, использующая общий layout-aware энкодер DeBERTa и специализированные головы задач. Она предназначена для извлечения именованных сущностей и отношений, классификации текста, формирования структурированных записей по заданной схеме и получения текстовых эмбеддингов. Метки и схема извлечения задаются при инференсе; можно выполнять несколько задач за один вызов. Несмотря на поддержку разметки макета документов в архитектуре, приведённые примеры и оценки относятся к текстовым задачам. Карточка приводит результаты оценки на англоязычных данных: средний строгий F1 для NER на 26 наборах — 50,91, средний macro-F1 классификации на 13 наборах — 75,03; показатели извлечения отношений существенно различаются между наборами. Качество зависит от меток, формулировки схемы, длины входа и порогов. Модель может пропускать сведения, ошибаться в границах сущностей и отношениях между записями; результаты для других языков, макетов документов и эмбеддингов в карточке не подтверждены. Лицензия — Apache-2.0.

MLX-версия модели GLM-4.7-Flash-8bit, созданная сообществом mlx-community путём конвертации базовой модели zai-org/GLM-4.7-Flash в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в средах, совместимых с MLX и mlx-lm. В README указаны поддерживаемые языки English и Chinese, а также доступность chat template для диалогового использования. Модель имеет 8-битное представление, однако сведения об архитектуре, количестве параметров, размере контекста, модальностях и конкретных сценариях применения не приведены. Лицензия — MIT.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

Gemma 3 12B IT QAT GGUF — квантизированная instruction-tuned модель семейства Gemma 3, разработанная Google. Данный вариант подготовлен bartowski на основе весов google/gemma-3-12b-it-qat-q4_0-unquantized и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к мультимодальному классу image-text-to-text, поэтому предназначена для обработки текста и изображений с генерацией текстовых ответов. Указан размер 12 миллиардов параметров; README не содержит сведений о поддерживаемых языках, размере контекста и точной архитектуре. Доступны варианты в формате GGUF с разными уровнями квантования, включая Q4_0; файл Q4_0 имеет размер около 6,91 ГБ и благодаря QAT должен обеспечивать улучшенное качество относительно обычного квантования при сохранении сниженных требований к памяти. Q4_0 также поддерживает онлайн-репаковку для ARM- и AVX-совместимых CPU. Сильными сторонами являются возможность локального использования, широкий выбор уровней квантования и совместимость с распространённой экосистемой llama.cpp. Более качественные варианты требуют больше памяти, а сильнее сжатые варианты могут заметно терять в качестве. Для доступа к исходной модели на Hugging Face необходимо принять лицензию Google Gemma; конкретные условия лицензии в README не приведены.

Hermes-Instruct-7B-217K — диалоговая языковая модель на архитектуре Mistral, созданная Lodrick the Lafted. Это дообученная версия Mistral-7B-Instruct-v0.2, обученная на 217 тысячах примеров из teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых инструкций. Она принимает запросы в формате Mistral-Instruct или Alpaca; токенизатор по умолчанию настроен на Alpaca. Автор описывает обучение на разном объёме данных как эксперимент по оценке влияния дальнейшего дообучения. Репозиторий предоставляет веса PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Результаты зависят от запроса и контекста; карточка не приводит отдельной оценки качества или подробностей ограничений.

IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.

K2-Horizon-7B-Uno Merged — слитая версия модели IFM/K2-Horizon-7B-Uno, опубликованная hermitdave. Репозиторий содержит объединённые с базовыми весами LoRA-адаптеры diffusion-модели; после слияния модель работает как стандартная авторегрессионная языковая модель. Архитектура плотная, семейство K2-Horizon; в метаданных указано 8 млрд параметров, а README сообщает примерно о 7,6 млрд параметров и 32 слоях. Модель предназначена для генерации текста и диалогов, включая рассуждения. Заявлен контекст до 524 288 токенов. Репозиторий содержит веса Safetensors; README также описывает подготовку для MLX и запуск на Apple Silicon. Для обработки специальных тегов рассуждений и вызовов инструментов в oMLX требуется версия 0.6.4 или новее с патчем поддержки K2-Horizon. Модель основана на IFM/K2-Horizon-7B-Uno, которая, согласно README, разработана Institute of Foundation Models. Лицензия — Apache 2.0. Качество и поддерживаемые языки в предоставленных данных не описаны; длинный заявленный контекст требует подходящей среды запуска и достаточных ресурсов.

K2-Horizon-MoVA-36B-A4B MLX-4bit — это 4-битная MLX-конверсия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Модель предназначена для генерации текста и запуска через mlx-lm на устройствах Apple с unified memory. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): общий объём составляет 36 млрд параметров, при обработке каждого токена активно около 4 млрд. Исходная модель поддерживает нативный контекст до 524 288 токенов (512K), однако фактически доступная длина контекста зависит от объёма unified memory и настроек KV-кэша. Вариант является текстовым и не требует vision projector; в метаданных указан английский язык. Веса в основном квантизованы методом affine 4-bit с размером группы 64, а веса маршрутизаторов MoE и MoVA сохранены в 8-битном формате. Размер модели составляет 21,07 ГБ. К сильным сторонам относятся большой контекст, сниженная по сравнению с полной точностью потребность в памяти и разреженная обработка с небольшим числом активных параметров на токен. Ограничениями являются необходимость актуальной версии mlx-lm, зависимость практической длины контекста от доступной памяти и отсутствие мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Lamarck-14B-v0.3 — языковая модель на архитектуре Qwen2, созданная sometimesanotion как многоэтапное слияние нескольких моделей через model_stock, DELLA, SLERP и TIES. При слиянии авторы сочетали модели, ориентированные на рассуждения и качество прозы, с акцентом на Virtuoso-Small в начальных и финальных слоях; также использованы модели Qwen2.5-14B-Wernicke и SeQwence-14B-EvolMerge. Модель предназначена для диалогов, следования инструкциям, генерации связного текста и задач, требующих рассуждений; в метаданных также заявлен интерфейс вызова инструментов. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Поддерживается английский язык. Лицензия — Apache-2.0.

LFM2.5-1.2B-Thinking-MLX-bf16 — версия модели рассуждений Liquid AI, подготовленная командой LM Studio Community на базе LFM2.5-1.2B-Thinking. Это плотная авторегрессионная модель семейства LFM2 с примерно 1,5 млрд параметров, представленная в исходной точности bfloat16 в формате safetensors и адаптированная для запуска на Apple Silicon через MLX. Модель предназначена для генерации текста в диалогах, задач рассуждения и агентных сценариев; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 128 000 токенов. В карточке указаны английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Компактный размер и оптимизация MLX подходят для локального запуска на устройствах Apple Silicon. Репозиторий указывает лицензию «other», поэтому конкретные условия использования следует сверять с лицензией исходной модели.

virtuanista/LFM2.5-8B-A1B-Uncensored-GGUF — это версия языковой модели LFM2.5-8B-A1B от Liquid AI без встроенного поведения, направленного на отказ от ответов. virtuanista выполнил abliteration, квантование и подготовку модели в формате GGUF для локального запуска. Модель предназначена для генерации текста, работы в качестве локального ассистента, следования инструкциям и задач, требующих рассуждений, при этом сохраняет блоки рассуждений <think>...</think>. Модель использует гибридную архитектуру, объединяющую короткие свёрточные блоки shortconv/LIV, внимание GQA и слои MoE, а не классический чистый Transformer. Заявлен контекст до 128K токенов. Доступны квантованные варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 4,6 до 9 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Модель поддерживает запуск через llama.cpp и Ollama; README не указывает поддерживаемые языки. Сильные стороны — локальная и приватная работа, несколько вариантов квантования, высокая заявленная длина контекста и сохранение возможностей базовой модели после модификации. Ограничение версии заключается в отсутствии стандартных защитных барьеров: она отвечает с меньшим количеством фильтров, поэтому требует осторожного применения и не гарантирует безопасность или достоверность результатов. Модель распространяется по LFM Open License v1.0: коммерческое использование разрешено при годовой выручке менее 10 млн долларов, исследовательское и некоммерческое использование не ограничено; при перераспределении необходимо сохранять уведомления об авторских правах и атрибуцию Liquid AI.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

Llama-3-Alpha-Centauri-v0.1 — экспериментальная чат-модель семейства Llama 3, созданная автором серии Centaurus на основе дообучения и слияния моделей. Она предназначена для генерации ответов, рассуждений и анализа, в том числе по темам STEM, компьютерных наук, программирования и социальных наук. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст длиной до 8192 токенов. В карточке указана цель создать менее цензурированную модель; среди упомянутых возможностей — логическая дедукция, критическое мышление и анализ. В метаданных отмечен набор NobodyExistsOnTheInternet/ToxicQAFinal. README сообщает о настройках LoRA и 4-битного обучения, но не уточняет базовый репозиторий, а поля базовой модели в метаданных нет. Автор описывает модель как экспериментальную и предупреждает, что эффективность может меняться. Модель может выдавать токсичные или нежелательные ответы; пользователь отвечает за их интерпретацию и применение. Лицензия — llama3.

Lonepino-11B — плотная авторегрессионная языковая модель семейства Mistral, созданная beberik путём слияния нескольких моделей с помощью mergekit. В состав рецепта входят Intel/neural-chat-7b-v3-3-Slerp, NeverSleep/Noromaid-7b-v0.2, chargoddard/loyal-piano-m7-cdpo и maywell/PiVoT-0.1-Starling-LM-RP. Репозиторий содержит веса в формате bfloat16 и safetensors; размер модели — 10,6 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового общения. В README упомянуты шаблоны Alpaca и ChatML, а также приведены результаты оценивания на нескольких языковых бенчмарках. Основной язык и специализация не заявлены, поэтому её следует рассматривать как модель общего назначения. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.

M7Yamshadowexperiment28_Experiment27Experiment24 — объединённая модель Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Experiment27Experiment24-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов; репозиторий распространяет веса в формате safetensors. Лицензия — Apache-2.0. README и метаданные не описывают специализированные области применения или конкретные ограничения качества.

sharedalfalfa/market-matcher-trained-v1 — дообученный разработчиком модели энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления текстов. Он преобразует предложения и абзацы в плотные векторы размерности 384; сходство между векторами оценивается косинусной мерой. Архитектура состоит из BERT-энкодера, среднего пулинга токенов и нормализации. По метаданным модели в ней 25,9 млн параметров, а длина контекста составляет до 512 токенов; в конфигурации из README указана максимальная длина последовательности 256 токенов. Модель предназначена для семантического сравнения, поиска похожих текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. README указывает на обучение на наборе из 179 пар предложений с оценками сходства; примеры посвящены прогнозным рынкам, но данных недостаточно, чтобы считать специализацию на этой области подтверждённой. Карточка не сообщает лицензию. Англоязычная базовая модель предполагает основной упор на английский; качество для других языков не подтверждено.

MeliodasPercival_01_Experiment28M7 — объединённая модель Mistral с 7,1 млрд параметров, созданная MaziyarPanahi путём слияния automerger/MeliodasPercival_01-7B и automerger/Experiment28M7-7B. Она предназначена для генерации текста и диалоговых ответов, а контекстное окно составляет до 32 768 токенов. Модель распространяется в формате safetensors под лицензией Apache-2.0. В карточке не описаны специальные предметные области, целевые языки или отдельные ограничения качества.

Merlinite-7B — языковая модель IBM Research для генерации текста и диалогового общения. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, дообученная на базе mistralai/Mistral-7B-v0.1 методом LAB (Large-scale Alignment for chatBots). При подготовке использовалась синтетическая обучающая выборка, созданная с помощью Mixtral-8x7B-Instruct в роли учителя. Модель рассчитана прежде всего на английский язык и поддерживает контекст до 32 768 токенов. Её можно применять для ответов на вопросы, рассуждений, творческого письма и работы с информацией из документов. Авторы рекомендуют использовать системный промпт из обучения для оптимальной работы. Merlinite-7B не проходила выравнивание по человеческим предпочтениям с помощью RLHF и может выдавать проблемные или вымышленные ответы; сохраняются и ограничения базовой модели. Для важных решений ответы нужно проверять. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF — это GGUF-квантизированная версия языковой модели Meta-Llama-3-70B-Instruct-abliterated-v3.5, подготовленная legraphista на основе модели failspy. Модель предназначена для генерации текста и диалоговых сценариев с использованием llama.cpp и совместимых инструментов. Модель имеет размер 70 млрд параметров и поставляется в форматах BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и других вариантах квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Доступны файлы размером примерно от 26,38 ГБ до 141,12 ГБ; часть крупных вариантов разделена на несколько файлов. README не содержит сведений о длине контекста, поддерживаемых языках или мультимодальности, поэтому модель следует считать текстовой. Сильной стороной является сочетание крупного размера исходной модели с различными уровнями квантизации, позволяющими выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Ограничения связаны с высокими аппаратными требованиями даже для квантизированных вариантов и возможной потерей качества при агрессивной квантизации. Модель распространяется по лицензии llama3; для использования необходимо учитывать условия этой лицензии.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием SLERP модели Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synatra_7b_03. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на диалоговые запросы. В метаданных указан контекст длиной до 32 768 токенов. Модель подходит для интерактивного чата и генерации ответов по текстовым инструкциям. Репозиторий содержит веса в формате safetensors. Язык модели отдельно не указан. Лицензия — Apache-2.0.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.

MoEstral-2x7B — диалоговая языковая модель на архитектуре Mixtral/MoE, опубликованная paulilioaica. Она предназначена для генерации текста и ответов на инструкции, в том числе для задач рассуждения, работы с числами и абстрактными понятиями. В карточке описано объединение через mergekit двух копий mistralai/Mistral-7B-Instruct-v0.2 с маршрутизацией экспертов по тематическим подсказкам; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. README приводит результаты на отдельных бенчмарках, но не описывает методику или полный набор оценок, поэтому эти цифры не позволяют судить о качестве во всех сценариях.

Карточка модели OpenMOSS-Team/moss-moon-003-sft-plugin на Hugging Face совпадает с карточкой OpenMOSS-Team/moss-moon-003-sft, поэтому описание составлено по ней. MOSS-moon-003-sft — языковая модель с 16 млрд параметров, разработанная командой OpenMOSS-Team. Она основана на CodeGen и предварительно обучена на китайских, английских и программных токенах, после чего дообучена с учителем на примерно 1,1 млн многоходовых диалогов. Модель предназначена для диалогов с пользователем, следования инструкциям в нескольких репликах и отказа на неподходящие запросы. Модель принимает текст и генерирует текст; карточка указывает поддержку английского и китайского языков и контекст до 2048 токенов. Её можно применять для ответов на вопросы, простых математических задач, помощи с кодом и китайскоязычных диалогов. Описанные требования к запуску составляют 31 ГБ видеопамяти для загрузки в FP16 и больше при генерации; доступны варианты MOSS в INT8 и INT4, но этот репозиторий содержит веса PyTorch. Модель может выдавать неверную, вводящую в заблуждение или предвзятую информацию, поэтому ответы следует проверять. Лицензия — AGPL-3.0.

NVIDIA Nemotron 3.5 Lightning 30B A3B — языковая модель NVIDIA, представленная сообществом mlx-community в конвертированном формате MLX для запуска на устройствах Apple Silicon. Это гибридная архитектура Mamba-2 и attention с механизмом Mixture-of-Experts: около 31 млрд параметров всего и примерно 3 млрд активных на токен. В репозитории указана версия bf16 без квантизации; модель преобразована из nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 с помощью mlx-lm 0.31.3. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают контекст до 262 144 токенов. В карточке перечислены английский, испанский, французский, немецкий, итальянский и японский языки. Репозиторий использует библиотеку MLX и формат safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой исходной модели NVIDIA.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.