II.6Документация и сопровождение разработки

MiniChat-1.5-3B — компактная диалоговая языковая модель от GeneZC, дистиллированная и дообученная на адаптированной версии LLaMA 2-7B. Модель относится к семейству LLaMA, использует плотную архитектуру LlamaForCausalLM и содержит 2,9 млрд параметров; она рассчитана на контекст до 4096 токенов и работает через Transformers в форматах PyTorch и safetensors. Модель предназначена для генерации текста в формате чата и ответов на запросы. В README отмечены улучшенная смесь данных, применение NEFTune и DPO; авторы сообщают о результатах, сопоставимых с некоторыми чат-моделями на 7 млрд параметров по собственной оценке GPT-4. Метаданные указывают английский и китайский языки. Лицензия репозитория указана как Apache-2.0, однако README требует соблюдать лицензию LLaMA 2, поскольку модель основана на ней. Перед использованием следует учитывать ограничения исходной лицензии. Длина контекста 4096 токенов и сравнительные результаты отражают сведения карточки и не гарантируют качество на конкретных задачах.

HirCoir разработал MiniChat-1.5-3B-Sorah — плотную авторегрессионную языковую модель семейства Llama с 2,9 млрд параметров, основанную на MiniChat-1.5-3B и дообученную на инструкциях и данных предпочтений. Она предназначена для диалогов и генерации ответов по запросам пользователя и связана с проектом голосовой модели Sorah от Piper. Для модели указан контекст длиной 4096 токенов; карточка перечисляет английский, китайский и испанский языки. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README заявляет результаты на MT-Bench, но не приводит подробностей оценки, поэтому это заявление не позволяет судить о качестве в других сценариях.

Карточка модели openbmb/MiniCPM-2B-dpo-bf16 на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-dpo-bf16-llama-format, поэтому описание составлено по ней. MiniCPM-2B-dpo-bf16-llama-format — диалоговая языковая модель MiniCPM от ModelBest и лаборатории обработки естественного языка Университета Цинхуа (TsinghuaNLP). Это DPO-версия семейства MiniCPM, представленная в архитектуре Llama; в метаданных указано 2,7 млрд параметров и контекст до 4096 токенов. Модель принимает текст и генерирует текст, поддерживает китайский и английский языки. Модель предназначена для диалогов, ответов на вопросы и других задач общего назначения, а компактный размер позволяет рассматривать её для локального запуска, в том числе на устройствах с ограниченными ресурсами. Разработчики сообщают о результатах DPO-версии на MTBench, однако оценка зависит от настроек генерации: в карточке отмечено, что качество генерации через Hugging Face Transformers может быть ниже, чем через vLLM. Ограничения включают галлюцинации, чувствительность к формулировке запроса, непоследовательность ответов и неточные знания; длинные ответы DPO-версии могут повышать вероятность галлюцинаций. Лицензия указана как other, а README заявляет о выпуске весов для исследований и ограниченного коммерческого использования; перед применением следует свериться с условиями лицензии репозитория.

MiniCPM-2B-dpo-bf16-llama-format — диалоговая языковая модель MiniCPM от ModelBest и лаборатории обработки естественного языка Университета Цинхуа (TsinghuaNLP). Это DPO-версия семейства MiniCPM, представленная в архитектуре Llama; в метаданных указано 2,7 млрд параметров и контекст до 4096 токенов. Модель принимает текст и генерирует текст, поддерживает китайский и английский языки. Модель предназначена для диалогов, ответов на вопросы и других задач общего назначения, а компактный размер позволяет рассматривать её для локального запуска, в том числе на устройствах с ограниченными ресурсами. Разработчики сообщают о результатах DPO-версии на MTBench, однако оценка зависит от настроек генерации: в карточке отмечено, что качество генерации через Hugging Face Transformers может быть ниже, чем через vLLM. Ограничения включают галлюцинации, чувствительность к формулировке запроса, непоследовательность ответов и неточные знания; длинные ответы DPO-версии могут повышать вероятность галлюцинаций. Лицензия указана как other, а README заявляет о выпуске весов для исследований и ограниченного коммерческого использования; перед применением следует свериться с условиями лицензии репозитория.

MiniCPM5-1B-i1-GGUF — это набор imatrix-квантизированных версий базовой языковой модели openbmb/MiniCPM5-1B, подготовленный пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, включая локальное использование на устройствах с ограниченными ресурсами и edge-сценарии. В карточке указаны английский и китайский языки, а также датасеты Ultra-FineWeb, Ultra-FineWeb-L3, UltraData-Math и UltraData-SFT-2605, использованные для базовой модели. Модель имеет размер 1 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации — от IQ1_S до Q6_K. Размер файлов составляет примерно от 0,5 до 1 ГБ; вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Более агрессивные варианты занимают меньше места, но могут заметно уступать в качестве, тогда как более крупные варианты обычно сохраняют качество лучше. Поддержка мультимодальности и точный размер контекста в README не указаны. Лицензия модели — Apache-2.0. Доступны готовые квантизированные файлы, а также imatrix-файл для создания собственных квантов. Ключевое ограничение — компромисс между компактностью и качеством, особенно у вариантов с низкой точностью; конкретные показатели производительности и качества в карточке не приведены.

MiniCPM5-1B-Rebel-i1-GGUF — GGUF-квантизированная версия модели MiniCPM5-1B-Rebel, опубликованная mradermacher и квантованная им на основе модели XuehangCang/MiniCPM5-1B-Rebel. Базовая модель разработана XuehangCang; в README также указаны связанные с ней наборы данных от XuehangCang и OpenBMB. Модель предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, включая локальные и периферийные сценарии использования. Модель относится к семейству MiniCPM5 и имеет размер 1B параметров. Доступна в формате GGUF с различными вариантами квантования от IQ1_S до Q6_K; размеры файлов составляют примерно 0,5–1,0 ГБ. Указана поддержка английского и китайского языков. Архитектура, точная длина контекста и дополнительные модальности в README не раскрыты, поэтому модель следует рассматривать как текстовую. Для ряда квантов отмечен компромисс между размером, скоростью и качеством; наиболее рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S, тогда как низкобитные варианты могут заметно снижать качество. Лицензия — Apache-2.0. README характеризует модель как uncensored и связанную с abliteration, однако не приводит подробных результатов оценки, ограничений безопасности или инструкций по ответственному применению. Для запуска требуются совместимые инструменты, поддерживающие формат GGUF.

MiniCPM5-1B-SFT-i1-GGUF — набор GGUF-квантизированных версий модели MiniCPM5-1B-SFT, разработанной командой OpenBMB и опубликованной как openbmb/MiniCPM5-1B-SFT. Квантизацию выполнил mradermacher. Модель предназначена для генерации текста, задач с длинным контекстом, вызова инструментов и локального применения на устройствах с ограниченными ресурсами, включая edge-сценарии. Базовая модель имеет размер 1 млрд параметров; в карточке указаны поддерживаемые языки English и Chinese, а также библиотека Transformers. Доступны варианты с разными уровнями квантизации GGUF — от очень компактных IQ1 и Q2 до Q6_K, примерно от 0,5 до 1,0 ГБ. Варианты различаются по размеру, скорости и качеству; для баланса этих характеристик рекомендованы i1-Q4_K_S и i1-Q4_K_M, тогда как наиболее низкие уровни квантизации могут заметно снижать качество. Точная длина контекста и сведения о дополнительных модальностях в README не указаны. Модель удобна для быстрого локального запуска и использования на маломощном оборудовании, однако качество зависит от выбранной квантизации, а низкоразмерные варианты могут быть менее точными. Для использования требуются совместимые инструменты для работы с файлами GGUF. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic-GGUF — это набор GGUF-квантизованных версий языковой модели MiniCPM5-2B-heretic, разработанной Dingdust и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков. Модель относится к семейству MiniCPM и имеет размер 2 млрд параметров. Доступны варианты квантования от Q2_K до Q8_0, IQ4_XS и f16; размер файлов составляет примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди перечисленных. Архитектура и максимальная длина контекста в README не указаны; по тегам модель ориентирована на текстовые сценарии, edge AI и on-device deployment. К сильным сторонам относятся компактный размер, возможность локального запуска и выбор между несколькими уровнями компромисса по скорости, качеству и потреблению памяти. Ограничения связаны с потерями качества при низком квантовании, а также с отсутствием в карточке подробных результатов оценки, описания конкретной архитектуры и точного размера контекста. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic-i1-GGUF — это GGUF-квантизированная версия языковой модели MiniCPM5-2B-heretic, опубликованная и квантизированная пользователем mradermacher. Базовая модель указана как Dingdust/MiniCPM5-2B-heretic; исходная разработка связана с экосистемой MiniCPM. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. Заявлены английский и китайский языки. Модель относится к классу компактных text-generation-моделей с примерно 2 млрд параметров и представлена в формате GGUF. Доступны варианты квантизации от очень компактных IQ1/IQ2 до IQ4, Q5 и Q6, размером примерно от 0,8 до 2,2 ГБ; варианты различаются балансом между требованиями к памяти, скоростью и качеством. Для части вариантов указана imatrix-квантизация, а Q4_K_M отмечена как быстрая и рекомендуемая. Компактность делает модель подходящей для локального и периферийного развёртывания, однако сильное сжатие может заметно ухудшать качество. В README не приведены точный размер контекстного окна, детальное описание архитектуры, результаты бенчмарков, мультимодальные возможности и конкретные ограничения поведения модели. Лицензия — Apache-2.0.

MiniMax-M2.1-GGUF — это квантизированная версия языковой модели MiniMax-M2.1, разработанной MiniMaxAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В репозитории доступны варианты в формате GGUF с уровнями квантизации от Q8_0 до Q2_K и IQ-квантами. Размер файлов составляет примерно от 79,82 до 243,14 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S отмечены как рекомендуемые, тогда как некоторые Q3- и Q2-варианты имеют заметно более низкое качество. Поддерживаемые языки, архитектура исходной модели, размер контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и оптимизация imatrix-калибровкой. Ограничениями являются очень большой размер файлов и компромисс между требованиями к памяти и качеством генерации; низкобитные варианты могут давать существенно худшие результаты. Указана лицензия modified-MIT; подробные условия приведены в лицензии исходной модели MiniMax-M2.1.

MiniMax-M2.1-8bit — это квантизированная 8-битная версия языковой модели MiniMax-M2.1, разработанной MiniMaxAI и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе на совместимом оборудовании экосистемы MLX. Модель относится к задачам text generation и поддерживает использование токенизатора с chat template для диалоговых запросов. В README не указаны архитектура, общее число параметров, поддерживаемые языки, модальности и размер контекстного окна. 8-битное представление потенциально снижает требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности, качества и совместимости не приведены. Для работы требуется библиотека mlx-lm версии с поддержкой данного формата; конвертация выполнена с использованием mlx-lm 0.29.1. Модель распространяется по лицензии modified-MIT, подробные условия доступны в указанном файле LICENSE репозитория MiniMax-AI.

Это текстовая версия базовой модели Ministral 3, подготовленная aimeri из mistralai/Ministral-3-14B-Base-2512. При экспорте удалены башня зрения Pixtral и мультимодальный проектор, а веса языковой модели сохранены без изменений: модель не дообучалась, не объединялась с другими и не квантизировалась. Архитектура — плотная авторегрессионная Ministral3ForCausalLM с 13,4 млрд параметров, 40 слоями и контекстом до 262 144 токенов. Модель предназначена для генерации текста и использования в качестве базовой точки для дальнейшей настройки. В карточке перечислена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Она распространяется в формате safetensors по лицензии Apache-2.0. Это базовая, а не чат-модель: готового шаблона диалога нет. По README, большинство управляющих токенов не обучены и не должны использоваться без дополнительной настройки или замены соответствующих весов. При загрузке через AutoTokenizer также есть ограничения на работу с пользовательскими Jinja-шаблонами; для таких сценариев README рекомендует PreTrainedTokenizerFast.

Это квантованная в формате GGUF версия Ministral 8B Instruct 2410 abliterated, подготовленная mradermacher на основе модели realoperator42/ministral-8B-Instruct-2410-abliterated. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых с GGUF инструментов и приложений. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель относится к семейству Ministral и имеет около 8 миллиардов параметров, однако подробные сведения об архитектуре, размере контекста и поддерживаемых модальностях в README не указаны. Доступны варианты квантования от наиболее компактных IQ1 до более качественных Q5, с размерами файлов примерно от 2,1 до 5,7 ГБ. В README рекомендуется вариант i1-Q4_K_M как быстрый, а i1-Q4_K_S — как компромисс между размером, скоростью и качеством; низкобитные варианты могут заметно уступать по качеству. К преимуществам относятся широкий выбор квантований и возможность запуска на ограниченных аппаратных ресурсах. Ограничения включают потенциальное снижение качества при сильном квантовании, отсутствие описания результатов тестирования и неполные сведения о характеристиках базовой модели. Информация о лицензии в README не указана.

sapirharary/MiniTruePrefixes — языковая модель для генерации текста и диалоговых ответов. Она основана на архитектуре Llama и содержит около 1,2 млрд параметров. Модель опубликована в формате safetensors и помечена как conversational; заявленная длина контекста составляет 131 072 токена. Модель можно использовать для генерации продолжений текста и ведения диалогов в приложениях на базе Transformers. В карточке не приведены сведения о разработчике, обучающих данных, языках, базовой модели, лицензии, качестве и ограничениях, поэтому эти характеристики нельзя оценить по доступным источникам.

RoseG/MiP_TRiADAi_SFTPro_CML — дообученная TRiADiC Intelligence Labs языковая модель на базе Qwen/Qwen3.5-9B-Base. Она предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель использует плотную архитектуру Qwen3.5 и формат весов Safetensors, запускается через Transformers. Базовая модель — мультимодальная Qwen3.5 с 9 млрд параметров, способная работать с изображениями, однако карточка этой производной модели описывает её как генератор языка и не подтверждает поддержку изображений. Лицензия — Apache-2.0. Специализированная область применения и дополнительные сведения о качестве не приведены.

mirrorqwen2.5-0.5b-ORPO-1 — компактная языковая модель семейства Qwen2, разработанная автором rawsh и дообученная на базе rawsh/mirrorqwen2.5-0.5b-SFT с использованием TRL. Модель предназначена для генерации текста и диалоговых ответов; карточка показывает пример запуска через Transformers с сообщением пользователя в формате чата. Модель содержит 494 млн параметров и поддерживает контекст до 32 768 токенов. В репозитории указаны веса SafeTensors. Карточка не описывает датасеты, языковую специализацию или лицензию, поэтому эти характеристики не приводятся.

Mistral7B-PairRM-SPPO-Iter2 — языковая модель на 7,1 млрд параметров, разработанная UCLA-AGI методом Self-Play Preference Optimization на второй итерации. Она основана на mistralai/Mistral-7B-Instruct-v0.2 и дообучена на синтетических ответах с использованием наборов запросов из UltraFeedback и данных snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset. Модель предназначена для диалогов и генерации ответов на запросы; карточка приводит результаты оценок AlpacaEval, MT-Bench и Open LLM Leaderboard. Модель использует плотную архитектуру Mistral, принимает текст и поддерживает контекст до 32 768 токенов. Основной язык — английский. Репозиторий содержит веса в формате safetensors и заявляет лицензию Apache-2.0. Карточка не описывает специальных ограничений сверх стандартных для генеративных языковых моделей: ответы могут быть неточными или выдуманными.

AvoCahDoe/mistral-7b-rlmpq-balanced — вариант Mistral-7B-v0.1, подготовленный методом RL-MPQ (Reinforcement Learning Mixed-Precision Quantization) для сбалансированного соотношения сжатия и качества. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации текста; средняя точность квантования составляет 3,3438 бита на вес. Веса представлены в формате SafeTensors и доступны для работы через Transformers. Модель подходит для локального запуска и генерации текста при ограниченных ресурсах, когда важно уменьшить размер весов. В README описана проверка качества по perplexity на WikiText-2, однако конкретный показатель для сбалансированного сценария в предоставленном фрагменте отсутствует. Указанная длина контекста — 32 768 токенов; язык карточки и языковой тег — английский. Лицензия — Apache-2.0. Это вариант квантования базовой модели, поэтому качество и поведение могут отличаться от исходного чекпойнта; пригодность для конкретных задач следует оценивать отдельно.

mistral-7b-sft-constitutional-ai — дообученная командой HuggingFaceH4 модель Mistral-7B-v0.1 для генерации текста в диалогах. Она обучена на наборах cai-conversation-harmless и ultrachat_200k; в метаданных указана поддержка чата. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и имеет контекст до 32 768 токенов. Модель подходит для генерации ответов в диалоге и экспериментов с настройкой поведения языковых моделей, в том числе с данными о безвредных ответах. В README приведено значение loss 0,9344 на оценочном наборе, но подробности методики оценки и ограничения не раскрыты. Лицензия — Apache-2.0.

mistral-7b-uncensored-i1-GGUF — набор взвешенных GGUF-квантизаций модели luvGPT/mistral-7b-uncensored, подготовленный mradermacher. Модель основана на архитектуре Mistral с примерно 7 млрд параметров и предназначена для генерации текста на английском языке. Формат GGUF ориентирован на локальный запуск в совместимых приложениях и библиотеках. Модель подходит для диалогов, написания и продолжения текстов, ролевых сценариев и других задач генерации, где требуется модель без специально заявленных ограничений на содержание. В репозитории представлены варианты квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 1,7 до 6 ГБ, что позволяет выбирать компромисс между потреблением памяти, скоростью и качеством; среди рекомендуемых отмечен i1-Q4_K_M. Основные ограничения связаны с потерями качества при сильной квантизации: самые компактные варианты могут заметно уступать более крупным по точности и связности ответов. README не указывает размер контекста, мультимодальные возможности, результаты тестирования или дополнительные языки, поэтому модель следует рассматривать прежде всего как англоязычную текстовую. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

Ministral-3-14B-Reasoning-2512-GGUF — это GGUF-квантизированная версия модели Ministral-3-14B-Reasoning-2512, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для локального запуска задач генерации текста и мультимодального взаимодействия с изображениями, что отражено в типе конвейера image-text-to-text. Для работы используются llama.cpp и совместимые приложения, включая LM Studio. Модель имеет размер 14B параметров; в каталоге представлены варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Квантизация с использованием imatrix позволяет уменьшить требования к памяти при сохранении качества, однако более компактные варианты могут уступать исходным весам по точности. Поддерживаются английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский языки. Архитектура, размер контекста и точный формат подсказок в README не указаны. Сильными сторонами являются возможность локального запуска, широкий выбор компромиссов между качеством и объёмом файлов, а также поддержка текста и изображений. Ограничения включают зависимость от совместимого runtime llama.cpp и отсутствие в README подробных сведений о возможностях рассуждения, результатах оценки, контекстном окне и рекомендованных шаблонах запросов. Модель и её квантизированные варианты распространяются по лицензии Apache-2.0.

v2ray/Mixtral-8x22B-v0.1 — преобразованная в формат Hugging Face Transformers копия базовой модели Mixtral-8x22B от Mistral AI. Это предварительно обученная генеративная модель со разреженной архитектурой Mixture of Experts (MoE); репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации, а не настроена специально для диалоговых инструкций. Модель принимает текст и генерирует текст. В метаданных указан контекст до 65 536 токенов; перечислены английский, французский, итальянский, немецкий и испанский языки. Лицензия — Apache-2.0. В README отмечено, что базовая версия не имеет механизмов модерации.

agemagician/mlong-t5-tglobal-large — предварительно обученная многоязычная модель семейства MLongT5, опубликованная Ahmed Elnaggar на основе работы Uthus и соавторов и проекта LongT5. Это encoder-decoder Transformer с механизмом transient-global attention, предназначенным для эффективной обработки длинных текстовых последовательностей. Модель содержит около 615 млн параметров и доступна в форматах PyTorch и Flax. Модель обучена на многоязычном корпусе в режиме текстового денойзинга и предназначена прежде всего для дообучения на размеченных данных. После настройки её можно применять для генерации текста, включая суммаризацию и ответы на вопросы по длинным входным материалам. В карточке заявлена обработка последовательностей до 16 384 токенов; метаданные каталога указывают нативный контекст в 4096 токенов. Карточка перечисляет поддержку множества языков, включая английский, арабский, испанский, французский, хинди и японский. Модель принимает и генерирует текст. Лицензия — Apache-2.0. Для конкретной задачи обычно требуется дообучение; качество может зависеть от языка, данных настройки и длины входа.

MN-12B-Celeste-V1.9-GGUF — это набор GGUF-квантизированных версий текстовой генеративной модели MN-12B-Celeste-V1.9, разработанной nothingiisreal и преобразованной в GGUF компанией или автором bartowski. Квантизация выполнена с помощью llama.cpp версии b3634 и метода imatrix. Модель предназначена для локального запуска и генерации текста, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Модель имеет размер 12B параметров и работает с текстом на английском языке. В README указан формат инструкций с ролями system, user и assistant на основе специальных токенов im_start и im_end. Доступны варианты от F32 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ; размеры файлов составляют примерно от 5,45 до 49 ГБ. Более качественные варианты Q6 и Q5 рекомендуются для максимального сохранения возможностей, а облегчённые варианты подходят для систем с ограниченной оперативной памятью. Некоторые сборки оптимизированы для ARM и CPU. Сильными сторонами являются широкий выбор размеров, возможность локального запуска и использование imatrix-квантизации, призванной сохранить качество при уменьшении объёма модели. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие в README данных об архитектуре, размере контекста, производительности, мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия модели указана как Apache-2.0.

MobileMoE-L-SFT — англоязычная текстовая модель Meta для локального запуска на мобильных и других устройствах с ограниченными ресурсами. Это instruction-tuned чекпойнт семейства MobileMoE с архитектурой смеси экспертов (MoE): 5,3 млрд параметров всего, из них 922 млн активируются на токен. В модели 32 слоя, 60 маршрутизируемых экспертов, четыре активных эксперта на токен и один общий эксперт; используется групповое внимание запросов (GQA). Контекст — 8192 токена, вход и выход — текст. Модель предназначена для диалогов и генерации ответов, включая задачи рассуждения и математики. По данным карточки, на 14 базовых бенчмарках MobileMoE сопоставима или превосходит ряд компактных плотных моделей при меньших вычислительных затратах; приведённые результаты относятся к SFT-версии. Чекпойнт прошёл supervised fine-tuning и хранится в формате safetensors с точностью BF16. Архитектура требует загрузки с trust_remote_code=True, поскольку пока не входит в upstream Transformers. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование.

MonadGPT 7B GGUF — квантизированная версия языковой модели MonadGPT 7B, разработанной Pierre-Carl Langlais и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для диалогового взаимодействия и генерации текста. Модель ориентирована на работу с английским, французским и латинским языками. Доступны варианты квантизации от 2 до 8 бит для запуска на CPU и GPU, что позволяет выбирать компромисс между требованиями к памяти и качеством вывода. Файлы совместимы с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая LM Studio, KoboldCpp и llama-cpp-python. Для общения используется шаблон ChatML. Сведения о длине контекста, точном числе параметров архитектуры и мультимодальных возможностях не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся локальный запуск на различном оборудовании, широкий выбор уровней квантизации и поддержка нескольких языков. К ограничениям относятся возможная потеря качества в квантизированных версиях и отсутствие подробных данных о результатах тестирования, производительности и сценариях применения. Модель распространяется по лицензии Apache-2.0.

Monarch-7B-SFT — текстовая генеративная модель семейства Mistral с 7,1 млрд параметров, размещённая пользователем macadeliccc. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате Safetensors, лицензия — Apache 2.0. Модель подходит для генерации продолжений текста и ответов на текстовые запросы. В карточке приведены результаты Open LLM Leaderboard: средний балл 68,98, включая 63,74 на AI2 Reasoning Challenge и 83,58 на HellaSwag. README заполнен шаблонными сведениями и не раскрывает данные о разработчике, обучении, языках, конкретной настройке или ограничениях, поэтому назначение и качество модели нельзя точнее определить по доступным материалам.

Sakalti/mont-normal — компактная языковая модель для генерации текста и диалогов, созданная с помощью mergekit на основе Qwen/Qwen2.5-0.5B-Instruct. В README описано слияние методом TIES; метаданные указывают архитектуру Qwen2, 300,1 млн параметров и библиотеку Transformers. Модель принимает текст и генерирует текст. Она подходит для диалогов, выполнения инструкций и обычной генерации текста; заявленный размер контекста — 32 768 токенов. Метаданные также указывают интерфейс для вызова инструментов. Карточка не приводит результаты оценки качества или сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

afrideva/mpt-3b-8k-instruct-GGUF — набор квантизированных GGUF-файлов модели mpt-3b-8k-instruct, разработанной niallturbitt и опубликованной в форматах для локального запуска. Квантизацию выполнил afrideva. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется компактная языковая модель, пригодная для работы на ограниченных ресурсах. Модель имеет размер 3 миллиарда параметров, поддерживает контекст до 8 тысяч токенов согласно идентификатору базовой модели и относится к текстовым моделям без заявленной поддержки дополнительных модальностей. Доступны варианты квантизации q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0 размером от 1,54 до 3,86 ГБ. Более компактные варианты требуют меньше памяти, но могут сильнее терять в качестве относительно менее агрессивной квантизации. Карточка не содержит сведений о поддерживаемых языках, точной архитектуре, результатах тестирования, рекомендуемом программном обеспечении для запуска или лицензии. Поэтому языковые возможности, производительность и условия распространения следует уточнять в карточке исходной модели и сопроводительных материалах.