II.6Документация и сопровождение разработки

Magnum-v2-4b-GGUF — это набор GGUF-квантизированных версий текстовой генеративной модели magnum-v2-4b, разработанной anthracite-org и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогового применения и генерации текста; в README указан английский язык и формат prompt с ролями system, user и assistant. Доступны версии с исходными весами F16 и различными уровнями квантования от Q8_0 до Q2_K, включая варианты Q4, Q5 и Q6, оптимизированные для разных компромиссов между качеством, размером и требованиями к памяти. Размер файлов составляет примерно от 1,72 до 9,03 ГБ. Некоторые варианты дополнительно оптимизированы для инференса на CPU и ARM, а отдельные версии используют повышенную точность для embedding- и output-весов. Запуск поддерживается через llama.cpp и LM Studio. К сильным сторонам относятся широкий выбор форматов, возможность локального запуска и сохранение высокого качества у вариантов Q5 и Q6. Более сильное квантование уменьшает требования к памяти, но может снижать качество генерации; варианты Q2 и Q3 имеют низкое качество и подходят главным образом при жёстких ограничениях по ресурсам. В README не указаны архитектура, размер контекста, точные мультимодальные возможности и результаты тестирования. Модель распространяется по лицензии Apache-2.0.

JunxiongWang/mamba_0_875_sft — текстовая генеративная модель на архитектуре Mistral, дообученная разработчиком JunxiongWang на наборе JunxiongWang/sftdataset поверх JunxiongWang/mamba_0_75_sft. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и предназначена для диалоговой генерации текста. Модель может использоваться для создания ответов в чатах и генерации продолжений текста. В README приведено значение loss 0,5037 на оценочном наборе, но дополнительные сведения о сценариях применения и результатах оценки не раскрыты. Лицензия — MIT.

SpirinEgor разработал Mamba-1.4B-ru — предобученную языковую модель для генерации текста на архитектуре Mamba. Она содержит около 1,34 млрд параметров по README; в метаданных Hugging Face указано 1,7 млрд. Модель обучалась более чем на 1 трлн токенов, преимущественно на русском и английском тексте, а также на коде и многоязычных данных. Размер словаря — 32 768 токенов; длина обучающих последовательностей составляла 2048 токенов. Модель предназначена для продолжения текста и генерации ответов на русском и английском языках. Это базовая предобученная модель без дообучения на следование инструкциям, поэтому для диалоговых сценариев может потребоваться дополнительная настройка. По README, результаты на английском слабее, чем на русском, а качество может уступать моделям с 7 млрд параметров. Репозиторий распространяется по лицензии Apache-2.0.

CobraMamba/mamba-gpt-7b-v2 — языковая модель для генерации текста, дообученная на базе mistralai/Mistral-7B-v0.1. В README приведены результаты оценки на задачах Open LLM Leaderboard, включая ARC и HellaSwag; модель предназначена для экспериментов и прикладных сценариев генерации текста. По метаданным это плотная архитектура MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, доступная в форматах PyTorch и safetensors для Transformers. Модель принимает текст и генерирует текст; в карточке указан английский язык. Репозиторий распространяется по лицензии Apache-2.0. Ответы могут быть ошибочными или нерелевантными, а обучающие данные могут приводить к предвзятым или оскорбительным формулировкам; результаты следует проверять.

nthngdy/matritest_600M — генеративная языковая модель, опубликованная пользователем nthngdy на Hugging Face. Модель предназначена для генерации текста и совместима с библиотекой Transformers; в метаданных она обозначена как модель семейства LLaMA с архитектурой, ориентированной на авторегрессионное продолжение и создание текстов. Объём модели составляет 345 млн параметров, а нативная длина контекста — 8192 токена.

Meissa-Qwen2.5-7B-Instruct-Q4_K_M-GGUF — квантизированная версия модели Meissa-Qwen2.5-7B-Instruct, разработанной Orion-zhen и преобразованной пользователем yemiao2745 в формат GGUF с помощью llama.cpp и GGUF-my-repo. Модель предназначена для генерации текста и использования в диалоговых и прикладных сценариях, поддерживаемых исходной instruct-моделью. В карточке указаны китайский и английский языки, а также наборы данных для обучения и доработки, включающие текстовые, структурированные, литературные и ролевые примеры. Модель относится к семейству Qwen2.5 и имеет размер 7B параметров согласно идентификатору и названию исходной модели. Квантизация Q4_K_M уменьшает требования к памяти и делает запуск более доступным на локальном оборудовании, однако может снижать точность по сравнению с полноразмерными или менее квантизированными версиями. Формат GGUF ориентирован на запуск через llama.cpp; в README приведены примеры работы в режиме командной строки и серверном режиме. Значение контекста 2048 указано только в примере запуска и не подтверждает максимальный размер контекстного окна. Модель подходит для локальной генерации текста, чат-интерфейсов и задач, где важны автономность и умеренные требования к ресурсам. При этом в карточке отсутствуют подробные сведения о фактической архитектуре, максимальном контексте, производительности, качестве на бенчмарках и ограничениях безопасности, поэтому эти характеристики нельзя оценить по представленным данным. Лицензия указана как GPL-3.0.

Это языковая модель на архитектуре Mistral, созданная сообществом с помощью слияния SLERP двух моделей: beowolx/CodeNinja-1.0-OpenChat-7B и yanolja/EEVE-Korean-Instruct-10.8B-v1.0. Модель содержит 7,1 млрд параметров, работает с библиотекой Transformers и имеет контекст до 8192 токенов. Модель предназначена для генерации текста в диалоговом формате. В слиянии объединены возможности модели для задач программирования и корейской модели, обученной следованию инструкциям; точные сравнительные результаты и гарантии качества в карточке не приводятся. Модель принимает и выдаёт текст. Файлы опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

mergekit-community/mergekit-slerp-jdsasof — объединённая языковая модель, созданная сообществом с помощью mergekit из SanjiWatsuki/Kunoichi-DPO-v2-7B и Endevor/InfinityRP-v1-7B. Для объединения применён метод SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоговые ответы. Поддерживает контекст до 8192 токенов; в репозитории используются веса Safetensors для Transformers. Модель подходит для экспериментов с объединёнными языковыми моделями и генерации текста. README и метаданные не сообщают лицензию или конкретные языки поддержки, поэтому их нельзя надёжно указать.

Meta-Llama-3-8B-Instruct-abliterated-v3-IMat-GGUF — это GGUF-квантизованная версия модели failspy/Meta-Llama-3-8B-Instruct-abliterated-v3, подготовленная пользователем legraphista с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, такие как llama.cpp. В основе лежит модель размером 8 миллиардов параметров с исходным форматом BF16 и архитектурой семейства Meta Llama 3. Репозиторий содержит варианты с точностью от 1 до 16 бит, включая BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Для ряда вариантов применена IMatrix-квантизация, призванная лучше сохранять качество при уменьшении размера модели. Доступны файлы размером примерно от 3,18 до 16,07 ГБ; точные поддерживаемые языки и размер контекстного окна в README не указаны. Сильные стороны модели — выбор разных уровней квантизации, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными вариантами. При этом более агрессивная квантизация может приводить к снижению качества, а конкретные характеристики зависят от выбранного файла. Модель распространяется по лицензии Llama 3; условия использования следует уточнять в тексте этой лицензии.

bartowski/meta-llama_Llama-4-Scout-17B-16E-Instruct-old-GGUF — это квантованная версия инструкционно дообученной модели Llama 4 Scout, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения пользовательских инструкций; конкретные прикладные сценарии в README не перечислены. Из доступных данных известны обозначения 17B и 16E в названии модели, а также принадлежность к семейству Llama 4 Scout. Модель относится к классу text-generation, однако сведения о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, вариантах квантования и требованиях к ресурсам отсутствуют. К потенциальным сильным сторонам относятся инструкционное дообучение и возможность использования в экосистеме GGUF, совместимой с рядом локальных средств запуска. Ограничения и фактическое качество зависят от конкретной квантовки и среды инференса; количественные характеристики и результаты тестирования не указаны. Модель распространяется на условиях Llama 4 Community License от Meta. Лицензия предусматривает требования к атрибуции, отображению надписи «Built with Llama», соблюдению Acceptable Use Policy и особые коммерческие условия для продуктов с более чем 700 миллионами ежемесячных активных пользователей.

MFANN-Llama3.1-Abliterated-SLERP-TIES-V3 — диалоговая языковая модель семейства Llama 3.1, созданная netcat420 с помощью mergekit: методом TIES объединены mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и две модели MFANN. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и доступна в формате safetensors для Transformers. Метаданные указывают контекст до 131 072 токенов; в README приведены рекомендуемые настройки запуска с длиной контекста 8 192 токена. Модель предназначена для генерации текста и диалоговых ответов. README также описывает экспериментальный режим SATANN для сценариев киберопераций, а базовая модель характеризуется как модель с ослабленными ограничениями на ответы. Такое описание не подтверждает качество или безопасность её применения в этих сценариях. Лицензия в предоставленных данных не указана.

MFANN-llama3.1-abliterated-SLERP-v3.1 — диалоговая языковая модель на архитектуре Llama 3.1, созданная netcat420 с помощью слияния моделей через mergekit. В конфигурации указаны Meta-Llama-3.1-8B-Instruct-abliterated и две модели MFANN; итоговый репозиторий описан как слияние двух последних. Модель содержит 7,5 млрд параметров, использует формат Safetensors и рассчитана на контекст до 131 072 токенов по метаданным; в README приведены параметры запуска с длиной контекста 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на запросы. README описывает обычный режим помощника и экспериментальный режим для задач кибербезопасности, включая наступательные сценарии. Указана лицензия Llama 3.1; перед использованием следует учитывать её условия и ограничения. Карточка не приводит оценок качества или результатов испытаний.

MiniChat-3B — диалоговая языковая модель GeneZC на архитектуре LLaMA, созданная дистилляцией и дообучением адаптированной LLaMA2-7B. Модель содержит 2,9 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. В карточке указана поддержка английского и китайского языков. Модель предназначена для диалога и генерации ответов на запросы, а также для сценариев, где нужна компактная чат-модель. В README сообщается, что MiniChat-3B показала результаты выше ряда конкурирующих моделей класса 3B в оценке GPT-4 и сопоставимые с некоторыми чат-моделями класса 7B; это утверждение приведено разработчиком. Репозиторий содержит веса PyTorch и Safetensors и использует лицензию Apache-2.0, однако README требует соблюдать лицензию LLaMA 2, поскольку модель от неё производна.

MiniCPM4.1-8B-Russian-CPT-i1-GGUF — это квантизированная версия русскоязычной текстовой модели ALEKAS/MiniCPM4.1-8B-Russian-CPT, подготовленная mradermacher в формате GGUF. Модель основана на архитектуре MiniCPM и содержит около 8 миллиардов параметров. В качестве обучающего набора указан its5Q/biggest-ru-book; базовая библиотека — Transformers. Модель предназначена для генерации и обработки текста, прежде всего на русском языке, а также на английском. Она может использоваться локально в сценариях текстовой генерации и других задачах, поддерживаемых causal language models. Доступны многочисленные варианты квантизации i1, различающиеся размером, скоростью и качеством: от примерно 2 до 6,8 ГБ. В README не указаны размер контекста, поддерживаемые модальности, результаты тестирования или точные прикладные возможности. К преимуществам относятся специализация на русском языке, выбор компактных квантизированных вариантов и возможность локального запуска при ограниченных ресурсах. Ограничения зависят от выбранного типа квантизации: наиболее компактные варианты могут заметно уступать по качеству, тогда как более качественные требуют больше памяти. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-1B-heretic-som-i1-GGUF — GGUF-квантизированная версия языковой модели MiniCPM5-1B-heretic-som, подготовленная mradermacher на основе модели dalatexcoder. Модель предназначена для генерации и обработки текста, диалоговых сценариев, задач с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. В метаданных указана поддержка английского и китайского языков. Модель содержит около 1 млрд параметров и представлена в различных вариантах квантизации GGUF размером примерно от 0,5 до 1,0 ГБ, включая IQ- и Q-варианты. Доступны imatrix-квантизации, оптимизированные для самостоятельного создания квантованных файлов. Наиболее сбалансированными в README названы i1-Q4_K_S и i1-Q4_K_M, причём последний рекомендован как быстрый вариант. Заявленные преимущества — небольшой размер, возможность работы локально и на периферийных устройствах, а также поддержка длинного контекста и tool calling. Качество зависит от выбранного уровня квантизации: самые компактные варианты могут заметно снижать качество генерации, а некоторые обозначены как имеющие очень низкое качество. Точные параметры архитектуры, максимальная длина контекста, результаты бенчмарков и сведения о мультимодальности в README не приведены; по доступным данным это текстовая модель. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-GGUF — квантизированная версия языковой модели MiniCPM5-2B, разработанной OpenBMB и распространяемой в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска, работы на периферийных устройствах и поддержки вызова инструментов. В README также заявлены возможности работы с длинным контекстом. Модель имеет около 2 миллиардов параметров, относится к текстовым моделям и ориентирована на английский и китайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16, с размером файлов примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди быстрых конфигураций. Основное преимущество модели — компактность и возможность локального использования при выборе подходящего уровня квантизации. Ограничения связаны с компромиссом между размером, скоростью и качеством: менее точные варианты могут заметно уступать более крупных или слабо квантизированных версий. В README не приведены результаты бенчмарков, точный размер контекста и подробные сведения об архитектуре. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2.5-MLX-8bit — это 8-битная квантованная версия языковой модели MiniMax-M2.5, разработанной компанией MiniMaxAI. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и других сценариев, поддерживаемых задачей text-generation, включая локальный запуск в совместимых средах. README не содержит подробностей о размере исходной модели, архитектуре, поддерживаемых языках, длине контекста или мультимодальных возможностях, поэтому эти характеристики нельзя достоверно указать. Ключевое преимущество модели — снижение требований к памяти по сравнению с полноразмерной версией благодаря 8-битному квантованию и оптимизации под Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, зависимость от совместимого оборудования и программной среды, а также отсутствие в README сведений о результатах тестирования и производительности. Модель распространяется по лицензии modified-MIT; условия следует уточнять в указанном файле лицензии MiniMaxAI.

cyankiwi/MiniMax-M2.7-AWQ-4bit — квантизированная версия языковой модели MiniMax-M2.7, разработанной MiniMax AI. Модель предназначена для генерации текста и совместима с библиотекой Transformers. Вариант использует 4-битное квантование AWQ, что снижает требования к памяти по сравнению с полной версией базовой модели и делает её более подходящей для локального или ограниченного по ресурсам запуска. В предоставленных данных не указаны архитектура, число параметров, поддерживаемые языки, размер контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно описать. Модель распространяется по модифицированной лицензии MIT; подробные условия приведены в лицензии базового проекта MiniMax-M2.7. Ограничения и результаты оценки в README не указаны, поэтому перед использованием в критически важных сценариях необходима самостоятельная проверка качества и совместимости.

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

Ministral-3b-instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Ministral, опубликованный пользователем duyntnet. Модель основана на архитектуре семейства Mistral и предназначена для генерации текста и выполнения инструкций, включая локальный запуск через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Модель имеет около 3 млрд параметров, относится к GPT-подобным моделям и была дообучена на смеси общедоступных и синтетических наборов данных. Основной язык — английский. В репозитории представлены варианты в формате GGUF с imatrix-квантизацией, что ориентировано на более эффективное локальное использование при сниженных требованиях к памяти, хотя конкретные уровни квантизации и их характеристики не указаны. Сильными сторонами являются компактный размер, поддержка распространённых инструментов локального инференса и возможность работы на менее мощном оборудовании по сравнению с более крупными моделями. Ограничения включают преимущественно англоязычную направленность, отсутствие заявленной поддержки других модальностей и недостаток информации о контексте, точных характеристиках квантизации и результатах оценки качества. В исходном описании указана лицензия Apache 2.0; модель дообучена на базе Mistral-7B-v0.1.

Miquella-120B — объединённая текстовая языковая модель на архитектуре Llama, созданная eldrtchmoon с помощью mergekit. Это попытка повторить Goliath-120B, заменив в исходной схеме слияния Xwin на Miqu-1-70B; также в слияние вошла Euryale-1.3-L2-70B. Модель предназначена для генерации текста, включая диалоговые сценарии. Веса опубликованы в формате safetensors; объём модели составляет 117,5 млрд параметров, а контекст — до 32 764 токенов. README не сообщает поддерживаемые языки и конкретные ограничения качества. Лицензия в предоставленных данных не указана.

unsloth/mistral-7b — базовая плотная авторегрессионная языковая модель семейства Mistral, опубликованная Unsloth в формате Safetensors. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных указан английский язык и лицензия Apache-2.0. Модель предназначена для генерации текста и может использоваться как основа для чат-ботов и дополнения текста. README связывает её с шаблонами ShareGPT ChatML и Vicuna и предлагает ноутбуки для разговорного дообучения, текстового продолжения и DPO; это рекомендации по дальнейшей настройке, а не свидетельство, что данный чекпойнт уже дообучен под эти сценарии. Описания качества или конкретных результатов нет.

CorticalStack/mistral-7b-jondurbin-truthy-dpo — языковая модель Mistral с 7,1 млрд параметров, дообученная методом Direct Preference Optimization (DPO) на датасете jondurbin/truthy-dpo-v0.1. В карточке указана конфигурация LoRA: r=16, alpha=16 и dropout=0,05; базовая модель — mistralai/Mistral-7B-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, где важны предпочтения, отражённые в обучающих данных. Она принимает текст и выдаёт текст; заявленный контекст составляет 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает целевые языки, состав предпочтений в датасете, результаты оценки или гарантии точности, поэтому качество ответов и пригодность для конкретных сценариев требуют отдельной проверки.

Это вариант базовой модели Mistral-7B, подготовленный автором arnavgrg: веса линейных слоёв сначала квантизировали до NF4 с помощью bitsandbytes, а затем развернули обратно в FP16. Такой подход предназначен для инференса через Transformers и призван избежать затрат на деквантизацию при каждом проходе модели. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и имеет контекстное окно до 32 768 токенов. Модель подходит для генерации текста на основе текстового запроса и может использоваться в сценариях, поддерживаемых базовой Mistral-7B. README приводит пример загрузки в FP16 через Transformers. Повторное развертывание после NF4-квантизации не возвращает исходную точность: веса линейных слоёв искажены с потерями, поэтому качество может быть ниже официальной базовой модели. Лицензия — Apache-2.0.

TheBloke/Mistral-7B-OpenOrca-GGUF — это набор квантованных файлов модели Mistral 7B OpenOrca в формате GGUFv2. Исходную модель разработала OpenOrca, а квантование и публикацию GGUF-версии выполнил TheBloke. Модель относится к архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев на английском языке и использует шаблон запросов ChatML с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров. В репозитории представлены варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством вывода. Формат подходит для локального запуска на CPU и GPU через llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другие совместимые приложения и библиотеки. Максимальный размер контекста и поддерживаемые модальности в README не указаны; по имеющимся данным модель является текстовой. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. Ограничения включают англоязычную специализацию, возможную потерю качества при низкобитном квантовании и отсутствие заявленных характеристик контекстного окна, бенчмарков и гарантий точности. Указанная лицензия — Apache-2.0.

Mistral7B-PairRM-SPPO-Iter3-GGUF — набор квантизированных версий языковой модели Mistral7B-PairRM-SPPO-Iter3, первоначально разработанной UCLA-AGI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны форматы GGUF с уровнями квантизации от Q8_0 до IQ2_XS. Модель предназначена для генерации текста на английском языке и обучалась с использованием датасета openbmb/UltraFeedback. Модель рассчитана на локальный запуск через llama.cpp и совместимые инструменты. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M рекомендуются для большинства сценариев, а низкобитные варианты позволяют сократить требования к оперативной памяти ценой качества. Поддерживается формат промпта «<s> [INST] {prompt} [/INST]</s>»; системный промпт не поддерживается. Модель является текстовой, сведения о контекстном окне и дополнительных модальностях не указаны. Распространяется по лицензии Apache-2.0.

janelleopj/mistral-7b-planner — дообученная автором janelleopj языковая модель семейства Mistral для генерации текста в диалоговом формате. Она основана на unsloth/mistral-7b-instruct-v0.3-bnb-4bit; при обучении использовались Unsloth и библиотека TRL от Hugging Face. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов по текстовым запросам и может использоваться в чат-сценариях. В метаданных также отмечен интерфейс вызова инструментов, однако README не описывает специальную задачу планирования, обучающие данные или поведение модели в таких сценариях. Доступен формат safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; результаты могут зависеть от запроса и сценария применения.

HINT-lab/mistral-7b-ppo-m-hermes — разговорная языковая модель, разработанная Jixuan Leng, Chengsong Huang, Banghua Zhu и Jiaxin Huang. Авторы дообучили teknium/OpenHermes-2.5-Mistral-7B методом PPO-M — алгоритмом RLHF с калибровкой модели вознаграждения. В карточке указано, что PPO-M предназначен для снижения словесной чрезмерной уверенности у LLM, обученных с RLHF: модель вознаграждения использует оценки уверенности наряду с попарными предпочтениями, чтобы соотносить уверенность ответа с его качеством. Модель основана на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в диалоговом формате. Заявленная длина контекста — 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Данные указывают на английский язык исходной модели OpenHermes, но языки обучения этой версии отдельно не перечислены. Модель подходит для диалоговых ответов и генерации текста с акцентом на более калиброванную словесную уверенность. Карточка ссылается на препринт об алгоритме PPO-M; сравнительные оценки этой конкретной версии не приведены. Лицензия в предоставленных данных не указана.

ewqr2130/mistral-7b-raw-sft — текстовая генеративная модель на архитектуре Llama с плотной архитектурой и 6,6 млрд параметров. Согласно карточке, автор провёл supervised fine-tuning модели Mistral 7B; указано 6000 эпох, но подробности обучения и его результаты не приведены. Модель предназначена для генерации текста. Она принимает текст и выдаёт текст, с контекстом до 4096 токенов. Репозиторий содержит веса в формате safetensors. Поддерживаемые языки и специализированные предметные области в карточке не описаны. Модель распространяется по лицензии MIT. Карточка не содержит сведений об оценке качества или ограничениях fine-tuning, поэтому пригодность для конкретных задач следует проверять отдельно.

MaziyarPanahi/mistral-7b-sft-beta-GGUF — это набор файлов модели в формате GGUF для HuggingFaceH4/mistral-7b-sft-beta. Исходную модель разработала команда HuggingFaceH4, а квантованные файлы подготовил MaziyarPanahi. Модель основана на Mistral-7B-v0.1 и предназначена для генерации текста, включая локальный запуск и чат-сценарии с помощью совместимых приложений и библиотек, таких как llama.cpp, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и содержит около 7 миллиардов параметров. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. В README явно указан английский язык; другие языки, размер контекста и дополнительные модальности не описаны. Формат GGUF ориентирован на эффективный запуск через llama.cpp и совместимые интерфейсы, в том числе с GPU-ускорением. Сильными сторонами являются поддержка широкого набора локальных инструментов, разные уровни квантования и возможность запуска на более ограниченных по ресурсам устройствах. Ограничения включают потенциальную потерю качества при использовании более агрессивного квантования, а также отсутствие в предоставленных данных подробных оценок качества, характеристик контекста и рекомендаций по аппаратным требованиям. Для модели указана лицензия Apache-2.0; в метаданных также присутствует ссылка на MIT для базовой модели.