I.14Автоматизация процессов и AI-агенты

DareBeagle-7B-v2 — языковая модель для генерации текста, созданная mlabonne путём слияния NeuralBeagle14-7B и NeuralDaredevil-7B методом slerp с помощью LazyMergekit. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; репозиторий содержит веса Safetensors в формате float16. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель подходит для диалогов, следования инструкциям, рассуждений и творческой генерации текста — эти возможности также указаны для базовой NeuralBeagle14-7B. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 — модифицированная версия DeepSeek-R1-Distill-Qwen-14B от huihui-ai. Автор применил abliteration — экспериментальный метод изменения весов, предназначенный для ослабления отказов модели. Это плотная причинная языковая модель семейства Qwen2 на 14 млрд параметров; она принимает текст и генерирует текст, в том числе в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и использование Transformers. Модель предназначена для диалогов и генерации текста, включая сценарии, где требуется меньше отказов на запросы. Базовая модель рассчитана на рассуждения, математику и программирование, однако карточка этой модификации называет её изменение грубым proof of concept и не приводит оценки качества. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.

DeepSeek-V4-Pro — крупная языковая модель, разработанная DeepSeek и преобразованная сообществом mlx-community в формат MLX. Эта версия предназначена для генерации текста и запуска с библиотекой mlx-lm, преимущественно в сценариях локального инференса на совместимом оборудовании Apple MLX. Модель использует архитектуру Mixture-of-Experts (MoE), содержит около 1,6 трлн параметров в общей сложности, из которых активируется около 49 млрд, и поддерживает контекст до 1 млн токенов. Представленная версия имеет 8-битное представление весов. В карточке указана поддержка английского языка и текстовая модальность; сведения о других языках и модальностях отсутствуют. К сильным сторонам относятся очень большой контекст, MoE-архитектура с существенно меньшим числом активируемых параметров при каждом обращении и адаптация к MLX. Ограничения этой карточки — отсутствие подробных данных о качестве, бенчмарках, требованиях к памяти, скорости, поддерживаемых языках и особенностях применения; за дополнительной информацией предлагается обращаться к исходной карточке DeepSeek-V4-Pro. Лицензия указана как MIT.

juanmcristobal/e5-large-v2-mitre — дообученная модель Sentence Transformer на базе intfloat/e5-large-v2 для получения плотных текстовых эмбеддингов. Архитектура включает BERT, mean pooling и нормализацию; модель содержит 433,9 млн параметров, выдаёт векторы размерности 1024 и рассчитана на последовательности длиной до 32 токенов по README. Метаданные указывают максимальный контекст 512 токенов, поэтому фактический предел для этой версии в источниках расходится. Модель обучена на 2 268 288 парах предложений с MultipleNegativesRankingLoss. Она предназначена для семантического поиска и сравнения предложений, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста; близость векторов оценивается косинусным сходством. Примеры обучающих пар посвящены киберугрозам и защите, но данных недостаточно, чтобы считать модель специализированной только для этой области. Карточка не сообщает лицензию; базовая модель — англоязычная, а язык дообучения явно не указан.

Experiment28T3q_Experiment24Experiment28 — объединённая модель генерации текста, созданная путём слияния моделей automerger/Experiment28T3q-7B и automerger/Experiment24Experiment28-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; для генерации текста поддерживает контекст до 32 768 токенов. Модель может применяться для диалогов, написания черновиков и продолжения текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0.

sixtyoneeighty/FNCARL9000 — языковая модель с архитектурой Mixtral и смесью экспертов (MoE), созданная на основе четырёх моделей с помощью LazyMergekit: Open-Orca/Mistral-7B-OpenOrca, NeuralNovel/Mistral-7B-Instruct-v0.2-Neural-Story, S-miguel/The-Trinity-Coder-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста и диалогов; объединение исходных моделей ориентировано на инструкции, рассказы, код и математические задачи. Модель содержит 7,1 млрд параметров, использует формат safetensors и имеет контекст до 32 768 токенов. Карточка указывает лицензию Apache-2.0. Язык и качество ответов отдельно не описаны; составные модели включают англоязычную инструкционную модель. Практические результаты могут различаться по задачам, представленным в исходных моделях.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

moebiusT7/gemma-4-26b-a4b-mobius-custom-c1 — это модель для генерации текста на базе Google Gemma-4 26B-A4B-it, представленной в формате GGUF с QAT q4_0. Архитектура MoE использует 26 млрд параметров при примерно 4 млрд активных параметров. Модель ориентирована на английский и японский языки и рассчитана на запуск через llama.cpp, LM Studio, Ollama или совместимый OpenAI API-сервер. Указанный разработчиком рабочий контекст — 32 768 токенов; рекомендуется ограничивать reasoning budget значением 4096. Для работы на полном контексте требуется около 14,7 ГБ VRAM, поэтому практически необходима свободная видеокарта с 16 ГБ памяти. Модель предназначена для ответов на вопросы, суммаризации, работы с переданным контекстом и сценариев, где важны маршрутизация запросов, запрос уточнений и отказ от ответа при недостатке данных или небезопасных запросах. В поставляемой конфигурации используются системный промпт L0 Essentials compact v1.1, детерминированный защитный слой для пустых и некоторых небезопасных запросов, а также опциональный RCGov для управления retrieved-контекстом. По заявленным тестам модель показала 0 из 12 выдуманных ответов на вопросы с ложными предпосылками, 9 из 9 корректных отказов от персональных рекомендаций в высокорисковых ситуациях, 60 из 60 обычных ответов без лишних уточнений и скорость генерации около 155,7 токена в секунду на RTX 5070 Ti. Ограничение состоит в том, что сами веса Google не содержат governance-компонентов: при запуске GGUF без специального промпта и обвязки работает обычная Gemma-4. Модель распространяется по лицензии Gemma.

ressl/gemma-4-31B-it-uncensored-GGUF — квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, основанной на Google Gemma 4 31B-it. Формат подготовлен Robert Ressl для запуска через llama.cpp, Ollama и LM Studio; разработчик базовой модели — Google, а адаптация, «uncensored»/abliterated-обработка, конвертация и валидация выполнены Robert Ressl. Модель предназначена для генерации текста, диалоговых задач, локального запуска и сценариев, где требуется ассистент с минимальным количеством отказов, включая этичный анализ безопасности, исследование уязвимостей, анализ вредоносного и exploit-кода, написание правил обнаружения и red-teaming. GGUF-репозиторий является текстовым: мультимодальная vision-компонента удалена. Заявлены английский и немецкий языки. Модель поддерживает режим рассуждений, включаемый по умолчанию в llama.cpp; для прямых ответов его можно отключить. Доступны квантизации от q8_0 до q2_k размером примерно от 31 до 12 ГБ; q4_k_m указан как рекомендуемый баланс качества и размера. Меньшие квантизации снижают требования к памяти, но могут ухудшать качество. README сообщает о 0 эффективных отказов в большинстве уровней квантизации и о скорости около 75 токенов в секунду для q4 на одной RTX PRO 6000, однако эти показатели зависят от среды и методики тестирования. Максимальная длина контекста и архитектурные детали не указаны. Модель распространяется по Apache License 2.0, унаследованной от базовой модели Google Gemma 4; использование должно соответствовать условиям этой лицензии и применимому законодательству.

OnlyTextLLMs выпустила текстовую производную Gemma 4 E4B Instruct, сохранив текстовую основу и голову языкового моделирования, а также удалив компоненты обработки изображений и аудио и мультимодальные специальные токены. Модель использует архитектуру Gemma4ForCausalLM с плотной структурой, содержит 4,7 млрд параметров по метаданным и рассчитана на контекст до 131 072 токенов. README приводит другую оценку размера — 7,52 млрд параметров, поэтому точный размер по источникам расходится. Модель предназначена для генерации текста и диалоговых сценариев через Transformers. Она наследует базу google/gemma-4-E4B-it; заявлены формат safetensors и лицензия Apache-2.0. README указывает, что модель не дообучали: из базового чекпойнта удалили мультимодальные компоненты, поэтому она работает только с текстом и не принимает изображения или аудио.

Mungert/GigaChat3-10B-A1.8B-GGUF — GGUF-квантизированная версия диалоговой модели GigaChat3-10B-A1.8B, созданная на основе ai-sage/GigaChat3-10B-A1.8B-bf16 с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с русским и английским языками, а также другими языками, добавленными в обучающий корпус. Модель использует архитектуру Mixture-of-Experts (MoE) с 10 млрд общих и 1,8 млрд активных параметров, Multi-head Latent Attention (MLA) для снижения требований к памяти и Multi-Token Prediction (MTP) для ускорения генерации. Обучение проводилось на 20 трлн токенов, включая данные по книгам, академическим материалам, программированию и математике, а также около 5,5 трлн токенов синтетических данных. Длина контекста в представленном описании не указана. GGUF-версия ориентирована на эффективный локальный инференс в экосистеме llama.cpp. В сборке применяется квантизация с выборочным повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файла. Ограничениями являются возможная потеря точности по сравнению с исходной bf16-версией и отсутствие в карточке подробностей о конкретных вариантах квантизации, размере файлов и измерениях качества именно этой GGUF-сборки. Лицензия — MIT.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

Gemma 4 26B A4B it GGUF — квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач, а также сценариев image-text-to-text, согласно указанному pipeline tag. Модель распространяется в формате GGUF с вариантами точности от BF16 до Q3 и IQ3/IQ4, поэтому подходит для запуска на системах с разным объёмом памяти. Размер файлов составляет примерно от 12,55 до 50,51 ГБ. В README приведён специальный chat template и указана совместимость с llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и LoLLMs. Варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как рекомендуемый баланс качества и размера; более сильное сжатие экономит память, но снижает качество. Языки, точное устройство архитектуры, максимальная длина контекста и подробные характеристики мультимодальности в представленном README не указаны. Модель распространяется по лицензии Apache 2.0; для базовой Gemma также приведена отдельная ссылка на условия лицензии Google.

Grafted-Hermetic-Platypus-D-2x7B — разговорная языковая модель, созданная слиянием Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она использует архитектуру Mixtral с разреженной экспертной моделью (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций. В качестве формата запросов подходят шаблоны Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты нескольких тестов языковых моделей, включая AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о поддержке конкретных естественных языков, поэтому языки не перечислены. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах.

Hercules-5.0-Qwen2-1.5B — дообученная компанией M4-ai плотная языковая модель на 1,5 млрд параметров на базе Qwen2-1.5B. Она предназначена для общего ассистентского общения и поддерживает формат запросов ChatML; заявленные области применения включают ответы на вопросы, математику, программирование и написание текстов. Модель работает с текстом и имеет контекст до 131 072 токенов. Для обучения использован набор данных Locutusque/hercules-v5.0. Модель опубликована в формате safetensors под лицензией Apache-2.0. В карточке не приведены результаты оценки качества; разработчики также отмечают, что сведения о рисках, смещениях и ограничениях требуют уточнения.

Jais-2-70B-Chat — двуязычная языковая модель MBZUAI, Inception и Cerebras, обученная с нуля для диалогов и генерации текста на арабском и английском языках. Она рассчитана на современный литературный арабский, региональные диалекты и переключение между арабским и английским в одном сообщении. Это decoder-only Transformer с multi-head self-attention и 70 млрд параметров. Модель использует собственный арабоцентричный словарь размером 150 272 токена, RoPE и активацию Squared-ReLU; длина контекста — 8 192 токена. Подходит для чат-ассистентов, генерации и обработки двуязычных документов, анализа тональности и создания арабоязычного контента. В описанных авторами оценках модель показала конкурентные результаты на IFEval для арабского и английского и высокие результаты на AraGen-12-24. Авторы предупреждают, что её не следует применять для языков, отличных от арабского и английского, или для медицинских, юридических, финансовых и других критически важных решений без контроля человека. Лицензия — Apache-2.0.

Jantrit-7B — языковая модель на архитектуре Mistral, созданная автором репозитория с помощью LazyMergekit путём слияния OpenHermes-2.5-Mistral-7B и Dolphin-2.6-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Базовые модели предназначены для общения, генерации текста и помощи с кодом, однако README не приводит отдельной оценки качества Jantrit-7B. Сведения о лицензии в предоставленных данных отсутствуют.

Lapa LLM v0.1.3 Instruct — украинская мультимодальная модель команды Lapa LLM, созданная на базе Gemma 3 12B и дообученная на украинских текстах. В проекте участвовали исследователи Украинского католического университета, AGH University of Krakow, КПИ имени Игоря Сикорского и Львовской политехники. Версия 0.1.3 содержит исправления согласования и проверку pipeline; остальная модель не изменилась. Модель принимает текст и изображения и генерирует текст для диалога, ответов на вопросы, анализа изображений, суммаризации и перевода между английским и украинским языками. В README заявлены контекст входа до 128 тысяч токенов и выход до 8192 токенов. Адаптированный токенизатор заменяет 80 тысяч из 250 тысяч токенов украинскими; разработчики сообщают о сокращении числа токенов для украинского текста примерно в 1,5 раза относительно Gemma 3. Модель предназначена для украинских NLP-сценариев, включая локальную обработку документов, чат-боты и RAG. README отмечает сильные результаты в переводе, вопросах по изображениям и суммаризации, но также сообщает, что разработчики продолжают собирать данные для улучшения обработки изображений и следования инструкциям. Лицензия в метаданных указана как gemma; README заявляет о возможности коммерческого использования.

Apollo Raines опубликовал вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze методом representation engineering. По описанию автора, дополнительного обучения не было: изменения в весах подавляют отказы и уклончивые формулировки, чтобы ответы были более прямыми. Модель предназначена для диалоговой генерации текста, ответов на вопросы и выполнения инструкций, включая задачи по программированию. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она принимает текст и выдаёт текст; в карточке указаны английский язык и контекст до 131 072 токенов. Автор характеризует релиз как демонстрационную версию с намеренно сниженной полнотой возможностей. Указана лицензия Llama 3.1; свойства изменения отказов могут влиять на безопасность ответов, а заявленных автором проблем не обнаружено.

Llama-3.1-8B-Magpie-Align-SFT-v0.2 — диалоговая языковая модель семейства Llama 3.1, разработанная Magpie-Align. Это дообученная версия Meta Llama 3.1 8B, обученная на наборах Magpie-Llama-3.1-Pro-500K-Filtered и Magpie-Reasoning-150K. Модель предназначена для диалогов, выполнения инструкций и рассуждений в текстовом формате; для лучшего результата следует использовать официальный шаблон чата Llama 3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README сообщается о результатах, сопоставимых с Llama 3.1 8B Instruct при обучении только методом SFT, включая оценки AlpacaEval 2 и Arena Hard. Модель принимает текст и генерирует текст. README не перечисляет поддерживаемые естественные языки, поэтому язык в описание не добавлен. Использование регулируется лицензией Meta Llama 3.1 Community License.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Llama DEUS v3 — языковая модель семейства Llama, разработанная автором репозитория teknium и основанная на Llama 7B. Это объединённая с базовой моделью версия LoRA-дообучения: адаптер не требуется подключать отдельно. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые инструкции в формате «### Instruction: … ### Response:». Контекст — до 2048 токенов. Модель дообучена на наборах общих инструкций, программирования, ролевого общения, а также биологии, физики, химии и математики. Она предназначена для генерации ответов и выполнения инструкций в этих сценариях. В README автор характеризует датасеты и модель как uncensored, что может приводить к выдаче нежелательного или небезопасного содержания. Модель распространяется по лицензии MIT.

Manticore 13B Chat Pyg — языковая модель для диалогового и инструкционного текстового взаимодействия, разработанная Open Access AI Collective. Данная версия распространяется в формате GGUF и является квантизированным вариантом исходной модели Manticore 13B Chat Pyg; квантизацию выполнил TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 миллиардов параметров и предназначена для генерации текста по шаблону диалога Vicuna: ответов на вопросы, объяснений, инструкций и других чат-сценариев. В метаданных указан английский язык, а среди использованных наборов данных — коллекции ShareGPT, WizardLM, Alpaca, GPT4-LLM, ScienceQA, GSM8K и другие наборы для обучения инструкциям, диалогам, рассуждениям и программированию. Файлы GGUF доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, скоростью и качеством вывода. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, с поддержкой CPU+GPU-инференса. Мультимодальность и размер контекстного окна в README не указаны; модель предназначена для работы только с текстом. Лицензия обозначена как other, но ее конкретные условия не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели и условия распространения квантизированных файлов.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

Это диалоговая языковая модель Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.2-slerp, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и pankajmathur/Mistral-7B-model_45k6e2e4 методом SLERP с помощью mergekit. В основе — плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса опубликованы в формате safetensors и BF16. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает отдельные оценки качества или специализированные области применения. Практическая эффективность зависит от задачи и способа использования; отдельные языковые приоритеты не заявлены.

MistralInstructLongish-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и MistralInstructLongish методом SLERP. Она предназначена для генерации ответов на инструкции и диалоговые запросы; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. Указана лицензия Apache-2.0. Карточка не сообщает о языковом охвате и конкретных специализированных областях применения.

Модель predibase/Phi-3-mini-4k-instruct-dequantized — дообученная версия компактной языковой модели Phi-3 Mini от Microsoft, загруженная jeffkinnison. Она предназначена для генерации текста в диалогах и написания кода; поддерживает контекст до 4096 токенов и содержит 3,7 млрд параметров. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка не сообщает о специальных ограничениях применения; возможности и качество унаследованы от базовой модели Phi-3 Mini.

Квантизированная версия инструкционной языковой модели microsoft/Phi-3-mini-4k-instruct, подготовленная пользователем legraphista в формате GGUF с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста в диалоговых сценариях, выполнения инструкций и задач, связанных с обработкой естественного языка и кодом. В README указана поддержка английского языка и контекст размером 4K токенов, что отражено в названии исходной модели. Доступны варианты с разными уровнями точности и размером файлов: от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая дополнительные IQ-варианты. Для ряда квантов применена IMatrix, призванная улучшить качество при уменьшении разрядности; исходная модель имеет тип данных BF16. Формат GGUF и совместимость с llama.cpp позволяют использовать модель локально при выборе подходящего варианта под доступную память и требования к качеству. README не содержит подробных сведений об архитектуре, количестве параметров, мультимодальности, результатах тестирования или известных ограничениях качества. Модель распространяется по лицензии MIT, унаследованной от исходной microsoft/Phi-3-mini-4k-instruct.

Qwen2.5-0.5B-Instruct-AWQ — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации текста, диалоговых приложений, следования инструкциям, обработки структурированных данных и создания структурированных ответов, включая JSON, а также для задач программирования и математики. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и корейский. Модель построена по архитектуре causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд приходятся на неэмбеддинговые параметры, 24 слоя и механизм GQA с 14 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. AWQ-квантизация до 4 бит снижает требования к памяти и подходит для локального и ресурсно-ограниченного запуска, однако может приводить к некоторой потере качества по сравнению с исходной версией в формате bfloat16. README не содержит конкретных результатов бенчмарков, требований к объёму GPU-памяти или данных о пропускной способности. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы.