I.2Синтез, понимание и проверка знаний

h2oai/h2ogpt-gm-oasst1-en-2048-falcon-40b-v2 — языковая модель H2O.ai, дообученная с помощью H2O LLM Studio на персонализированной подготовке набора OpenAssistant/oasst1. В основе лежит tiiuae/falcon-40b; метаданные указывают архитектуру RefinedWeb, плотную авторегрессионную модель RWForCausalLM и 65 млрд параметров. Модель предназначена для генерации текста на английском языке, в том числе для диалогов и ответов на вопросы. Модель можно применять для создания черновиков, диалоговых ответов и классификации или разметки текста. В репозитории указана лицензия Apache-2.0. README предупреждает, что ответы могут содержать ошибки, быть нерелевантными или воспроизводить предвзятые и оскорбительные высказывания; результаты следует проверять.

Это 4-битная версия Hermes 3 на базе Llama 3.1 8B, преобразованная сообществом mlx-community из NousResearch/Hermes-3-Llama-3.1-8B в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с примерно 7,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалоговой генерации текста и следования инструкциям; в метаданных также отмечены чат и function calling. Репозиторий ориентирован на запуск через mlx-lm. Карточка указывает английский язык и лицензию Llama 3. Использование 4-битного представления уменьшает требования к памяти, но может влиять на точность по сравнению с исходными весами.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

Huihui-MiroThinker-v1.0-8B-abliterated — версия MiroThinker-v1.0-8B, изменённая проектом huihui-ai методом abliteration для снижения числа отказов. Это плотная языковая модель семейства Qwen3 с 7,6 млрд параметров, рассчитанная на генерацию текста и диалог; базовая MiroThinker предназначена для многошаговых исследований, поиска информации и вызова инструментов. Модель можно запускать через Transformers или Ollama. Контекст модели составляет 262 144 токена. В карточке указаны английский язык и лицензия MIT. Abliteration снижает защитные отказы и может приводить к чувствительным, спорным или неподходящим ответам; результаты следует тщательно проверять.

Human-Like-Qwen2.5-1.5B-Instruct — компактная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная с помощью AutoTrain на Human-Like-DPO-Dataset. Модель предназначена для генерации текста и диалоговых ответов; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит веса в формате safetensors и доступен по лицензии other; конкретные условия этой лицензии следует проверить перед использованием.

Indonesia Islamic Sentence-BERT — модель Sentence Transformers на базе BERT, дообученная авторами репозитория ramadita на firqaaa/indo-sentence-bert-large. Она преобразует предложения и абзацы на индонезийском языке в плотные эмбеддинги размерностью 2048 для сравнения смысловой близости, семантического поиска, поиска перефразировок и кластеризации. Архитектура включает BertModel и слои pooling; максимальная длина входа — 512 токенов, для сравнения эмбеддингов предусмотрена косинусная близость. Модель также можно применять для классификации текста на основе эмбеддингов. В README приведены результаты TripletEvaluator на dev- и test-наборах, однако они не гарантируют качество на других данных и сценариях. Модель принимает текст и выдаёт векторные представления; опубликована под лицензией Apache-2.0.

indoSBERT-large — модель семейства BERT, опубликованная пользователем denaya в формате PyTorch и предназначенная для получения плотных векторных представлений предложений и абзацев на индонезийском языке. Модель основана на sentence-transformers и дообучена по схеме сиамской сети, вдохновлённой SBERT, с использованием набора STS 2012–2016, переведённого на индонезийский язык. Размер эмбеддинга — 256 измерений, контекст — до 512 токенов. Полученные векторы подходят для семантического поиска, сравнения смысловой близости предложений и кластеризации текстов. Доступны веса PyTorch; модель принимает текст и выдаёт векторы. Лицензия в предоставленных сведениях не описана.

InternVL2-26B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель internlm2-chat-20b; заявленный размер — около 25,5 млрд параметров. Модель предназначена для диалога по изображениям и видео, а также для анализа документов, диаграмм, инфографики и текста на изображениях, решения научных и математических задач. Модель принимает текст и изображения; видео может обрабатываться через кадры. Она обучена на контекстном окне 8k и данных с длинными текстами, несколькими изображениями и видео. README заявляет конкурентные результаты на мультимодальных бенчмарках, включая задачи OCR и понимания документов. Метаданные отмечают поддержку многоязычного режима, но конкретные языки не перечислены. Репозиторий распространяется по лицензии MIT.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.

oshizo/japanese-e5-mistral-7b_slerp — объединённая модель эмбеддингов, созданная oshizo слиянием intfloat/e5-mistral-7b-instruct и stabilityai/japanese-stablelm-base-gamma-7b методом SLERP. Она предназначена для получения качественных представлений предложений и сравнения их семантического сходства, в частности для работы с японским текстом. Архитектура — плотная Mistral с 7,1 млрд параметров; максимальная длина контекста по метаданным — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Модель подходит для поиска по смыслу, ранжирования и сопоставления японских предложений или текстовых фрагментов через их эмбеддинги. В README автор указывает, что при слиянии использовал больше японской базовой модели в слоях ближе к входу, чтобы сохранить понимание японского языка, и больше E5 в слоях ближе к выходу для получения эмбеддингов. Для примеров использования README направляет к карточке E5-Mistral-7B-Instruct и оценочному ноутбуку JapaneseEmbeddingEval.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

luckysong777 дообучил Kanana 1.5 Instruct 8B — плотную Llama-модель для генерации текста и диалогового взаимодействия. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В метаданных указаны интерфейс вызова инструментов и английский язык; README сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель подходит для диалоговых сценариев и генерации текста, унаследовав возможности базовой kakaocorp/kanana-1.5-8b-instruct-2505, включая программирование, математику и вызов инструментов. Распространяется по лицензии Apache-2.0. README не описывает отдельную специализацию этого дообучения или его сравнительное качество.

jhgan/ko-sbert-nli — модель Sentence-Transformers на архитектуре BERT, обученная для получения плотных векторных представлений предложений и абзацев. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель содержит 137,8 млн параметров, формирует векторы размерности 768 и принимает последовательности длиной до 512 токенов. Модель обучена на корейском наборе KorNLI с MultipleNegativesRankingLoss и оценивалась на KorSTS. В README приведены результаты корреляции для косинусной меры сходства: Pearson 82,24 и Spearman 83,16. Поддерживаются PyTorch и TensorFlow. Карточка не сообщает лицензию.

jhgan/ko-sroberta-multitask-mrl — корейская модель эмбеддингов предложений на базе RoBERTa, дообученная автором с использованием Matryoshka Representation Learning. Она создаёт векторы размерности 768; первые 512, 256, 128, 64 или 32 компонента также служат представлениями предложений, позволяя уменьшать объём хранения и задержку с возможной потерей точности. Модель обучена на KorNLI и KorSTS в многозадачном режиме и предназначена для сравнения семантической близости корейских предложений и других задач поиска по эмбеддингам. В тестах KorSTS для полного вектора показана корреляция Спирмена 85,07% при косинусном сходстве; для 512 измерений — 85,00%. Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa, реализована для sentence-transformers и поддерживает контекст до 514 токенов. Лицензия — CC-BY-SA-4.0.

Solomennikova/labse_funetuned_hoff — дообученная модель Sentence Transformers на базе cointegrated/LaBSE-en-ru. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства и поиска текстов по смыслу. Также её можно применять для поиска перефразировок, кластеризации и классификации текстов. Модель использует архитектуру BERT, функцию косинусного сходства и принимает последовательности длиной до 512 токенов. Она обучена на 86 732 парах текстов; примеры в карточке включают короткие русские поисковые запросы и описания товаров. Это позволяет использовать её для семантического поиска по каталогу товаров, хотя карточка не приводит результатов оценки качества. Библиотека модели — Sentence Transformers, веса представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Lemur 70B Chat v1 GGUF — это квантизированная версия диалоговой языковой модели Lemur 70B Chat v1, разработанной OpenLemur и опубликованной в формате GGUF командой TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста в формате text-generation, включая диалоговое взаимодействие и задачи, связанные с программированием. Модель имеет размер 70B параметров, поддерживает английский язык и использует шаблон запросов ChatML с ролями system, user и assistant. Формат GGUF рассчитан на запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие решения для CPU- и GPU-инференса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. К сильным сторонам относятся диалоговая настройка, возможности генерации кода и широкий выбор вариантов квантизации для локального запуска. Ограничения включают отсутствие в предоставленных данных сведений о контексте, точных языковых возможностях за пределами английского, результатах тестирования и конкретных требованиях к оборудованию; крупный размер модели также может затруднять запуск на системах с ограниченными ресурсами. В карточке указана лицензия CC BY-NC 4.0. Поскольку модель основана на Llama 2, дополнительно применяются условия лицензии Meta Llama 2; репозиторий указывает на возможное двойное лицензирование, поэтому условия коммерческого и иного использования следует проверять в исходном репозитории OpenLemur.

LFM2-24B-A2B-GGUF — языковая модель семейства LFM2, разработанная Liquid AI для эффективного развертывания на периферийных устройствах и пользовательских компьютерах. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск на ноутбуках и настольных компьютерах; доступна в формате GGUF с поддержкой llama.cpp, а также заявленной совместимостью с vLLM и SGLang. Модель использует гибридную архитектуру Mixture-of-Experts с 24 миллиардами общих параметров, из которых около 2 миллиардов активируются для каждого токена. По данным разработчика, она рассчитана на работу в пределах 32 ГБ оперативной памяти и обеспечивает высокую скорость инференса на совместимом оборудовании. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Размер контекста, конкретный вариант квантования и подробные результаты оценки в README не указаны. Сильными сторонами модели являются сочетание крупного общего числа параметров с низкими вычислительными затратами на токен, ориентация на локальное выполнение и высокая заявленная скорость генерации. Ограничения включают отсутствие в предоставленных данных подробностей о качестве по отдельным задачам, требованиях к точному объёму памяти для разных вариантов GGUF и поддерживаемом размере контекста. Модель распространяется по лицензии lfm1.0; условия лицензии следует уточнять в файле LICENSE.

LiquidAI/LFM2.5-1.2B-JP-202606-ONNX — это ONNX-экспорт универсальной чат-модели LFM2.5-1.2B-JP-202606, разработанной Liquid AI. Модель предназначена для генерации текста и диалоговых сценариев, включая агентские рабочие процессы, использование инструментов, структурированный вывод и создание двуязычных ассистентов на английском и японском языках. Экспорт поддерживает запуск через ONNX Runtime, Transformers.js и WebGPU в браузере или Node.js. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 double-gated LIV convolution blocks и 6 GQA blocks, поддерживает контекст до 32 768 токенов и словарь размером 65 536 токенов. Доступны варианты FP32, FP16, INT8 и INT4; рекомендуемый для WebGPU файл model_q4f16.onnx сочетает INT4-веса и FP16-компоненты и занимает около 744 МБ. Модель поддерживает английский и японский языки, а дата отсечения знаний указана как середина 2024 года. Ключевые преимущества — небольшой размер, несколько вариантов точности и возможность кроссплатформенного локального запуска, включая браузерный WebGPU. Ограничения включают отсутствие опубликованных в этом README benchmark-результатов и подробностей обучения, а также потенциальные компромиссы между качеством, скоростью и размером при использовании квантованных вариантов. Модель распространяется по лицензии LFM1.0; дополнительные условия следует уточнять в файле LICENSE.

winglian публикует вариант Meta Llama 3 8B с контекстным окном до 1 048 576 токенов. Это авторегрессионная плотная языковая модель на архитектуре Transformer с Grouped-Query Attention, предназначенная для генерации текста и кода. Она принимает текст и может использоваться для продолжения текста, диалоговых сценариев и адаптации к различным задачам генерации естественного языка. В карточке указано семейство Llama 3, но не описаны конкретные изменения PoSE или способ обучения этого чекпойнта. Поэтому его происхождение относительно исходной модели нельзя уверенно определить. README описывает Llama 3 как модель для коммерческого и исследовательского применения на английском языке; лицензия — пользовательская коммерческая лицензия Meta Llama 3. Ограничения включают ориентацию на английский язык и необходимость отдельно настраивать меры безопасности для конкретного приложения.

Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-200K-v0.1 — чат-модель, дообученная Magpie-Align на базе meta-llama/Meta-Llama-3-8B на первых 200 тысячах примеров датасета Magpie-Align/Magpie-Pro-300K-Filtered. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель представлена в форматах PyTorch и Safetensors. Лицензия — Llama 3. В README автор рекомендует для более высокого качества использовать Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-v0.1.

LLaMAX3-8B-Alpaca — многоязычная генеративная языковая модель семейства LLaMA, разработанная авторами проекта LLaMAX. Она основана на Llama 3: модель продолжительно предобучили на корпусах на 102 языках, а затем дообучили на англоязычном наборе инструкций Alpaca, чтобы сохранить следование инструкциям и диалоговые возможности. Модель предназначена для ответов на инструкции и перевода между более чем 100 языками. В README приведены результаты на Flores-101: по заявлению авторов, средний spBLEU вырос более чем на 5 пунктов по сравнению с LLaMA3-8B-Alpaca. Это плотная архитектура LlamaForCausalLM с 7,5 млрд параметров и контекстом 8192 токена; репозиторий содержит веса safetensors. Модель принимает текст и генерирует текст. Опубликованный список языков включает русский, однако метаданные каталога перечисляют только часть поддерживаемых языков. Лицензия — MIT. Результаты перевода в README представлены для ограниченного набора направлений и тестового набора, поэтому они не гарантируют одинаковое качество для всех языков и задач.

LLARA-pretrain — модель семейства LLaRA от BAAI, представленная в проекте LLARA. В карточке проекта описаны подходы EBAE (автоэнкодирование на основе эмбеддингов) и EBAR (авторегрессия на основе эмбеддингов). Это плотная причинно-языковая модель LlamaForCausalLM с 6,6 млрд параметров и контекстом до 4096 токенов. Модель предназначена для получения текстовых эмбеддингов и оценки сходства предложений; метаданные также указывают поддержку извлечения признаков и генерации текста. Её можно применять для поиска семантически близких фраз и построения эмбеддинговых представлений текста. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

McGill-NLP/LLM2Vec-Mistral-7B-Instruct-v2-mntp — модель для преобразования decoder-only языковой модели Mistral 7B Instruct v2 в текстовый энкодер. Подход LLM2Vec использует двунаправленное внимание, masked next token prediction (MNTP) и, при необходимости, последующее контрастивное дообучение. В данном варианте указана загрузка MNTP-адаптера через PEFT. Модель предназначена для получения векторных представлений текста и задач семантического поиска, сопоставления запросов и документов, reranking, классификации, кластеризации и оценки семантического сходства. В README приведён сценарий поиска релевантных passages по веб-запросу с вычислением cosine similarity; для запросов могут использоваться инструкции, а для документов инструкции не требуются. Указан английский язык. Архитектурной основой является Mistral 7B Instruct v2; точный размер контекста в карточке не указан, однако в примере кодирования используется max_length=512. Сильной стороной является применение крупной instruction-tuned LLM для построения эмбеддингов и поддержка широкого спектра задач обработки текста. Ограничения включают ориентацию на английский язык, необходимость загрузки специализированного кода и MNTP-адаптера, а также значительные вычислительные требования, связанные с моделью класса 7B. Лицензия — MIT.

Matter-0.1-Slim-7B-C — чат-модель на архитектуре Mistral, созданная командой 0-hero путём полного дообучения Mistral 7B на версии slim-C набора данных Matter. Набор собран из более чем 35 датасетов и содержит свыше 6 млрд токенов; модель обучалась три эпохи с помощью Axolotl. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова функций. Для общения используется формат ChatML. Размер модели — 7,1 млрд параметров, родная длина контекста — 32 768 токенов. Доступны веса PyTorch и Safetensors; лицензия — Apache 2.0.

xmanii/maux-gte-persian-v3 — модель Sentence Transformer, дообученная на базе Alibaba-NLP/gte-multilingual-base на наборе mshojaei77/Persian_sft из 80 000 пар предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью. Модель предназначена прежде всего для семантического сходства и поиска по персидским текстам, а также для поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Transformer с пулингом CLS-токена и нормализацией векторов; максимальная длина последовательности — 8192 токена. Карточка указывает библиотеку sentence-transformers и формат весов safetensors. Лицензия в предоставленных источниках не указана.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

Mistral-7B-Instruct-Aya-101-GGUF — набор квантованных файлов в формате GGUF для модели Mistral-7B-Instruct-Aya-101, созданный и подготовленный MaziyarPanahi. Базой указана Mistral-7B-Instruct-v0.2 от Mistral AI; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многоязычные сценарии, включая работу более чем со 100 языками, среди которых английский, русский, французский, немецкий, испанский, арабский, китайский, японский и другие. Она имеет архитектуру Mistral с примерно 7 млрд параметров и поддерживает варианты квантования в форматах GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. GGUF позволяет запускать модель локально через llama.cpp и совместимые приложения и библиотеки, в том числе text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Основные преимущества — уменьшенное потребление памяти по сравнению с полноразмерной моделью, возможность выбора компромисса между качеством и скоростью за счёт разных уровней квантования и удобство локального запуска на CPU или GPU. README не содержит данных о размере контекста, точных требованиях к памяти, результатах тестирования и ограничениях качества, поэтому эти характеристики нельзя достоверно оценить. Для модели указана лицензия Apache-2.0.

unsloth/mistral-7b-instruct-v0.3-bnb-4bit — 4-битная квантованная версия Mistral-7B-Instruct-v0.3, опубликованная в экосистеме Unsloth и предназначенная для использования через Transformers. Модель ориентирована на выполнение инструкций и диалоговые сценарии, включая conversational-формат ShareGPT, а также на генерацию и продолжение текста. Модель основана на Mistral-7B-Instruct-v0.3 и содержит около 7 миллиардов параметров; суффикс bnb-4bit указывает на 4-битное представление с использованием BitsAndBytes. В карточке указана поддержка английского языка и библиотеки Transformers. Снижение точности представления уменьшает требования к памяти и может облегчать локальный запуск и дообучение, однако README не содержит точных требований к оборудованию, значения контекстного окна, результатов тестирования или сведений о других модальностях. Модель подходит для чат-ботов, ассистентов, генерации текста и экспериментов с дообучением. Возможные ограничения связаны с английской языковой специализацией и компромиссом между экономией памяти и качеством, характерным для квантованных моделей. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.