II.6Документация и сопровождение разработки

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3 — плотная языковая модель Mistral AI на 7,1 млрд параметров, дообученная следовать инструкциям на базе Mistral-7B-v0.3. Она предназначена для диалогов, генерации текста по запросам и вызова функций. Модель поддерживает контекст до 32 768 токенов, использует токенизатор v3 и расширенный словарь из 32 768 токенов; для работы доступны веса в формате safetensors. Модель подходит для чат-ботов, ответов на вопросы и выполнения инструкций в приложениях, использующих генерацию текста. Карточка не указывает конкретные языки обучения или поддержки. В README отмечено, что у модели нет встроенных механизмов модерации, а сам чекпойнт предоставлен «как есть» и может быть неактуальным. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-v0.1-sharded-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и alexsherstinsky/Mistral-7B-v0.1-sharded. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors; в метаданных также указана поддержка чата. Модель принимает текстовые запросы и выдаёт текст. Она подходит для диалоговых помощников, ответов на инструкции и генерации текста. Лицензия — Apache-2.0. Данных о специальных предметных областях или ограничениях качества в предоставленной карточке нет.

Mistral-7B-v0.2 — плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, представленная в формате safetensors. Репозиторий mistral-community содержит конвертированный чекпойнт; README предупреждает, что он может быть устаревшим, и рекомендует использовать соответствующую версию из исходного репозитория. Для токенизатора может потребоваться файл tokenizer.model из Mistral-7B-Instruct-v0.2. Модель предназначена для генерации текста и может использоваться для продолжения текста, черновиков и ответов на текстовые запросы. Заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0.

Это объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и OpenPipe/mistral-ft-optimized-1227 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате; контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других текстовых задач общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

mistral-NeuralHermes-7B-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Это плотная модель MistralForCausalLM на 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Она принимает текст и выдаёт текст; заявленный размер контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка описывает состав и настройки слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w4a16 — квантизированная версия Mistral-Small-24B-Instruct-2501. Базовую модель разработала Mistral AI, а представленную оптимизированную сборку подготовила Neural Magic. Модель принимает текст и генерирует текст, предназначена для диалоговых приложений, ответов на вопросы и других задач text-to-text и text-generation. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Архитектура основана на Mistral-Small-24B-Instruct-2501 и содержит около 24 миллиардов параметров. Выполнена квантизация весов линейных операторов в трансформерных блоках до INT4; активации не квантизированы. По данным README, это снижает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU — примерно на 75%. Модель оптимизирована для инференса через vLLM; в конфигурации развертывания указан максимальный контекст 32768 токенов. Ключевое преимущество сборки — уменьшенные требования к памяти при сохранении назначения исходной instruct-модели, что упрощает запуск на GPU. Ограничение заключается в том, что квантизация может влиять на качество генерации по сравнению с полной точностью, однако конкретные результаты бенчмарков в README не приведены. Модель проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Лицензия — Apache-2.0.

zetasepic/Mistral-Small-Instruct-2409-abliterated — производная версия Mistral-Small-Instruct-2409, созданная автором репозитория с применением метода «abliteration». Это плотная инструкционная языковая модель семейства Mistral на 22 млрд параметров с архитектурой MistralForCausalLM, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова функций. Модель принимает текст и рассчитана на контекст до 32 768 токенов. Карточка сообщает об использовании кода для abliteration, но не описывает процедуру, результаты, языковое покрытие или ограничения этой версии. Базовая модель — mistralai/Mistral-Small-Instruct-2409. Файлы представлены в формате safetensors; указанная библиотека — Transformers. Лицензия в предоставленных данных не приведена.

RedHatAI/Mixtral-8x7B-Instruct-v0.1 — разговорная instruct-модель, опубликованная Red Hat AI на основе Mistral AI Mixtral-8x7B-Instruct-v0.1. Она предназначена для диалога и генерации текста по запросам, например для ответов на вопросы и объяснения понятий. Модель использует архитектуру Mixtral с разреженной экспертной маршрутизацией (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в карточке заявлены английский, французский, итальянский, немецкий и испанский языки. README описывает развёртывание с vLLM, Red Hat Enterprise Linux AI и OpenShift AI. Модель распространяется по лицензии Apache-2.0. В README указано, что у неё нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать отдельной фильтрации.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

mLateOn — многоязычная модель поиска LightOn на архитектуре ColBERT с поздним взаимодействием и многовекторными представлениями. Она построена на mmBERT-base, содержит около 307 млн параметров и обучена с помощью PyLate; для запросов и документов поддерживает контекст до 8 192 токенов, формирует векторы размерности 128 и оценивает совпадение методом MaxSim. Модель предназначена для семантического поиска по многоязычным коллекциям, длинным документам и коду. Обучение проводилось на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках. По данным карточки, модель также переносит качество на языки и письменности, не включённые в обучение поиска, например кириллицу и японский. Модель может быть полезна для поиска по документам и кода, когда инфраструктура поддерживает многовекторное хранение и позднее взаимодействие. В карточке приведены высокие результаты на бенчмарках BEIR, MIRACL, MLDR и MTEB Code. Для использования доступны веса Safetensors и ONNX. Лицензия — Apache 2.0.

model_101 — языковая модель Pankaj Mathur на архитектуре Llama 2, предназначенная для генерации текста по инструкциям и ответов в гибридном стиле explain + instruct. Карточка описывает её как Llama 2 70B; метаданные указывают 68,7 млрд параметров, контекст до 4096 токенов и форматы PyTorch и safetensors. Для диалога поддерживаются шаблоны Orca и Alpaca. Модель обучалась на наборах Open-Platypus, Alpaca, WizardLM, Dolly-V2, Dolphin Samples, Orca Mini и их вариантах Orca. Среди подходящих сценариев — ответы на вопросы, объяснение тем и выполнение текстовых инструкций. В карточке приведены результаты оценки на задачах ARC и HellaSwag. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, неподходящий или оскорбительный текст; важные сведения следует перепроверять. Для запуска в 4-битном режиме автор указывает потребность примерно в 45 ГБ видеопамяти. Лицензия — Llama 2.

Moonlight-16B-A3B — предобученная языковая модель Moonshot AI для генерации текста и диалогового общения. Она построена на архитектуре Mixture-of-Experts: содержит около 16 млрд параметров, из которых при генерации активируется около 3 млрд. В метаданных указаны 2,7 млрд параметров; README приводит округлённые значения 16B и 3B для общей и активируемой частей модели. Модель обучена на 5,7 трлн токенов с оптимизатором Muon и рассчитана на контекст до 8K токенов. Её можно использовать для диалоговых приложений, генерации и продолжения текста. Авторы сообщают о сравнительных результатах на бенчмарках и публикуют исследовательские чекпойнты; заявленные преимущества обучения относятся к их экспериментам и не гарантируют превосходства на любой прикладной задаче. Модель распространяется под лицензией MIT. Для работы авторы рекомендуют Python 3.10, PyTorch 2.1 или новее и Transformers 4.48.2.

Kaoeiri/MS_a-coolyte-2409-22B — языковая модель для диалогов и генерации текста, созданная с помощью mergekit. Это плотная модель архитектуры Mistral с 22 млрд параметров, полученная слиянием unsloth/Mistral-Small-Instruct-2409 и rAIfle/Acolyte-LORA методом task arithmetic; веса представлены в формате Safetensors. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает чат и интерфейс вызова инструментов. Контекст — до 131 072 токенов. Модель можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где ответ опирается на длинный контекст или вызов инструментов. README указывает, что плотность слияния подбиралась для целевого training loss 0,3. Сведения о конкретных поддерживаемых естественных языках и лицензии в предоставленных источниках отсутствуют.

Munin-NeuralBeagle-Flashback-Bellman — языковая модель для генерации текста, созданная объединением моделей с помощью LazyMergekit. Карточка описывает смешивание RJuro/munin-neuralbeagle-7b и birgermoell/Flashback-Bellman методом dare_ties; метаданные указывают базовую Mistral-архитектуру и 7,1 млрд параметров. Модель предназначена для генерации текста по текстовому запросу. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors с типом bfloat16. Лицензия и конкретные поддерживаемые языки в предоставленных источниках не обозначены.

Nesso-4B — компактная языковая модель-ассистент от Mii, основанная на плотной архитектуре Qwen3. В репозитории указано 4,0 млрд параметров, а метаданные фиксируют 3,7 млрд; модель распространяется в формате safetensors и рассчитана на запуск локально на пользовательском оборудовании. Заявленное окно контекста — до 262 144 токенов, однако для устройств с ограниченной памятью README рекомендует сокращать его. Модель предназначена для повседневного диалога, генерации текста, поиска ответов по документам с RAG, агентных сценариев и использования инструментов. Заявлена поддержка нескольких языков и кросс-языковых задач, но конкретные языки и их качество не перечислены. Поддерживаются Transformers и приложения локального запуска, включая Ollama, LM Studio, llama.cpp и MLX-LM. Лицензия — Mii Open License 1.0; условия следует сверить с текстом лицензии в репозитории.

neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3-2 методом SLERP. Это плотная архитектура Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, следования текстовым инструкциям и генерации текста общего назначения. В метаданных указана лицензия Apache-2.0. Данных о специальных ограничениях качества или целевых областях применения в предоставленной карточке нет.

NeuralsirkrishnaShadow_AlloyingotneoyExperiment26 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/AlloyingotneoyExperiment26-7B. Она предназначена для генерации текста и сценариев, где требуется продолжать или создавать текст по запросу. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Весовые файлы представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

NeuralsirkrishnaShadow_Experiment26Alloyingotneoy — объединённая модель генерации текста на базе архитектуры Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment26Alloyingotneoy-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по текстовому запросу и работы со сценариями, где полезен длинный контекст. Весы опубликованы в формате safetensors, лицензия — Apache 2.0.

NeuralsirkrishnaShadow_Experiment28Experiment24 — объединённая языковая модель MaziyarPanahi, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment28Experiment24-7B. Она предназначена для генерации текста и может использоваться в приложениях, где требуется продолжение или создание текста по запросу. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Модель распространяется по лицензии Apache-2.0.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

NexoNimbus-7B — объединённая модель разработчика abideen на базе Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и применения в качестве языковой модели общего назначения. Модель получена слиянием abideen/DareVox-7B и udkai/Garrulus методом SLERP; в конфигурации указан контекст до 32 768 токенов, а веса опубликованы в формате safetensors. Карточка приводит результаты оценки на Open LLM Leaderboard и TruthfulQA, но они не гарантируют качество для конкретного приложения. Модель принимает текст и генерирует текст; язык карточки — английский. Репозиторий распространяется по лицензии Apache-2.0.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

NMTOB-7B — слитая языковая модель, созданная paulml с помощью LazyMergekit на основе Kukedlc/NeuTrixOmniBe-7B-model-remix и paulml/OmniBeagleSquaredMBX-v3-7B-v2. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и предназначена для генерации текста; контекст составляет до 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также для задач генерации, где полезен длинный контекст. В README описано слияние методом slerp с настройками для слоёв self-attention и MLP. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Nous Hermes 2 Mixtral 8x7B DPO — диалоговая языковая модель Nous Research, дообученная на базе Mixtral 8x7B с помощью SFT и DPO. Она использует разреженную архитектуру Mixture of Experts (MoE); в репозитории указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, следования инструкциям и многошагового диалога. Она обучалась на более чем миллионе примеров, преимущественно созданных GPT-4, а также на данных из открытых наборов. Для диалога применяется формат ChatML с системными инструкциями и шаблоном чата Hugging Face. Карточка приводит результаты нескольких бенчмарков и сообщает об улучшении относительно базовой Mixtral и Mixtral Instruct. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Для запуска в 4-битном режиме README указывает потребность более чем в 24 ГБ видеопамяти; фактические требования зависят от конфигурации и способа запуска.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B — извлечённый из семейства NVIDIA Nemotron Labs 3 Elastic 12B вариант языковой модели, опубликованный DavidAU. Модель предназначена для диалогов, генерации текста и задач рассуждения. В ней 946,5 млн параметров по метаданным; архитектура Nemotron H, а базовая модель — NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16. В README для семейства описана гибридная архитектура Mamba, Transformer и MoE с 128 экспертами, из которых активируются 8; вариант 12B указан как содержащий 2B активных параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов по метаданным. Указаны английский, немецкий, испанский, французский, итальянский и японский языки. README сообщает о коротких блоках рассуждений и готовности к дальнейшей настройке. Лицензия обозначена как other, а README заявляет о коммерческой применимости, поэтому условия следует проверять по лицензии исходной модели и карточке репозитория.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста и диалогов с поддержкой рассуждений. Это эластичный чекпойнт на базе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, содержащий вложенные варианты размером 30B, 23B и 12B параметров, которые можно извлечь из общих весов. Для основного варианта указаны 30B общих и 3,6B активных параметров; архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts. Модель распространяется в формате BF16 через safetensors и использует библиотеку Transformers. Модель предназначена для диалогов, решения задач на рассуждение и генерации текста с возможностью выбирать вариант под доступный вычислительный бюджет. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста по метаданным — 262 144 токена; в README также описана настройка развёртывания с контекстом до 1M токенов. README заявляет готовность к коммерческому использованию, однако конкретное обозначение лицензии в метаданных — other, поэтому условия следует проверить на странице модели.

Olmo-3.1-32B-Think — авторегрессионная Transformer-модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Это вариант Think с 31,7 млрд параметров, дообученный на базе allenai/Olmo-3-32B-Think-DPO; в метаданных указан датасет Dolci-Think-RL. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 65 536 токенов, основным языком карточка называет английский. Модель предназначена для рассуждений и ответов на запросы по математике, программированию, общим знаниям и диалогу. Ai2 сообщает об улучшении решения задач благодаря длинным цепочкам рассуждений; в карточке приведены результаты тестирования, включая 96,2 балла на MATH и 80,6 на AIME 2024. Результаты бенчмарков не гарантируют точность ответов в конкретных сценариях. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0; Ai2 указывает на исследовательское и образовательное применение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и вредоносный или предвзятый контент, поэтому ответы следует проверять.

Olmo 3 32B Think — плотная авторегрессионная трансформерная языковая модель для генерации текста, разработанная Allen Institute for AI (Ai2). Версия Think обучена для задач рассуждения, включая математику и программирование, а также для диалога и общих вопросов. Модель содержит 31,7 млрд параметров, поддерживает контекст до 65 536 токенов и работает с текстом на английском языке. Это дообученная версия allenai/Olmo-3-32B-Think-DPO, прошедшая обучение с подкреплением на данных Dolci-Think-RL. Модель распространяется в формате Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия Apache 2.0; в карточке указано предназначение для исследований и образования в соответствии с рекомендациями Ai2 по ответственному использованию.