II.6Документация и сопровождение разработки

bartowski/Mistral-Nemo-Gutenberg-Doppel-12B-GGUF — набор GGUF-квантизаций текстовой генеративной модели Mistral-Nemo-Gutenberg-Doppel-12B, разработанной nbeerbower. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель обучалась с применением наборов данных jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo и предназначена для генерации текста в локальных приложениях, включая LM Studio. Указанный формат промпта: <s>[INST]{prompt}[/INST]. Модель имеет размер 12B параметров и поддерживает варианты от F16 до низкобитных Q- и IQ-квантизаций объёмом примерно от 6,08 до 24,50 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти; некоторые варианты оптимизированы для ARM и требуют поддержки соответствующих инструкций. Данные о языках, размере контекста и мультимодальности не указаны, поэтому модель следует рассматривать как текстовую. Качество и поведение зависят от выбранной квантизации, а низкобитные варианты могут уступать полной версии. Лицензия — Apache-2.0.

m8than выпустил Mistral-Nemo-Instruct-2407-lenient-chatfix — чат-модель для генерации текста на основе Mistral Nemo Instruct 2407. По описанию автора, в этой версии используется менее строгий формат чата. Модель имеет плотную архитектуру Mistral и около 12,1 млрд параметров; метаданные указывают контекст до 131 072 токенов и английский язык. Она предназначена для диалогов и ответов на запросы в приложениях, использующих генерацию текста. Доступна в формате Safetensors по лицензии Apache-2.0. Подробные сравнительные оценки качества и конкретные ограничения в карточке не приведены.

Mistral-NeMo-Minitron-8B-Base-IMat-GGUF — это набор GGUF-квантизированных вариантов базовой текстовой модели nvidia/Mistral-NeMo-Minitron-8B-Base. Квантизацию выполнил legraphista с использованием llama.cpp b3613 и метода IMatrix, предназначенного для снижения размера модели с сохранением качества при низкой разрядности. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций; размеры файлов составляют примерно от 3,33 до 16,84 ГБ. Модель предназначена для генерации текста и локального запуска через совместимые с GGUF инструменты, включая llama.cpp. Варианты с IMatrix доступны преимущественно для низкоразрядных форматов и могут быть полезны при ограниченных ресурсах памяти, однако более сильное сжатие обычно связано с большей потенциальной потерей качества. В README не указаны архитектурные детали, поддерживаемые языки, длина контекста и специализированные сценарии применения. Модель распространяется по лицензии NVIDIA Open Model License Agreement; исходная модель имеет формат BF16.

Mistral-ORPO-Capybara-7k — диалоговая языковая модель, созданная на базе Mistral-7B-v0.1 и дообученная методом ORPO авторами репозитория KAIST AI. Модель обучали на 7 тысячах примеров многоходовых диалогов из набора argilla/distilabel-capybara-dpo-7k-binarized; ORPO позволяет оптимизировать предпочтения ответов без предварительного этапа supervised fine-tuning. Модель предназначена для генерации ответов в чат-ботах, ведения диалога и выполнения инструкций на английском языке. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В README приведены результаты сравнительных оценок на AlpacaEval, MT-Bench и IFEval, но они не гарантируют качество для конкретного применения. Вес опубликован в формате Safetensors под лицензией MIT. Дообучение на сравнительно небольшом наборе данных может ограничивать охват тем и надёжность ответов; модель также наследует ограничения базовой Mistral-7B-v0.1.

alvarobartt выпустил экспериментальную чат-модель на базе Mistral-7B-v0.1, дообученную методом ORPO на наборе alvarobartt/dpo-mix-7k-simplified. Модель предназначена для генерации текста в диалоговом формате и может использоваться для создания ответов на запросы пользователя. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Она принимает текст и генерирует текст, ориентирована на английский язык. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Автор README отмечает экспериментальный статус обучения: на момент публикации ORPOTrainer ещё ожидал слияния соответствующего PR в библиотеке TRL. Это может влиять на воспроизводимость процесса дообучения; отдельные гарантии качества или результаты оценки в карточке не приведены.

Mistral-Small-3.2-46B-The-Brilliant-Raconteur-Instruct-2506 — дообученная DavidAU версия Mistral-Small-3.2-24B-Instruct-2506. Это плотная текстовая модель на 46 млрд параметров с поддержкой контекста до 128 000 токенов; репозиторий содержит веса Safetensors для запуска через Transformers и подготовки квантованных вариантов. Модель следует инструкциям и подходит для диалогов, творческого письма, генерации историй, ролевых сценариев, рассуждений и программирования. Автор отмечает улучшения в выразительности прозы и разнообразии генераций; заявлена также возможность работы с изображениями, унаследованная от базовой модели, но в этой версии она отдельно не дорабатывалась. Модель поддерживает множество языков, включая русский и английский. Автор сообщает о частичной децензуре и предупреждает, что генерации могут содержать интенсивное насилие, жестокие сцены, грубую лексику и взрослые темы. Среди известных ограничений — вариативность результатов, чувствительность к настройкам генерации, повторяющиеся фрагменты на низких квантованиях и периодические отказы. Лицензия — Apache-2.0.

bartowski/Mixtral-8x22B-v0.1-GGUF — набор GGUF-квантизаций базовой текстовой генеративной модели Mixtral-8x22B-v0.1, исходная версия которой опубликована в репозитории mistral-community. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для локального запуска и генерации текста, включая задачи продолжения текста и другие сценарии, поддерживаемые базовой языковой моделью. Модель использует архитектуру Mixture of Experts (MoE) и обозначение 8x22B; точное число активных параметров и размер контекста в README не указаны. Заявлена поддержка английского, французского, итальянского, немецкого и испанского языков. Это базовая модель без заданного формата промпта, поэтому форматирование запросов должен определять пользователь или приложение. Репозиторий предлагает варианты квантизации Q2_K, Q3, Q4, Q5 и IQ, размером примерно от 52 до 100 ГБ. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше памяти; низкие уровни позволяют запускать модель на системах с ограниченными ресурсами ценой качества. I-квантизации могут быть выгоднее по соотношению размера и производительности на некоторых конфигурациях, но имеют ограничения совместимости, в частности не поддерживаются Vulkan. Для работы требуется значительный объём RAM и/или VRAM, а модель разделена на несколько файлов. Лицензия — Apache-2.0.

SilverFan/Monarch-Kunoichi-7B — экспериментальная слитая диалоговая модель на архитектуре Mistral, созданная с помощью LazyMergekit на основе mlabonne/AlphaMonarch-7B и crestf411/daybreak-kunoichi-2dpo-7b. Слияние выполнено методом SLERP; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке автор называет её тестируемым экспериментом и сообщает, что сборка IMatrix GGUF планируется; доступный репозиторий содержит веса в формате safetensors. Языки применения и специальные предметные области в источниках не обозначены. Лицензия в предоставленных данных не указана.

bartowski/moxin-llm-7b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели moxin-llm-7b, разработанной moxin-org. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Модель содержит около 7 миллиардов параметров и поставляется в вариантах от F16 до низкобитных Q2 и IQ2/IQ3/IQ4-квантизаций. Размер файлов составляет примерно от 2,79 до 16,23 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к оперативной памяти. Для некоторых вариантов эмбеддинги и выходные веса квантизированы в Q8_0. Наиболее качественными считаются F16, Q8_0, Q6_K_L, Q6_K, Q5 и Q4_K-варианты; низкобитные версии экономят память, но могут заметно уступать в качестве. В README не указаны архитектура базовой модели, поддерживаемые языки, размер контекстного окна и специальный формат промпта; его рекомендуется уточнить на странице исходной модели. Модель поддерживает только текстовую модальность. Для набора указана лицензия Apache-2.0.

MT-Gen4-GI-gemma-2-9B — объединённая языковая модель семейства Gemma 2 размером 9 млрд параметров. Она создана с помощью mergekit методом SLERP из zelk12/MT-Gen4-GP-gemma-2-S5MTg2-9B и zelk12/MT-Gen4-IF-gemma-2-MT4g2MTg2-9B; в конфигурации указана точность bfloat16. Модель предназначена для генерации текста в диалоговом формате и работает через библиотеку Transformers. Контекст модели составляет 8192 токена. Карточка не приводит конкретные языки, специализированные области или результаты оценки качества, поэтому применимость к ним нельзя подтвердить. Лицензия в предоставленных данных не указана.

zelk12/MT-Gen4-MAMU-gemma-2-9B — объединённая методом SLERP модель семейства Gemma 2, опубликованная в виде весов для Transformers. Она предназначена для генерации текста и диалоговых сценариев. Модель имеет плотную архитектуру Gemma2ForCausalLM и 9 млрд параметров; заявленная длина контекста — 8192 токена. При объединении использованы zelk12/MT-Gen4-MA-gemma-2-S5Sv1IBT-9B и zelk12/MT-Gen4-MU-gemma-2-Sv1IBTS5-9B с помощью mergekit; параметр SLERP t равен 0,25. Карточка не описывает языковую специализацию, качество на конкретных задачах или условия лицензии, поэтому эти характеристики нельзя уточнить.

zelk12/MTM-Merge-MMMUBI-gemma-2-9B — разговорная языковая модель на архитектуре Gemma 2, созданная автором репозитория с помощью слияния SLERP двух предварительно обученных моделей: zelk12/MTM-Merge-MMMU-gemma-2-9B и zelk12/MTM-Merge-BI-gemma-2-9B. Модель содержит 9 млрд параметров и предназначена для генерации текста и диалогов. Модель принимает текст и выдаёт текст. Она построена на плотной архитектуре Gemma2ForCausalLM, использует библиотеку Transformers и распространяется в формате safetensors. Нативная длина контекста составляет 8192 токена. В карточке не приведены сведения о языках обучения или целевых сценариях, поэтому практическое назначение можно определить только как генерацию текста и диалоговое взаимодействие. Модель подходит для прототипирования чат-ботов и генерации ответов на текстовые запросы. README не содержит результатов оценивания или известных ограничений качества. Лицензия в предоставленных данных не указана.

iitzprakhar/my-custom-code-ai — дообученная автором iitzprakhar языковая модель для генерации текста, созданная на основе unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit. Это плотная причинная архитектура Qwen2 размером 1,5 млрд параметров с контекстом до 32 768 токенов; модель сохранена в формате safetensors и поддерживает диалоговый режим и интерфейс вызова инструментов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL; модель ориентирована на сценарии генерации кода и общения с кодовым ассистентом, унаследованные от базовой Qwen2.5-Coder-Instruct. Модель принимает текст и генерирует текст. В метаданных указан английский язык, а лицензия — Apache 2.0. Карточка не приводит результаты оценки качества и подробностей о собственных данных или специализации дообучения, поэтому качество на конкретных языках программирования и задачах следует проверять отдельно.

MysticFusion-13B-GGUF — это квантизированная версия языковой модели MysticFusion 13B, разработанной wbag (Walmart-the-bag) и опубликованной в формате GGUF компанией TheBloke. Модель предназначена для генерации текста и обработки текстовых инструкций на английском языке; в README приведён шаблон запросов в формате Alpaca-Tiefighter. Архитектура указана как Llama, размер — 13 млрд параметров, модальность — текстовая. Размер контекста не указан. Файлы GGUF поддерживают различные уровни квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и качеством генерации. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, поэтому подходит для локального запуска на CPU и GPU. Качество и производительность зависят от выбранного варианта квантизации; конкретные результаты тестирования и ограничения исходной модели в README не приведены. Лицензия указана как llama2.

MuXodious/Nanbeige4.2-3B-ARA-heresy — дообученная версия Nanbeige4.2-3B, созданная с помощью Heretic и Arbitrary-Rank Ablation с нормализацией строк весов. Проект разработал MuXodious на основе модели Nanbeige; README сообщает, что финальный вариант выбрали по результатам PiQA. В эксперименте число отказов снизилось с 535 из 540 до 9 из 540, при этом измеренная KL-дивергенция составила 0,0824. Модель предназначена для генерации текста в диалогах и может использоваться как менее склонный к отказам вариант базовой модели для общих запросов, рассуждений, программирования и агентных сценариев. Базовое семейство Nanbeige4.2-3B рассчитано на вызов инструментов и многошаговые рабочие процессы; сама карточка этой версии не приводит отдельных оценок её агентных возможностей. Это плотная причинная языковая модель архитектуры NanbeigeForCausalLM на 3,2 млрд параметров с контекстом до 262 144 токенов. В метаданных указаны английский и китайский языки. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Снижение числа отказов может ослабить защитное поведение; результаты, приведённые в карточке, не гарантируют качество на произвольных задачах.

NaturalLM-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели NaturalLM-7B-Instruct, разработанной qingy2024. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; запуск возможен, в частности, через LM Studio и совместимые инструменты llama.cpp. В набор входят варианты от исходных весов F16 размером 14,5 ГБ до квантизаций Q3 и Q4 размером примерно 3,2–4,5 ГБ, а также Q5, Q6 и Q8 с более высоким качеством и большим потреблением памяти. Для общения используется формат сообщений с ролями system, user и assistant. README не указывает архитектуру исходной модели, поддерживаемые языки, размер контекста, мультимодальность или точные показатели качества, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество набора — выбор между качеством, размером файлов и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M описан как подходящий для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но снижает качество. Для некоторых вариантов существуют специальные ограничения по аппаратуре: отдельные сборки оптимизированы для ARM или AVX, требуют поддержки конкретных инструкций и не рекомендуются для Mac или GPU. Лицензия в README не указана.

Bluuwhale NemoMerge-V1.0-12B — экспериментальная объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода DARE TIES. За основу взята unsloth/Mistral-Nemo-Instruct-2407; в объединении также использованы cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b, Kooten/Mistral-Nemo-Instruct-2407-norefuse-OAS, intervitens/mini-magnum-12b-v1.1 и NeverSleep/Lumimaid-v0.2-12B. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста — 1 024 000 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Автор обозначает объединение как экспериментальное. В README нет результатов оценки качества или подробных сведений о поддерживаемых языках. Лицензия в предоставленных данных не указана.

neo_7b_instruct_v0.1-IMat-GGUF — квантизированная GGUF-версия инструкционной языковой модели m-a-p/neo_7b_instruct_v0.1. Модель подготовлена legraphista с использованием llama.cpp b3051 и предназначена для генерации текста и диалоговых сценариев в совместимых средах, включая llama.cpp. В README не указаны точная архитектура, поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 2,92 до 15,59 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. Основные преимущества — широкий выбор уровней квантизации и возможность локального запуска при соответствующих ресурсах; ограничения включают потенциальную потерю качества у более компактных вариантов и отсутствие сведений о результатах тестирования, языках и контекстном окне. Распространяется по лицензии Apache-2.0.

NerdySamantha — экспериментальная объединённая модель на архитектуре Mistral, созданная для помощи с программированием и диалогового общения. Автор описывает её как coding assistant с дружелюбной, живой манерой общения; характер можно задавать контекстной карточкой. Модель с 7,1 млрд параметров получена линейным слиянием cognitivecomputations/samantha-1.2-mistral-7b и Nondzu/Mistral-7B-Instruct-v0.2-code-ft. Она поддерживает генерацию текста и чаты, а заявленная длина контекста составляет 32 768 токенов. Подходит для вопросов по коду, помощи в разработке и обычных бесед. Результаты таблицы оценивания в README приведены лишь частично, поэтому по ним нельзя надёжно судить о качестве модели. Лицензия в предоставленных данных не указана.

duyntnet/neural-chat-7b-v3-3-imatrix-GGUF — это набор квантованных версий языковой модели Intel Neural Chat 7B v3.3, основанной на Mistral-7B-v0.1. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, помощи в решении задач, инструкций, продолжения текста и создания чат-ботов. В README указана поддержка английского языка и максимальный контекст 8192 токена. Модель относится к авторегрессионным текстовым моделям с архитектурой Mistral и примерно 7 миллиардами параметров. Представленные файлы используют формат GGUF и imatrix-квантизацию, что ориентировано на более экономичное по памяти локальное выполнение по сравнению с полноразмерными FP32 или BF16-весами. README также описывает варианты запуска исходной модели через Transformers и Intel Extension for Transformers, включая инференс на CPU, NVIDIA GPU и Intel Gaudi2, однако конкретные требования к аппаратному обеспечению для GGUF-версий не указаны. Сильными сторонами являются компактное квантованное представление, относительно длинный для модели этого класса контекст и специализация на диалоговой генерации. Ограничения включают работу преимущественно с английским языком, возможные потери качества из-за квантизации и отсутствие в README результатов бенчмарков, подробных характеристик отдельных уровней квантизации и гарантии точности ответов. Лицензия указана как other, без дополнительных пояснений.

NeuralHermes-2.5-Mistral-7B-GGUF — это квантованная версия языковой модели NeuralHermes-2.5-Mistral-7B, разработанной mlabonne и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель основана на Mistral-7B и предназначена для генерации текста и диалогового использования в инструкционном режиме с применением шаблона ChatML. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством генерации. Заявлена поддержка преимущественно английского языка; сведения о размере контекста и других модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. К ограничениям относятся возможная потеря качества при низкой разрядности квантования, зависимость производительности от выбранного файла и оборудования, а также отсутствие в предоставленных данных подробных оценок качества, безопасностных характеристик и размера контекста. Модель распространяется по лицензии Apache-2.0.

Neural-Krishna-Multiverse-7b-v3 — языковая модель для генерации текста, созданная объединением моделей Neural-Krishna-Multiverse-7b-v2 и yam-peleg/Experiment26-7B с помощью LazyMergekit. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Объединение выполнено методом SLERP; веса опубликованы в формате SafeTensors. Модель подходит для генерации продолжений и ответов на текстовые запросы в экспериментах и прикладных сценариях с LLM. Лицензия Apache-2.0 разрешает использование на её условиях. В карточке не описаны поддерживаемые языки и результаты оценки качества.

NeuralsirkrishnaShadow_Experiment28Strangemerges_32 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment28Strangemerges_32-7B. Модель содержит 7,1 млрд параметров, работает с текстом и предназначена для генерации продолжений и ответов на запросы; поддерживает контекст до 32 768 токенов. Модель распространяется в формате SafeTensors по лицензии Apache 2.0. README подтверждает слияние двух исходных моделей, но не описывает их специализацию или сравнительные преимущества, поэтому конкретные области применения и качество ответов определить нельзя.

neurotic-crown-clown-7b-tak-stack-dpo — диалоговая языковая модель на архитектуре Mistral, разработанная CorticalStack. Это DPO-дообученная версия CorticalStack/neurotic-crown-clown-7b-ties, обученная на наборе данных CorticalStack/tak-stack-dpo; в README также указаны параметры LoRA: r=32, alpha=32 и dropout=0,05. Модель предназначена для генерации текста в диалоге и следования инструкциям. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не уточняет поддерживаемые естественные языки и результаты оценки качества.

Notus 7B v1 — диалоговая языковая модель Argilla на архитектуре Mistral с 7,1 млрд параметров. Она создана методом DPO дообучением модели alignment-handbook/zephyr-7b-sft-full на LoRA с использованием очищенного набора предпочтений argilla/ultrafeedback-binarized-preferences; адаптер уже объединён с весами модели. Модель предназначена для работы в роли чат-ассистента: она генерирует ответы на запросы пользователя и подходит для диалоговых приложений. В карточке заявлено преимущество над Zephyr-7B-beta и Claude 2 в AlpacaEval. Основной язык — английский; контекст составляет до 32 768 токенов. Лицензия в метаданных Hugging Face — MIT; README указывает Apache 2.0, поэтому сведения о лицензии в источниках расходятся. Модель унаследовала ограничения базовой модели и данных предпочтений; результаты бенчмарков не гарантируют качество для конкретного сценария.

MaziyarPanahi/Nous-Hermes-2-Mixtral-8x7B-SFT-Wikihow-GGUF — это набор квантованных файлов модели в формате GGUF, созданный и опубликованный MaziyarPanahi на основе Nous-Hermes-2-Mixtral-8x7B-SFT-Wikihow, которая, в свою очередь, основана на NousResearch/Nous-Hermes-2-Mixtral-8x7B-SFT. Модель предназначена для генерации текста и диалогового взаимодействия. Она ориентирована на сценарии, связанные с написанием и объяснением текстов, включая практические инструкции в стиле WikiHow, ответы на вопросы и творческую генерацию. В README приведены примеры создания художественного рассказа и рассуждения о времени сушки одежды. Поддерживаются варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшим размером файлов и более высоким качеством вывода. Точная длина контекста, список языков и требования к аппаратному обеспечению не указаны. Сильными сторонами модели являются доступность нескольких уровней квантования и пригодность для локального запуска через совместимые инструменты, работающие с GGUF. Ограничения включают отсутствие подробных сведений о качестве, результатах оценки, языковой поддержке и характеристиках инференса. В метаданных указана лицензия Apache-2.0.

DevQuasar/NousResearch.Hermes-4-405B-GGUF — квантизированная версия языковой модели NousResearch/Hermes-4-405B, опубликованная DevQuasar. Модель предназначена для генерации текста и, вероятно, может применяться в задачах диалога, написания и обработки текстов, однако README не содержит подробного описания поддерживаемых сценариев. Известно, что модель относится к классу text-generation и распространяется в формате GGUF. Сведения об архитектуре, количестве параметров, доступных уровнях квантизации, модальностях, языках, размере контекста, производительности и ограничениях в README не приведены. Условия лицензирования также не указаны; для уточнения следует обратиться к исходной модели NousResearch/Hermes-4-405B и материалам публикации DevQuasar.

NovoCode/Novocode7b-v2 — плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров. Согласно карточке, модель обучена с нуля на датасете /leet10k-alpaca с использованием Axolotl 0.3.0; опубликованы результаты оценки, включая показатели на AI2 Reasoning Challenge и HellaSwag. Модель предназначена для генерации текста и может применяться для ответов в стиле инструкций и решения задач, представленных в обучающих и оценочных данных. Контекст модели составляет 32 768 токенов. Репозиторий содержит веса PyTorch в формате Safetensors. Карточка не раскрывает подробности архитектурных настроек, языков обучения, состава датасета и условий оценки; приведённые результаты сами по себе не позволяют оценить качество для конкретных сценариев. Лицензия — Apache-2.0.

Это квантованные версии текстовой генеративной модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA и подготовленные пользователем bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая запуск через LM Studio, llama.cpp и совместимые проекты. Модель содержит около 4 миллиардов параметров, работает с текстом и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 2,54 до 9,03 ГБ. Архитектура и максимальная длина контекста в карточке не указаны. Сильной стороной является возможность локального запуска на широком спектре оборудования благодаря большому выбору квантованных версий; для большинства сценариев рекомендуется Q4_K_M, а варианты Q5 и Q6 обеспечивают более высокое качество. Более сильное квантование уменьшает требования к памяти, но может снижать качество генерации. Модель распространяется по NVIDIA Open Model License; исходная модель указана как NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA. Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal. Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны. Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.