II.3Рефакторинг, миграция и модернизация

RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.

airoboros-13b-gpt4-1.1 — дообученная модель семейства LLaMA с 12,9 млрд параметров, созданная Jon Durbin на синтетических данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы, выполняет рассуждения и решает задачи по программированию, математике, викторинам, тестам с выбором ответа и заданиям на заполнение пропусков. Особенность версии 1.1 — улучшенные инструкции для работы с контекстом и около тысячи дополнительных примеров по программированию. В режиме ответов по заданному контексту модель обучена опираться на предоставленные сведения и ограничивать ответ ими, что может помогать снижать галлюцинации. Для этого используется формат с явными разделителями блоков контекста и инструкций. Модель использует шаблон диалога Vicuna 1.1 и имеет контекстное окно 2048 токенов. Модель принимает текст и генерирует текст; карточка не заявляет поддержку конкретных естественных языков. Автор отмечает, что математические рассуждения остаются слабой стороной. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

jondurbin/airoboros-33b-2.1 — плотная авторегрессионная модель семейства LLaMA с 32,3 млрд параметров, дообученная разработчиком jondurbin на синтетических инструкционных данных airoboros. Она предназначена для диалогов и выполнения текстовых инструкций: отвечает на вопросы по предоставленному контексту, помогает с программированием и планированием, пишет художественные тексты и продолжения глав, а также поддерживает ролевые диалоги с заданными персонажами. В обучающие данные включены примеры генерации JSON и YAML для вызова функций. Модель принимает текст и генерирует текст. Для неё заявлено контекстное окно 4096 токенов, увеличенное с помощью RoPE scaling; автор отмечает, что обучающих данных для такой длины было немного. Рекомендуемый шаблон запроса использует префикс системного сообщения, роли USER и ASSISTANT; при генерации диалога полезно останавливать вывод на следующем маркере USER, иначе модель может продолжить имитировать разговор. Модель экспериментальная, а результаты могут зависеть от точного шаблона промпта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Карточка модели jondurbin/airoboros-l2-7b-3.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-m-7b-3.0, поэтому описание составлено по ней. airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

OpenThai Chinda 4B — языковая модель iApp Technology, дообученная на базе Qwen3-4B для работы прежде всего с тайским языком. Она построена на плотной архитектуре Qwen3ForCausalLM и содержит около 3,7 млрд параметров. Модель поддерживает диалог и переключение между режимами рассуждения и обычной генерации; заявленное нативное окно контекста — 40 960 токенов по метаданным, а README рекомендует держать контекст в пределах 32 768 токенов для оптимальной работы и описывает расширение до 131 072 токенов с YaRN. Модель предназначена для тайскоязычных чат-ботов и RAG-систем, математических задач, генерации кода и локального запуска на пользовательских устройствах. README заявляет точность генерации на тайском 98,4% и высокие результаты в приведённых бенчмарках, но эти показатели представлены разработчиком и зависят от методики оценки. Для фактических вопросов без контекста модель может галлюцинировать; для таких сценариев рекомендуется предоставлять источники или использовать RAG. Модель выпущена по лицензии Apache 2.0, разрешающей коммерческое и частное использование, модификацию и распространение.

mobiuslabsgmbh выпустила DeepSeek-R1-ReDistill-Qwen-1.5B-v1.1 — повторно дистиллированную версию DeepSeek-R1-Distill-Qwen-1.5B для повышения качества генерации текста и рассуждений. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов; веса представлены в формате safetensors. Модель подходит для диалогов и решения задач, в том числе по математике и программированию. В README приведены сравнительные результаты на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR: версия v1.1 показывает более высокие значения, чем исходная DeepSeek-R1-Distill-Qwen-1.5B, на перечисленных тестах. Модель распространяется по лицензии MIT. В карточке не приведены сведения о языковом охвате и подробные ограничения; качество ответов следует проверять для конкретного сценария.

DeepSeek-V4-Flash-0731-GGUF — квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и опубликованной в формате GGUF организацией ggml-org. Модель предназначена для задач генерации текста и может использоваться в совместимых инструментах для локального или серверного запуска, включая llama.cpp и приложение llama.app. В README не указаны архитектура, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей; по имеющимся данным модель относится к текстовым генеративным моделям. Доступны квантизированные варианты, при этом для вариантов Q2 пока не применялась imatrix-калибровка, что может влиять на их качество. Модель автоматически конвертирована средствами проекта ggml-org/convert. Модель распространяется по лицензии MIT. Для запуска требуется совместимое программное обеспечение, поддерживающее формат GGUF.

GoedelMachines разработала DiffusionGemma-26B-A4B W4A16 — 4-битную версию модели Google DiffusionGemma-26B-A4B-it с оптимизированными Triton-ядрами для ускорения генерации. Это языковая модель с блочной диффузионной архитектурой: она уточняет токены на холсте из 256 позиций до 48 шагов, а не генерирует их последовательно. В модели 26 млрд параметров, из которых активно используются 4 млрд; MoE-маршрутизация выбирает 8 из 128 экспертов для каждого токена. Модель предназначена для диалогов и генерации текста, в том числе для математических задач и генерации кода. В README заявлено ускорение в 2,3–2,7 раза относительно bf16-базы на GB10 при близких результатах в GSM8K, HumanEval и MATH. Экспериментальные замеры также показывают работу на RTX 5090; для весов требуется около 18 ГБ видеопамяти и до 20 ГБ в пике. Репозиторий содержит safetensors-веса и ядра Triton; загрузчику Transformers требуется trust_remote_code=True. Модель основана на google/diffusiongemma-26B-A4B-it и распространяется по лицензии Gemma. README описывает только текстовую генерацию; мультимодальные пути не проверялись. Точность оценивалась на ограниченных выборках, использована квантизация round-to-nearest min/max без калибровки, а конфигурации для GPU, отличных от GB10 и RTX 5090, не проверены сквозным тестированием.

Dolphin 2.1 Mistral 7B — разговорная языковая модель, разработанная Eric Hartford и обученная на базе Mistral. Она предназначена для диалога, ответов на вопросы и выполнения инструкций в формате ChatML. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. При обучении использованы наборы Dolphin, созданный как открытая реализация подхода Microsoft Orca, и Airoboros 2.2.1 для расширения творческих ответов. Карточка описывает модель как uncensored и предупреждает о высокой готовности выполнять запросы, в том числе неэтичные; перед развёртыванием сервиса рекомендуется добавить собственный уровень фильтрации. Указана лицензия Apache 2.0, допускающая коммерческое и некоммерческое использование.

GPT-OSS-Swallow 20B SFT v0.1 — двуязычная языковая модель Tokyo Tech, созданная на основе GPT-OSS с продолжением предобучения и supervised fine-tuning. Она предназначена для диалога на японском и английском языках, перевода между ними, а также задач по математике, программированию и естественным наукам. Модель имеет MoE-архитектуру семейства GPT-OSS, около 1,6 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов; карточка рекомендует ограничивать контекст 32 768 токенами или меньше, поскольку длинный контекст отдельно не обучался и не оценивался. Для инференса разработчики рекомендуют vLLM. Модель улучшает владение японским языком и перевод, сохраняя заявленные способности GPT-OSS в математике и коде. Разработчики отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Использование инструментов и управление уровнем рассуждений не проходили специального обучения, поэтому эти сценарии не валидированы. Лицензия — Apache 2.0.

Hermes-3-Llama-3.1-8B-GGUF — это квантизированная GGUF-версия языковой модели Hermes-3-Llama-3.1-8B от NousResearch, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая чат, ролевое взаимодействие, следование инструкциям, function calling и работу с JSON. Указан язык модели — английский; формат промптов основан на ChatML. Архитектура и исходный размер соответствуют Llama 3.1 с 8 млрд параметров, однако размер контекста в README не указан. Доступно множество вариантов квантизации от f32 до Q2_K и IQ2_M, что позволяет выбирать между качеством ответов, требованиями к памяти и размером файла. В качестве рекомендуемых отмечены варианты Q4_K_M, Q5 и Q6; более компактные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск, в частности через llama.cpp и LM Studio. Лицензия указана как llama3; дополнительные ограничения и условия распространения в README не описаны.

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

MiniCPM5-1B-heretic — модифицированная версия MiniCPM5-1B, разработанная автором RACER IS OP на основе модели openbmb. С помощью Heretic v1.4.0 к модели применена направленная абляция: целевые изменения весов в выходных проекциях attention и down-projection MLP подавляют поведение, связанное с отказами, без дообучения. Заявлено, что при этом в основном сохраняются знания, следование инструкциям, генерация кода, рассуждения и использование инструментов. Модель предназначена для диалоговых приложений, локальных агентов, генерации кода, function calling, ролевых сценариев и исследований механизмов alignment и отказов. Это текстовая causal language model примерно на 1,1 млрд параметров с поддержкой английского и китайского языков, контекста до 128K токенов и режимов Think/No-Think. Доступны форматы Transformers и GGUF, запуск возможен через llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang; модель ориентирована на потребительские GPU, CPU, Apple Silicon и edge-устройства. Ключевое заявленное преимущество — существенное снижение отказов: 2 из 100 против 96 из 100 у исходной MiniCPM5-1B в описанном тесте, при низком KL-divergence 0,0381. Ограничения включают небольшой для сложных задач размер модели, возможное снижение качества на низких уровнях квантования и отсутствие защитных ограничений, поэтому результаты и безопасность применения требуют дополнительной проверки. Указана лицензия Apache-2.0.

amd/MiniMax-M3-MXFP4-AttnFP8 — мультимодальная модель условной генерации MiniMaxM3SparseForConditionalGeneration, созданная AMD на основе MiniMaxAI/MiniMax-M3. Она принимает текст и изображения и генерирует текст, поэтому предназначена для мультимодального диалога, анализа изображений, агентских сценариев, задач программирования и работы с видео при наличии соответствующей интеграции. Поддерживаются функции вызова инструментов и рассуждений через vLLM. Модель использует разреженную MoE-архитектуру и оптимизирована для AMD MI350/MI355 с ROCm 7.1.1, PyTorch 2.10.0 и Transformers 5.2.0 в Linux. Веса квантизированы в формате OCP MXFP4, а слои self-attention — в PTPC-FP8; активации используют динамическое квантование MXFP4 и FP8 для self-attention. Языки и размер контекста в README не указаны. На тесте GSM8K модель получила 94,01 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,65% исходного результата. Основные ограничения — требовательность к поддерживаемому оборудованию и программному стеку AMD, а также отсутствие в README подробных оценок мультимодальных возможностей, языковой поддержки и контекстного окна. Указана лицензия minimax-community; применяется лицензия с типом other.

MisCalmity-v0.1-model_stock — языковая модель на архитектуре Mistral, созданная слиянием нескольких моделей с помощью LazyMergekit: Mistral-7B-v0.1, Calme-7B-Instruct-v0.9 и The-Trinity-Coder-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для диалоговых ответов и генерации кода благодаря включению инструкционной модели и модели для программирования в слияние. В карточке не приведены результаты оценки качества или сведения о лицензии, поэтому пригодность для конкретных сценариев и условия использования следует проверять по исходным моделям и репозиторию.

unsloth/mistral-7b-v0.3-bnb-4bit — 4-битная версия модели Mistral-7B-v0.3, подготовленная Unsloth на базе модели mistralai/Mistral-7B-v0.3. Это текстовая языковая модель примерно с 7 млрд параметров, предназначенная для использования и дообучения через библиотеку Transformers. В карточке указано, что модель ориентирована на английский язык. Модель подходит для генерации и продолжения текста, диалоговых сценариев при использовании соответствующего шаблона данных, а также для последующего fine-tuning на собственных наборах данных. Ключевая особенность данной версии — 4-битное представление в формате bitsandbytes, снижающее требования к памяти и удобное для запуска и дообучения на ограниченных GPU-ресурсах. В README также заявлена поддержка сценариев экспорта в GGUF и vLLM после дообучения, но подробные характеристики контекстного окна и архитектуры не приведены. Преимуществами являются компактное 4-битное представление, совместимость с экосистемой Transformers и возможность эффективного дообучения с помощью инструментов Unsloth. Ограничения включают отсутствие заявленной мультимодальности, отсутствие сведений о специализированной instruction-настройке именно этой версии, а также неполные данные о производительности и контекстном окне. Лицензия модели указана как Apache-2.0.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

M4-ai neural-chat-mini-v2.2-1.8B — языковая модель-ассистент на архитектуре Qwen2, дообученная на tau-1.8B с помощью SFT и DPOP. Модель содержит 1,5 млрд параметров, принимает текст и рассчитана на диалоговое использование; заявленная длина контекста — 32 768 токенов. Модель предназначена для ответов на вопросы и других общих задач ассистента, включая рассуждения, математику, программирование и написание текстов. В обучающую смесь вошли наборы данных для диалогов, кода, математики и естественных наук. В карточке заявлены английский и, возможно, китайский языки; метаданные указывают английский. Разработчик указывает лицензию tongyi-qianwen; метаданные классифицируют лицензию как other. В карточке отмечены риски предвзятости и ограничения, а результаты оценивания ещё не опубликованы. Рекомендации по ответственному использованию требуют дополнительной проработки.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Nous-Hermes-2-Mixtral-8x7B-SFT-GGUF — это квантизированная GGUF-версия языковой модели Nous-Hermes-2-Mixtral-8x7B-SFT, разработанной NousResearch и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых и инструкционных сценариев, включая генерацию текста и работу в чат-приложениях на базе LlamaEdge. Модель основана на архитектуре Mixtral и использует формат промптов ChatML. В README указан английский язык, контекстное окно составляет 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более сильная квантизация уменьшает размер, но может заметно ухудшать качество; точные сведения о числе параметров, поддерживаемых модальностях и дополнительных языках не указаны. Для запуска требуется LlamaEdge версии 0.2.8 или новее; предусмотрены режимы сервиса и командного чат-приложения. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

Это 6-битная версия NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX на совместимом оборудовании Apple. Репозиторий преобразован из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.27.1; метаданные связывают исходную модель с дообучением и указывают поддержку чата. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель описана как гибридная языковая модель NVIDIA для чата, следования инструкциям, программирования и управляемого рассуждения. В карточке модели перечислены английский, испанский, французский, немецкий, итальянский и японский языки. Репозиторий указывает лицензию other; условия следует сверить с лицензией исходной модели и файлами репозитория перед использованием.

OpenHermes-2.5-Mistral-7B-GGUF — квантизированная версия инструкционной языковой модели OpenHermes-2.5-Mistral-7B, разработанной Teknium и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mistral и содержит около 7 млрд параметров. В метаданных указан английский язык; модель предназначена для текстового диалогового взаимодействия и обработки инструкций с использованием шаблона ChatML. Модель подходит для локального запуска чат-ботов и LLM-сервисов, включая использование через LlamaEdge версии 0.2.8 и выше. Заявленный размер контекста составляет 4096 токенов. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,08 до 7,7 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендованы как сбалансированные по качеству и размеру, тогда как варианты с более низкой разрядностью экономят память, но заметно снижают качество. Основные преимущества модели — возможность локального развертывания, широкий выбор уровней квантизации и совместимость с экосистемой LlamaEdge. Ограничения включают относительно небольшой контекст в 4096 токенов и потери качества при использовании низкоразрядных вариантов; README не содержит подробных результатов оценки, сведений о других языках или мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-9B-GGUF — это набор квантованных форматов GGUF для модели Ornith-1.5-9B, подготовленный пользователем NANI-Nithin на основе базовой модели ornith-ai. Модель относится к семейству Qwen3.5 и предназначена для запуска локального текстового вывода в llama.cpp, LM Studio, Ollama с импортом GGUF, KoboldCpp и других совместимых средах. Базовая модель содержит 9 миллиардов параметров и использует плотную архитектуру без маршрутизируемых экспертов: 32 трансформерных слоя, гибридное внимание с линейным механизмом Gated DeltaNet и полноформатным вниманием, а также позиционное кодирование MRoPE. Представленные файлы предназначены только для работы с текстом. В метаданных указан английский язык; размер контекста в README не указан. Доступны стандартные и IQ-квантизации от 2- до 8-битного уровня. Q2_K и IQ2_M экономят максимум памяти, Q4_K_M предлагают компромисс между качеством и размером, а Q8_0 обеспечивают наивысшее качество среди вариантов репозитория. Квантизация уменьшает требования к памяти, но может снижать точность по сравнению с исходными весами. README также сообщает, что заявленный в исходной конфигурации слой MTP для предсказания следующего токена отсутствует в опубликованных весах, поэтому метаданные GGUF были исправлены в соответствии с фактической структурой модели. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия модели r1-1776-distill-llama-70b, разработанной perplexity-ai и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b4738 и метода imatrix. Модель предназначена для генерации текста и может запускаться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Архитектура основана на Llama, размер исходной модели — 70 миллиардов параметров. В README не указаны поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 27,47 до 74,98 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые для различных сценариев. Сильными сторонами являются широкий выбор размеров файлов, совместимость с локальными инструментами llama.cpp и сохранение высокого качества в старших вариантах квантизации. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для версий с высоким качеством, а также потенциальное снижение качества в компактных вариантах. Модель распространяется по лицензии MIT.