II.7DevOps, облако и эксплуатация IT-систем

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

Loxa Pro — языковая модель от frameai для генерации текста и диалогового взаимодействия. Она основана на архитектуре Gemma 2, содержит 3,3 млрд параметров и принимает текстовый ввод; заявленный контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Apache-2.0. Модель предназначена для решения математических задач и объяснения решений, написания и отладки кода, ответов на общие и научные вопросы, а также помощи с повседневными текстовыми задачами. В README разработчик заявляет о методе CA (Combine Architectures), эффективности на менее мощных GPU и улучшении точности относительно Loxa-4B и Loxa-3B, однако подробности метода и результаты сравнительных оценок не приведены. Как и другие языковые модели, Loxa Pro может отражать смещения обучающих данных и выдавать фактически неверные или вводящие в заблуждение ответы; результаты следует проверять. Для запуска требуются вычислительные ресурсы, хотя модель заявлена как оптимизированная для небольших GPU.

Marin 32B — базовая авторегрессионная языковая модель, разработанная командой Marin Project. Она предназначена для генерации продолжений текста и служит основой для разработки и адаптации языковых моделей. Модель обучена на корпусах общего текста, кода, математики, научных материалов и вопросов и ответов; в карточке приведены результаты оценки на общих языковых, математических и программных тестах. Модель имеет плотную архитектуру Qwen3 с 31,9 млрд параметров, QK-Norm attention, 64 слоями и контекстом 4096 токенов. Она работает с Transformers и принимает текст, выдавая текст. Основной язык — английский. По данным карточки, обучающие данные не выходят за июль 2024 года. Marin 32B — базовая модель без настройки безопасности; она может выдавать вредный или неточный текст и не предназначена для полностью автономного использования. Код и веса распространяются по лицензии Apache 2.0.

Meta-Llama-3-11.5B-Instruct — созданная mpasila экспериментальная инструкционная языковая модель, полученная слиянием слоёв Undi95/Meta-Llama-3-8B-Instruct-hf методом passthrough с помощью mergekit. Модель предназначена для диалогов и генерации текста в ответ на инструкции; архитектура — плотная Llama с причинным языковым моделированием, объём — около 11 млрд параметров, контекст — 8192 токена. Карточка указывает английский язык и формат safetensors. Модель может подойти для чат-ботов, ответов на вопросы, написания и продолжения текстов, а также генерации кода. Доступна по лицензии llama3. Карточка описывает способ слияния, но не приводит сравнительных оценок качества; как экспериментальная Frankenmerge, она может отвечать менее стабильно, чем исходная модель.

Vontra/MiMo-V2.6-Flash-RL-MLX-4bit-MTP — конверсия модели XiaomiMiMo/MiMo-V2.6-Flash-RL для MLX, опубликованная Vontra и предназначенная прежде всего для запуска на компьютерах Apple Silicon. Это генеративная текстовая модель, ориентированная на создание связного текста, объяснений и программного кода. В README приведены успешные проверки арифметики, фактических объяснений и Python-кода, однако подробные оценки качества и сценарии применения следует уточнять в карточке исходной модели. Исходная MiMo-V2.6-Flash-RL описывается как разреженная MoE-модель с 309 млрд параметров, из которых 15 млрд активны на токен, 48 трансформерными слоями, 256 маршрутизируемыми экспертами и восемью активными экспертами на токен. Исходный релиз поддерживает контекст до одного миллиона токенов и омнимодальные входы; заявлены текст, изображения и аудио. Эта версия использует 4-битную аффинную квантизацию плотных проекций с размером группы 64, тогда как эксперты MoE сохраняют формат MXFP4 с размером группы 32. Средний размер — 4,257 бита на вес, текстовая модель занимает около 154 GiB, а весь репозиторий — около 160 GiB. Поддерживаемые языки, указанные в карточке, — английский и китайский. В комплект входят MTP-предиктор, DFlash-драфтер, vision encoder, audio encoder и audio tokenizer, но текущие oMLX и MLX text generation автоматически используют только текстовый путь: MTP, DFlash, зрительные и аудиофункции пока требуют MiMo-совместимых интеграций и не заявлены как работающие в стандартном режиме. На Mac Studio с M3 Ultra, 256 ГБ памяти измерены скорости 59,4 токена в секунду при декодировании и 477,1–562,8 токена в секунду при обработке промпта; рекомендована конфигурация с 256 ГБ unified memory. Модель распространяется по лицензии MIT. Это community-конверсия, поэтому её ограничения включают высокие требования к памяти и неполную поддержку вспомогательных мультимодальных компонентов в текущем MLX-стеке.

MiniCPM-2B-dpo-fp16 — текстовая авторегрессионная модель семейства MiniCPM, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, оптимизированная методом DPO по человеческим предпочтениям; репозиторий содержит веса PyTorch в формате FP16. В метаданных указаны 2,7 млрд параметров и контекст до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и программирование. Она поддерживает китайский и английский языки и рассчитана на запуск в сценариях с ограниченными ресурсами по сравнению с более крупными языковыми моделями. Разработчики сообщают о сильных результатах DPO-версии на MTBench, однако это не гарантирует точности в конкретных задачах. Модель может галлюцинировать, особенно при длинных ответах, чувствительна к формулировке запроса и может давать разные результаты при повторных запусках; точность запомненных знаний ограничена. README разрешает научное использование и ограниченное коммерческое использование; перед применением следует проверить условия лицензии репозитория.

Mistral-7B-Instruct-v0.3-heretic — языковая генеративная модель, созданная пользователем saidutta69 на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Модель обработана инструментом Heretic v1.4.0 методом направленной абляции: изменения внесены в отдельные веса attention и MLP без дообучения. Заявленный размер — 7,2 млрд параметров; основная заявленная поддерживаемая языковая версия — английский язык. Модель предназначена для генерации текста, диалоговых систем, локальных агентов, ролевых сценариев, function calling и исследований механизмов выравнивания и отказов моделей. Доступны полноточные веса BF16 и квантизированные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на бытовых видеокартах, CPU и устройствах Apple Silicon. Согласно README, подавление отказов существенно снизило их частоту по сравнению с базовой моделью, при этом автор заявляет о сохранении исходных знаний и возможностей следования инструкциям. Ключевое ограничение — намеренное удаление защитных ограничителей: модель может выполнять запросы, которые базовая версия отклоняет, включая потенциально опасные. Она сохраняет фактические ограничения и предвзятости исходной модели, а отсутствие встроенной фильтрации делает её неподходящей для незащищённых публичных сервисов без дополнительной модерации. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Mixtral-8x7B-v0.1 — предварительно обученная генеративная языковая модель Mistral AI со sparse Mixture of Experts. В архитектуре Mixtral-8x7B восемь экспертов; модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные сценарии. В карточке разработчик сообщает, что модель превзошла Llama 2 70B на большинстве проверенных ими бенчмарков. Модель рассчитана на работу с текстом и поддерживает контекст до 32 768 токенов. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Веса доступны в формате safetensors; репозиторий подготовлен для обслуживания через vLLM, а README также описывает загрузку через Transformers, хотя отдельно предупреждает, что на момент публикации модель ещё нельзя было инстанцировать через HF. Лицензия — Apache 2.0. Это базовая модель без встроенных механизмов модерации, поэтому ответы могут включать нежелательный контент. Для безопасного применения в пользовательских сценариях нужна отдельная проверка и настройка поведения модели.

Это квантованная версия модели Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16, преобразованная в формат GGUF для запуска с llama.cpp. Базовая модель связана с AEON-7/Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16; репозиторий создан kainecorneko, а конвертацию выполнили через пространство GGUF-my-repo. Модель предназначена для диалогового и инструкционного использования. В метаданных заявлены мультимодальность, работа с текстом, изображениями и аудио, а также функции reasoning, coding и tool calling; README описывает запуск через llama.cpp. Метаданные указывают английский язык и формат GGUF BF16, но точный размер и длина контекста в предоставленных данных не приведены. Метка uncensored указывает на снятые ограничения отказов, поэтому ответы могут включать нежелательное содержание. Лицензия обозначена как other; конкретные условия следует сверить с карточкой базовой модели. Это конверсия в GGUF, а не основание считать репозиторий отдельным дообучением.

OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf — это текстовая генеративная модель в формате GGUF, разработанная DavidAU на базе p-e-w/gpt-oss-20b-heretic. Согласно карточке, модель использует архитектуру Mixture of Experts с 20B параметров и 24 экспертами. Она предназначена для локального запуска и доступна в вариантах IQ4_NL, Q5_1 и Q8_0 с применением Imatrix, DI-Matrix или TRI-Matrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и общее использование. Указан английский язык и заявлена поддержка контекста до 128k токенов. Автор отмечает улучшения производительности благодаря NEO, Horror и NEOCode-наборам данных, а также различия между квантизациями: Q5_1 описывается как более стабильная в некоторых сценариях, тогда как IQ4_NL может давать более необычные и спонтанные ответы. Ключевая особенность модели — удаление отказов и ограничений, обозначенное автором как uncensored и decensored. Это может быть полезно для свободных творческих и исследовательских сценариев, но одновременно означает отсутствие встроенных защитных механизмов и повышенный риск небезопасных или нежелательных ответов. В карточке не приведены независимые бенчмарки, точные требования к памяти, аппаратные рекомендации или подробные измерения качества, поэтому производительность и практическая скорость зависят от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

Open-Instruct ShareGPT 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на очищенном наборе диалогов ShareGPT по схеме, близкой к Vicuna. Это чекпойнт для генерации текста и ответов на инструкции в диалоговом формате; для работы с ним требуется базовая модель LLaMA в формате Hugging Face, поскольку репозиторий содержит diff весов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 2048 токенов. Она принимает текст и генерирует текст; в карточке указан английский язык. В README приведены результаты на академических бенчмарках, включая MMLU, GSM и Codex-Eval. Качество генерации зависит от соблюдения указанного в карточке формата входа, включая перевод строки после маркера начала ответа. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

Mungert/OpenReasoning-Nemotron-14B-GGUF — GGUF-квантованная версия большой языковой модели OpenReasoning-Nemotron-14B, производной от Qwen2.5-14B-Instruct. Модель разработана на базе семейства OpenReasoning-Nemotron; данный репозиторий содержит конвертацию в формат GGUF, выполненную с использованием llama.cpp. Указанный вариант предназначен для локального запуска и генерации текста, кода и решений с применением совместимых инструментов GGUF и llama.cpp. Модель ориентирована на рассуждения в задачах математики, программирования и естественных наук. Для исходной версии заявлена оценка с длиной вывода до 64K токенов. Это текстовая, англоязычная модель с размером 14B параметров; мультимодальные возможности не указаны. Для квантования применён подход с выборочным повышением точности отдельных важных слоёв, что, по описанию автора, может улучшать точность при сохранении преимуществ уменьшенного размера файла, хотя увеличивает его размер. Конкретный тип квантования и характеристики отдельных файлов GGUF в README не приведены. Сильными сторонами являются специализация на сложном reasoning, математике, коде и научных задачах, а также возможность эффективного локального использования в квантованном формате. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантования, а также отсутствие подробных данных о контекстном окне, скорости, аппаратных требованиях и поддерживаемых языках помимо английского. Использование разрешено для коммерческих и некоммерческих исследовательских целей на условиях Creative Commons Attribution 4.0 International (CC-BY-4.0); дополнительно упоминается Apache 2.0 для базовой модели Qwen2.5.

Orca-2.0-Tau-1.8B — диалоговая языковая модель M4-ai, дообученная на базе tau-1.8B как универсальный помощник. Она предназначена для генерации ответов, письма, решения математических задач и работы с кодом; также заявлены ответы на вопросы и рассуждения по шагам. Модель использует архитектуру Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Для общения применяется формат ChatML. В обучающий набор вошли данные для диалогов, программирования, математики и естественных наук. Карточка указывает английский язык и допускает поддержку китайского; метаданные подтверждают английский. Лицензия указана как tongyi-qianwen license (в метаданных — other). Оценка на Open LLM Leaderboard приведена в карточке, однако отдельная оценка качества для практических сценариев не заявлена.

3MPER0RR/Ornith1.5-9B-3MPER0RR-abliterated — дообученная версия Ornith 1.5 9B, подготовленная 3MPER0RR для экспериментов. Это плотная языковая модель семейства Qwen3.5 с поддержкой диалогового взаимодействия; основная задача — генерация текста. Базовая модель Ornith AI предназначена для программирования, агентных задач и работы с инструментами в длинном контексте. Модель распространяется в формате safetensors по лицензии MIT. Карточка сообщает, что модель прошла испытания и сохранена, но не уточняет набор тестов, контекстное окно или поддерживаемые языки. Суффикс «abliterated» в названии указывает на изменение, связанное с отказами модели, однако карточка не описывает его метод и фактическое влияние.

Карточка модели LimitlessMindd/Phi-4-reasoning на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning, поэтому описание составлено по ней. Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

Phi-tiny-MoE-instruct — компактная языковая модель Microsoft для диалогов и следования инструкциям. Это декодерный Transformer с архитектурой смеси экспертов (MoE): в README указаны 3,8 млрд параметров и 1,1 млрд активных, тогда как метаданные каталога приводят 1,6 млрд параметров. Модель создана методом SlimMoE на основе модели, общей для Phi-3.5-MoE и GRIN-MoE, а затем дообучена на инструкциях и предпочтениях пользователей. Для этого варианта точный идентификатор базовой модели в метаданных не указан. Модель предназначена для англоязычных универсальных ассистентов, а также сценариев с ограничениями по памяти, вычислениям или задержке. Принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4096 токенов. Данные включают синтетические учебные материалы, отфильтрованные открытые документы, код и диалоговые примеры; сведения в README указывают на преимущественное обучение на английском. Модель может помогать с ответами на вопросы, объяснениями, рассуждениями и генерацией кода. Возможны неточности и выдуманные утверждения, предвзятые или оскорбительные ответы; качество для языков, отличных от английского, ниже. Для важных и чувствительных сценариев ответы следует проверять. Лицензия — MIT, допускающая коммерческое использование.

Qwen3-4B-Diversity — дообученная разговорная языковая модель от hadadxyz на базе Qwen/Qwen3-4B. Она ориентирована на пошаговые рассуждения и использует данные, дистиллированные из ответов различных крупных ИИ-моделей. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов; распространяется в формате safetensors. Модель предназначена для решения математических задач, генерации и анализа кода, общих задач на рассуждение и многоходовых диалогов. Карточка описывает обучение на разнообразных наборах данных с примерами рассуждений и рекомендует отдельные параметры генерации для режимов Thinking и Non-Thinking. Лицензия — Apache-2.0. Карточка не приводит результатов сравнительной оценки, поэтому заявленные улучшения рассуждений не сопровождаются количественными бенчмарками; фактическое качество может различаться в зависимости от задачи.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search-TauSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-unsloth-bnb-4bit — это 4-битная квантованная версия языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная Unsloth на основе базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Модель относится к семейству DeepSeek-R1 и использует дистилляцию способностей рассуждения, полученных при обучении DeepSeek-R1, в компактную модель на базе Qwen. Формат предназначен для использования с библиотекой Transformers и технологией bitsandbytes. Модель предназначена прежде всего для текстовых задач, требующих рассуждений, включая решение математических задач, программирование, ответы на вопросы и другие сценарии, где важна последовательная логика. Благодаря размеру 1,5 млрд параметров и 4-битному представлению она ориентирована на запуск при ограниченных ресурсах памяти, однако README не содержит точных требований к оборудованию, размера контекста или подробных показателей качества. Указан английский язык; поддержка других языков отдельно не заявлена. К сильным сторонам относятся компактность, сниженные требования к памяти и ориентация на reasoning-задачи. Ограничениями являются меньшая вместимость по сравнению с более крупными моделями DeepSeek-R1 и возможные потери качества из-за 4-битной квантования; конкретные компромиссы в README не измерены. Модель распространяется по лицензии Apache-2.0.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

Huihui-Ornith-1.0-35B-abliterated-MTP-UD-APEX-GGUF — это квантизированная GGUF-версия мультимодальной модели Huihui-Ornith-1.0-35B, разработанной huihui-ai и дополнительно модифицированной автором gbuzhf. Модель основана на архитектуре Qwen3.5 MoE с 256 экспертами и активирует 8 экспертов на токен. В неё встроена MTP-голова для speculative decoding, а также поддержка обработки изображений через отдельный vision projector. Для работы с изображениями требуется файл Huihui-Ornith-1.0-35B-abliterated-mmproj-F16.gguf; без него модель работает только с текстом. Доступны восемь вариантов квантизации объёмом от 14,37 до 30,21 ГБ, включая MTP-UD-Q6_K, MTP-UD-Q5_K_S, MTP-UD-Q4_K_XL и варианты MTP-APEX. Контекст в приведённом примере запуска настроен на 8192 токена. MTP-голова зафиксирована в формате Q8_0. В измерении на смеси запросов для программирования и редактирования текста средняя доля принятых черновых токенов составила 86,4%, а скорость — 44,1 токена в секунду, однако эти показатели относятся только к указанному тестовому стенду и не являются универсальными. Главная особенность модели — abliterated-версия, ориентированная на снижение или устранение отказов, связанных с исходными ограничениями поведения. Это может быть полезно для экспериментов и сценариев, где требуется более свободная генерация, но abliterating намеренно уводит веса от обученного оптимума и может ухудшать качество. Кроме того, imatrix была рассчитана на неabliterated-модели, поэтому распределение точности квантизации и описание маршрутизации экспертов могут быть не полностью оптимальными. Лицензия — MIT.

Hy3-heretic — разговорная модель генерации текста на архитектуре HY-V3 с mixture-of-experts, представленная пользователем trohrbaugh. По метаданным, модель содержит 16,6 млрд параметров и поддерживает контекст до 262 144 токенов; формат весов — safetensors, лицензия — Apache-2.0. Она предназначена для диалогов и генерации ответов с ослабленным отказом: в README приведено сравнение, где вариант Hy3-heretic отказал в 1 из 100 запросов против 99 из 100 у исходной модели. Модель можно применять для общения, ответов на запросы и других сценариев генерации текста. Карточка описывает метод abliteration и сообщает о KL divergence 0,2398 относительно исходной модели. README также содержит общие сведения о Hy3 от команды Tencent Hy, включая заявленные возможности для рассуждений, работы с длинным контекстом, программирования и агентных сценариев; эти характеристики относятся к семейству Hy3 и не подтверждены отдельно для данного варианта. В карточке указана лицензия Apache-2.0.

LeroyDyer/LCARS_TOP_SCORE — объединённая автором модель Mistral для генерации текста и диалога, основанная на нескольких моделях, включая chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных заявлена поддержка английского языка, а карточка описывает её как модель с высокими результатами на тестах Open LLM Leaderboard v2. Модель предназначена для диалогов и генерации текста; метаданные также отмечают работу с кодом. Результаты в README не согласуются с приведёнными там же метриками: заявлено среднее 78,9, тогда как таблица показывает 20,32. Лицензия — OpenRAIL.

Модель LeroyDyer/LeroyDyer-Mixtral_AI_CyberTron_Ultra — дообученная LeroyDyer текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для диалогов и генерации текста, в том числе ответов на вопросы, программирования, математики, финансовых тем, проектирования продуктов и систем, а также ролевых сценариев. Разработчик сообщает о тренировке на учебных и математических материалах, наборах данных для кода и диалогов, а также о поддержке многошаговых ответов и нескольких стилей взаимодействия. Метаданные указывают контекст до 32 768 токенов, библиотеку Transformers и формат Safetensors. В карточке заявлена ориентация преимущественно на английский язык; среди датасетов также есть материалы на суахили и многоязычный корпус. Модель может подойти для прототипирования чат-помощников и генерации кода, однако утверждения о качестве основаны на описании разработчика и не сопровождаются результатами независимой оценки. Указана лицензия Apache-2.0.

Это квантованная в формате MXFP4_MOE сборка разговорной гибридной MoE-модели Ling-3.0-flash от Inclusion AI, опубликованная в формате GGUF. Она предназначена для генерации текста в диалогах; базовая модель также рассчитана на программирование и многошаговые агентные задачи. Для запуска в карточке рекомендуется llama.cpp. Сведения о размере модели, контекстном окне и поддерживаемых языках в доступных данных отсутствуют. Квантование уменьшает точность весов и предназначено для запуска модели в более компактном формате, однако доступные данные не содержат результатов оценки качества этой сборки. Лицензия не указана в предоставленных сведениях.

unsloth/Llama-3.1-Nemotron-70B-Instruct — текстовая диалоговая модель NVIDIA на архитектуре Llama 3.1, опубликованная Unsloth. Это версия с дообучением NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF; в карточке каталога указан датасет HelpSteer2. Модель предназначена для генерации ответов на инструкции и запросы в диалоге, а также поддерживает интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров. Она принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Llama 3.1. README направляет к исходной карточке NVIDIA за дополнительными сведениями; подробные ограничения и оценка качества в предоставленных данных не описаны.

my-first-moe-3b — объединённая языковая модель, созданная автором репозитория chubakur с помощью mergekit и метода SLERP на основе Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct. Несмотря на название, в метаданных архитектура указана как плотная Qwen2ForCausalLM с 1,5 млрд параметров, а не MoE. Модель предназначена для генерации текста и диалогов; объединение инструктивной и кодовой моделей может быть полезно для обычных запросов и задач с программным кодом. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Файлы представлены в формате safetensors и рассчитаны на использование с Transformers; в метаданных также отмечен интерфейс вызова инструментов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

bunnycore/Phi-2-OmniMatrix — языковая модель, созданная объединением нескольких дообученных моделей семейства Phi-2 с помощью mergekit и метода task arithmetic. В качестве базовой модели использована microsoft/phi-2; в объединение вошли варианты для чата, ролевого общения и генерации кода. Модель содержит 3,5 млрд параметров, использует архитектуру PhiForCausalLM и формат safetensors; длина контекста — 2048 токенов. Модель предназначена для генерации текста, диалогов и кода. Работает через библиотеку Transformers. README указывает тип данных float16. Лицензия в предоставленных данных не указана.

win10/phi-3.5-sakura-yuzu-v3.0 — объединённая авторами модель генерации текста на архитектуре Phi-3.5, созданная с помощью mergekit и метода TIES. В качестве основы использована win10/Phi-3.5-mini-instruct-24-9-29; в слияние также вошли модели для ролевого общения, программирования, медицинских вопросов и адаптеры EvolKit и System. Размер модели — 3,7 млрд параметров, длина контекста — 4096 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ролевых бесед, ответов на вопросы, помощи с кодом и медицинской тематикой. Метаданные указывают поддержку чата и нескольких языковых вариантов в моделях, вошедших в слияние, но основной язык этой модели отдельно не установлен. Модель распространяется в формате safetensors для библиотеки Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

Qwen1.5-1.8B-Chat-GGUF — чатовая версия языковой модели Qwen1.5, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer, дообученная с использованием supervised fine-tuning и direct preference optimization для более качественного взаимодействия с пользователем. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, поддержание беседы и другие задачи text generation. Заявлена поддержка нескольких естественных языков и программного кода; базовая карточка модели указывает английский язык. Модель поддерживает контекст длиной до 32K токенов. Репозиторий содержит GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, рассчитанные на запуск с llama.cpp. Размер 1.8B параметров делает модель относительно компактной и удобной для локального запуска, однако по возможностям и качеству она уступает более крупным моделям семейства. Квантизация снижает требования к ресурсам, но при более низкой точности может ухудшать качество генерации. Модель работает только с текстом; поддержка изображений и других модальностей не указана. Лицензия обозначена как Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.