II.7DevOps, облако и эксплуатация IT-систем

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

Qwen3.5-4B-KIMI-Distill — мультимодальная модель с 4 млрд параметров, созданная clzoro дообучением Qwen3.5-4B на трассах рассуждений, дистиллированных из KIMI-K2.5. Она сочетает языковую модель с энкодером изображений и сохраняет возможности понимания изображений исходной модели. В карточке Hugging Face указаны архитектура Qwen3.5, поддержка диалога и изображений, а также лицензия Apache-2.0. Модель предназначена для задач рассуждения, прежде всего генерации и анализа кода, решения математических задач и ответов на вопросы по естественным наукам; также может работать с изображениями. Данные дообучения включают 554 381 пример и около 2 млрд токенов рассуждений; основная доля примеров посвящена программированию. Карточка заявляет поддержку английского и китайского языков. Модель может ошибаться в ходе рассуждений и в выводах, а на творческих и открытых диалоговых задачах может работать хуже. Её знания ограничены обучающими данными; ответы в медицинской, юридической и финансовой тематиках требуют проверки.

Qwen3.8-27B-UD-Q3_K_XL-DFlash2-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная для локального запуска на компьютерах Apple Silicon. Модель разработана автором репозитория nathansutton и предназначена прежде всего для генерации текста, написания и анализа кода, а также работы в локальном coding-агенте chad, стилизованном под Claude Code. Модель поддерживает текстовый ввод и вывод; язык базовой модели и точный перечень поддерживаемых языков в README не указаны. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с 27 млрд параметров, 64 слоями, включая 48 слоёв GatedDeltaNet и 16 слоёв полноформатного attention. Основная часть весов квантизирована до 3 бит с группами размера 64, эмбеддинги также имеют 3-битную квантизацию, а lm_head — 5-битную. Нативное контекстное окно составляет 262 тысячи токенов. Размер весов — около 12,1 ГБ, вместе с дополнительным drafter-модулем — около 13,3 ГБ; модель рассчитана на Apple Silicon с 24 ГБ памяти, но в таком режиме фактический доступный контекст обычно составляет десятки тысяч токенов. В комплект входит 1,9-миллиардный DFlash2 block drafter, который ускоряет авторегрессионную генерацию за счёт спекулятивного декодирования. Он квантизирован до 4 бит и предлагает блоки токенов, проверяемые целевой моделью с сохранением её распределения при семплировании. На M4 Pro с 24 ГБ памяти README сообщает ускорение примерно с 17,5 до 60,1 токена в секунду для жадной генерации и с 22,4 до 49–51 токена в секунду для режима с sampling; на длинных агентских контекстах прирост ниже. Ограничения включают зависимость от Apple Silicon и памяти, снижение эффективного контекста на устройствах с 24 ГБ, а также возможные расхождения жадной генерации с последовательным декодированием из-за различий вычислительных ядер. Целевые веса наследуют лицензию базовой модели Qwen3.8-27B, а содержимое каталога dflash — лицензию исходного релиза DFlash2. Перед использованием или распространением необходимо проверить условия обеих лицензий.

Qwen3-Coder-480B-A35B-Instruct-GGUF — это набор квантизированных вариантов инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на генерацию текста и задачи программирования в диалоговом режиме. README указывает шаблон запросов с ролями system, user и assistant. Доступны варианты квантизации Q2–Q8 с размером файлов примерно от 169 до 510 ГБ; версии с более высокой точностью обеспечивают лучшее качество, но требуют значительно больше оперативной памяти, а низкоразрядные варианты экономят ресурсы за счёт снижения качества. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5_K_M и Q6_K. Сильная сторона модели — большой размер исходной модели и широкий выбор квантизаций, позволяющий выбирать компромисс между качеством и требованиями к памяти. Ограничения — крайне высокие аппаратные требования даже у компактных вариантов, а также возможное ухудшение качества при использовании низких уровней квантизации. Сведения о поддерживаемых языках, размере контекста, мультимодальности и лицензии в README не указаны.

mlx-community/QwQ-32B-Preview-bf16 — конвертированная в формат MLX версия QwQ-32B-Preview, подготовленная сообществом mlx-community из модели Qwen/QwQ-32B-Preview с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Qwen2 на 32 млрд параметров для генерации текста в диалоговом режиме; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговых ответов, математических рассуждений и программирования. В карточке заявлен интерфейс для вызова инструментов; английский указан среди языков. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия в MLX, поэтому для запуска требуется совместимая среда MLX.

ANITA-NEXT-24B-Dolphin-Mistral-UNCENSORED-ITA — разговорная языковая модель семейства ANITA-NEXT, разработанная исследователем Марко Полиньяно из Университета Бари Альдо Моро и исследовательской группой SWAP. Это плотная авторегрессионная модель архитектуры Mistral на 23,4 млрд параметров, дообученная на базе dphn/Dolphin-Mistral-24B-Venice-Edition с помощью SFT, QLoRA и DPO. Она предназначена для диалога, следования инструкциям и генерации текста и кода; README характеризует её как модель с рассуждением и без фильтрации ответов. Модель принимает текст и генерирует текст, включая код. Она рассчитана прежде всего на итальянский язык, также заявлена поддержка английского и многоязычных сценариев. Метаданные указывают контекст 40 960 токенов; README отмечает деградацию качества после примерно 40 тысяч токенов, несмотря на заявленные там 128 тысяч. Указанная лицензия — Apache-2.0. Авторы предупреждают о галлюцинациях и возможности оскорбительных, неэтичных или опасных ответов; модель представлена для исследовательского применения.

Camelidae-8x13B — языковая модель семейства Camelidae, разработанная авторами метода Parameter-Efficient Sparsity Crafting. Это модель типа Mixture-of-Experts с архитектурой на основе LLaMA и примерно 12,9 млрд параметров; для запуска в README приведён пример загрузки через Transformers с trust_remote_code. Модель предназначена для генерации текста по инструкциям и общих задач, включая программирование и математику. При обучении семейства использовались QLoRA и адаптеры для эффективного преобразования плотных моделей в разреженную MoE-структуру; в метаданных для этой версии указаны наборы SlimOrca, Magicoder и MetaMathQA. Модель принимает текст и генерирует текст. Метаданные указывают английский язык и контекст до 4096 токенов. Лицензия — Apache-2.0. README описывает серию моделей и приводит результаты для Camelidae-8x34B-pro, поэтому эти показатели нельзя считать оценкой именно версии 8x13B.

Codetulu 2 34B — языковая модель-помощник из серии Tulu, разработанная Allen Institute for AI (AI2). Это дообученная на смеси открытых, синтетических и созданных людьми данных модель CodeLlama-34B; в обучающую смесь вошли инструкции и диалоги, в том числе набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста и ответов на пользовательские инструкции, прежде всего на английском языке. Модель построена на архитектуре Llama с плотной causal language model, содержит 33,5 млрд параметров и поддерживает контекст до 8192 токенов. Для корректного форматирования входа карточка рекомендует заключать сообщение пользователя в формат инструкций модели и добавлять завершающий перевод строки. Модель не проходила этап RLHF-настройки на безопасные ответы и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно в ответ на соответствующие запросы. Распространяется по лицензии AI2 ImpACT Low-risk; перед использованием следует проверить её условия.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

IFM/K2-Horizon-0.9B — компактная плотная авторегрессионная языковая модель семейства K2-Horizon, разработанная IFM. Модель содержит около 924,5 млн параметров и предназначена для диалоговой генерации текста и рассуждений; её оценивали на задачах математики, программирования, естественных наук и использования инструментов. В README описано обучение с дистилляцией от нескольких специализированных моделей-учителей, а также расширение контекста с помощью YaRN RoPE scaling. README указывает контекст до 131 072 токенов, тогда как метаданные каталога сообщают native context 8 192 токена; для развёртывания длинного контекста нужны соответствующие настройки RoPE. Модель ориентирована на английский и китайский языки. Веса доступны в формате Safetensors, лицензия — Apache-2.0. Карточка описывает возможность использования для инференса, оценки и последующего дообучения; для работы с инструментами требуется совместимая серверная конфигурация.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

Mellum2 Instruct (SFT) — промежуточная модель с инструкционной настройкой, выпущенная JetBrains. Это контрольная точка этапа supervised fine-tuning в конвейере обучения Mellum2 Instruct, предназначенная для изучения этого этапа, экспериментов с последующей настройкой предпочтений или RLVR и сравнения с итоговой RL-настроенной версией. Модель использует архитектуру Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. В ней сочетаются слои скользящего окна и полное внимание; контекст — до 131 072 токенов. Метаданные указывают 1,9 млрд параметров. Модель принимает текст и генерирует текст; карточка сообщает об обучении на смешанных данных для кода, агентных сценариев, вызова инструментов, следования инструкциям, общего диалога, идентичности и безопасности. Контрольная точка получена после трёх эпох SFT от JetBrains/Mellum2-12B-A2.5B-Base. Авторы рекомендуют для качественного следования инструкциям в производственных сценариях итоговую версию Instruct. Модель доступна по лицензии Apache-2.0.

Карточка модели kaivoss/MiMo-V2.6-Distill-Qwen-9B-compat на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B, поэтому описание составлено по ней. MiMo-V2.6-Distill-Qwen-9B — плотная мультимодальная модель на 9 млрд параметров, разработанная Xiaomi MiMo посредством supervised fine-tuning Qwen3.5-9B на данных, созданных MiMo. Модель предназначена для диалогов и агентных сценариев, включая программирование, визуальное программирование и задачи кибербезопасности; также поддерживает обработку изображений. Карточка публикует результаты SFT-чекпойнта на бенчмарках по программированию. Это контрольная точка для дальнейших исследований в области агентного обучения с подкреплением. Для запуска README рекомендует свежую сборку SGLang с поддержкой Qwen3.5; модель включает токенизатор и шаблон чата MiMo v2.6. Репозиторий содержит веса safetensors. Лицензия — MIT. README не описывает конкретные ограничения качества или безопасности модели.

NANI-Nithin/MiniCPM5-2B-GGUF — набор GGUF-квантизованных версий MiniCPM5-2B, разработанного командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания ассистентов, coding agents, сценариев tool use, агентских workflows и задач рассуждения. Репозиторий содержит исходную BF16-версию и 29 вариантов квантования от Q8_0 до Q1_0. Базовая модель представляет собой плотный Transformer на 2,516,756,480 параметров с архитектурой LlamaForCausalLM, 42 слоями и GQA с 16 query heads и 2 KV heads. Она поддерживает контекст до 131 072 токенов, работает с английским и китайским языками и ориентирована на text generation. По данным разработчика, модель особенно сильна в рассуждениях при работе с кодом, математике, обработке длинного контекста, использовании инструментов и агентских задачах; заявленный средний результат в сравнении с другими открытыми моделями класса 2B составляет 53,9 балла. Основное преимущество набора — возможность выбрать баланс между качеством, размером и требованиями к памяти: Q4_K_M размером около 1,45 ГБ указан как вариант по умолчанию, Q8_0 около 2,50 ГБ — как близкий к исходному качеству, а IQ2_M около 0,90 ГБ — как минимальный практически пригодный вариант. Качество низкобитных и экспериментальных квантов снижается, особенно у версий Q2 и Q1. Файлы предназначены для llama.cpp, Ollama и LM Studio и не загружаются напрямую через vLLM, SGLang или transformers; для этих сред следует использовать исходный репозиторий модели. Модель распространяется по лицензии Apache-2.0, а её ответы могут содержать ошибки.

Mythos-9B Merged — это объединённая языковая модель на 9 млрд параметров, разработанная на основе King3Djbl/mythos-9b-merged и квантованная mradermacher в формате GGUF. Модель предназначена для генерации текста на английском языке, ролевых сценариев, задач программирования, работы с инструментами и function calling, а также агентских сценариев. В метаданных также заявлены поддержка shell-взаимодействия и запуск через llama.cpp, LM Studio и Ollama. В репозитории представлены варианты i1-квантования с imatrix в диапазоне примерно от 2,2 до 6,8 ГБ, включая IQ и Q-форматы. Это позволяет выбирать компромисс между размером, скоростью и качеством; в README вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Для некоторых вариантов явно указано снижение качества, особенно у наиболее компактных квантов. Сведения о точной архитектуре, размере контекстного окна, мультимодальности и дополнительных языках отсутствуют; заявлен только английский язык. Модель распространяется по лицензии Apache-2.0.

Nemotron-Flash-3B Base — базовая языковая модель NVIDIA для генерации текста. Это плотная причинная трансформерная модель семейства Nemotron Flash с архитектурой NemotronFlashForCausalLM и 1,3 млрд параметров. Семейство спроектировано с учётом задержки на реальных сценариях: в нём используются гибридные операторы, найденные эволюционным поиском, оптимальное соотношение глубины и ширины и нормализация весов на этапе обучения. Модель предназначена для генерации продолжений текста и может применяться в задачах математических рассуждений, программирования и здравого смысла. В README заявлены результаты на уровне лучших моделей своего размера, а также низкая задержка при небольших пакетах и высокая пропускная способность при больших. Для запуска описана интеграция с Transformers и ускорение CUDA Graph; контекст составляет 29 000 токенов. Это базовая, а не Instruct-версия, поэтому карточка не заявляет, что она настроена для диалога по инструкциям. Модель распространяется под лицензией с типом «other»; конкретные условия следует проверять в файлах лицензии репозитория. Для загрузки указаны Transformers и формат safetensors.

NeuralMiLLaMa-8B-slerp — объединённая инструктивная языковая модель семейства Llama 3, созданная Kukedlc с помощью LazyMergekit. В состав слияния входят NousResearch/Meta-Llama-3-8B-Instruct, elinas/Llama-3-8B-Ultra-Instruct, mlabonne/ChimeraLlama-3-8B-v3, nvidia/Llama3-ChatQA-1.5-8B и Kukedlc/SmartLlama-3-8B-MS-v0.1. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она предназначена для диалогов, ответов на вопросы и генерации текста, включая код. Метаданные указывают на англоязычную базовую модель, поэтому поддержку других языков нельзя уверенно утверждать. Модель опубликована в формате safetensors. В метаданных указана лицензия other; конкретные условия использования следует сверять с карточкой модели и лицензиями исходных моделей.

Ornith-1.0-9B-ASHQ1-MTP-GGUF — квантованная версия Ornith-1.0-9B, подготовленная wepiqx для запуска локально через llama.cpp и совместимые приложения. Модель основана на архитектуре Qwen3.5-9B с 32 слоями, GQA, SSM и головами Multi-Token Prediction (MTP); в README заявлен контекст 262 тыс. токенов. Доступны варианты размером примерно 4,7–7,3 ГБ; MTP-головы сохраняются в Q8_0, а ASHQ1 распределяет точность по основным слоям с помощью приоритетной очереди. Модель предназначена для диалогов, генерации текста, а также задач программирования и агентных сценариев. README рекомендует вариант 4850 для более лёгких задач, а 5500 и выше — для программирования и агентных нагрузок; для конфигурации с контекстом 8192 токена указано требование от 8 ГБ видеопамяти. Русский язык отдельно не заявлен; в метаданных указан английский. Лицензия — MIT.

Это сборка Phi-3 Mini-128K-Instruct в формате GGUF F16, опубликованная ProfessorF (Nick V. Flor); исходную модель разработала Microsoft. Это компактная языковая модель с 3,8 млрд параметров, рассчитанная на генерацию текста и диалог по инструкциям. Файлы GGUF предназначены для локального запуска через llama.cpp и совместимые интерфейсы, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. Модель рассчитана прежде всего на английский язык. Она подходит для ответов на вопросы, генерации текста, программирования, математики и логических рассуждений; окно контекста исходной модели составляет до 128 тыс. токенов. README описывает обучение и настройку исходной модели с помощью supervised fine-tuning и direct preference optimization. Репозиторий предоставляет 16-битные GGUF-файлы; лицензия — MIT. Модель может ошибаться, а её пригодность для конкретного применения требует проверки, особенно в сценариях с высокими рисками. Заявления о сильных результатах на бенчмарках относятся к описанию исходной модели Microsoft и не являются независимой оценкой этой сборки.

p-e-w/phi-4-heretic — текстовая генеративная модель на базе Microsoft Phi-4, изменённая методом abliteration для снижения частоты отказов. Это плотный декодерный Transformer с 14,1 млрд параметров и контекстом до 16 384 токенов; модель принимает текстовые запросы в формате чата и генерирует текст. В карточке указано, что доля отказов в приведённой проверке снизилась с 100 из 100 у исходной Phi-4 до 41 из 100, а KL-дивергенция составила 0,09. Модель подходит для диалоговых приложений, генерации текста, помощи с кодом и рассуждениями, преимущественно на английском языке. Метаданные указывают поддержку чата и кода; исходная Phi-4 рассчитана на сценарии с ограничениями по памяти, вычислениям и задержке. Снижение отказов не гарантирует точность или безопасность ответов, поэтому результаты следует оценивать применительно к конкретной задаче. Репозиторий распространяется под лицензией MIT.

Карточка модели agadelmoula-avey/Qwen3-4B-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Base, поэтому описание составлено по ней. Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на стадии предварительного обучения, предназначенная для дальнейшей адаптации и генерации текста. В карточке указаны 4,0 млрд параметров, 36 слоёв, групповое внимание с 32 головами Q и 8 головами KV и контекст до 32 768 токенов; метаданные каталога оценивают размер весов в 3,7 млрд параметров. Модель обучена на многоязычном корпусе; README сообщает о 119 языках в обучающих данных, но не перечисляет поддержку каждого из них. Среди заявленных направлений обучения — общие знания, программирование, STEM, рассуждения и понимание длинного контекста. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

oktayd разработал Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT — дообученную мультимодальную модель семейства Qwen3.5 MoE для диалога, анализа изображений, программирования и рассуждений. Архитектура Qwen3_5MoeForConditionalGeneration содержит около 35 млрд параметров, из которых примерно 3 млрд активны на токен; при генерации выбираются 8 из 256 экспертов. Модель принимает текст и изображения и предназначена для запуска через Transformers. Её можно использовать для вопросов по изображениям, объяснения научных и рабочих тем, написания и отладки кода, мозгового штурма и диалоговых сценариев. В README описан прямой, деловой и юмористический стиль общения, а также обучение на материалах по знаниям, программированию, инструментам, бизнесу и визуальным задачам. Вызов инструментов зависит от приложения, которое предоставляет и исполняет инструменты; форматирование вызовов не гарантировано. Автор сообщает о проверках текста и простых изображений, но не приводит результатов бенчмарков. Модель может ошибаться, повторяться и допускать ошибки в схемах; MTP и полноценные агентские сценарии отдельно не подтверждены. Веса BF16 занимают около 70 ГБ без учёта дополнительной памяти для выполнения. Включено обучение на взрослые темы, поэтому модель рассчитана на аудиторию 18+. Лицензия — Apache-2.0.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

GPT-neo-Custom 7B — диалоговая языковая модель, дообученная Szymon-Wachelko на базе Qwen2.5-7B-Instruct методом QLoRA. Она предназначена для генерации ответов на польском и английском языках, рассуждений, программирования и решения математических и логических задач. Репозиторий распространяет веса в формате GGUF для локального запуска через Ollama, LM Studio и совместимые инструменты; поддерживается шаблон диалога ChatML. В метаданных указана лицензия Apache-2.0. Заявленные сильные стороны — естественная генерация на польском, помощь с кодом и структурированными техническими ответами. Это модель на 7 млрд параметров, поэтому качество рассуждений и решений может варьироваться; заявления о «полном мастерстве» и идентичности квантованных вариантов точностью FP16 приведены автором и не подкреплены в карточке оценками. Версии GGUF различаются размером и точностью, что влияет на требования к памяти и качество генерации.

TeichAI/LFM2.5-1.2B-Thinking-Pony-Alpha-Distill — дообученная TeichAI текстовая модель на архитектуре LFM2 с плотной причинной языковой моделью Lfm2ForCausalLM. Она основана на LiquidAI/LFM2.5-1.2B-Thinking и обучена на датасете TeichAI/Pony-Alpha-15k, сформированном на основе раннего чекпойнта Pony Alpha. Модель предназначена для генерации текста с рассуждениями и диалогов; среди заявленных сценариев — программирование, научные задачи и глубокое исследование. Поддерживает контекст до 128 000 токенов, содержит 1,5 млрд параметров и доступна в формате Safetensors. Метаданные отмечают интерфейс для вызова инструментов. Лицензия — Apache 2.0. Это компактная модель для локального развёртывания и задач, где полезны рассуждения и длинный контекст. README приводит рекомендованные параметры генерации: temperature 0,05, top_k 50 и repeat_penalty 1,05. Карточка не сообщает результаты оценивания или подробности о качестве и ограничениях модели; заявленные сценарии следует считать ориентиром, а не гарантией точности.

Модель v2ray/Llama-3-70B — повторно опубликованная версия Meta Llama 3 с 69,5 млрд параметров. Это авторегрессионная языковая модель на архитектуре Transformer с Grouped-Query Attention; репозиторий содержит веса в формате Safetensors. Модель принимает текст и генерирует текст и код, а заявленная длина контекста составляет 8192 токена. Модель предназначена для генерации текста на английском языке: её можно применять для диалогов с ассистентом и адаптировать под другие задачи генерации естественного языка. В README описано семейство Llama 3, включая предварительно обученные и настроенные для инструкций варианты, однако точный вариант этой копии отдельно не уточнён. Модель разработана Meta и опубликована 18 апреля 2024 года. Для семейства указана специальная коммерческая лицензия Meta Llama 3; перед использованием следует ознакомиться с её условиями и Acceptable Use Policy. README отмечает, что модель не предназначена для языков, отличных от английского, и что для безопасного применения в конкретной системе могут понадобиться дополнительные меры защиты.

llama-nv-embed-reasoning-3b — текстовая модель эмбеддингов NVIDIA на основе двунаправленной архитектуры Llama, дообученная на базе meta-llama/Llama-3.2-3B. Модель содержит 3,2 млрд параметров и формирует векторы размерностью до 3072 для предложений и документов. В метаданных указано контекстное окно 131072 токена; при обучении использовалась длина до 512 токенов для запросов и документов, а при оценке — до 8192 токенов. Модель предназначена для векторного поиска и поиска по смыслу, особенно по материалам с многошаговыми рассуждениями, объяснениями и техническими подробностями. Её можно применять в текстовых RAG-системах, для сопоставления коротких запросов с длинными документами, поиска по базам знаний и обращениям в поддержку, а также для кластеризации и удаления дубликатов. Эмбеддинги подходят для использования с векторными базами данных и retrieval-конвейерами. Модель разработана NVIDIA и оптимизирована для вычислений на GPU NVIDIA; в README указана совместимость с Linux и GPU A100 или H100. Для запуска описана интеграция с Transformers и vLLM. Лицензия в метаданных — CC BY 4.0, однако README ограничивает использование исследовательскими и некоммерческими целями.

LLaMA-Pro-8B-Instruct — языковая модель Tencent ARC на архитектуре LLaMA, построенная расширением LLaMA2-7B с помощью расширения блоков. Она содержит около 8,2 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. При обучении использовались данные по программированию и математике объёмом свыше 80 млрд токенов. Модель предназначена для генерации и продолжения текста, ответов в чате, помощи с программированием и решения математических задач, сохраняя возможности для общих языковых сценариев. Максимальный контекст — 4096 токенов; доступны веса в форматах PyTorch и Safetensors. Модель разработана командой Tencent ARC и распространяется по лицензии Llama 2. Она может испытывать трудности с узкоспециализированными или тонкими задачами, а также наследовать предвзятости обучающих данных.

Карточка модели axolotl-ai-co/Mistral-Nemo-Base-2407-chatml на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

r0b0tlab выпустила Nex-N2-mini NVFP4 — квантованную версию языковой модели Nex-N2-mini, основанной на Qwen3.5-MoE. Модель содержит 35 млрд параметров, из которых активны 3 млрд; используется архитектура MoE с 256 экспертами и маршрутизацией top-8. Весовые матрицы экспертов квантованы в NVFP4 с помощью NVIDIA ModelOpt, а веса внимания, визуального энкодера и выходного слоя сохранены в BF16. Контрольные тесты возможностей прошли без потери качества, по данным авторов. Модель предназначена для генерации текста и диалогового использования через vLLM. Вариант NVFP4 рассчитан на обслуживание на видеокартах NVIDIA Blackwell с поддержкой SM 12.1; README приводит результаты запуска на GB10. В базовой модели заявлены возможности программирования, вызова инструментов и выполнения продолжительных задач с обратной связью от среды. Языки карточки — английский и китайский; в чекпойнте также сохранён визуальный энкодер, но README не описывает конкретные сценарии обработки изображений. Репозиторий распространяется по лицензии Apache-2.0. Практические ограничения — требование GPU Blackwell для NVFP4-ядер, минимальное значение max_num_batched_tokens 2096 и несколько минут профилирования визуального энкодера при первом запуске. NVFP4-кэш KV недоступен; для него в описанной конфигурации применяется FP8.