II.7DevOps, облако и эксплуатация IT-систем

OpenAssistant Llama2 70B SFT v10 — языковая модель OpenAssistant, дообученная на базе Meta Llama 2 70B. Это плотный авторегрессионный трансформер с декодером, примерно 68,7 млрд параметров; обучение проходило в два этапа: на смеси синтетических инструкций и задач по программированию, затем на отобранных человеческих диалогах OpenAssistant. Модель принимает диалог в формате ChatML и предназначена для генерации ответов, следования инструкциям и помощи с кодом. Контекст составляет 4096 токенов. Основной язык — английский; заявлены ограниченные возможности на немецком, испанском, французском, итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Сильные стороны — крупный размер и обучение на инструкциях, диалогах и коде. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось преимущественно на английском, поэтому перед применением нужна проверка безопасности и качества. Модель распространяется по лицензии Llama 2 Community License Agreement.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

Manticore 13B Chat Pyg — языковая модель для диалогового и инструкционного текстового взаимодействия, разработанная Open Access AI Collective. Данная версия распространяется в формате GGUF и является квантизированным вариантом исходной модели Manticore 13B Chat Pyg; квантизацию выполнил TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 миллиардов параметров и предназначена для генерации текста по шаблону диалога Vicuna: ответов на вопросы, объяснений, инструкций и других чат-сценариев. В метаданных указан английский язык, а среди использованных наборов данных — коллекции ShareGPT, WizardLM, Alpaca, GPT4-LLM, ScienceQA, GSM8K и другие наборы для обучения инструкциям, диалогам, рассуждениям и программированию. Файлы GGUF доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, скоростью и качеством вывода. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, с поддержкой CPU+GPU-инференса. Мультимодальность и размер контекстного окна в README не указаны; модель предназначена для работы только с текстом. Лицензия обозначена как other, но ее конкретные условия не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели и условия распространения квантизированных файлов.

NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Shining Valiant 3 — модель Valiant Labs, дообученная на базе mistralai/Ministral-3-14B-Reasoning-2512. Это плотная модель семейства Mistral 3 для генерации текста, диалога и рассуждений. Разработчики позиционируют её как помощника для научных задач, проектирования ИИ, программирования и общего решения сложных задач; обучение включало научные данные для рассуждений, созданные с помощью DeepSeek R1 0528. Модель рассчитана на диалог и следование инструкциям, а также на творческие и аналитические задачи. Карточка сообщает о поддержке английского языка. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. В README не приведены данные о числе параметров сверх идентификатора базовой модели или о длине контекста. Утверждения о высокой скорости и работе на настольных и мобильных устройствах приведены разработчиком без количественных характеристик.

Ornith-1.5-35B-A3B-Uncensored-GGUF — производная модель, подготовленная 0xKitkat на основе Ornith-1.5-35B-A3B, Qwen3.6-35B-A3B и аблитерированной версии Qwen3.6-35B-A3B от wangzhang/Abliterix. Модель сохраняет постобучение Ornith для программирования и агентских сценариев, встроенную систему обработки изображений, конфигурацию контекста до 262K токенов и голову multi-token prediction (MTP). Она распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, включая текстовые и визуально-текстовые задачи. Модель имеет обозначение 35B-A3B и архитектурную специализацию MoE; точная структура активных параметров в README не раскрыта. Доступны варианты BF16, Q4_K_M и Q5_K_M, а для обработки изображений требуется отдельный vision projector. В README указана проверка на 20 промптах: эвристических отказов не выявлено, а четыре из четырёх тестов возможностей были пройдены, однако это локальная дымовая проверка, а не полноценное сравнение производительности. Основная особенность — намеренное снижение отказов от ответов с помощью переноса task vector от аблитерированной модели Qwen без замены специализированного постобучения Ornith. При этом «uncensored» не означает гарантированное выполнение любого запроса, а опубликованные бенчмарки исходной Ornith не заявлены как результаты для этой производной модели. Лицензия релиза — Apache-2.0; README также указывает исходные лицензии MIT для Ornith и Apache-2.0 для Qwen.

Richard Young из DeepNeuro подготовил эту версию Microsoft Phi-3.5-mini-instruct с помощью Heretic v1.4.0: модель подвергнута абляции, направленной на снижение числа отказов. Это плотная авторегрессионная языковая модель Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста, диалогов и задач с кодом. Метаданные указывают контекст 4096 токенов; модель распространяется в формате Safetensors по лицензии MIT. Модель подходит для чат-ботов, генерации текста и кода, а также для сценариев с ограничениями по памяти, вычислениям или задержке. README приводит результат оценки отказов: 12 отказов из 100 запросов против 95 у исходной модели; это указывает на заметно ослабленное поведение отказа, но не гарантирует точность или безопасность ответов. В README также приведено описание возможностей и оценок исходной Phi-3.5, поэтому их нельзя автоматически считать характеристиками этой производной версии. Проверяйте модель для конкретного применения, особенно в чувствительных сценариях.

TeichAI разработала эту плотную языковую модель с 3,7 млрд параметров на основе unsloth/Qwen3-4B-Thinking-2507. Модель дообучена на наборе TeichAI/gemini-3-pro-preview-high-reasoning-250x, составленном из примеров Gemini 3 Pro Preview с высоким уровнем рассуждений, и предназначена для генерации текста в диалогах и решения сложных задач. Указанные сценарии применения — программирование и наука. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и предоставляет интерфейсы для чата и вызова инструментов. В репозитории указаны веса Safetensors; лицензия — Apache-2.0. Карточка не приводит оценок качества или сравнительных результатов, поэтому возможности модели в конкретных задачах требуют проверки.

unsloth/QwQ-32B-GGUF — это GGUF-версия языковой модели QwQ-32B, разработанная Unsloth на базе Qwen/QwQ-32B. Модель предназначена для генерации текста в диалоговых сценариях и задач, требующих рассуждений, включая программирование и решение сложных инструкций. Она работает с текстом и ориентирована на английский язык. Модель содержит 32 млрд параметров и использует выборочную динамическую квантизацию Unsloth Dynamic v2.0, призванную сохранить более высокую точность по сравнению со стандартными вариантами 4-битной квантизации. Доступны форматы GGUF, включая Q4_K_M, совместимые, в частности, с llama.cpp и Ollama. README не указывает точную архитектуру, максимальный размер контекста и перечень поддерживаемых языков помимо английского. Сильными сторонами являются локальный запуск в распространённых inference-инструментах, уменьшенный объём хранения и вычислительных ресурсов благодаря квантизации, а также улучшения Unsloth и исправления, связанные с бесконечной генерацией. Для стабильной работы могут потребоваться специальные параметры семплирования; квантизированная версия потенциально уступает полной модели по точности. Модель распространяется по лицензии Apache-2.0.

starchat2-15b-sft-v0.1 — дообученная HuggingFaceH4 на базе bigcode/starcoder2-15b разговорная языковая модель с архитектурой StarCoder2, предназначенная для генерации текста в диалоге. Модель содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Дообучение проводилось на наборах airoboros-3.2, Code-Feedback, orca-math-word-problems-200k, SystemChat и capybara. Модель можно использовать для диалоговых ответов, помощи с кодом и решения математических задач в формате текстовой генерации. Она распространяется по лицензии BigCode OpenRAIL-M.

Locutusque/StockQwen-2.5-7B — плотная языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit методом Model Stock. В слияние вошли Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; базовая модель — Qwen/Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоги; интерфейс поддерживает вызов инструментов. Для практического использования в README рекомендуется дообучение. Модель работает с текстом и имеет заявленный контекст до 131 072 токенов. Метаданные перечисляют английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Слияние инструктивной, кодовой и математической моделей предполагает применимость к диалогам, генерации кода и математическим ответам, однако README не приводит оценок качества. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

SuperQwen-2.5-1.5B — объединённая плотная языковая модель семейства Qwen2, созданная сообществом с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель содержит 1,5 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов; объединение инструктивной, программной и математической моделей ориентировано на широкий круг запросов, включая код и математику. В метаданных также отмечен интерфейс вызова инструментов. Опубликованные веса представлены в формате safetensors. Карточка не сообщает лицензию и не приводит отдельные оценки качества; результаты для задач программирования и математики могут зависеть от запроса и требуют проверки.

Wukong-0.1-Mistral-7B-v0.2 — чат-модель, созданная RESMPDEV путём дообучения Mistral-7B-v0.2 от Mistral. Она предназначена для диалогов и генерации ответов по инструкциям; обучение проводилось на OpenHermes-2.5, наборах данных для кода от Multimodal Art Projection и наборе Dolphin от Cognitive Computations. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Автор описывает настройку как «dealigned», но не уточняет её практический эффект; примеры выходов в карточке не приведены.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

ehristoforu/0000mxs — языковая модель Mistral для генерации текста и диалогового общения, созданная автором репозитория с помощью mergekit. Это слияние пяти предварительно обученных моделей: Gaivoronsky/Mistral-7B-Saiga, HuggingFaceH4/mistral-7b-grok, NousResearch/Yarn-Mistral-7b-128k, OpenBuddy/openbuddy-mistral2-7b-v20.3-32k и ajibawa-2023/Code-Mistral-7B; применён метод passthrough. Модель имеет плотную архитектуру MistralForCausalLM, 12,4 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, продолжения текста и задач, связанных с кодом. В состав слияния входят модели с русскоязычной диалоговой настройкой, поддержкой длинного контекста и специализацией на коде, однако README не сообщает результатов оценки качества или точного распределения возможностей итоговой модели. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

DeepSeek V4 Flash 4Expert Q4K GGUF — это 4-битная квантизированная версия варианта DeepSeek V4 Flash с архитектурой MoE и MLA, опубликованная cloudyu. В конфигурации используются четыре активных эксперта на токен и 43 слоя; эксперты хранятся в формате Q4_K, а проекции внимания и веса общего эксперта — Q8_0. Репозиторий содержит модель в формате GGUF объёмом около 153 ГиБ. Модель предназначена для генерации текста, включая написание кода, рассуждения и ответы на вопросы. README сообщает о результатах оценки на HumanEval, AIME 2025, GPQA Diamond и SuperGPQA; это результаты автора репозитория, а не независимая гарантия качества. Карточка указывает английский и китайский языки. Для запуска требуется движок ds4 с поддержкой конфигурации 4Expert; стандартная upstream-версия ds4 без соответствующих изменений этот файл не загружает. Лицензия — Apache-2.0.

Ektome-Qwen2.5-Coder-7B-Instruct-PristinelyUncensored — текстовая instruction-модель, разработанная Zynerji на основе Qwen/Qwen2.5-Coder-7B-Instruct. Она предназначена для генерации текста и решения задач программирования, следования инструкциям, рассуждений, арифметики и работы с общими знаниями. В README указана поддержка английского языка и размер 7B параметров; сведения о длине контекста и мультимодальности не приведены. Модель подвергнута процедуре Ektome, которая, согласно описанию, удаляет компонент, связанный с отказами, без дополнительного обучения и с сохранением общих возможностей. Для неё заявлен сертифицированный результат PASS в сравнении с исходной моделью на 2800 примерах: проверялись арифметика, следование инструкциям, знания и рассуждения, при пределе ухудшения 3%. Доступны GGUF-квантизации от 3 до 8 бит, включая варианты с imatrix. Модель является uncensored и по замыслу не отказывается от запросов, поэтому не предоставляет встроенных гарантий безопасности; ответственность за применение лежит на пользователе. Сертификат подтверждает только сохранение возможностей и не гарантирует безопасность, фактическую точность или пригодность для конкретных задач. Для модели не записаны отдельные проверки качества генерации и receipt по compliance/MMLU. Лицензия — Apache-2.0.

Falcon-H1R-7B — языковая модель Technology Innovation Institute, предназначенная для рассуждений и генерации ответов. Она построена на Falcon-H1-7B-Base и дообучена методом supervised fine-tuning на длинных цепочках рассуждений, а затем усилена обучением с подкреплением GRPO. Модель имеет причинную декодерную архитектуру, сочетающую Transformer и Mamba2, и содержит 6,4 млрд параметров. Она принимает текст и поддерживает контекст до 262 144 токенов. В README заявлена специализация на математике, программировании, следовании инструкциям и общей логике; модель также поддерживает диалоговый режим. Основной язык — английский, при этом заявлена многоязычная поддержка. Для использования указаны Transformers, vLLM и SGLang. Модель может выводить ход рассуждений перед итоговым ответом; для уменьшения повторов README рекомендует настраивать параметры повторения и присутствия. Лицензия — Falcon-LLM License.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.

Gemma-4-12B-Coder-Fable5-Composer2.5-8bit — это 8-битная MLX-квантизированная версия модели yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, созданная сообществом mlx-community на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, программирования и задач, требующих рассуждений, включая локальный чат-стиль инференса через библиотеку mlx-lm. Модель содержит около 12 миллиардов параметров, использует формат 8-bit и оптимизирована для локального запуска на компьютерах Apple Silicon. Квантизация существенно снижает требования к памяти при сохранении близких к исходным возможностей рассуждения и генерации кода. В репозитории добавлен Jinja-шаблон чата для корректного форматирования диалогов. Поддерживаемые языки, размер контекста и набор модальностей в README не указаны; по описанию это текстовая модель. Модель распространяется по лицензии Apache 2.0, разрешающей использование, изменение и повторное распространение. Ограничения, связанные с качеством ответов, безопасностью и областью применения, в README отдельно не описаны.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

google/gemma-4-31B-it-assistant — вариант Gemma 4 от Google DeepMind с инструкционной настройкой и поддержкой Multi-Token Prediction (MTP). В спекулятивном декодировании небольшой черновой модуль предлагает несколько следующих токенов, которые основная модель проверяет параллельно; карточка заявляет ускорение генерации до 3 раз при сохранении того же качества, что и при обычной генерации. Архитектура плотная, веса опубликованы в формате safetensors, библиотека — Transformers. Модель предназначена для ускорения генерации текста с низкой задержкой, в том числе при локальном развёртывании. Семейство Gemma 4 поддерживает работу с текстом и изображениями, а также генерацию кода, рассуждения и вызов инструментов; у модели заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка. Карточка семейства также описывает видео и аудио, но аудио поддерживается только вариантами E2B, E4B и 12B, а не 31B. Лицензия — Apache 2.0. Ускорение зависит от использования в совместимом конвейере спекулятивного декодирования; MTP-черновик не является самостоятельной заменой целевой модели. В карточке не приведены отдельные сведения об оценках и ограничениях именно этого чекпойнта.

Модель gradientai/Llama-3-8B-Instruct-Gradient-4194k — англоязычная диалоговая версия Llama 3, разработанной Meta и опубликованной Gradient AI. Это плотная авторегрессионная трансформерная языковая модель класса LlamaForCausalLM с Grouped-Query Attention; в репозитории заявлено около 7,5 млрд параметров. Она принимает текст и генерирует текст или код, подходит для чат-ассистентов и задач генерации естественного языка. Метаданные указывают поддержку чата и тег английского языка; README описывает исходную Llama 3 как предназначенную для английского. Модель распространяется в формате safetensors по лицензии llama3, то есть по условиям лицензии и политики допустимого использования Meta Llama 3. README описывает семейство Llama 3, а не изменения Gradient-варианта, поэтому дополнительные свойства, подразумеваемые суффиксом названия, здесь не подтверждены. Как и другие базовые генеративные модели, она может выдавать неточные или небезопасные ответы; для прикладного развертывания нужны проверки и защитные меры.

Карточка модели AgentPublic/llama3-instruct-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

FriendliAI публикует вариант Meta Llama 3 70B Instruct с весами в формате FP8 для более эффективного инференса при сохранении высокой точности. В основе — авторегрессионный трансформер Llama с плотной архитектурой и Grouped-Query Attention; модель содержит 69,5 млрд параметров и принимает текст, генерируя текст и код. Контекст — до 8192 токенов. Модель предназначена для диалоговых ассистентов и генерации текста на английском языке, в том числе для коммерческих и исследовательских сценариев. FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Модель разработана Meta, а FP8-версия опубликована FriendliAI; веса представлены в safetensors. Использование регулируется специальной коммерческой лицензией Meta Llama 3.

Nil-PAPA-v1 — языковая модель на 1,5 млрд параметров, полученная pwg0218 слиянием методом SLERP моделей Qwen2.5-1.5B-Instruct и Qwen2.5-Coder-1.5B-Instruct. Она предназначена для генерации текста и диалогов, включая задачи, где полезны навыки работы с кодом. Архитектура — плотная Qwen2ForCausalLM; модель доступна в формате safetensors и поддерживает контекст до 32 768 токенов. Модель можно применять для диалоговых ответов, генерации текста и помощи с кодом. В метаданных также заявлен интерфейс вызова инструментов. Карточка не описывает языковой охват, сравнительные результаты или ограничения качества. Лицензия в предоставленных данных не указана.

BoldingBuilds/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ShimQuant-GGUF — квантизированная GGUF-версия NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA. Сборка использует технологию ShimQuant и предназначена для генерации текста и программного кода, включая сценарии локального запуска на потребительских видеокартах с ограниченным объёмом памяти. Модель основана на архитектуре Nemotron H с разреженной MoE-компонентой: заявлены 30 млрд параметров при 3 млрд активных параметров (30B-A3B). Файл имеет размер около 11,77 GiB, эффективную разрядность 3,07 бит на вес и рассчитан на контекст до 262 144 токенов. В конфигурации преобладают SSM-слои, поэтому увеличение контекста требует сравнительно немного дополнительной VRAM. README не указывает поддерживаемые языки. Ключевое преимущество сборки — возможность запуска на видеокарте с 16 ГБ памяти: на RTX 5080 заявлены полный offload и загрузка контекста 262 144 токена. На тесте HumanEval модель показала pass@1 91,5%. При этом квантизация вносит заметное отклонение от эталонной версии Q8_0, а результаты зависят от выбранной конфигурации. Файл несовместим со стандартными llama.cpp, LM Studio и Ollama и требует пропатченной сборки с поддержкой ShimQuant. Лицензия указана как openmdw-1.1 (other).

Карточка модели armandosds/Olmo-3-7B-Think на Hugging Face совпадает с карточкой allenai/Olmo-3-7B-Think, поэтому описание составлено по ней. Olmo-3-7B-Think — авторегрессионная плотная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Это вариант семейства Olmo 3 с упором на пошаговое рассуждение; карточка указывает обучение на данных Dolma 3 и последующее дообучение на наборах Dolci. В метаданных базовой моделью названа allenai/Olmo-3-7B-Think-DPO, а связь указана как finetune. Модель предназначена для диалогов и задач, где полезны развёрнутые рассуждения, в частности математики, программирования, ответов на общие вопросы и следования инструкциям. Она содержит 6,9 млрд параметров, поддерживает контекст до 65 536 токенов и рассчитана прежде всего на английский язык. Для запуска используется библиотека Transformers; веса опубликованы в формате safetensors. Модель может давать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент. Результаты следует проверять, а при практическом использовании учитывать возможную предвзятость. Лицензия — Apache 2.0; карточка также ссылается на рекомендации Ai2 по ответственному использованию.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

Модель unsloth/Qwen2.5-32B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и основанная на Qwen/Qwen2.5-32B. Это плотная причинная языковая модель с архитектурой Qwen2ForCausalLM, 32 млрд параметров и контекстом до 131 072 токенов; файлы представлены в формате safetensors и модель работает через Transformers. В карточке также приведены сведения об архитектуре семейства: RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Модель предназначена для генерации текста и дальнейшего дообучения. Базовый чекпойнт поддерживает многоязычную генерацию, включая русский, английский, китайский и другие языки; семейство Qwen2.5 также описано как способное работать с кодом, математическими задачами, длинными текстами и структурированными данными. README отдельно предупреждает, что базовая модель не рекомендуется для диалогов без последующего обучения, например SFT или RLHF. Лицензия — Apache-2.0.