II.7DevOps, облако и эксплуатация IT-систем

StargazerLabs Qwen3.8-32B-Jumbo — производная плотная языковая модель для генерации текста и диалогов. Она создана переносом трёх блоков слоёв из Qwen3.6-27B в Qwen3.8-27B: архитектура расширена с 64 до 76 слоёв, а число параметров составляет около 31,9 млрд. Веса опубликованы в формате safetensors для MLX, лицензия — Apache-2.0. Модель предназначена для текстовых запросов, общения, программирования и многошаговых задач. По описанию автора, перенос блоков должен вернуть часть широты фактических знаний Qwen3.6, сохранив улучшения Qwen3.8 в коде и агентных возможностях. README также заявляет совместимость с черновой моделью Qwen3.8-27B-MTP для спекулятивного декодирования; указанную скорость следует считать заявлением автора. Данные о размере контекста и явной поддержке других модальностей не приведены; доступные сведения описывают текстовую генерацию. Модель рассчитана на английский язык согласно метаданным. Качество восстановления знаний и заявленная скорость ускорения в README не подкреплены приведёнными результатами независимой оценки.

StarFuse-7B-DARE — диалоговая языковая модель на архитектуре Mistral, созданная объединением четырёх моделей с помощью mergekit и метода dare_ties: openchat/openchat-3.5-0106, FuseAI/FuseChat-7B-VaRM, Nexusflow/Starling-LM-7B-beta и Weyaxi/Newton-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в формате диалога. Она предназначена для общения и генерации текста, включая ответы на общие вопросы, программирование и математические рассуждения. Контекст составляет 8192 токена. Модель опубликована в формате safetensors с точностью bfloat16 и лицензией Apache-2.0. В README не приведены сведения о целевых языках или специальных ограничениях качества.

Zrald/Zrald-qwen3.8-27b-v2 — выпуск GGUF модели Qwen3.8-27B от Zrald, предназначенный для локального запуска через llama.cpp. Это плотная модель с 27,2 млрд параметров; в репозитории представлены три варианта с разным соотношением размера и точности: accuracy, balance и compressed. README сообщает о сравнительных испытаниях на AMD Instinct MI300X и CPU, однако эти результаты относятся к оценке автора и не гарантируют аналогичное качество на других задачах и системах. Модель рассчитана на генерацию текста в диалогах, программирование, анализ документов, ответы на вопросы и многошаговые рассуждения. README описывает локальное обслуживание через OpenAI-совместимый API и приводит рекомендации по памяти и видеопамяти. В метаданных базовая модель указана как Qwen/Qwen3.8-27B, а формат файлов — GGUF; лицензия — Apache-2.0. Карточка не сообщает длину контекста или языковой охват, поэтому эти характеристики здесь не уточняются.

Atlas-Flash — дообученная языковая модель семейства Atlas от aayanmishra-ml, созданная на базе DeepSeek-R1-Distill-Qwen-7B. Это плотная авторегрессионная модель Qwen2 с 7,1 млрд параметров и контекстом до 131 072 токенов; она предназначена для генерации текста и диалога, программирования, математических и других STEM-задач. В карточке заявлены генерация и объяснение кода, отладка, решение задач с рассуждениями, многоходовые беседы и помощь в обучении. Модель принимает текст и генерирует текст; метаданные также указывают интерфейс вызова инструментов. В карточке заявлена поддержка английского, китайского, русского и других языков. Для обучения указаны наборы BAAI/TACO, codeparrot/apps и GammaCorpus-v1-70k-UNFILTERED, а также синтетические данные. Репозиторий содержит веса в формате Safetensors, модель использует Transformers и распространяется по лицензии MIT. Карточка предупреждает о возможных смещениях, ошибках в узкоспециализированных областях и зависимости качества ответов от формулировки запроса; заявленный контекст ограничен 131 072 токенами.

Buzz-3b-Small-v0.6.3 — промежуточный чат-чекпойнт проекта H-D-T, дообученный на базе семейства Llama. Модель имеет плотную архитектуру LlamaForCausalLM примерно с 3,8 млрд параметров и использует шаблон диалога Llama 3. Она обучалась одну эпоху на примерно 6,2 млн примеров; этот чекпойнт соответствует двум десятым пути по датасету Buzz и его срезам. Модель предназначена для диалоговой работы в роли универсального ассистента: она может писать код, разбирать задачи, объяснять и проводить пошаговые разборы, играть персонажей, анализировать данные и выполнять математические вычисления. Принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Ответы могут быть неточными. Лицензия — Apache-2.0.

Chimera-Apex-7B — экспериментальная диалоговая языковая модель, созданная объединением нескольких моделей семейства Mistral с помощью mergekit. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, генерации кода и широкого круга текстовых задач. В состав объединения входят Azazelle/Half-NSFW_Noromaid-7b, cognitivecomputations/dolphin-2.0-mistral-7b, Endevor/InfinityRP-v1-7B и FuseAI/FuseChat-7B-VaRM. README отмечает экспериментальный характер модели и возможность ошибок и унаследованных предубеждений; также упоминается возможность генерации NSFW-контента. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V2.5-1210-FP8 — квантованная версия языковой модели DeepSeek-V2.5-1210, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая развертывание чат-сервисов и других приложений на базе causal language model. В README указано, что модель доступна для инференса через библиотеку Transformers и оптимизирована для vLLM версии 0.5.2 и выше. Модель использует архитектуру DeepSeek-V2.5-1210 и формат квантования FP8 для весов и активаций. Квантованию подвергаются линейные операторы в блоках трансформера, за исключением маршрутизаторов MLP. Переход с 16 на 8 бит примерно на 50% уменьшает размер модели на диске и требования к памяти GPU. Указанный максимальный размер контекста для примера развертывания составляет 4096 токенов; язык в карточке заявлен как английский. На OpenLLM Leaderboard V1 модель получила средний результат 77,8, практически совпавший с результатом неквантованной версии 77,82. Сильными сторонами модели являются снижение требований к дисковой и GPU-памяти при сохранении близкой к исходной результативности, а также поддержка эффективного инференса и OpenAI-совместимой подачи через vLLM. Ограничения включают зависимость от совместимого стека vLLM, необходимость использования tensor parallelism для конфигурации из примера и отсутствие в README подробных сведений о числе параметров, полном списке языков и характеристиках исходной архитектуры. Модель распространяется по лицензии DeepSeek; точные условия указаны в файле лицензии по ссылке, приведенной в карточке.

Gemma 4 21B-A4B-it REAP Heretic — разговорная модель на базе Gemma 4, представленная в репозитории coder3101. Это доработанный вариант 20-процентно прореженной экспертной модели 0xSero/gemma-4-21b-a4b-it-REAP: в MoE-архитектуре оставлено 103 эксперта на слой вместо 128, а на каждый токен по-прежнему активируются 8 экспертов. Веса опубликованы в формате safetensors; модель поддерживает диалоговую генерацию текста и, согласно карточке, входные изображения. Вариант Heretic применяет абляцию отказов: в приведённом сравнении число отказов на тестовом наборе снизилось со 100 из 100 у исходной модели до 14 из 100. При этом небольшие тесты показывают, что качество зависит от задачи: например, результат по математике начального уровня снизился с 92% до 90%, а по философии — с 92% до 88%; наборы по 50 примеров на задачу и 14 промптов для сравнения генерации не дают широкой оценки качества. Для исходного варианта REAP указано окно контекста 262 144 токена, но README не уточняет, сохраняется ли этот предел в данной сборке Heretic. Модель предназначена для диалогов, рассуждений и генерации кода; особенно подходит для сценариев, где требуется меньше отказов. Лицензия — Gemma; условия её использования следует сверять с лицензией семейства Gemma.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

Hypernova-14B — объединённая языковая модель на 14 млрд параметров, созданная сообществом mergekit-community из предварительно обученных моделей notmebug/Qwen2.5-14B-Merge и notmebug/Qwen2.5-14B-Coder-Merge. Для слияния применён метод SLERP; архитектура — плотная Qwen2 с причинной языковой моделью Qwen2ForCausalLM. Модель предназначена для генерации текста и диалогов, включая задачи, связанные с кодом. Поддерживает контекст до 131 072 токенов и представлена в формате safetensors для Transformers. Метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. В карточке не описаны конкретные языки или результаты оценки качества. Лицензия в предоставленных данных не указана.

NoesisLab/Kai-3B-Instruct — это инструктивно дообученная языковая модель NoesisLab с 3,1 млрд параметров на архитектуре SmolLM3ForCausalLM. Она предназначена для диалоговых ответов, рассуждений, решения математических задач и генерации кода. В карточке описана техника Adaptive Dual-Search Distillation (ADS): адаптивная функция потерь для дистилляции, которая не меняет архитектуру модели. Заявлена длина контекста 65 536 токенов; модель принимает текст и генерирует текст. В README приведены результаты отдельных бенчмарков, включая 39,27% на GSM8K в режиме 0-shot, однако методика и сравнительные результаты в карточке описаны не полностью. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

KONI-Llama3-8B-20240630 — языковая модель, разработанная Donghun Yang из KISTI. Это продолженное предварительное обучение Llama 3 с 8 млрд параметров на корпусе объёмом 200 ГБ на корейском и английском языках, включающем научно-технические материалы. Модель использует авторегрессионную архитектуру Transformer и принимает текст, генерируя текст и код; контекст составляет 8192 токена. Модель предназначена для генерации текста и кода, а также для адаптации к разным задачам генерации естественного языка. В карточке указана предварительная версия от 30 июня 2024 года. Ограничения лицензии: CC-BY-NC-SA-4.0 и лицензия Llama 3; перед использованием следует соблюдать условия обеих лицензий и применимые правила использования Llama 3.

furiosa-ai публикует предварительно скомпилированную сборку Meta Llama 3.1 8B Instruct для запуска на ускорителе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотный авторегрессионный трансформер с 7,5 млрд параметров, дообученный следовать инструкциям и поддерживать диалоги и вызов инструментов. Модель принимает и генерирует текст; заявленная длина контекста — 131 072 токена. Сборка использует исходную точность 16 бит без квантизации. Вызов функций поддерживается через парсер llama3_json, а модель доступна через OpenAI-совместимый сервер Furiosa-LLM. Карточка указывает совместимость с RNGD; запуск требует соответствующего оборудования и среды Furiosa-LLM. Модель распространяется по лицензии Llama 3.1 Community License. Метаданные карточки перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; перечень может не исчерпывать языковые возможности базовой модели.

QuantFactory/Llama-3-8b-64k-PoSE-GGUF — квантованная версия модели winglian/Llama-3-8b-64k-PoSE, созданная с помощью llama.cpp на основе Llama 3 8B, разработанной Meta. Модель предназначена для генерации текста и кода, включая задачи обработки длинных текстов, где требуется контекст до 64 тысяч токенов. Вход и выход — только текст; заявленный язык — английский. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров и Grouped-Query Attention. Исходная модель использует PoSE для расширения контекста Llama с 8k до 64k токенов при rope_theta 500000. После дополнительного обучения rope_theta был установлен в 2M, что потенциально позволяет работать с контекстом свыше 64k, однако фактические пределы и качество за пределами 64k не подтверждены. Для продолжительного предварительного обучения использовались 300 млн токенов RedPajama V1 с последовательностями длиной 6–8k и rank-stabilized LoRA ранга 256. Сильной стороной модели является поддержка значительно более длинного контекста по сравнению с исходной Llama 3 8B при сравнительно небольшом размере, а GGUF-квантизация рассчитана на использование с llama.cpp. Ограничения включают преимущественно англоязычную область применения, отсутствие мультимодальности и неопределённость качества на очень больших контекстах. Модель основана на Llama 3, для которой указана коммерческая лицензия Meta Llama 3; условия использования должны соответствовать этой лицензии и Acceptable Use Policy.

Marin 8B Instruct — англоязычная инструктивная модель команды Marin при Stanford CRFM, созданная как открытая модель с учителем (SFT). Это плотный авторегрессионный Transformer архитектуры Llama с 7,5 млрд параметров и контекстом 4096 токенов; карточка указывает поддержку английского языка и возможность диалогового использования. Модель предназначена для ответов на инструкции и диалога, а обучающие данные включают примеры по программированию, математике, рассуждениям и общим беседам. Она распространяется в формате safetensors и рассчитана на запуск через Transformers и совместимые библиотеки для Llama. Лицензия модели и кода — Apache 2.0. Это SFT-only модель без настройки безопасности. Она может выдавать неточную информацию или вредоносный и предвзятый контент; ответы следует проверять, а модель не предназначена для полностью автономного применения.

Mellum2-12B-A2.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Mellum2, разработанной JetBrains и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста по инструкциям, включая задачи программирования, рассуждений, ответов на вопросы и вызова функций. В README заявлена поддержка английского языка и текстовая модальность. Модель основана на Mellum2-12B-A2.5B-Instruct; из идентификатора следует обозначение 12B-A2.5B, однако подробности архитектуры и контекстного окна не указаны. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством и требованиями к памяти. Для запуска указаны llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Приведены результаты на наборах для программирования, математики, следования инструкциям, вызова функций и оценки безопасности, но они не верифицированы. Лицензия модели — Apache 2.0. Ограничениями являются отсутствие в предоставленных данных подробной информации об архитектуре, размере контекста, полном наборе языков, системных требованиях и качестве работы на языках, кроме английского; перед использованием также может потребоваться обновление программного обеспечения для поддержки модели.

mergekit-community/mergekit-linear-pcuhyqy — плотная языковая модель на архитектуре Qwen2, созданная сообществом с помощью линейного слияния моделей в mergekit. В слияние вошли DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb; итоговая модель содержит 32 млрд параметров и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Базовая модель DeepSeek-R1-Distill-Qwen-32B ориентирована на рассуждения, математику и программирование; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не описывают отдельные ограничения полученного слияния или условия лицензии, поэтому их нельзя уточнить.

Модель mergekit-model_stock-injkqri — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Model Stock. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в слияние также вошли Virtuoso-Small, Qwen2.5-Coder-14B, miscii-14b-1225 и tempesthenno-ppo-ckpt40. Это плотная архитектура Qwen2 с 14 млрд параметров, доступная в формате safetensors и рассчитанная на генерацию текста и диалоговое взаимодействие. Модель предназначена для генерации ответов и продолжения текста в чат-сценариях; состав исходных моделей также ориентирует её на задачи программирования и следования инструкциям. Метаданные указывают контекст до 1,01 млн токенов и интерфейс для вызова инструментов. Карточка не сообщает результатов оценки качества или подробностей о фактическом поведении объединённой модели. Лицензия в предоставленных данных не указана.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

MiroThinker-1.7-mini-GGUF — GGUF-квантизированная версия языковой модели MiroThinker-1.7-mini, разработанной командой MiroMind AI. Модель создана для агентных сценариев, глубокого исследования, сложных вопросов и многошагового анализа с использованием инструментов. Она ориентирована на выполнение длинных цепочек рассуждений и поддерживает до 300 вызовов инструментов в рамках одной задачи. Модель содержит 30 млрд параметров и имеет контекстное окно до 256 тыс. токенов. Указана поддержка английского языка; модальность — текстовая. В качестве базовой модели обозначена Qwen/Qwen3-235B-A22B-Thinking-2507. GGUF-версия была создана с использованием llama.cpp. К сильным сторонам относятся большой контекст, многошаговое рассуждение и ориентация на исследовательские агентные процессы. Ограничения включают зависимость качества от корректной интеграции инструментов и значительные требования к вычислительным ресурсам; конкретный вариант квантования в README не указан. Модель распространяется по лицензии Apache-2.0.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

Mistral-NeMo-Minitron-8B-Base — базовая языковая модель NVIDIA для генерации текста и адаптации под различные задачи обработки естественного языка. Это плотный авторегрессионный Transformer-декодер семейства Mistral-NeMo с 7,9 млрд параметров, 40 слоями, Grouped-Query Attention и RoPE. Модель получена из Mistral-NeMo 12B pruning-ом размерностей эмбеддингов и промежуточного слоя MLP, а затем дообучена дистилляцией на 380 млрд токенов. Модель принимает и генерирует текст; заявленная длина контекста — 8192 токена. Обучающие данные включают английский и многоязычный текст, а также код, охватывая веб-страницы, диалоги, статьи и другие материалы. Модель подходит как основа для генерации и продолжения текста, ответов на вопросы и программирования. Это базовая, а не специализированная чат-модель, поэтому для конкретных сценариев может потребоваться адаптация. По данным разработчика, обучение завершилось в августе 2024 года, а срез предобучающих данных — июнь 2023 года. Модель может воспроизводить токсичный язык и социальные предубеждения, а также выдавать неточные, неполные или избыточные ответы. В метаданных указана лицензия «other»; конкретные условия использования следует проверять в лицензии NVIDIA.

Nanbeige4.1-3B — компактная языковая модель компании Nanbeige, созданная на базе Nanbeige4-3B-Base. Это дообученная плотная модель семейства Llama с 3,5 млрд параметров, предназначенная для генерации текста, диалогов, рассуждений и работы в агентных сценариях. По карточке модели, обучение включало supervised fine-tuning и reinforcement learning. Модель рассчитана на решение многошаговых задач по математике, программированию и естественным наукам, а также на использование инструментов и глубокий поиск в связке с агентной системой. Она поддерживает английский и китайский языки. Метаданные указывают контекст до 262 144 токенов; формат весов — safetensors, библиотека — Transformers. В карточке заявлена способность поддерживать длительные цепочки вызовов инструментов, однако фактические результаты зависят от реализации агента и доступных инструментов. Модель распространяется по лицензии Apache-2.0. Разработчик предупреждает, что возможны неожиданные ответы, включая предвзятость и дискриминационное содержание; выходы требуют проверки.

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.

OpenAI o3-mini — компактная языковая модель OpenAI, оптимизированная для рассуждений в задачах STEM, особенно в науке, математике и программировании. Она предназначена для генерации текста и помощи в решении технических задач; поддерживает параметр reasoning_effort для настройки уровня усилий при рассуждении. Модель подходит для объяснения научных концепций, решения математических задач и помощи с кодом. Данных о размере, контекстном окне, поддерживаемых языках и лицензии в предоставленных источниках нет.

Occamy-1.0 APEX-I-MiniPlus-V2.1 Abliterated GGUF — это квантизированная версия Occamy-1.0, разработанная IsValorum на базе Accio-Lab/occamy-1.0. Модель предназначена для генерации текста, рассуждений, программирования и работы с большими контекстами, включая сценарии локального запуска через llama.cpp на системной RAM и GPU. Это аблитерированная версия без стандартных отказов и защитных ограничений, поэтому она ориентирована на пользователей, которым требуется более свободное выполнение запросов, в том числе в задачах кибербезопасности и пентестинга. Модель использует разреженную архитектуру Mixture-of-Experts с 40 слоями и 256 микроэкспертами. В сборке применена кастомная тензорная квантизация: основные эксперты используют IQ3_XXS, периферийные — Q3_K, shared-эксперты — Q5_K, attention-компоненты — Q4_K и Q6_K, выходная голова — Q6_K, а маршрутизаторы — F32. Заявлен контекст до 256K токенов. Поддерживаются английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Сильными сторонами заявлены компактный размер около 13,74 GiB, сохранение качества рассуждений при квантизации, отсутствие отказов в протестированном наборе запросов и эффективная работа при частичной или полной выгрузке в системную память. Ограничения включают потенциальные риски неконтролируемой генерации из-за удаления защитных механизмов, зависимость производительности от GPU, процессора и пропускной способности памяти, а также отсутствие в представленном README подробных независимых бенчмарков. Лицензия — Apache-2.0.

OpenChat-3.5-0106 — диалоговая языковая модель команды OpenChat, созданная дообучением Mistral-7B-v0.1 на смешанных данных. Она предназначена для общения и генерации текста, включая помощь с программированием, математические рассуждения и общие вопросы. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 8192 токенов; для диалога предусмотрены обычный режим и режим математических рассуждений. В карточке также описана экспериментальная возможность оценивать ответы и давать обратную связь. Модель рассчитана на текстовый ввод и выдачу текста. Карточка рекомендует развёртывание через OpenChat API-сервер с vLLM и указывает, что запуск возможен на потребительском GPU с 24 ГБ памяти. Опубликована под лицензией Apache-2.0. Заявления о превосходстве в карточке основаны на приведённых авторами тестах и зависят от набора задач и условий оценки.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned2.4 — разреженная оптимизированная версия OpenHermes-2.5-Mistral-7B, подготовленная для высокопроизводительного запуска через NM-vLLM. В основе лежит дообученная на инструкциях и диалогах модель Mistral с 7,1 млрд параметров; архитектура — MistralForCausalLM, формат весов — PyTorch. Контекст модели составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и помощь с кодом. Разреживание с помощью SparseGPT позволяет уменьшить требования к памяти и повысить пропускную способность при обслуживании в NM-vLLM. В README также описана возможность настраивать сжатие через recipe.yaml. Лицензия в предоставленных данных не указана.