II.7DevOps, облако и эксплуатация IT-систем

Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

Gemma-4-31B-JANG_4M-Uncensored — модифицированная dealignai модель Gemma 4 Dense на 31 млрд параметров, созданная на основе google/gemma-4-31b-it. По README, авторы применили abliteration для снижения отказов и смешанную точность: веса внимания и эмбеддинги хранятся в 8 битах, а большинство весов MLP — в 4 битах; заявленный размер — около 18 ГБ. Архитектура включает 60 слоёв и гибридное скользящее и глобальное внимание. В README также сказано, что vision encoder сохранён в float16, однако карточка позиционирует модель как генеративную чат-модель. Модель предназначена для диалогов, написания кода и ответов на общие вопросы; авторы отдельно демонстрируют выполнение запросов по кибербезопасности и другим темам, на которые обычные модели могут отказывать. Для запуска указаны vMLX или совместимый MLX движок с поддержкой Gemma 4; README рекомендует Apple Silicon с 24 ГБ или более объединённой памяти. Внутренние тесты авторов показывают высокую долю выполнения запросов из HarmBench, но это результаты самого разработчика, и они не гарантируют качество или поведение на других запросах. Лицензия указана как gemma; подробные условия следует сверить с лицензией Gemma.

Карточка модели macintushar/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Карточка модели rayrickypp/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 — созданная сообществом квантованная версия Meta-Llama-3.1-8B-Instruct, первоначально разработанной Meta AI. Это генеративная текстовая instruction-tuned модель на 8 млрд параметров для многоязычного диалога, ответов на вопросы и других задач генерации текста. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель использует архитектуру Llama 3.1 и формат AWQ INT4: исходные веса FP16 преобразованы с помощью AutoAWQ в 4-битное представление GEMM с zero-point quantization и размером группы 128. Версия предназначена для запуска через Transformers, AutoAWQ или Text Generation Inference; для загрузки контрольной точки требуется около 4 ГиБ VRAM, не считая KV-кэша и CUDA graphs. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходной FP16-версией. В README максимальный контекст модели не указан. Модель распространяется по лицензии Llama 3.1; для использования необходимо учитывать условия этой лицензии. Это текстовая модель без поддержки изображений или других модальностей, а сведения о конкретных ограничениях качества и результатах бенчмарков для данной квантованной версии не приведены.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Nanbeige4.2-3B — компактная языковая модель Nanbeige Lab на 3,2 млрд параметров, дообученная на базе Nanbeige/Nanbeige4.2-3B-Base для диалогов и агентных сценариев. Она использует плотную Looped Transformer архитектуру, повторно применяющую слои трансформера для увеличения эффективной ёмкости без добавления параметров. Модель поддерживает контекст до 262 144 токенов и доступна в формате safetensors для Transformers; лицензия — Apache 2.0. Модель предназначена для генерации текста, рассуждений, работы с инструментами и многошаговых задач общего назначения. Среди заявленных сценариев — программирование и задачи кодовых агентов, офисные процессы, математические и научные рассуждения, а также локальный персональный ассистент при интеграции с подходящей агентной средой. Карточка описывает обучение с учителем и обучение с подкреплением с оценкой результата и процесса. Заявленные языки — английский и китайский. Модель поддерживает чат и интерфейс вызова инструментов; сама по себе она генерирует текст, а выполнение действий зависит от внешней агентной оболочки и подключённых инструментов. Показатели из карточки основаны на бенчмарках и конкретных средах оценки, поэтому не гарантируют аналогичного качества во всех приложениях.

Это версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple Silicon. Модель преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; в названии указано 4-битное представление. Это диалоговая языковая модель NVIDIA с разреженной архитектурой MoE: 30 млрд параметров всего, около 3 млрд активных на токен. Модель предназначена для генерации текста в чате, рассуждений, программирования и агентных приложений. Карточка и метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. В README не приведены отдельные сведения о длине контекста этой версии. Репозиторий распространяется по лицензии «other»; для условий использования следует обратиться к лицензии базовой модели NVIDIA.

Это версия NVIDIA Nemotron 3 Nano 30B-A3B в формате GGUF BF16, подготовленная DevQuasar на основе модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. Модель предназначена для генерации текста и диалогового использования. Базовая модель NVIDIA описана как языковая модель для диалогов, рассуждений, программирования и создания агентных приложений; она поддерживает шесть языков и длинный контекст. В карточке этой версии не приведены дополнительные сведения о размере контекста или конкретных языках. Репозиторий содержит формат GGUF BF16. Лицензия и отдельные ограничения этой версии в предоставленных данных не указаны; условия использования следует сверить с карточкой базовой модели.

OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Phi-3-Mini-128K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 3,7 млрд параметров. Она обучена на синтетических и отфильтрованных общедоступных данных, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и многоходового диалога. Лицензия — MIT. Модель предназначена для генерации текста на английском языке, диалога, рассуждений, математики и программирования, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. README описывает вариант с контекстом до 128 тысяч токенов и улучшения в понимании длинного контекста; однако метаданные указывают native context в 4096 токенов, поэтому заявленную длину 128K следует сверять с используемой конфигурацией и реализацией. Модель ориентирована прежде всего на английский язык и выдаёт текст. Она может ошибаться, а качество и безопасность для конкретных сценариев необходимо оценивать отдельно; карточка не рекомендует полагаться на неё без проверки в высокорисковых применениях.

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.

Qwen3-1.5B-Instruct — компактная языковая модель на 1,5 млрд параметров, созданная сообществом с помощью mergekit. Это слияние методом TIES инструктивной модели Qwen2.5-1.5B-Instruct с Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель использует архитектуру Qwen2 для генерации текста и диалогов; заявленный контекст — до 32 768 токенов. Модель подходит для ответов на вопросы, инструктивных диалогов, генерации кода и решения математических задач. Метаданные также отмечают интерфейс для вызова инструментов. Модель распространяется в формате Safetensors; README указывает, что при слиянии использовалась точность float16. Лицензия в предоставленных материалах не указана.

ZeroXClem-Qwen3-4B-Hermes-Axion-Pro — плотная языковая модель на базе Qwen3, созданная ZeroXClem Team слиянием нескольких моделей методом Model Stock через MergeKit. В состав слияния входят bunnycore/Qwen3-4B-Pro, ertghiu256/Qwen3-4b-tcomanr-merge-v2.2, ertghiu256/Qwen3-4B-Thinking-2507-Hermes-3 и Qwen/Qwen3-4B-Thinking-2507. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогового взаимодействия, многошагового рассуждения, решения задач, творческого письма и ролевых сценариев, а также генерации и отладки кода. Карточка заявляет поддержку режима thinking и настройку поведения с учётом безопасности; для LM Studio рекомендуется стандартный шаблон Jinja. Основной язык в метаданных — английский. Модель доступна по лицензии Apache 2.0 с учётом лицензий исходных моделей.

heretic-org/Qwen3-4B-Thinking-2507-heretic — производная языковая модель команды heretic-org на базе Qwen/Qwen3-4B-Thinking-2507. Это плотная авторегрессионная модель с 3,7 млрд параметров для генерации текста в диалоговом формате; она ориентирована на рассуждения и поддерживает контекст до 262 144 токенов. По карточке, модель прошла abliteration: доля отказов в приведённом тесте снизилась с 99 из 100 у исходной модели до 5 из 100. Модель предназначена для сложных запросов, включая логические задачи, математику, науку и программирование, а также для следования инструкциям, использования инструментов и генерации текста. Базовая модель работает только в режиме рассуждений; сведения в карточке о её возможностях и оценках относятся к Qwen3-4B-Thinking-2507 и не подтверждают, что все результаты сохраняются после изменения. Указаны Transformers, формат safetensors и лицензия Apache-2.0. Языки обучения или поддержки в предоставленных данных не определены.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality — квантизированная версия Qwen/Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локальной генерации текста, программирования, задач с рассуждениями и работы в инструментах вроде OpenCode и Claude Code. Она использует архитектуру базовой модели Qwen3.8-27B, поддерживает контекст до 262 144 токенов и сохраняет multi-token prediction (MTP) для спекулятивного декодирования. Это 8-битная динамическая квантизация: матрицы весов хранятся в 8-битном формате с группами по 64 значения, а чувствительные компоненты, включая GDN-ядра, параметры рекуррентного состояния, нормализации и MTP-head, — в 16-битном. Размер загрузки составляет 29,4 ГБ, измеренное пиковое потребление unified memory — 32,7 ГБ; рекомендуется Mac минимум с 36 ГБ unified memory. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio на чипах M1–M5 и обеспечивает ускорение за счёт native speculative decoding, при этом заявлена близость к исходной bf16-модели: 99,3% совпадения top-1 на тестовом наборе и KL-дивергенция 0,0005. Сильная сторона модели — приоритет качества при сохранении высокой скорости локального вывода; README приводит скорость до 87,6 токена в секунду в отдельных сценариях и около 33 токенов в секунду при длинном рассуждении. Поддерживаются уровни reasoning effort low, medium и xhigh, а точность распределения вывода сохраняется при использовании спекулятивного декодирования. Ограничения — необходимость совместимого Mac с достаточным объёмом памяти, зависимость от MTPLX и отсутствие заявленной поддержки других аппаратных платформ. Модель распространяется по лицензии Apache-2.0.

R1-ImpishMind-8B — объединённая языковая модель, созданная сообществом mergekit-community из DeepSeek-R1-Distill-Llama-8B и Impish_Mind_8B. Для слияния применён метод SLERP с параметром t=0.5; архитектура — плотная LlamaForCausalLM, около 7,5 млрд параметров, веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста, включая решение задач и многошаговые рассуждения, унаследованные от базовой модели DeepSeek-R1-Distill-Llama-8B. Поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Карточка не описывает отдельную специализацию по языкам или прикладным областям. Качество и поведение результата зависят от задачи и могут отличаться от исходных моделей после слияния. Лицензия в предоставленных данных не указана.

Ring-flash-linear-2.0 — открытая языковая модель от InclusionAI, полученная дальнейшим обучением inclusionAI/Ling-flash-base-2.0 на дополнительном триллионе токенов. Она предназначена для диалога и генерации текста, включая задачи рассуждения, математики, программирования, науки и творческого письма; также поддерживает интерфейс вызова инструментов. Модель на 5,5 млрд параметров построена на разреженной MoE-архитектуре Bailing с гибридным вниманием: линейное внимание сочетается со стандартным, а для ускорения генерации используются MTP-слои. По данным разработчика, активируется 6,1 млрд параметров, заявлена производительность на уровне плотной модели 40B и контекст до 128 тысяч токенов. Метаданные указывают английский язык; в README заявлены высокая эффективность инференса и результаты на уровне сопоставимых моделей в выбранных тестах. Для запуска README приводит варианты на Transformers, SGLang и vLLM с дополнительными пакетами и версиями зависимостей. Модель распространяется по лицензии MIT. Заявления о скорости и качестве основаны на оценках разработчика; README не приводит в представленном тексте подробностей о наборах данных и ограничениях ответов.

Rombos-LLM-V2.5-Qwen-7b — диалоговая языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная Rombodawg на основе Qwen2.5-7B-Instruct. В README автор описывает непрерывное дообучение и слияние инструктивной и базовой моделей методом TIES; в метаданных базовой моделью указана Qwen/Qwen2.5-7B-Instruct, а формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и код. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. README заявляет о повышении производительности относительно исходных instruct- и base-моделей, но не приводит результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-UD-2.0-GGUF — квантизированная GGUF-версия модели, опубликованная mfielding92 на основе дообученной модели hesamation Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled. Квантизация выполнена с использованием рецептов Unsloth Dynamic 2.0, imatrix и переопределений типов тензоров в llama.cpp. Базовая модель основана на архитектуре Qwen3.6 с разреженной Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена, 256 экспертов и 8 маршрутизируемых плюс 1 общий активный эксперт. Модель предназначена для генерации текста, диалогов, рассуждений, агентного программирования и решения сложных задач в длинном контексте. Дообучение проводилось на текстовых данных с дистилляцией цепочек рассуждений, преимущественно связанных с Claude Opus 4.6, поэтому модель ориентирована на более структурированные рассуждения и стабильную работу с многошаговыми задачами. Указан английский язык. Хотя базовая архитектура включает vision encoder, это дообучение не использовало изображения или видео, поэтому мультимодальные возможности данной версии не подтверждены. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов согласно описанию базовой модели. Для большинства пользователей рекомендован вариант UD-Q4_K_XL как баланс качества и размера; также доступны варианты UD-Q5_K_M, UD-Q3_K_XL и UD-Q2_K_XL с разным уровнем сжатия. В ограниченной проверке MMLU-Pro модель получила 75,71% exact match на 70 вопросах, однако этот результат заявлен как сравнительный smoke-тест, а не полноценная оценка. Модель распространяется по лицензии Apache-2.0.

UltraLink-LM — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная OpenBMB. Это дообученная модель семейства Llama-2 размером около 13 млрд параметров, предназначенная для генерации текста по инструкциям и многораундового диалога на английском, французском, русском, испанском и китайском языках. Модель ориентирована на ответы в чате, написание кода и решение математических задач. При дообучении использовались UltraLink, UltraChat, наборы Magicoder, MetaMathQA и англоязычная часть ShareGPT; карточка сообщает о сравнительных оценках на мультиязычных бенчмарках кода, математики и диалога. Контекст модели — 4096 токенов. Веса опубликованы в формате safetensors под лицензией MIT. Заявленные возможности и качество основаны на оценках из карточки; бенчмарки для части языков были переведены с помощью GPT-3.5, а сама карточка отмечает возможную предвзятость оценок. Модель имеет 12,9 млрд параметров, поэтому для запуска требуется соответствующая вычислительная память.

airoboros-dpo-110b-3.3 — экспериментальная чат-модель, дообученная Jon Durbin на базе Qwen 1.5 110B с дополнительным этапом DPO. Она предназначена для диалога, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода и структурированных ответов, включая вывод аргументов для вызова функций. Модель использует архитектуру Qwen2 с плотной сетью из 110 млрд параметров, формат диалога ChatML и контекст до 32 768 токенов. Карточка описывает настройку ответов по контексту, генерацию длинных ответов и планов выполнения, а также примеры задач на кодирование и ролевой диалог. Для ответов по заданному контексту рекомендуется низкая температура; качество следования таким инструкциям зависит от явного форматирования входных данных. Автор отмечает, что иногда в конце ответов появляются случайные лишние токены. Репозиторий содержит веса safetensors; лицензия в метаданных указана как other, без уточнения условий.

jondurbin/bagel-dpo-34b-v0.2 — экспериментальная дообученная чат-модель Джона Дурбина на базе Yi-34B-200K с методом bagel и дополнительным этапом DPO. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — 200 000 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и широкого круга текстовых задач: ответов на вопросы, рассуждений, написания текстов, программирования, математики, ролевых сценариев и работы с контекстом. В обучении использованы наборы данных для инструкций, чатов, чтения с пониманием, кода, математики и других задач; автор отмечает, что применялись обучающие части наборов и выполнялась проверка на загрязнение данными бенчмарков. В карточке также заявлено, что включение toxic DPO должно снизить склонность к отказам; это может приводить к генерации токсичного или небезопасного содержания. Автор описывает модель как экспериментальную тонкую настройку. Для корректного поведения в диалоге могут понадобиться подходящий системный запрос и один из поддерживаемых форматов промпта: Vicuna, Llama 2, Alpaca или ChatML-подобный. Лицензия указана как other, поэтому условия использования следует уточнять в карточке репозитория; README отдельно оговаривает исследовательское и законное применение токсичных данных.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

FuseAI/FuseChat-Qwen-2.5-7B-Instruct — разговорная языковая модель FuseAI на архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Это целевая модель семейства FuseChat-3.0, обученная методом неявного слияния: сначала её дообучили на лучших ответах сильных языковых моделей, затем применили Direct Preference Optimization (DPO) к парам предпочтительных и менее предпочтительных ответов. В качестве источников использовались Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Модель предназначена для диалога, следования инструкциям, решения математических задач и помощи с кодом; обучение также включало китайскоязычные данные. Подходит для локального запуска в формате Safetensors, а метаданные отмечают интерфейс вызова инструментов. README сообщает об улучшениях на ряде бенчмарков, однако приведённые там конкретные приросты относятся к версии с целевой моделью Llama-3.1-8B и не подтверждают такие же результаты для этой версии. Лицензия в предоставленных данных не указана.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

Goekdeniz-Guelmez/Josiefied-Qwen2.5-14B-Instruct-abliterated-v4-gguf — текстовая инструкционная языковая модель, разработанная и профинансированная Gökdeniz Gülmez. Она основана на Qwen/Qwen2.5-14B-Instruct, дополнительно дообучена на пользовательском наборе данных и модифицирована для снижения склонности к отказам. Модель предназначена для диалогов, ответов на вопросы, программирования и выполнения широкого круга пользовательских задач. Модель относится к архитектуре qwen2 и имеет размер 14 млрд параметров. Указаны английский и немецкий языки, а также другие языки без уточнения. Репозиторий содержит GGUF-вариант, включая файл с квантованием Q4_K_M; в примере конфигурации Ollama задан контекст до 32 768 токенов. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся инструкционная настройка, поддержка диалогового шаблона, интеграция с Ollama и OpenWebUI, а также ориентация на менее ограниченные ответы. При этом README не содержит результатов тестирования, точных сведений о качестве, аппаратных требованиях или подробной оценки безопасности. Разработчик предупреждает об использовании на собственный риск; поведение модели может быть менее безопасным и предсказуемым из-за удаления отказов. Лицензия указана как Apache 2.0.

Карточка модели babyfacez/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Карточка модели FAISALFAZALHUSSAIN/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.