II.7DevOps, облако и эксплуатация IT-систем

gemma-4-26B-A4B-it-Uncensored-MAX-GGUF — это GGUF-версия модели, разработанной prithivMLmods на базе google/gemma-4-26B-A4B-it. Модель представляет собой модифицированную версию Gemma с уменьшенным уровнем встроенных отказов от ответа: для этого применялись анализ направлений отказа и методы abliteration. Заявлено сохранение возможностей рассуждения и следования инструкциям исходной архитектуры. Модель предназначена для генерации текста, подробных ответов, выполнения инструкций, исследовательских и обучающих сценариев, а также агентских задач. Указана поддержка обработки изображений и текста; заявлен английский язык. Архитектура описана как MoE, размер — 26 млрд параметров. Доступны файлы GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные mmproj-файлы для мультимодальной обработки. Сведения о размере контекстного окна и точных характеристиках MoE-компонентов не приведены. К сильным сторонам относятся сниженная склонность к отказам, ориентация на подробные ответы, рассуждение и следование инструкциям. Ограничением является потенциально повышенный риск генерации небезопасного или незаконного содержания из-за уменьшенных защитных механизмов; использование осуществляется на риск пользователя. Модель предоставляется по лицензии Apache-2.0 и заявлена авторами для исследовательских и учебных целей.

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM. Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions. Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM. Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Huginn-0125 — экспериментальная языковая модель исследовательской группы TomG Group при University of Maryland. Это плотная decoder-only модель на 3,5 млрд параметров, обученная с нуля на 800 млрд токенов и реализованная как рекуррентная модель с латентной глубиной: при генерации можно задавать число итераций вычислений num_steps, увеличивая глубину обработки без фиксированного числа слоёв. Модель работает с текстом, поддерживает диалоговый шаблон и ориентирована на генерацию текста, рассуждения, математические задачи и код. Модель обучалась 47 000 шагов на открытых данных и не проходила дообучение или постобучение, хотя в предварительное обучение включались инструкции. Авторы характеризуют её как proof of concept; увеличение num_steps улучшает результаты на бенчмарках примерно до 64 шагов, а при числе меньше четырёх ответы становятся грубыми. Для инференса рекомендуется bfloat16; для кэширования KV требуется специальная реализация HuginnDynamicCache, которая может быть чувствительна к обновлениям Transformers. Доступна по лицензии Apache-2.0.

Tech-Meld/HX-Mistral-1.5B_v0.3 — диалоговая языковая модель семейства Mistral, созданная слиянием весов через SLERP в mergekit на основе mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для генерации текста и ответов в чате на пользовательские запросы. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и использует точность float16 согласно конфигурации слияния. Метаданные классифицируют её как дообученную производную базовой модели, хотя README описывает именно слияние весов; поэтому происхождение указано как merge. Лицензия и заявленные языки в предоставленных данных не обозначены.

Jan-v3-4B-base-instruct — компактная плотная языковая модель Jan на 3,7 млрд параметров, созданная дистилляцией возможностей более крупной модели и дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов, следования инструкциям, лёгкой помощи с кодом и как основа для дальнейшей тонкой настройки. Архитектура — Qwen3ForCausalLM с 36 слоями и группированным запросным вниманием; нативное контекстное окно составляет 262 144 токена. Модель принимает и генерирует текст, поддерживает английский язык и может интегрироваться с Jan Desktop или запускаться через vLLM. По карточке, модель рассчитана на общее применение и downstream-настройку; заявлены улучшенное следование инструкциям и сохранение общих возможностей после дистилляции. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Размер параметров в метаданных указан как 3,7 млрд, а в README округлён до 4 млрд.

SliceX AI разработала ELM Turbo — семейство компактных языковых моделей Starfruit с модульной декомпозируемой архитектурой. Эта версия представляет собой инструктивно настроенный срез Llama 3.1; в репозитории указано 2,6 млрд параметров, а README относит модель к линейке срезов около 3 млрд параметров. Архитектура — плотная LlamaForCausalLM, формат весов — Safetensors, заявленный контекст — 131 072 токена. Модель предназначена для диалогов и генерации текста по инструкциям. Срезы ELM Turbo рассчитаны на выбор баланса качества, скорости и потребления памяти под разные условия развертывания, включая облачные и периферийные устройства; для ускорения вывода авторы также описывают интеграцию с TensorRT-LLM. README указывает на дообучение с использованием, среди прочего, наборов инструкций Tulu, Orca Math и WizardLM. Модель основана на meta-llama/Meta-Llama-3.1-8B-Instruct. Лицензия — llama3.1; условия её использования следует соблюдать. Авторы предупреждают, что данные дообучения могут содержать ошибки, смещения и неподходящий контент, поэтому ответы следует оценивать и проверять для конкретного применения.

RedHatAI/Llama-3.2-1B-Instruct-FP8 — квантизированная FP8-версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев, включая ассистентские чаты, с поддержкой коммерческого и исследовательского использования на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель использует архитектуру Llama 3 и принимает текст на входе, генерируя текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8; размер модели — 1 млрд параметров. По сравнению с исходной FP16-моделью это примерно вдвое снижает требования к GPU-памяти и размеру на диске и может примерно вдвое увеличить пропускную способность матричных вычислений. В README также указана поддержка контекста до 8192 токенов при развертывании с vLLM. К сильным сторонам относятся эффективное развертывание и небольшая потеря качества: на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA результаты находятся в пределах 1% от неквантизированной версии. Для использования требуется совместимое окружение, например backend vLLM. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения безопасности и качества в README не раскрыты. Лицензия указана как Llama3.2; использование не должно нарушать применимое законодательство и экспортные или торговые ограничения.

Matter-0.1-7B-boost-DPO-preview — диалоговая языковая модель на архитектуре Mistral, разработанная 0-hero. Это версия Matter 7B Boost, дообученная методом DPO на наборе Matter, составленном из более чем 35 датасетов и охватывающем свыше 6 млрд токенов. Модель содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалоговой генерации текста и работы в формате ChatML. В README также заявлена поддержка вызова функций, позволяющая использовать её в приложениях с инструментами. Метаданные указывают английский язык; модель опубликована в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Возможные ограничения включают ошибки и выдуманные ответы, характерные для генеративных языковых моделей; качество вызова функций зависит от корректного форматирования запросов и обработки специальных токенов.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

MaziyarPanahi/mistral-7b-finetuned-orca-dpo-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная с помощью слияния SLERP весов mistralai/Mistral-7B-Instruct-v0.1 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных указана лицензия Apache-2.0. Карточка не описывает отдельную специализацию по языкам или предметным областям.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

OpenThinker3-7B — языковая модель с открытыми весами, разработанная командой Open Thoughts для задач рассуждения. Она дообучена методом supervised fine-tuning на базе Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts3-1.2M, включающем вопросы по математике, программированию и естественным наукам. По данным авторов, модель обучалась без RL и показала улучшение по сравнению с предыдущими моделями OpenThinker в приведённых тестах. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов; поддерживаются чатовый режим и интерфейс вызова инструментов. Модель предназначена для решения математических задач, написания и анализа кода, научных вопросов и пошагового рассуждения. Доступна по лицензии Apache 2.0.

Карточка модели ThomasComics/Phi-3-mini-128k-instruct-LLaMAfied на Hugging Face совпадает с карточкой vonjack/Phi-3-mini-4k-instruct-LLaMAfied, поэтому описание составлено по ней. vonjack/Phi-3-mini-4k-instruct-LLaMAfied — текстовая генеративная модель на 3,7 млрд параметров, опубликованная vonjack. В метаданных указана архитектура LlamaForCausalLM; карточка описывает исходную модель Phi-3 Mini-4K-Instruct и её настройку для следования инструкциям. Контекст составляет 4096 токенов, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи на логику, математику и программирование. Компактный размер подходит для сред с ограниченными ресурсами и сценариев, где важна задержка; заявленная ориентация — коммерческое и исследовательское применение на английском языке. Лицензия — MIT. README указывает, что качество на языках кроме английского ниже; ответы могут быть неточными, устаревшими, предвзятыми или оскорбительными. Сгенерированный код и API следует проверять, особенно вне Python. Для чувствительных и высокорисковых сценариев необходимы дополнительные проверки и меры защиты.

Qwen3.5-4B Claude-Distill — дообученная методом полной настройки параметров плотная модель семейства Qwen, разработанная автором репозитория clzoro на базе Qwen/Qwen3.5-4B. Модель содержит 4 млрд параметров и предназначена для генерации текста в диалоге. В обучении использовались примерно 14,9 тыс. примеров с рассуждениями, дистиллированными из Claude Opus; заявлены задачи по математике, логике, программированию, STEM, творческому письму и многошаговым инструкциям. Модель унаследовала от базовой Qwen3.5 возможности понимания изображений и использует архитектуру с визуальным энкодером, однако карточка указывает основной сценарий как генерацию текста. В метаданных заявлены английский и китайский языки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество рассуждений зависит от качества и разнообразия сравнительно небольшого набора дистилляции; модель может наследовать смещения обучающих данных и обобщать хуже за пределами представленных примеров. Ответы по медицине, праву и финансам требуют проверки.

Qwen3.7 Flash — мультимодальная модель рассуждения с поддержкой изображений, разработанная Alibaba. Она предназначена для мультимодальных агентов, визуального программирования, поиска и взаимодействия с компьютером, а также задач распознавания объектов и пространственного понимания. Модель принимает текст и изображения и генерирует текст.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Coder-GGUF — это многоз этапно дообученная и объединённая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README модель представлена как разработка для потребительского оборудования с использованием Unsloth, методов COLD FUSION и Fable Fusion 711. Доступны GGUF-квантизации, включая обычные и MTP-варианты, с заявленной поддержкой режимов reasoning и thinking. Модель предназначена для широкого круга задач: программирования, решения задач, рассуждений, творческого письма, создания художественных текстов, ролевых сценариев и работы с различными жанрами. В метаданных указаны английский и китайский языки. Размер базовой модели — 27B параметров. Репозиторий также помечен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах в README отсутствуют; максимальная длина контекста не указана. К заявленным сильным сторонам относятся сокращение объёма внутреннего рассуждения и ускорение генерации при сохранении детализации, а также высокие результаты на ARC-C и ARC-E. Автор утверждает, что модель превосходит базовые версии Qwen по ряду benchmarks, но эти показатели приведены без независимой методологии проверки. Ограничениями являются отсутствие подробных данных о контекстном окне, требованиях к памяти, совместимости MTP и качестве мультимодальной обработки. Модель описана как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля безопасности. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем azukivc и подготовленный для llama.cpp. Модель предназначена для генерации текста, включая локальный запуск и сценарии, где требуется сниженное количество отказов. Поведение отказа было существенно уменьшено, но не устранено полностью; дополнительное обучение и новые обучающие данные не использовались. Лицензия — Apache-2.0. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указана поддержка vision, поэтому доступны варианты с обработкой изображений, если это поддерживается базовой моделью и используемым runtime. Заявлены языки English и Chinese. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, размер файлов — примерно от 10,6 до 29 ГБ. MTP-голова сохранена для speculative decoding; доступны как объединённые файлы со встроенной draft-моделью, так и отдельные target- и draft-файлы. Снижение отказов является преимуществом для менее ограниченных сценариев, однако поведение не полностью безотказное, а acceptance rate speculative decoding может немного снизиться.

jondurbin/spicyboros-13b-2.2 — экспериментальная языковая модель автора Jon Durbin, созданная на архитектуре Llama и дообученная преимущественно на синтетических данных Airoboros 2.2. Модель с 12,9 млрд параметров предназначена для генерации текста по инструкциям, включая ответы на вопросы, написание текстов, задания с вариантами ответа и генерацию кода. Для ответов по заданному контексту README рекомендует явно размечать входные данные; также описан интерфейс генерации JSON- или YAML-подобных аргументов для вызова функций. Контекст модели составляет 4096 токенов. Карточка описывает формат диалога с маркерами USER и ASSISTANT и сообщает, что использован промежуточный чекпойнт 350. Модель может выдавать ненормативный, токсичный и иной чувствительный контент; системные ограничения могут быть переопределены. Указанная лицензия — Llama 2 license.

LeroyDyer дообучил модель LeroyDyer/SpydazWeb_AI_CyberTron_Ultra_7b на базе LeroyDyer/Mixtral_AI_CyberTron_Ultra. Это языковая модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста в диалогах и выполнения инструкций. В карточке отмечены возможности работы с кодом, математикой, финансовыми темами, ролевыми сценариями и несколькими языками, однако заявленные тематические навыки не подкреплены подробными оценками. Модель использует контекст до 32 768 токенов и распространяется в формате safetensors через Transformers. Автор сообщает об обучении с Unsloth и библиотекой TRL; приведены результаты оценок IFEval и BBH. Лицензия — Apache-2.0. В карточке есть неоднозначность: README описывает базовую Mistral-7B-Instruct-v0.2, тогда как метаданные и строка о дообучении указывают на Mixtral_AI_CyberTron_Ultra. Для базовой модели в каталоге использована связь из метаданных Hugging Face.

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai. Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств. Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными. К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

xDAN-L1-Chat-RL-v1 — диалоговая языковая модель xDAN-AI на архитектуре Mistral с 7,1 млрд параметров. Она дообучена на смесях OpenOrca, Intel Orca-DPO-Pairs и собственных данных с помощью SFT и DPO-v2; карточка описывает шаблон запросов Alpaca и контекст 32 768 токенов. Модель предназначена для генерации ответов в чате, работы с общими знаниями, написания текстов и помощи с кодом. В README приведены сравнительные результаты MT-Bench и LM-Evaluation-Harness, но они не гарантируют качество на конкретных запросах. В метаданных указан английский язык; другие языки явно не заявлены. Модель распространяется под лицензией CC BY 4.0. Она может выдавать неточные или проблемные ответы, поэтому важные результаты следует проверять.

Beyonder-4x7B-v3 — разговорная языковая модель mlabonne, созданная как смесь экспертов (MoE) с помощью LazyMergekit. В объединение вошли AlphaMonarch-7B, CodeNinja-1.0-OpenChat-7B, Kunoichi-DPO-v2-7B и NeuralDaredevil-7B; архитектура — MixtralForCausalLM. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов, тогда как README рекомендует окно 8 тысяч токенов и шаблон чата Mistral Instruct. Модель предназначена для диалогов общего назначения, ролевого общения, задач с кодом и математикой. По README, при генерации задействуются два эксперта, что позволяет сочетать эти способности. Автор отмечает хорошие результаты на нескольких наборах оценок, но предупреждает, что модель не нацелена на превосходство в традиционных бенчмарках; результаты оценки не гарантируют качество в конкретных приложениях. Модель принимает текст и генерирует текст. Языки отдельно не перечислены. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Darwin-28B-Opus — языковая модель для генерации текста и многошаговых рассуждений, созданная Darwin V7 слиянием Qwen3.6-27B и её варианта, дообученного на рассуждениях в стиле Claude Opus. Модель сохраняет плотную архитектуру Qwen3.6 с гибридным вниманием и содержит 27,6 млрд параметров; веса представлены в BF16 и доступны в формате safetensors. Поддерживается режим рассуждений, а интерфейс предусматривает вызов инструментов. Модель предназначена для решения сложных задач по естественным наукам и математике, генерации и отладки кода, а также других задач, требующих цепочки рассуждений. В карточке заявлены английский как основной язык, а также поддержка корейского, китайского и японского. Для задач GPQA Diamond авторы сообщают результат 88,89% при трёхэтапном адаптивном оценивании; этот показатель зависит от описанного протокола и не равен результату обычного одиночного ответа. Для запуска весов BF16 требуется около 55 ГБ видеопамяти. Модель может выдавать многословные рассуждения; длину ответа можно ограничивать параметром max_new_tokens. Лицензия — Apache 2.0.

DeepSeek-V4-Flash-0731 GGUF — это набор GGUF-конвертаций и экспертно подобранных квантованных вариантов базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI. Репозиторий подготовлен bullerwins для запуска через llama.cpp и предназначен для генерации текста, включая локальное инференс-развёртывание и агентские сценарии. Модель использует разреженную MoE-архитектуру с маршрутизируемыми экспертами. В репозитории доступны варианты размером от 81,86 до 150,75 GiB, а также компактный DSpark-компаньон размером 10,15 GiB для speculative decoding. Представлены lossless-вариант MXFP4/BF16, смешанные IQ2_XS/IQ3_XXS-квантизации и версии с IQ2_XS или IQ3_XXS для экспертов. Квантизации позволяют выбирать компромисс между размером и качеством: по тестам на Wikitext-2 lossless-вариант обеспечивает полное совпадение с эталоном, тогда как квантованные варианты показывают от 75,082% до 84,094% совпадения наиболее вероятного токена. Сильной стороной набора является широкий выбор практических вариантов, сохранение native MXFP4 для части экспертных тензоров и оценка качества по KLD и совпадению токенов. Ограничения — очень высокие требования к дисковому пространству и памяти, а также снижение качества у более компактных квантований. Сведения о поддерживаемых языках, размере контекста и подробных модальностях в предоставленной карточке отсутствуют. Указана лицензия MIT; для формата чата, архитектурных деталей и рекомендуемых параметров сэмплирования предлагается обращаться к карточке исходной модели. Рекомендуемые параметры: temperature 1.0, top_p 0.95 для агентских сценариев и top_p 1.0 в остальных случаях.

Dolphin 2.1 Mistral 7B — разговорная языковая модель, разработанная Eric Hartford и обученная на базе Mistral. Она предназначена для диалога, ответов на вопросы и выполнения инструкций в формате ChatML. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. При обучении использованы наборы Dolphin, созданный как открытая реализация подхода Microsoft Orca, и Airoboros 2.2.1 для расширения творческих ответов. Карточка описывает модель как uncensored и предупреждает о высокой готовности выполнять запросы, в том числе неэтичные; перед развёртыванием сервиса рекомендуется добавить собственный уровень фильтрации. Указана лицензия Apache 2.0, допускающая коммерческое и некоммерческое использование.

FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.