II.8Инженерия данных и аналитика

Карточка модели dealignai/Gemma-4-31B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-31B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.

HelixLM-CheckpointHub — текстовая авторегрессионная модель семейства HelixLM, поддерживаемого Nimbus AI Lab. Она предназначена для генерации ответов и диалогов, включая решение математических и логических задач, программирование и вызов функций. В карточке описаны улучшения рассуждений после дополнительной вычислительной подготовки и оптимизаций на этапе постобучения; заявлено повышение результата GPQA-Diamond с 58% до 76,5% по сравнению с предыдущей версией HelixLM. Модель доступна в формате PyTorch и использует библиотеку Transformers. README рекомендует температуру 0,6 и приводит системный промпт для ассистента. Также описаны сценарии вопросов по загруженным файлам и генерации с результатами веб-поиска. Размер модели и длина контекста в предоставленных данных не указаны. Для модели заявлена лицензия MIT. README отмечает улучшения в снижении галлюцинаций и поддержке вызова функций, но не приводит подробных оценок, методики сравнения или ограничений по применению; фактическое качество на конкретных задачах может отличаться от benchmark-результатов.

DevQuasar публикует версию IBM Granite-4.1-8B в формате GGUF F16. Модель основана на ibm-granite/granite-4.1-8b и предназначена для генерации текста в диалоговом формате; карточка базовой модели описывает её как многоязычную инструктивную модель IBM для диалоговых помощников, работы с текстом и кодом, а также вызова инструментов. Репозиторий указывает на GGUF F16; конкретные параметры запуска и длина контекста в предоставленных данных не приведены. Лицензия в данных не указана.

Laguna S 2.1-NVFP4 — квантизированный вариант модели Laguna S 2.1, разработанный компанией Poolside. Это текстовая Mixture-of-Experts-модель, ориентированная на агентное программирование, работу с инструментами и длительные задачи на локальном компьютере. Модель поддерживает нативное рассуждение с чередованием этапов обдумывания и вызовов инструментов, причём рассуждение можно включать или отключать для каждого запроса. Модель содержит 117,6 млрд параметров, из которых 8,5 млрд активируются на каждом токене, 256 экспертов и одного общего эксперта. Архитектура включает 48 слоёв: 12 слоёв с глобальным вниманием и 36 слоёв со Sliding Window Attention, размер окна которого составляет 512 токенов. Используются per-head gating, позиционные rotary scales и соотношение локального и глобального внимания 3:1. Контекстное окно — до 1 048 576 токенов, модальность — text-to-text. KV-кэш квантизирован в FP8, а веса NVFP4 занимают примерно 71 ГБ. Сильные стороны модели — высокая эффективность инференса и сниженные требования к KV-кэшу благодаря разреженной MoE-архитектуре, поддержка сверхдлинного контекста, локальное развёртывание и специализация на разработке программного обеспечения. При контексте в 1 млн токенов возможно снижение качества. NVFP4 в настоящее время некорректно работает в SGLang; для локального использования заявлена поддержка vLLM, Transformers и TRT-LLM, а также Ollama и llama.cpp с другими форматами весов. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию для коммерческих и некоммерческих целей.

Карточка модели glxiexie/LFM2.5-2.6B на Hugging Face совпадает с карточкой developerjeremylive/LFM2.5-2.6B-etheroi, поэтому описание составлено по ней. LFM2.5-2.6B-etheroi — многоязычная текстовая модель на 2,6 млрд параметров, созданная на базе LiquidAI/LFM2.5-2.6B-Base и дообученная для агентных сценариев. Она использует гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA, и поддерживает контекст до 131 072 токенов. Модель предназначена для локального и периферийного развёртывания; карточка указывает поддержку Transformers, vLLM и SGLang. Модель подходит для вызова инструментов, выполнения многошаговых инструкций, извлечения данных, RAG и работы с длинным контекстом. Она поддерживает английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. По карточке, она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

Lion-Lamarck-v.1.0.9 — диалоговая языковая модель на 14 млрд параметров, созданная nlpguy слиянием предварительно обученных моделей с помощью mergekit и метода SCE. В качестве базовой использована sometimesanotion/Lamarck-14B-v0.7; в слияние также вошли DeepSeek-R1-Distill-Qwen-14B, Qwenvergence-14B-v10 и SuperNova-Medius. Модель построена на архитектуре Qwen2 и распространяется в формате Safetensors. Модель предназначена для генерации текста и диалогов, а интерфейс поддерживает вызов инструментов. Контекстное окно составляет до 131 072 токенов. Базовая модель DeepSeek-R1-Distill-Qwen ориентирована на рассуждения, включая математические задачи и программирование; эти сценарии могут быть полезны и для Lion-Lamarck, однако карточка не приводит отдельных оценок качества этой сборки. Модель принимает текст и генерирует текст. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверять на странице репозитория Hugging Face.

Llama-Deepsync-3B — дообученная PrithivMLmods диалоговая языковая модель на архитектуре Llama 3.2, предназначенная для генерации текста с рассуждениями, решения задач и помощи в программировании. По карточке, модель умеет следовать инструкциям, создавать структурированные ответы, включая JSON, работать с таблицами и генерировать длинные тексты. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов; заявленная длина генерации — до 8 000 токенов. README заявляет поддержку более 29 языков, а метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель доступна в формате safetensors для Transformers и распространяется по лицензии CreativeML OpenRAIL-M. Модель подходит для диалоговых помощников, объяснения решений, программирования, математики и творческого письма. Заявления о повышении качества и поддержке языков приведены в карточке модели и не сопровождаются результатами оценки; фактическое качество может различаться в зависимости от задачи и языка.

ainativestudio/locomo-e5-large-finetuned — текстовая Sentence Transformer модель, дообученная на базе intfloat/e5-large-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска и извлечения релевантных фрагментов. Архитектура включает BERT, mean pooling и нормализацию; сходство векторов можно оценивать косинусной мерой. Модель принимает только текст, максимальная длина последовательности — 512 токенов. Модель обучена с TripletLoss на 2 806 примерах, включающих вопросы, релевантные и нерелевантные текстовые фрагменты. Это делает её подходящей для поиска ответов и контекста в коллекциях текстов, в том числе в сценариях retrieval и RAG. Веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

marin-8b-instruct-GGUF — это набор GGUF-квантизированных файлов модели marin-community/marin-8b-instruct, подготовленный mradermacher. Модель предназначена для генерации текста и выполнения инструкций; варианты GGUF позволяют запускать её локально с разным балансом между качеством, скоростью и потреблением памяти. При обучении использовались наборы данных AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, natural_reasoning, OpenThoughts-114k-math и smoltalk, что указывает на применимость к программированию, рассуждениям, математическим и общим диалоговым задачам. Размер базовой модели — 8 млрд параметров, однако точная архитектура и максимальная длина контекста в README не указаны. Заявлен английский язык; сведения о поддержке других языков и модальностей отсутствуют, поэтому модель следует считать текстовой и ориентированной прежде всего на англоязычные сценарии. Доступны варианты от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди перечисленных. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а также настройка под задачи программирования, рассуждений и генерации текста. Более сильное сжатие уменьшает требования к памяти, но может снижать качество; README отдельно отмечает более низкое качество Q3_K_M. Модель распространяется по лицензии Apache-2.0.

openbmb/MiniCPM5-1B-GGUF — компактная языковая модель серии MiniCPM5, разработанная командой OpenBMB. Это GGUF-версия MiniCPM5-1B, предназначенная для локального запуска через llama.cpp, Ollama и LM Studio, включая устройства с ограниченными ресурсами. Модель представляет собой causal language model на архитектуре LlamaForCausalLM с 1 080 632 832 параметрами, 24 слоями и группированным вниманием GQA: 16 голов для запросов и 2 для ключей и значений. Максимальная длина контекста составляет 131 072 токена. Заявлена поддержка английского и китайского языков. Один и тот же checkpoint поддерживает быстрый режим без рассуждений и режим пошагового рассуждения через параметр enable_thinking и шаблон чата с маркером <think>. Модель ориентирована на локальных ассистентов, генерацию кода, coding agents, использование инструментов, агентские сценарии и задачи, требующие рассуждений при небольшом размере модели. К сильным сторонам относятся компактность, нативный длинный контекст, поддержка tool use и гибридного режима рассуждений; разработчики заявляют конкурентные результаты среди открытых моделей класса около 1B, особенно в использовании инструментов, генерации кода и сложном reasoning. Ограничения связаны с малым размером модели, из-за которого её возможности могут уступать более крупным моделям в сложных и специализированных задачах. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-MLX — компактная языковая модель из серии MiniCPM5, разработанная командой OpenBMB. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и локального развертывания на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков, а также сценарии on-device и edge AI. Модель рассчитана на следование инструкциям, программирование, математические задачи, понимание длинного контекста, использование инструментов и агентские сценарии. По заявлению разработчиков, среди открытых моделей сопоставимого размера она показывает передовые результаты и в целом остается конкурентоспособной моделям класса 4B, особенно в коде, математике, работе с длинным контекстом и tool use. Точная максимальная длина контекста и подробные результаты тестов в предоставленных данных не указаны. К основным ограничениям относятся меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения качества, требования к оборудованию и поддерживаемые форматы MLX в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Карточка модели marvalai/MiniMax-M3 на Hugging Face совпадает с карточкой dshive/MiniMax-M3, поэтому описание составлено по ней. MiniMax-M3 — мультимодальная модель семейства MiniMax, представленная в репозитории dshive/MiniMax-M3. Она принимает текст и изображения и предназначена для диалогов, анализа визуального содержимого, работы с видео, программирования и длительных агентных сценариев. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA); в карточке указана архитектура MiniMax-M3-VL и формат весов safetensors. Разработчик заявляет ускорение обработки длинного контекста и сильные результаты в задачах программирования и совместной работы с агентом. Для использования описаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers. Репозиторий опубликован под лицензией other; конкретные условия лицензии следует проверять в карточке модели.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

SII-Enigma/Qwen2.5-7B-Ins-SFT-32k — плотная причинно-языковая модель семейства Qwen2.5 с 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B-Instruct. В README описан подход AMPO: он использует решения нескольких моделей-учителей, вмешиваясь, когда модель не справляется самостоятельно, и выбирая понятные ей варианты решений. Авторы заявляют, что подход улучшает результативность и эффективность по сравнению с одним RL или SFT. Модель предназначена для генерации текста и диалогов, в том числе для задач рассуждения. Контекст составляет 32 768 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. Метаданные указывают интерфейс вызова инструментов, но README не приводит подробных примеров или результатов оценки именно этого чекпойнта. Указана лицензия Apache-2.0.

Esper 3.1 — дообученная Valiant Labs модель на базе Qwen3.5-27B, предназначенная для рассуждений в программировании, проектировании архитектуры и DevOps. Она подходит для помощи разработчикам и инженерам: от анализа сложных задач и написания кода до настройки инфраструктуры, CI/CD и систем облачного развёртывания. В README также заявлены навыки в MLOps, проектировании систем ИИ и общих рассуждениях. Модель имеет плотную архитектуру Qwen3.5 и 22,3 млрд параметров по метаданным; максимальный контекст составляет 262 144 токена. Она принимает текст и изображения и генерирует текст. В карточке указан английский язык. Модель распространяется в формате Safetensors, лицензия — Apache-2.0. Качество на конкретных задачах и требования к аппаратным ресурсам README не уточняет.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-GGUF — квантизированная версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, созданная автором ManniX-ITA. Это объединённая модель на базе Qwen3.6-27B, дополненная результатами слияния трёх дообученных вариантов. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp. Модель имеет архитектуру Qwen3.5 и около 27,78 млрд параметров. Доступны варианты от F16 до низкобитных IQ- и Q-квантизаций, включая Q2_K, Q4_K_M, Q6_K и Q8_0. Заявлены возможности рассуждений, работы с кодом и изображениями; в карточке указано поддерживаемое описание языка English. Контекстное окно и точный перечень поддерживаемых визуальных входов не указаны. Сильными сторонами заявлены улучшенные результаты в задачах программирования и научного рассуждения по сравнению с некоторыми базовыми и предыдущими версиями Omnimerge, а также специальная модификация MLP-слоёв для повышения устойчивости механизма рассуждений. Качество зависит от выбранной квантизации, а приведённые бенчмарки измерялись при разных настройках генерации и не всегда напрямую сопоставимы. Для ускоренного декодирования доступен отдельный MTP-вариант репозитория, не входящий в эту модель. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Fable-Holo3.1 — мультимодальная модель для диалогов и следования инструкциям, опубликованная Nightmedia. Это слияние Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-Fable-5-Distill и Holo3.1-35B-A3B; архитектура относится к семейству Qwen3.5 MoE. Модель принимает текст и изображения и выдаёт текст. В карточке также описаны варианты для текстового режима, включая сборку с контекстом 1 млн токенов; эти сведения не подтверждают такую длину контекста для основного репозитория. Модель предназначена для мультимодальных диалогов, анализа изображений, рассуждений, задач STEM и программирования. Автор сообщает об улучшении perplexity, скорости и результатов на отдельных тестах после слияния, но не приводит полного описания методики и воспроизводимых сравнений. Модель распространяется под лицензией Apache-2.0.

MuXodious/Qwen3.8-27B-absolute-heresy — дообученная версия Qwen3.8-27B, созданная P-E-W с помощью Heretic v1.4.0 и метода abliteration. Это плотная модель с причинной языковой моделью и визуальным энкодером, содержащая 27 млрд параметров; базовая архитектура использует 64 слоя. Исходная Qwen3.8-27B поддерживает изображения и видео, а также диалог, программирование и многошаговые агентные задачи; для неё указан контекст 262 144 токена с расширением до 1 000 000 токенов. Эти характеристики относятся к базовой модели. Настройка нацелена на снижение отказов: автор сообщает о 2 отказах из 101 проверенного запроса против 101 из 101 у исходной модели. По описанию автора, при этом модель сохраняет полезность с минимальным повреждением возможностей, однако приведённая оценка зависит от используемой процедуры и не гарантирует поведение на других запросах. Модель предназначена для сценариев, где требуется более свободный диалог с сохранением мультимодальных возможностей Qwen3.8. Репозиторий содержит веса и конфигурацию в формате Transformers; заявлены совместимость с Transformers, vLLM и SGLang, а также отдельные LoRA-адаптер и версия GGUF. Лицензия — Apache-2.0.

StargazerLabs Qwen3.8-32B-Jumbo — производная плотная языковая модель для генерации текста и диалогов. Она создана переносом трёх блоков слоёв из Qwen3.6-27B в Qwen3.8-27B: архитектура расширена с 64 до 76 слоёв, а число параметров составляет около 31,9 млрд. Веса опубликованы в формате safetensors для MLX, лицензия — Apache-2.0. Модель предназначена для текстовых запросов, общения, программирования и многошаговых задач. По описанию автора, перенос блоков должен вернуть часть широты фактических знаний Qwen3.6, сохранив улучшения Qwen3.8 в коде и агентных возможностях. README также заявляет совместимость с черновой моделью Qwen3.8-27B-MTP для спекулятивного декодирования; указанную скорость следует считать заявлением автора. Данные о размере контекста и явной поддержке других модальностей не приведены; доступные сведения описывают текстовую генерацию. Модель рассчитана на английский язык согласно метаданным. Качество восстановления знаний и заявленная скорость ускорения в README не подкреплены приведёнными результатами независимой оценки.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.

Silas Embedding 0.6B — многоязычная модель для получения плотных текстовых эмбеддингов, разработанная Alfo Tech Industries на базе Qwen3-Embedding-0.6B. Она преобразует текст в векторы для семантического поиска, сравнения сходства, извлечения документов и подготовки контекста для систем RAG. Модель относится к семейству Qwen3, содержит 507,6 млн параметров и поддерживает контекст до 32 768 токенов. В репозитории используются веса Safetensors; модель рассчитана на работу через библиотеку Sentence Transformers. Модель предназначена для поиска по смыслу в базах знаний и документации, подбора похожих текстов и извлечения релевантных фрагментов для последующей обработки другой моделью. README приводит высокие результаты на собственных простом и сложном тестах семантического сопоставления, однако независимой оценки на внешних лидербордах нет. Качество на длинном контексте и для конкретных языков и предметных областей следует проверять отдельно; заявленная многоязычность унаследована от базовой модели. Векторное сходство не подтверждает фактическую точность найденного текста. Лицензия — Apache-2.0.

Gille/StrangeMerges_13-7B-slerp — слитая модель генерации текста, созданная с помощью LazyMergekit из Gille/StrangeMerges_12-7B-slerp и uukuguy/speechless-zephyr-code-functionary-7b. Она основана на плотной архитектуре Mistral с 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые задачи с контекстом до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв внимания и MLP. Модель подходит для диалоговых приложений и генерации текста, включая сценарии с кодом и вызовом функций, на которые указывает один из исходных чекпойнтов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Ternary Bonsai 27B — GGUF — это компактная модель для генерации текста и рассуждений, разработанная Prism ML на базе Qwen3.6-27B. Она предназначена для локального запуска через llama.cpp на CPU, CUDA- и Metal-устройствах, включая стандартные ноутбуки и отдельные GPU. Модель ориентирована на диалоговые сценарии, математические задачи, программирование, агентное использование инструментов и работу на устройствах с ограниченными ресурсами. Модель сохраняет архитектуру исходной 27B-классовой causal language model с гибридным вниманием: около 75% слоёв используют линейное внимание, а около 25% — полное. Она содержит примерно 27,3 млрд тернарных языковых весов и около 0,46 млрд параметров vision tower. Используются SwiGLU, RoPE и RMSNorm. Веса представлены в формате GGUF Q2_0_g128 с тернарными значениями −1, 0 и +1, что соответствует примерно 1,71 бита на вес. Размер развёрнутой модели составляет около 7,2 ГБ против примерно 54 ГБ у FP16-версии. Поддерживается контекст до 262 тысяч токенов, а KV-кэш квантизирован до 4 бит. Vision tower доступна в 4-битном формате и подключается при обработке изображений. К сильным сторонам относятся существенное снижение требований к памяти, сохранение рассуждений и агентного поведения при низкой битности, поддержка локального инференса и заявленное сохранение около 95% показателей FP16-версии на наборе из 15 тестов. Для CUDA доступен слой DSpark для спекулятивного декодирования с заявленным ускорением 1,34 раза. Ограничения включают зависимость от специализированных низкобитных ядер и совместимых форков llama.cpp, а также отсутствие в README точного перечня поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

Vela-1.0-Encoder-307M-Embedding — мультиязычная модель эмбеддингов на базе ModernBERT, разработанная командой vLLM Semantic Router. Она предназначена для семантического сопоставления запросов, поиска контекста и организации памяти в маршрутизаторах. Модель содержит 306,9 млн параметров, использует 22 слоя и 768 измерений, поддерживает контекст до 32 768 токенов и доступна в форматах Safetensors и ONNX. Модель применима для семантического поиска, извлечения релевантных документов и сравнения предложений на английском, арабском, испанском, японском и китайском языках. В приведённых оценках она превосходит исходную mmBERT Embedding на отдельных задачах MTEB и при поиске по длинным документам; результаты относятся только к перечисленным тестам. Лицензия — Apache-2.0.