II.10Разработка и эксплуатация AI/ML-систем

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm. Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа. Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-FP8 — модифицированная версия Qwen/Qwen3.8-27B, опубликованная OrcaRouter. Модель прошла abliteration: из неё удалено направление, связанное с отказами в ответах, после чего веса были офлайн квантизированы в block-FP8. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated DeltaNet и полнослойного внимания, встроенной vision-language башней и MTP-головой для спекулятивного декодирования. Модель предназначена для исследовательских задач, включая интерпретируемость, анализ механизмов отказа, AI safety, red teaming, оценку устойчивости и контролируемые эксперименты. Она поддерживает работу с текстом и изображениями, языки English и Chinese, рассуждение, function calling и контекст до 262 144 токенов. Архитектура включает 64 слоя: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного внимания. Основные линейные веса используют block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, тогда как vision tower, нормы, router, embeddings и lm_head сохранены в BF16. Сильная сторона модели — сохранение возможностей базовой Qwen3.8-27B, включая мультимодальность, инструменты, reasoning, большой контекст и MTP, при совместимости со схемой обслуживания официальной FP8-версии. Главное ограничение — существенное удаление защитного выравнивания: модель может выполнять вредоносные, неэтичные и незаконные запросы и не имеет значимых встроенных защитных механизмов. Поэтому её не следует использовать напрямую в пользовательских или производственных системах без собственных фильтров, модерации и контроля злоупотреблений. Модель распространяется по лицензии Apache 2.0; использование также должно соответствовать применимым законам и условиям лицензии базовой модели.

ZeroXClem-Qwen3-8B-HoneyBadger-EXP — экспериментальное слияние моделей на архитектуре Qwen3, созданное командой ZeroXClem методом model_stock с помощью MergeKit. Модель содержит 7,6 млрд параметров, работает с текстом и рассчитана на контекст до 40 960 токенов. В основе слияния лежат Qwen3-совместимые модели, включая AXCXEPT/Qwen3-EZO-8B-beta, KaraKaraWitch/CavesOfQwen3-8b, YOYO-AI/Qwen3-8B-YOYO и другие. Модель предназначена для диалогов, следования инструкциям, рассуждений, ролевых бесед и историй, а также понимания и генерации кода. README заявляет поддержку структурированных ответов, включая JSON, Markdown и LaTeX, и рекомендует шаблон чата Qwen3 либо Ollama Modelfile для инференса. Основной язык по карточке — английский; подтверждённая лицензия — Apache-2.0. Это ранний экспериментальный прототип, который, по предупреждению автора, не готов к производственному применению и может выдавать невыравненные или нефильтрованные ответы. Качество и безопасность результатов не гарантируются.

dealignai/Qwen3.8-Flash-Next-UNCENSORED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8 от команды dealignai. Модель предназначена для генерации текста, решения задач и сценариев, где требуется повышенная готовность отвечать на широкий спектр запросов без встроенных отказов. Также заявлена поддержка обработки изображений благодаря сохранённой vision tower. Модель работает в формате FP8 и сохраняет MTP head и vision tower базовой модели. В README также указана архитектура MoE, однако размер модели, максимальная длина контекста и перечень поддерживаемых языков не приведены. По заявленным внутренним тестам, модель демонстрирует более глубокое рассуждение: на пяти логических головоломках она решила четыре задачи против трёх у базовой модели, при этом использовала примерно в 3,5 раза больше токенов рассуждения. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой модели, то есть снижение общей точности знаний сопровождается неоднородными изменениями по отдельным предметам. К сильным сторонам относятся сохранённые мультимодальные возможности, поддержка FP8, отсутствие жёстких отказов в заявленном тестировании HarmBench и увеличение глубины рассуждений. Ограничения включают возможное ухудшение точности на части академических и прикладных тематик, повышенный расход токенов при рассуждении и отсутствие подробных сведений о размере, контексте и языках. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-8B-SFT-v0.2 — диалоговая языковая модель на архитектуре Qwen3, разработанная проектом Swallow LLM Токийского технологического института. Это версия размером 7,6 млрд параметров, полученная supervised fine-tuning модели tokyotech-llm/Qwen3-Swallow-8B-CPT-v0.2. Она предназначена для генерации ответов и диалогов на японском и английском языках, а также для задач перевода, математики и программирования с рассуждениями. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами. Для запуска рекомендуют vLLM. Инструментальное использование явно не обучалось, а переключатель режима рассуждений не поддерживается. Разработчики отмечают, что модель находится на ранней стадии разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. По метаданным она относится к задачам image-text-to-text, то есть рассчитана на сценарии преобразования изображений и текста в текст, однако подробности о поддерживаемых языках и возможностях мультимодального ввода в карточке не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, IQ4 и Q3 с размером файлов примерно от 17 до 71 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для ряда вариантов заявлено высокое качество при меньшем потреблении памяти. Поддерживаются MTP-слои, которые можно задействовать через параметр draft-mtp при наличии соответствующей поддержки в используемом ПО. Точные сведения об архитектуре, размере активируемой части MoE, длине контекста и языках отсутствуют, поэтому эти характеристики нельзя подтвердить по README. Модель распространяется по лицензии Apache 2.0.

Tencent Sequential-Hidden-Decoding-8B-n8-Instruct — дообученная для следования инструкциям и диалогов модель генерации текста на архитектуре Qwen3. Она использует Sequential Hidden Decoding: несколько матриц эмбеддингов для одной последовательности чередуются, формируя расширенную последовательность для обработки тем же трансформером; вариант n=8 имеет масштабирование последовательности 8×. Модель содержит 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговых сценариев и выполнения инструкций. Для инференса требуется версия SGLang с патчами, а также пользовательский код архитектуры из репозитория и параметр trust_remote_code. README указывает тип данных bfloat16 и рекомендует настройки запуска, рассчитанные на стабильность и производительность при обработке расширенных последовательностей. В метаданных базовыми компонентами указаны Qwen/Qwen3-8B-Base и tencent/Sequential-Hidden-Decoding-8B-n8; происхождение классифицировано как слияние. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели.

Slush-Sunfall-Rocinante-GGLD-12B — объединённая языковая модель, созданная сообществом mergekit-community из IAmTheCollector/MN-Slush-GGLD и knifeayumu/Rocinante-12B-v1-nemo-sunfall-v0.6.1-SLERP. Модели объединены методом SLERP в формате bfloat16; конфигурация задаёт Slush-GGLD для входных и выходных слоёв и Rocinante-Sunfall для промежуточных слоёв. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Она предназначена для генерации текста и диалогов; карточка также отмечает интерфейс вызова инструментов. Указанное нативное контекстное окно — 1 024 000 токенов. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных сведениях не приведена.

Tema_Q-X6-Thinking — созданная TemaQants доработка большой языковой модели Agent A1 от InternScience для агентных сценариев. Она предназначена для генерации ответов и рассуждений в составе Tema_Q Agent, включая работу со сложными запросами и вызов инструментов. Модель основана на архитектуре семейства Qwen 3.5 MoE, распространяется в формате safetensors и доступна в 2-битном представлении. В карточке заявлена устойчивость при контексте свыше 16 тысяч токенов. Поддерживаются японский, английский и китайский языки. Модель ориентирована на гибкие ответы для агентных задач; заявленные возможности включают следование инструкциям и интерфейс вызова инструментов. README запрещает использовать её для дискриминации, травли, насилия, незаконных и иных вредоносных целей. Лицензия в предоставленных данных не указана.

UTC-T5-large — универсальная модель классификации токенов от Knowledgator, основанная на flan-T5-large и дообученная на нескольких задачах разметки токенов и задачах, которые можно представить в таком виде. Это prompt-tuned модель с архитектурой T5EncoderForTokenClassification, примерно 385,2 млн параметров и контекстом до 512 токенов. Модель предназначена прежде всего для извлечения информации: распознавания именованных сущностей, ответов на вопросы по тексту, извлечения отношений и разрешения кореференции. README также упоминает очистку и суммаризацию текста. Многоцелевое дообучение нацелено на обобщение и zero-shot NER; авторы рекомендуют запускать модель через pipeline ner библиотеки Transformers. Модель принимает текст и выдаёт классификацию токенов. В метаданных указан английский язык. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Карточка не приводит оценок качества на конкретных наборах данных; контекст в 512 токенов ограничивает длину входного текста.

BLOOMZ-7b1 — мультиязычная авторегрессионная языковая модель, разработанная BigScience. Это дообученная версия BLOOM-7b1: её обучали следовать инструкциям на смеси кросс-языковых задач xP3, чтобы выполнять задания, сформулированные на естественном языке, в том числе переносить навыки на новые задачи и языки без примеров. Модель содержит 7,1 млрд параметров, использует архитектуру BLOOM и работает с текстом; максимальная длина контекста — 2048 токенов. Модель подходит для генерации и преобразования текста по инструкциям: перевода, ответов на вопросы, классификации тональности, объяснений и написания историй. Она обучалась на нескольких десятках языков и поддерживает также код. Результат зависит от формулировки запроса: рекомендуется чётко обозначать границы инструкции и нужный язык ответа, а также предоставлять достаточный контекст. Модель выпущена по лицензии BigScience-BLOOM-RAIL-1.0; перед использованием следует учитывать её условия и ограничения.

DiscoLM 70B — крупная языковая модель для генерации текста, разработанная Disco Research. Данная карточка содержит её квантованные файлы в формате GGUF, подготовленные TheBloke; исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель основана на архитектуре LLaMA и содержит 70 миллиардов параметров. Она предназначена для диалоговых и общих задач генерации текста, включая работу на английском и немецком языках. В обучении использовались наборы Open-Orca/SlimOrca-Dedup, teknium/openhermes, MetaMathQA, Synthia, AgentInstruct и немецкоязычные датасеты LeoLM и ultrachat_de. Для взаимодействия используется шаблон ChatML с ролями system, user и assistant. GGUF-файлы доступны в вариантах с 2-, 3-, 4-, 5-, 6- и 8-битным квантованием, что позволяет запускать модель с использованием CPU и GPU через llama.cpp и совместимые приложения. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной FP16-версией; конкретный контекстный размер и производительность в README не указаны. Модель распространяется по лицензии Llama 2.

granite-4.2-3b-MLX-4bit — это 4-битная квантованная версия языковой модели granite-4.2-3b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, диалога и вызова инструментов, заявленные в её тегах и исходной карточке. Модель относится к классу text-generation и имеет размер 3 млрд параметров в исходной версии. Она работает с текстом и заявлена для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Сильными сторонами версии являются уменьшенное потребление памяти благодаря 4-битному представлению и оптимизация для локального запуска на Apple Silicon. Данные о размере контекста, точных архитектурных особенностях, результатах тестирования и ограничениях качества в README не приведены. Модель распространяется по лицензии Apache-2.0. README не указывает дополнительных ограничений использования, однако предупреждает, что модель может генерировать неточный, вредный или неподходящий контент; результаты требуют проверки человеком.

granite-4.2-3b-MLX-8bit — это 8-битная квантованная версия модели granite-4.2-3b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, пошаговым мышлением и вызовом инструментов. В карточке указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Размер исходной модели составляет 3 миллиарда параметров; сведения об архитектуре и размере контекстного окна не указаны. Ключевые преимущества модели — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для экосистемы Apple Silicon, что делает её подходящей для локального запуска на совместимых устройствах. Ограничения включают возможное снижение точности по сравнению с полной версией из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, характеристик производительности и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

unsloth/LFM2-1.2B-unsloth-bnb-4bit — 4-битная версия модели LFM2-1.2B, разработанной Liquid AI и подготовленной Unsloth. Это гибридная Liquid-модель для edge AI и локального запуска на устройствах, включая смартфоны, ноутбуки и автомобили. Она поддерживает выполнение на CPU, GPU и NPU и предназначена для эффективного использования памяти и высокой скорости инференса. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 сверточных и 6 attention-слоёв, использует архитектуру с мультипликативными gates и короткими свёртками, а также поддерживает контекст до 32 768 токенов. Модель обучена на 10 трлн токенов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Она предназначена для агентских сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов; для узких задач рекомендуется дополнительная настройка. К сильным сторонам относятся компактность, скорость обучения и инференса, эффективность на CPU и сравнительно высокая производительность среди моделей аналогичного размера в задачах знаний, математики, следования инструкциям и многоязычности. Ограничения связаны с небольшим размером: модель не рекомендуется для ресурсоёмких задач, требующих глубоких знаний или программирования. В карточке указана лицензия LFM Open License v1.0; конкретные условия использования следует проверять в тексте лицензии Liquid AI.

onnx-community/LFM2-350M-ONNX — ONNX-версия языковой модели LFM2-350M, разработанной Liquid AI для edge AI и локального запуска на устройствах. Модель предназначена для генерации текста, агентных сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов. Она может работать на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобильные системы. Модель содержит 354 483 968 параметров, 16 слоёв, контекстное окно на 32 768 токенов и словарь размером 65 536 токенов. Архитектура гибридная: включает 10 блоков коротких LIV-свёрток с двойными мультипликативными вентилями и 6 блоков grouped query attention (GQA). Указанная точность исходной модели — bfloat16; ONNX-репозиторий поддерживает запуск через Transformers.js, включая вариант q4. Модель обучалась на смеси примерно из 75% англоязычных, 20% многоязычных и 5% программных данных и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. К сильным сторонам относятся малая размерность, эффективность по скорости и памяти, возможность локального развёртывания, а также заявленное преимущество над моделями сопоставимого размера в задачах знаний, математики, следования инструкциям и мультиязычности. Из-за небольшого размера модель рекомендуется дообучать под узкие сценарии. Она не рекомендуется для задач, требующих глубоких знаний или программирования. Модель распространяется по лицензии LFM Open License v1.0.

unsloth/LFM2.5-1.2B-Instruct — версия инструкционной модели Liquid AI, опубликованная Unsloth с исправлениями шаблона чата. Это компактная плотная языковая модель семейства LFM2: в README указано 1,17 млрд параметров и гибридная архитектура из 10 блоков LIV с двойной маршрутизацией и 6 блоков GQA. Модель принимает и генерирует текст; она рассчитана на локальный запуск на устройствах и поддерживает контекст до 32 768 токенов по README, тогда как метаданные указывают 128 000 токенов. Модель предназначена для диалогов общего назначения, агентных сценариев с вызовом инструментов, извлечения данных и ответов с опорой на документы в RAG. В карточке перечислены английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README не рекомендует использовать её для задач, требующих обширных знаний, и программирования. Репозиторий содержит веса в формате safetensors и использует лицензию, обозначенную в метаданных как other; конкретные условия лицензии следует сверить с карточкой модели.

Ling-3.0-flash REAP288 — экспериментальная версия разговорной гибридной MoE-модели Ling-3.0-flash, опубликованная bloomer010 на основе inclusionAI/Ling-3.0-flash. В ней оставлено 288 из 512 маршрутизируемых экспертов на слой; README указывает 73 млрд параметров всего и 5,1 млрд активных, тогда как метаданные каталога указывают 3,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате; базовая Ling-3.0-flash также позиционируется для программирования и многошаговых агентных задач. Эксперты отбирались методом REAP по оценке, учитывающей значение маршрутизатора и норму выхода на калибровочных данных объёмом 1 млн токенов. После удаления экспертов не проводились дообучение или восстановительное обучение. Модель работает с контекстом до 262 144 токенов, распространяется в BF16 Safetensors и использует архитектуру BailingMoeV3; для загрузки требуется trust_remote_code=True и пользовательский код bailing_hybrid. README называет модель исследовательским артефактом и экспериментальной REAP-версией. Лицензия в предоставленных данных не указана. Ключевое ограничение — эксперты удалены без последующего обучения для восстановления качества, поэтому характеристики базовой модели нельзя автоматически переносить на эту версию; приведённые в README и метаданных размеры параметров также расходятся.

Ling-3.0-Tiny-NVFP4-GGUF — квантизированная в формат GGUF версия модели inclusionAI/Ling-3.0-tiny, опубликованная WhiskyAKM. Это компактная гибридная MoE-модель с архитектурой hybrid-linear: в ней чередуются Kimi Delta Attention и Multi-Head Latent Attention, а блок FFN использует 128 маршрутизируемых экспертов. Всего модель содержит 7,9 млрд параметров, из которых на каждом токене активны 1,3 млрд; контекстное окно — 256 тысяч токенов. Модель предназначена для диалогов, рассуждений и вызова инструментов, включая локальный запуск через llama.cpp. Она поддерживает английский и китайский языки, а режим рассуждений можно включать и отключать. Представлен файл с квантизацией NVFP4, рассчитанной на ускорение на оборудовании NVIDIA с поддержкой FP4. Лицензия — MIT. Качество и скорость могут зависеть от аппаратного ускорения и используемой конфигурации llama.cpp.

QuantFactory/Llama3.1-8B-Chinese-Chat-GGUF — квантизированная версия модели Llama3.1-8B-Chinese-Chat, созданная с использованием llama.cpp на основе Meta-Llama-3.1-8B-Instruct. Исходную модель разработали Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang; равный вклад указан для первых двух авторов. Модель предназначена для генерации текста и диалоговых сценариев на китайском и английском языках. Она ориентирована на ролевое взаимодействие, использование инструментов и function calling, а также задачи, связанные с математикой. Дообучение выполнено методом ORPO с использованием LLaMA-Factory на более чем 100 тысячах пар предпочтений. Размер модели составляет около 8,03 млрд параметров, заявленная длина контекста — до 128K токенов, однако для китайской версии она не была протестирована; длина контекста при дообучении составляла 8192 токена. Главное преимущество модели — адаптация Llama 3.1 для китайско-английских пользователей и наличие GGUF-квантизации, упрощающей локальный запуск через llama.cpp или LM Studio. Ограничения включают непроверенную заявленную длину контекста для этой версии и возможные неточные ответы на вопросы о собственной идентичности и разработчиках. Модель распространяется по лицензии Llama 3.1.

LongLLaMA-3B — языковая модель с авторегрессионной архитектурой LongLlama, разработанная авторами метода Focused Transformer на основе OpenLLaMA-3B. Модель содержит 3,3 млрд параметров и дообучена методом FoT для работы с длинным контекстом. Репозиторий предоставляет веса PyTorch и Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста, ответов на вопросы и извлечения сведений из длинных входных последовательностей. В карточке заявлена обработка контекста до 256 тыс. токенов и более; для этого вход разбивается на окна, а механизм памяти сохраняет ключи и значения выбранных слоёв. Обычный режим совместимости с реализацией LLaMA ограничен контекстом в 2048 токенов. Авторы показывают результаты на извлечении ключевой фразы, классификации вопросов TREC и ответах на вопросы WebQS. К заявленным преимуществам относятся расширение контекста без обучения на последовательностях такой длины и сохранение результатов на короткоконтекстных задачах. Качество на очень длинных последовательностях зависит от специального механизма обработки контекста и настроек памяти; README приводит в основном иллюстративные оценки на отдельных задачах. В метаданных длина контекста указана как 2048 токенов, что соответствует базовому режиму без расширения контекста.

EnlistedGhost/Magistral-Small-2509-Vision-GGUF — квантизированная GGUF-версия мультимодальной модели Magistral-Small-2509-Vision. Модель создана на базе оригинальных файлов, весов и компонентов MistralAI, а конфигурация, шаблон чата и системный промпт переработаны EnlistedGhost. Заявленный размер модели — 24 млрд параметров. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач image-text-to-text. Она поддерживает визуальный ввод благодаря повторно включённой vision tower и совместима с Ollama, Llama.cpp и Xllama. В README заявлена поддержка английского, русского и украинского языков. Доступны GGUF-файлы с различными уровнями квантизации, включая Q2_K_M, Q3_K_M, Q4_K_M, Q5_K_XL и Q6_K_L; для некоторых вариантов применён динамический метод GH5TS, сохраняющий более высокую точность в критически важных слоях. Сильные стороны модели — мультимодальность, поддержка локального запуска через распространённые GGUF-совместимые инструменты и наличие оптимизированных шаблонов чата. Ограничения включают зависимость от совместимого рантайма, компромиссы качества и объёма памяти из-за квантизации, а также отсутствие в README данных о размере контекста, производительности и точных требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

MeliodasPercival_01_YamExperiment28 — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная на основе automerger/MeliodasPercival_01-7B и automerger/YamExperiment28-7B. Она предназначена для генерации текста и диалогов, а контекст поддерживает до 32 768 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не описывает специальные предметные области или ограничения качества; применимость следует оценивать на задачах пользователя.

Карточка модели cold368733/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели JMullings/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic-GGUF — GGUF-квантизация модели, разработанная независимым автором llmfan46 на базе llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic. В README также указано использование набора данных TeichAI/claude-4.5-opus-high-reasoning-250x. Точные сведения о методе обучения и конкретных параметрах квантизации не приведены. Модель предназначена для диалогов, программирования, творческого письма, генерации и продолжения сюжетов, ролевых сценариев, а также работы с различными жанрами художественного текста. Заявлены английский и китайский языки. Модель относится к reasoning-моделям: по умолчанию она использует режим пошагового рассуждения с токенами <think>, при этом поддерживается instruct-режим без рассуждений через настройку chat template или параметров инференса. В README заявлена мультимодальная архитектура Qwen3.5 с поддержкой текста, изображений и видео, а pipeline обозначен как image-text-to-text. Указанный размер — 40B параметров. Среди сильных сторон заявлены высокое качество рассуждений, творческого письма и сниженное количество отказов по сравнению с исходной моделью. Ограничения включают отсутствие данных о размере контекстного окна, системных требованиях, точных характеристиках GGUF-файлов и результатах независимого тестирования; режим с уменьшенными отказами также может повышать риски небезопасной генерации. Лицензия указана как Apache-2.0.

xactobear/qwen38-xactobear-gguf — это набор GGUF-квантизаций мульт этапной дообученной модели на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU. Репозиторий содержит обычные и MTP-варианты квантов Neo-CODER MAX DI-MATRIX, включая версии с точностью 4 и 8 бит. В README также указано использование Unsloth, методов COLD FUSION и Fable Fusion 711, направленных на повышение качества рассуждений, сокращение объёма thinking-токенов и ускорение генерации. Заявлены поддерживаемые языки English и Chinese; размер контекстного окна и точные параметры архитектуры не указаны. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевого взаимодействия. По заявлению автора, она ориентирована на генерацию подробных ответов при меньшем количестве токенов рассуждений по сравнению с базовой моделью и рассчитана на запуск на потребительском оборудовании. README приводит высокие результаты на ARC-C и ARC-E, однако эти показатели представлены самим автором и не сопровождаются полной методикой независимой проверки. К ограничениям относятся отсутствие подробной информации о размере контекстного окна, поддерживаемых модальностях, системных требованиях, формате MTP-режима и результатах независимого тестирования. В описании также используется характеристика uncensored, поэтому поведение модели в отношении нежелательного или чувствительного контента может отличаться от стандартных моделей. Репозиторий распространяется по лицензии Apache-2.0.

Josephgflowers/TinyLlama-Cinder-Agent-v1 — компактная языковая модель на архитектуре Llama с примерно 1 млрд параметров, разработанная как дообученная версия Josephgflowers/TinyLlama-Cinder-Tiny-Agent. Автор позиционирует её как чат-ассистента общего назначения для ответов по предоставленным документам (RAG), суммаризации, следования системным инструкциям и работы с инструментами и вызовами функций. По описанию, модель обучалась на математических и рассуждательных данных, наборах для RAG и суммаризации, а также данных для вызова функций. Карточка сообщает об улучшении результатов на GSM8K относительно исходной TinyLlama и приводит оценки Open LLM Leaderboard. Модель поддерживает генерацию текста в диалоговом формате; её контекстное окно — 2048 токенов. README отмечает, что формат JSON при вызове функций следует шаблону обучающего набора Glaive и может не подходить для произвольной генерации JSON. Модель распространяется по лицензии MIT. Карточка не приводит отдельной оценки надёжности ответов, поэтому результаты математических и иных задач следует проверять; ограниченный контекст также может затруднять работу с объёмными документами.

0GM-1.0-35B-A3B (Preview-0427) — мультимодальная модель 0G Compute, дообученная на базе Qwen/Qwen3.6-35B-A3B. Это архитектура Mixture of Experts с 35 млрд параметров, из которых на токен активируется около 3 млрд; модель сочетает языковую часть с энкодером изображений. Она предназначена для диалогов, рассуждений, ответов на вопросы по изображениям и задач, требующих работы с длинным контекстом. В карточке приведены результаты сравнительных тестов, в том числе по математике и общим знаниям; авторы сообщают о преимуществах над сравниваемыми моделями на указанных бенчмарках. Модель поддерживает контекст до 262 144 токенов, расширяемый, по заявлению авторов, примерно до 1 010 000 токенов. Её можно развёртывать через Transformers и специализированные серверные движки; карточка рекомендует мощную мног GPU конфигурацию для обслуживания. Доступна по лицензии Apache-2.0. Приведённые бенчмарки не гарантируют качество на конкретных задачах, а высокие требования к памяти и совместимости инфраструктуры могут затруднить запуск.