II.10Разработка и эксплуатация AI/ML-систем

Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

POCKET-35B-GGUF — языковая модель семейства POCKET, разработанная FINAL-Bench. Это GGUF-сборка, предназначенная для запуска через стандартный llama.cpp без CUDA, GPU и облачных сервисов. Модель позиционируется для локального использования на ПК, серверах, мини-ПК и мобильных устройствах, включая сценарии on-device и edge-инференса. Модель имеет заявленный размер 35B параметров и архитектуру mixture-of-experts; в карточке она связана с FINAL-Bench/Darwin-36B-Opus, а также обозначена как основанная на Qwen3.5-35B-A3B. Доступны варианты квантования от IQ1_M и Q2_K до Q4_K_M: размер файлов составляет примерно от 8,2 до 21 ГБ, что позволяет выбирать между экономией памяти и качеством. В качестве ориентиров приведены показатели GPQA Diamond от 60,1% для Q2_K до 68,7% для Q4_K_M, а также измерения скорости генерации на CPU и GPU. Модель ориентирована на диалоговые и общие текстогенерационные задачи, включая локального повседневного ассистента. Среди сильных сторон заявлены работа на CPU, совместимость с upstream llama.cpp и высокая скорость генерации в ряде сравнительных тестов. Ограничения включают заметные требования к оперативной памяти, снижение качества при сильном квантовании и отсутствие завершённых измерений производительности на iPhone и Strix Halo. В карточке явно указаны английская и корейская специализации отдельных сборок, но полный набор поддерживаемых языков и максимальный контекст не приведены. Лицензия — Apache 2.0.

Qwen2.5-0.5B-Instruct-GPTQ-Int4 — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это GPTQ-квантизированная 4-битная версия базовой модели Qwen2.5-0.5B-Instruct, предназначенная для генерации текста и диалоговых сценариев, включая чат-ассистентов, следование инструкциям, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель также ориентирована на задачи программирования и математики, однако README не содержит подробных результатов оценки. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и GQA с 14 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель текстовая, поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Ключевые преимущества — небольшой размер, 4-битное представление, поддержка длинного контекста, многоязычность и улучшенное следование инструкциям. Ограничения README не раскрывает количественно; как компактная модель с 0,49 млрд параметров, она может уступать более крупным моделям в сложных рассуждениях и качестве генерации. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживают архитектуру Qwen2.

chatpig/qwen2.5-vl-7b-it-gguf — модель в формате GGUF, основанная на Qwen/Qwen2.5-VL-7B-Instruct, разработанной командой Qwen. Она предназначена для генерации текста и преобразования изображений и текста в текст, а также может использоваться как текстовый энкодер. Модель ориентирована на мультимодальные сценарии, включая работу с текстовыми и визуальными входными данными, и совместима с ComfyUI-GGUF и gguf-node. В README также указана поддержка моделей и рабочих процессов, использующих qwen-image-gguf. Размер базовой модели составляет 7B параметров; сведения о поддерживаемых языках, длине контекста, конкретной архитектуре, требованиях к ресурсам, ограничениях качества и рекомендуемых сценариях применения не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Квантование выполнено с использованием MLX командой LM Studio на базе инструментов mlx_lm. Модель оптимизирована для работы на устройствах Apple Silicon, что делает её подходящей для локального запуска при ограниченных ресурсах. Известно, что она содержит около 4 миллиардов параметров и использует 4-битное представление, однако сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. К сильным сторонам относятся компактный размер, сниженные требования к памяти и оптимизация под Apple Silicon. К ограничениям относятся возможное снижение качества по сравнению с полноразмерной или менее агрессивно квантованной версией, а также отсутствие в предоставленных данных подробных характеристик производительности и языкового покрытия. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-GGUF — квантованная в формате GGUF версия языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая диалоговые сценарии, ответы на вопросы и другие применения, поддерживаемые исходной моделью. Модель содержит около 4 миллиардов параметров и относится к текстовым моделям. В README не указаны поддерживаемые языки, максимальная длина контекста, конкретная архитектура, доступные модальности и варианты квантования. Квантование выполнено bartowski на основе релиза llama.cpp b6096, что позволяет использовать модель в совместимом локальном программном обеспечении, включая LM Studio. К сильным сторонам относятся относительно компактный размер и возможность локального запуска благодаря формату GGUF, а также ориентация исходной модели на задачи рассуждений. Ограничения, точные требования к аппаратным ресурсам, качество на конкретных тестах и особенности поведения не описаны. Лицензия в предоставленном README не указана; условия использования следует уточнять на странице исходной модели Qwen3-4B-Thinking-2507.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking — плотная мультимодальная модель на 40 млрд параметров от DavidAU, созданная расширением Qwen3.5-27B и дообученная на датасете TeichAI/claude-4.5-opus-high-reasoning-250x. Она рассчитана на диалоги с рассуждениями, творческое и художественное письмо, генерацию кода, анализ изображений и работу с инструментами. В README заявлен контекст 256 тысяч токенов, режим с переменной длиной рассуждений и исправленный шаблон чата для снижения повторов и циклов. Карточка описывает примеры генерации рассказов, включая хоррор, и сообщает, что обработка изображений и генерация кода проверялись автором. Модель ориентирована на английский и китайский языки; формат репозитория — Safetensors, библиотека — Transformers. Автор рекомендует для инструментальных вызовов квантизации не ниже Q6, но доступные метаданные указывают формат Safetensors. Лицензия — Apache-2.0. README отмечает, что на низких квантизациях или недостаточно содержательных запросах возможны циклы и повторы; качество и результаты бенчмарков независимо не подтверждены.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе Qwen3.6-27B, разработанная в коллаборации автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh при использовании Unsloth. Модель ориентирована на универсальные сценарии: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо, ролевые сценарии и работу с визуальными данными. Заявлена поддержка английского и китайского языков, а также vision-возможностей; другие параметры контекста в README не указаны. Модель создана как многоэтапная fine-tune-модель с несколькими дообучениями и merge-операциями. В обучении использовались наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также собственные и сторонние датасеты и обучающие трассы. Доступны обычные и MTP GGUF-квантизации, включая NEO IMATRIX; для части выходного тензора заявлена точность 16 бит, а MTP-тензоры имеют Q8_0. По утверждению авторов, модель улучшает следование инструкциям, общий интеллект, решение задач и рассуждения, однако приведённые в README результаты не подтверждены независимыми измерениями и не должны рассматриваться как гарантированные. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиционная штрафная функция; при низком уровне принятия токенов следует использовать обычные кванты. Модель описана как uncensored и heretic, поэтому её поведение и фильтрация контента могут отличаться от базовой модели. Лицензия — Apache-2.0.

Это GGUF-копия модели unsloth/Qwen3.6-35B-A3B-NVFP4-Fast, преобразованная из исходного репозитория с помощью конвертера llama.cpp. Репозиторий публикует catlilface; модель предназначена для диалогов и задач с изображениями и текстом, включая агентные сценарии. В метаданных указаны архитектура Qwen, возможности чата и vision, а формат файлов — GGUF. Карточка рекомендует запускать модель на GPU с актуальной сборкой llama.cpp; также возможно выполнение с выгрузкой части вычислений на CPU. В README приведены ориентировочные показатели скорости для нескольких конфигураций оборудования, но качество предлагается оценивать по материалам базовой модели. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

shisa-7b-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP модель генерации текста на базе Mistral-7B-Instruct-v0.2 и shisa-7b-v1. Она предназначена для диалогов и ответов на инструкции; архитектура — плотная авторегрессионная Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель рассчитана на текстовый ввод и выдачу текста. Объединение выполнено в формате bfloat16 с помощью MergeKit. README не уточняет языки и специализированные области применения, поэтому их нельзя определить по доступным данным. Модель распространяется по лицензии Apache-2.0.

SuperGemma4-26B-Uncensored-Fast GGUF v2 — локальная текстовая модель, опубликованная пользователем lianjiang и основанная на google/gemma-4-26B-A4B-it. Это производная от линии SuperGemma Fast, экспортированная в формат GGUF Q4_K_M для запуска через llama.cpp, в том числе на компьютерах Apple Silicon. Архитектура Gemma 4 использует MoE-эксперты; точное эффективное число активируемых параметров и размер контекста в README не указаны. Модель предназначена для обычного диалога, генерации текста, программирования, логических задач и сценариев с использованием инструментов. Заявлена поддержка английского и корейского языков. Встроенный нейтральный шаблон чата должен снижать вероятность ошибочной маршрутизации обычных запросов в режим программирования или вызова инструментов. На Apple M4 Max указаны скорости до 222 токенов/с обработки корейского запроса и 89,4 токена/с генерации, однако эти показатели зависят от оборудования и конфигурации. К сильным сторонам относятся компактное квантованное представление, высокая скорость локального запуска, улучшения по сравнению с исходной локальной базовой версией в коде, логике, браузерных сценариях и корейском языке, а также менее ограниченное поведение по сравнению со стандартными чат-релизами. Ограничения включают отсутствие подробных данных о контексте, полном наборе языков, качестве на независимых тестах и требованиях к памяти; заявленная «uncensored» настройка также может означать ослабленные защитные ограничения. Лицензия указана как Gemma.

tau-instruct-0.5B-DPOP — инструктивная языковая модель M4-ai на архитектуре Qwen2 с примерно 463,9 млн параметров. Она создана на базе tau-0.5B и дообучена методом DPO-Positive на примерно 700 примерах предпочтений, размеченных с помощью GPT-4. Модель поддерживает контекст до 32 768 токенов и предназначена для диалогового взаимодействия на английском языке. Модель подходит для ответов на вопросы, генерации и продолжения текста, решения математических задач, понимания и создания кода, объяснений и анализа. Её можно применять в виртуальных помощниках, образовательных инструментах и исследовательских прототипах. По предварительной оценке авторов, дообучение улучшило следование инструкциям относительно базовой модели. Качество может снижаться на сложных задачах и при неясных инструкциях; модель сохраняет возможные смещения базовой модели и обучающих данных, а её результаты следует проверять. Лицензия указана как other; README предписывает соблюдать лицензию базовой модели tau-0.5B.

mlx-community/whisper-small-asr-fp16 — преобразованная сообществом mlx-community в формат MLX модель OpenAI Whisper Small для распознавания речи. Она предназначена для преобразования аудиозаписей в текст; репозиторий использует библиотеку mlx-audio и содержит веса в формате safetensors. Модель насчитывает 153,1 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель основана на openai/whisper-small и преобразована в формат MLX с помощью mlx-audio 0.2.10; это конверсия формата, а не новое дообучение. Лицензия репозитория — Apache-2.0. Карточка отсылает к исходной модели за подробностями о её характеристиках; отдельные ограничения в предоставленных данных не описаны.

Winter Garden 7B Alpha — экспериментальная чат-модель на архитектуре Mistral, собранная автором карточки путём слияния девяти моделей и вариантов весов. Она предназначена для диалоговой генерации текста, ответов на инструкции, помощи с программированием, научными и математическими вопросами, а также творческих сценариев и ролевых диалогов. В README описано слияние слоёв Mistral-7B-v0.1 с чередованием моделей по девяти случайным группам; конфигурация в основном сохраняет порядок базовой Mistral. Модель содержит 7,1 млрд параметров, принимает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка предлагает использовать разговорный шаблон с описанием сцены и карточкой персонажа; также упоминает несколько вариантов формата инструкций. Автор характеризует модель как способную работать с наукой, математикой и творческими задачами, однако это экспериментальное слияние, и приведённые в README оценки не гарантируют качества в конкретных сценариях. Указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование.

YamshadowInex12_NeuralExperiment26 — слитая модель семейства Mistral с 7,1 млрд параметров, созданная из automerger/YamshadowInex12-7B и automerger/NeuralExperiment26-7B. Она предназначена для генерации текста и работы с запросами в пределах контекстного окна до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Acolyte-22B — диалоговая языковая модель на архитектуре Mistral, созданная rAIfle слиянием LoRA-адаптера Acolyte-LORA с Unsloth/Mistral-Small-Instruct-2409. Модель содержит 22 млрд параметров и поддерживает контекст до 131 072 токенов; для диалогов рекомендуется шаблон Mistral V2 или V3. В метаданных также заявлен интерфейс вызова функций. Модель предназначена для генерации текста и диалоговых сценариев. В README автор оценивает её качество как приемлемое для размера модели; адаптер обучался на наборе случайно выбранных датасетов, подробности предлагается смотреть в карточке Acolyte-LORA. Репозиторий содержит веса Safetensors; автор также упоминает варианты в форматах iMat GGUF и exl2. Лицензия в предоставленных данных не указана.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

Bhineka-GPT-500M — двуязычная авторегрессионная языковая модель BhinekaIntiLabs для генерации индонезийского и английского текста. Она использует плотную decoder-only архитектуру Transformer в стиле Llama; в метаданных указано 482,5 млн параметров, тогда как README приводит 556,3 млн для проверенного тренировочного чекпойнта. Контекст модели — 2048 токенов, токенизатор BPE обучен для этого проекта. Репозиторий содержит веса в форматах Safetensors и GGUF; модель поддерживает диалоговый сценарий. Модель предназначена для ответов на вопросы, суммаризации и перефразирования, перевода между индонезийским и английским, технических текстов, помощи с кодом и генерации структурированных ответов в Markdown или JSON. README описывает обучение с предварительным обучением, дообучением на инструкциях и оптимизацией предпочтений; проект позиционирует модель для исследований, экспериментов и прототипирования, хотя по критериям каталога это применимая модель, а не промежуточный исследовательский чекпойнт. Лицензия — Apache-2.0. Модель может выдумывать факты, цитаты, поведение кода и численные данные; качество может различаться для диалектов и неформальной индонезийской речи. Небольшой размер ограничивает сложные рассуждения, работу с инструментами и фактическую точность, а оценка языкового моделирования сама по себе не подтверждает качество прикладных задач. Не следует полагаться на неё как на единственный источник в медицинских, юридических, финансовых и других критически важных вопросах.

Bielik-Minitron-7B-v3.0-Instruct — генеративная языковая модель команды SpeakLeash и центра ACK Cyfronet AGH, созданная при участии NVIDIA. Это причинная декодерная модель с 7,35 млрд параметров для диалогов и выполнения инструкций; она использует шаблон чата ChatML и распространяется в формате Safetensors для Transformers. Модель получена сжатием и дообучением Bielik-11B-v3-Base-20250730: структурная обрезка и дистилляция знаний сократили число параметров на 33,4%, после чего модель прошла настройку инструкций и выравнивание предпочтений. Она предназначена для генерации ответов и решения языковых задач на европейских языках; особое внимание при обучении уделено польскому. Авторы сообщают о восстановлении примерно 90% производительности исходной модели и ускорении вывода до 50%. Лицензия Apache 2.0. Модель может ошибаться и выдавать предвзятый, оскорбительный или иной нежелательный текст; встроенных механизмов модерации нет. Ее ответы не следует считать проверенными фактами.

mlx-community/c4ai-command-r7b-12-2024-bf16 — версия модели Cohere Command R7B, конвертированная сообществом mlx-community в формат MLX из CohereForAI/c4ai-command-r7b-12-2024 с помощью mlx-lm 0.20.4. Это плотная авторегрессионная языковая модель семейства Cohere2 примерно на 8 млрд параметров, предназначенная для генерации текста и диалогового общения; доступен интерфейс вызова инструментов. Контекст модели — до 8192 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский и другие перечисленные в метаданных языки. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Репозиторий предоставляет конвертированные веса bf16 для MLX; карточка не сообщает результатов оценки качества.

Cybertron v4 qw7B MGS — диалоговая плотная трансформерная модель на 7,1 млрд параметров, разработанная fblgit и основанная на Qwen2.5-7B-Instruct. Она дообучена методом SFT на датасете Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1 и предназначена для генерации текста и ответов в диалоге; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет заявленную длину контекста 131 072 токена. В карточке автор заявляет высокие результаты в классе моделей 7B–8B и приводит оценки Open LLM Leaderboard, включая 62,64 на IFEval и 37,04 на BBH; эти результаты относятся к указанной автором оценке. Для модели указана лицензия other, поэтому условия использования следует сверить с лицензией и файлами репозитория. В README упоминается подход MGS, но его расшифровка и подробности не раскрыты.

DeepSeek-OCR 2 — модель компьютерного зрения и обработки текста из изображений семейства DeepSeek, представленная в репозитории deepseek-community. Она предназначена для распознавания текста и преобразования документов в Markdown; режим grounding позволяет связывать извлечённый текст с координатами областей изображения через специальные теги. Модель использует архитектуру DeepseekOcr2ForConditionalGeneration и принимает изображения с текстовой инструкцией, выдавая текст. Поддерживается динамическое разрешение: базовый режим обрабатывает изображения с несколькими фрагментами 768×768 и дополнительным изображением 1024×1024. В карточке указана многоязычная поддержка, но конкретные языки не перечислены. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README также указывает на ускоренный инференс через vLLM и обработку PDF, однако детали этих сценариев находятся во внешней инструкции.

DevQuasar-R1-Uncensored-Llama-8B — объединённая авторами DevQuasar языковая модель для генерации текста и диалогов. Она создана методом линейного слияния трёх моделей: DeepSeek-R1-Distill-Llama-8B, LLama-3.1-8B-HyperNova-abliteration и Llama-3.1-8B-Lexi-Uncensored-V2. Архитектура — плотная LlamaForCausalLM; размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалоговых ответов, рассуждений и задач общего характера. В README приведены результаты оценивания, включая HellaSwag, и заявлено улучшение по большинству тестов относительно DeepSeek-R1-Distill-Llama-8B, однако подробности таблицы в карточке представлены не полностью. Модель распространяется по лицензии MIT.

Dumpling-Qwen2.5-32B — диалоговая языковая модель на архитектуре Qwen2, разработанная nbeerbower как дообучение nbeerbower/Rombos-EVAGutenberg-TIES-Qwen2.5-32B. Модель содержит 32 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в диалоге и может использоваться для рассуждений, работы с текстами и сценариев с интерфейсом вызова инструментов. Она дообучена методом ORPO в течение двух эпох на наборах данных для предпочтений, правдивости, физического рассуждения и художественных текстов. Поддержка интерфейса инструментов указана в метаданных; это само по себе не гарантирует совместимость с конкретной системой инструментов. Модель выпущена под лицензией Apache-2.0. Карточка не приводит результатов оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно.

Это порт модели Escha Qwen3.8-27B, подготовленный degenmeowster для запуска через llama.cpp на AMD ROCm. В основе — дообученная EschaLabs/Qwen3.8-27B-Escha-W2; веса представлены в формате GGUF с 2-битной квантизацией Escha W2 и головой Q8_0. Модель использует плотную гибридную архитектуру Qwen35: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное. В README заявлена поддержка контекста до 262144 токенов; порт проверен на AMD Radeon RX 7900 XTX с gfx1100. Модель предназначена для диалоговой генерации текста и задач рассуждения. README приводит измерения производительности и качества на указанной видеокарте, но они зависят от оборудования, настроек и протокола оценки. Сильные стороны — большой контекст и возможность полного размещения модели и KV-кэша на подходящей карте AMD; ограничение — сильная 2-битная квантизация может влиять на качество, а сведения о поддерживаемых естественных языках не приведены. Лицензия репозитория — Apache-2.0.

EXAONE-4.0-1.2B-GGUF — это компактная языковая модель семейства EXAONE 4.0, разработанная LG AI Research. Данная версия представлена в формате GGUF и предназначена для локального запуска, включая on-device-сценарии. Модель поддерживает генерацию текста, агентное использование инструментов, а также два режима работы: обычный и reasoning mode для решения более сложных задач. Модель содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 attention heads и 8 KV heads. Размер словаря составляет 102 400 токенов, контекст — до 65 536 токенов. Поддерживаются английский, корейский и испанский языки. Архитектурные особенности серии включают QK-Reorder-Norm; гибридная attention-схема с локальным и глобальным вниманием указана для 32B-версии, поэтому её применение к данной 1.2B-модели не подтверждено. Сильные стороны модели — небольшой размер, возможность локального и периферийного развертывания, многоязычность, поддержка reasoning mode и вызова инструментов. Ограничения включают существенно меньший размер по сравнению с 32B-версией, что может снижать качество на сложных задачах; конкретные показатели производительности и требования к ресурсам в README не приведены. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия находятся в файле LICENSE.