II.10Разработка и эксплуатация AI/ML-систем

nreimers/MiniLM-L6-H384-uncased — компактная модель семейства MiniLM, представленная Nils Reimers. Это версия Microsoft MiniLM-L12-H384-uncased, полученная удалением каждого второго слоя; архитектура — BERT с шестью слоями и примерно 25,9 млн параметров. Модель извлекает контекстные признаки из текста и подходит для построения текстовых представлений в NLP-системах. Она поддерживает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и Flax. Модель можно использовать как основу для извлечения признаков в поиске, кластеризации и последующей классификации текста. Уменьшенная глубина делает её компактнее исходной 12-слойной версии, но сама карточка не приводит сравнительных оценок качества. Поддерживаемый язык в карточке не указан. Лицензия — MIT.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.

mLateOn-unsupervised — многоязычная модель поиска LightOn на архитектуре ColBERT, реализованная с PyLate и дообученная на базе jhu-clsp/mmBERT-base. Это промежуточный чекпойнт первого этапа обучения: контрастивное предобучение на 2,8 млрд пар запрос–документ, включая 25% межъязыковых пар, без последующего обучения на сложных негативных примерах. Модель содержит 306,9 млн параметров и обрабатывает до 8192 токенов в запросе или документе. Она предназначена для извлечения и ранжирования документов по запросу с использованием позднего взаимодействия ColBERT и оценки MaxSim. Подходит для многоязычного и межъязыкового поиска, а также как основа для дообучения на собственных данных, дистилляции и экспериментов с рецептами обучения. Поддерживаются английский, французский, немецкий, итальянский, испанский, португальский, шведский, норвежский и арабский языки. Выход модели — представления токенов размерностью 128. Чекпойнт рассчитан на адаптацию и исследования отдельных этапов обучения; для большинства производственных сценариев в карточке рекомендуется полностью обученная mLateOn. Модель распространяется по лицензии Apache 2.0.

NightJar-CodeSearch-Embedding — модель плотных векторных представлений, разработанная Shuu12121 на базе Shuu12121/NightJar и дообученная для поиска кода по запросу на естественном языке и поиска фрагментов кода по описанию требуемого изменения. Она использует архитектуру ModernBERT в конфигурации Sentence Transformer, содержит 109,5 млн параметров и строит 768-мерные эмбеддинги. Для поиска запросы и документы кодируются в одном векторном пространстве; префиксы не нужны, а сходство можно оценивать по косинусной близости. Модель принимает текстовые запросы и код, выдаёт векторы и подходит для семантического поиска, формирования кандидатов для переранжирования или RAG, кластеризации и поиска дубликатов. Обучение проводилось на 4 073 472 примерах с трудными и внутрипакетными негативными примерами. В обучающую смесь вошли Bash, C, C++, C#, Dart, Go, Java, JavaScript, Kotlin, Lua, PHP, Python, Ruby, Rust, Scala, Swift и TypeScript. Карточка сообщает о контексте модели в 8192 токена, однако входы длиннее 1024 токенов обрезаются. Модель не генерирует код и не проверяет его корректность или безопасность; качество для языков, не представленных в обучении, систематически не оценивалось. Лицензия — Apache-2.0.

NinjaDolphin-7B — объединённая модель на основе Mistral, созданная FelixChao с помощью метода dare_ties. Она сочетает FelixChao/WizardDolphin-7B и две модели, ориентированные на программирование: beowolx/CodeNinja-1.0-OpenChat-7B и beowolx/MistralHermes-CodePro-7B-v1. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и кода, включая дополнение кода и решение задач по программированию. В README приведён результат 52,44 на HumanEval для генерации Python-кода без инструкций и постобработки. Файлы опубликованы в формате safetensors. Лицензия — Apache-2.0.

Occamy-35B — модель с открытыми весами, разработанная командой Occamy AI. Она дообучена на базе Qwen3.6-35B-A3B и предназначена для агентных сценариев: принятия решений на длинном горизонте, координации нескольких инструментов, многошаговых бизнес-процессов, Claw-style рабочих процессов, агентного программирования и задач электронной коммерции. Модель относится к семейству text-generation и ориентирована на английский язык. Заявлены поддержка tool use, coding и long-context; для развёртывания рекомендуется контекст до 262 144 токенов, а в тестах SWE-bench Pro использовался контекст 200K. В README не указаны точные сведения о внутренней архитектуре, числе активных параметров, количестве параметров всего и перечне поддерживаемых модальностей, поэтому модель следует рассматривать как текстовую. Ключевая особенность — методика Data RSI (Data Recursive Self-Improvement), при которой результаты выполнения динамически сформированных задач используются для последующей адаптации данных. По представленным оценкам, Occamy-35B особенно сильна в агентных задачах, многоходовом использовании инструментов и программировании, хотя в отдельных бенчмарках уступает более крупным моделям. Для промышленного использования рекомендуются SGLang или vLLM с OpenAI-совместимым API. Лицензия в README не указана.

Olmo-3-Think-AIO-GGUF — набор GGUF-квантизаций моделей Olmo-3-32B-Think и Olmo-3-7B-Think, разработанных Allen Institute for AI и подготовленных для использования через совместимые инструменты, включая llama.cpp. Модели относятся к семейству открытых плотных трансформерных языковых моделей Olmo 3 с вариантом Think, предназначенным для прозрачного пошагового рассуждения и исследовательских задач в области agentic AI. Модели предназначены для генерации текста, объяснения решений, декомпозиции формальных задач, математического рассуждения, генерации кода и исследований, связанных с reinforcement learning. Указан английский язык и сценарий text generation. Для версии 32B заявлена поддержка контекста до 65 000 токенов. В репозитории представлены варианты GGUF с разными форматами точности и квантования — от F32 и BF16 до компактных IQ- и Q-серий, что позволяет выбирать между качеством, размером файла и требованиями к оборудованию; размеры файлов 32B-версии составляют примерно от 7 до 129 ГБ. К сильным сторонам относятся открытость, возможность инспектировать промежуточные цепочки рассуждений, ориентация на задачи математики и кода, длинный контекст и широкий выбор локальных форматов. Ограничения включают значительные требования к памяти для крупных и высокоточных вариантов, возможное снижение качества при агрессивном квантовании, а также отсутствие заявленной поддержки мультимодальных входов и языков кроме английского. Указанная лицензия — Apache-2.0.

OpenCodeInterpreter-CL-13B — модель для генерации кода из семейства OpenCodeInterpreter, разработанная командой OpenCodeInterpreter. Она объединяет генерацию кода с выполнением и итеративным уточнением по обратной связи, чтобы помогать решать задачи программирования. Модель основана на CodeLlama-13b-Python-hf и использует плотную архитектуру Llama с 12,9 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для написания и улучшения программного кода; в README также описано применение обратной связи от выполнения кода. Она обучена для английского языка и распространяется в формате PyTorch под лицензией Apache-2.0. В README приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, но численные результаты именно версии CL-13B в доступном фрагменте не указаны.

OpenCodeInterpreter-CL-70B — модель для генерации кода из семейства OpenCodeInterpreter, разработанного как система для интеграции языковых моделей с выполнением кода и итеративным уточнением результатов. Эта версия основана на CodeLlama-70b-Python-hf и использует плотную архитектуру LlamaForCausalLM с 68,7 млрд параметров. Модель предназначена для генерации и интерпретации кода в диалоговом формате. Подход OpenCodeInterpreter предполагает использование обратной связи от выполнения кода для улучшения результатов; README приводит сравнение семейства на HumanEval и MBPP. В карточке этой конкретной версии заявлено окно контекста 16 384 токена, указана поддержка английского языка и формат весов safetensors. Модель может применяться для помощи в программировании и создания фрагментов кода. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Приведённые в README результаты относятся к семейству и не дают отдельной оценки этой версии 70B; выполнение кода и получение обратной связи требуют соответствующей внешней среды.

OpenCodeInterpreter-SC2-15B — модель генерации кода из семейства OpenCodeInterpreter, разработанная авторами проекта OpenCodeInterpreter. Она основана на StarCoder2-15B и предназначена для создания кода с возможностью интеграции выполнения и итеративного уточнения по обратной связи от исполнения. Модель имеет плотную архитектуру Starcoder2ForCausalLM, содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Модель подходит для генерации и интерпретации кода, а также для сценариев, где результат можно выполнить и затем доработать с учётом полученной обратной связи. В карточке приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, однако конкретные показатели этой версии из таблицы не видны. Метаданные указывают английский язык и формат safetensors. Лицензия — Apache-2.0.

Mungert/OpenCodeReasoning-Nemotron-32B-IOI-GGUF — это GGUF-квантизованная версия языковой модели для генерации и анализа программного кода. В качестве базовой модели указана Qwen/Qwen2.5-32B-Instruct, а обучение связано с набором данных NVIDIA OpenCodeReasoning. Модель разработана Mungert; в метаданных также указана принадлежность к экосистеме NVIDIA. Основной заявленный язык — английский. Модель предназначена для задач генерации текста и кода, включая использование в локальных приложениях на базе llama.cpp, развёртывание на устройствах с ограниченной памятью и исследование сверхнизкобитного квантования. Доступны варианты с различными форматами и уровнями квантования, включая IQ1, IQ2, IQ3, Q4, Q6 и Q8, а также BF16 и F16. Для некоторых вариантов применяется метод IQ-DynamicGate с распределением точности по слоям; приведённые в README тесты на Llama-3-8B показывают снижение perplexity по сравнению со стандартным 1–2-битным квантованием при небольшом увеличении размера модели. Эти результаты не следует напрямую считать оценкой именно данной модели. Сильная сторона модели — возможность существенно снизить требования к памяти и запускать её на CPU, edge-устройствах и системах с ограниченной GPU VRAM. Компромиссом являются возможное снижение точности при низкой разрядности, зависимость производительности от аппаратной поддержки BF16 или FP16 и отсутствие в предоставленных данных точного размера файлов, длины контекста, перечня поддерживаемых языков помимо английского и результатов бенчмарков именно для этой модели. Лицензия — Apache-2.0.

opencsg/opencsg-CodeLlama-13b-v0.1 — генеративная модель для работы с программным кодом, разработанная OpenCSG. Это версия CodeLlama на 12,9 млрд параметров, полученная полнопараметрическим дообучением базовой CodeLlama-13b-hf. Модель использует плотную архитектуру Llama и принимает текстовые запросы, включая задания на генерацию и дополнение кода. Модель подходит для генерации фрагментов кода и решения задач программирования; в карточке приведена оценка семейства на HumanEval для Python, а обучающие данные включают несколько языков программирования. Заявленная длина контекста — 16 384 токена. Доступны веса в формате safetensors; лицензия указана как llama2. Карточка отмечает, что качество зависит от способа декодирования и параметров, а оценки бенчмарков могут не отражать все практические сценарии.

opencsg/opencsg-CodeLlama-34b-v0.2 — это дообученная OpenCSG модель для генерации программного кода. Она основана на Meta CodeLlama-34b-hf, использует архитектуру Llama с плотной авторегрессионной языковой моделью и содержит 33,5 млрд параметров. Модель прошла полное дообучение всех параметров; в репозитории представлены веса Safetensors. Модель предназначена для генерации и автодополнения кода, в том числе решения задач по программированию. В README указано, что обучающая выборка охватывает несколько языков программирования; для оценки семейства использовался HumanEval на Python, однако приведённые значения относятся к версиям 7B и не характеризуют непосредственно эту версию 34B. Контекст модели составляет до 16 384 токенов. Лицензия — Llama 2 Community License; её условия следует учитывать при использовании и распространении модели.

opencsg/opencsg-stable-code-3b-v1 — языковая модель для генерации кода от OpenCSG, полученная полнопараметрической донастройкой модели stable-code-3b. Это декодерная архитектура StableLM Epoch с 2,7 млрд параметров и контекстом до 16 384 токенов; веса опубликованы в формате safetensors. Исходная модель обучалась на 1,3 трлн токенов текстовых и программных данных и охватывает 18 языков программирования. Модель предназначена для генерации и дополнения кода, в том числе для задач на Python и других языках программирования. В README приведён результат 46,3% pass@1 на HumanEval для Python при жадном декодировании; авторы отмечают, что результаты зависят от способа декодирования и инструкций, а дополнительные бенчмарки и оценки практических задач программной инженерии планировались позднее. Лицензия — Llama 2 Community License.

OpenThinker-Agent-v1-GGUF — набор GGUF-квантизаций модели OpenThinker-Agent-v1, разработанной командой open-thoughts и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель ориентирована на агентские сценарии, работу с терминалом, генерацию кода и задачи software engineering. Обучение связано с датасетами OpenThoughts-Agent-v1-SFT и OpenThoughts-Agent-v1-RL. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером 16,39 ГБ до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный размер и качество зависят от выбранного файла. Для взаимодействия используется chat-шаблон с маркерами system, user и assistant. Данные о точной архитектуре, числе параметров, поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и оптимизация вариантов imatrix для сохранения качества при уменьшении размера. Более компактные варианты подходят для систем с ограниченной памятью, но могут уступать старшим версиям по качеству. Модель распространяется по лицензии Apache-2.0.

Ornith-1.0-35B-MTP — вариант Ornith-1.0-35B от Crucible Labs для спекулятивного декодирования MTP в vLLM. К исходным весам модели добавлена голова multi-token prediction из Qwen/Qwen3.6-35B-A3B; README указывает, что остальные веса сохранены без изменений, а голова скопирована из базовой модели. Архитектура относится к семейству Qwen3.5 MoE; файлы представлены в формате safetensors, лицензия — MIT. Модель предназначена для генерации текста и кода с ускорением через MTP speculative decoding. В описанном тесте на одной системе с ROCm и vLLM ускорение при двух спекулятивных токенах составило 38,7% для прозы и 54,6% для кода, при принятии черновых токенов в 70,3% случаев. Это результаты конкретной конфигурации, а не гарантия производительности на другом оборудовании. README также сообщает о снижении вместимости KV-кэша на 21,8%; модель рассчитана на запуск через vLLM с соответствующими параметрами спекулятивного декодирования.

Ornith-1.0-35B-NVFP4 — квантованная версия модели deepreinforce-ai/Ornith-1.0-35B, разработанной DeepReinforce. Это агентная модель для генерации кода с механизмом самостоятельного выстраивания рассуждений, основанная на архитектуре qwen3_5_moe: Mixture-of-Experts с 35 млрд параметров и визуальной башней Qwen3-VL. Модель поддерживает текстовые и визуальные входные данные, а заявленные языки включают английский, китайский, японский и французский. Модель предназначена для агентного программирования, генерации и решения задач на код. Доступны режимы с рассуждением и без него; при включённом рассуждении модель может формировать более качественные ответы, но требует увеличенного лимита вывода. В README приведены результаты pass@1: 93,9% на HumanEval+ и 80,6% на MBPP+ в режиме рассуждения, а без рассуждения — 87,1% и 78,1% соответственно. Контекст ограничен 8192 токенами в рекомендуемой конфигурации vLLM. Все линейные слои квантизированы в формате NVFP4 W4A4 с размером группы 16; визуальная башня, маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели уменьшен с 70,3 до 21,9 ГБ, что позволяет запускать её на двух GPU по 16 ГБ через vLLM с автоматическим обнаружением квантования. Ограничениями являются требования к нескольким GPU, зависимость от совместимой инфраструктуры vLLM и необходимость корректно извлекать ответ после блока </think> при оценке режима рассуждения. Модель распространяется по лицензии MIT; производные веса и исходная модель атрибутированы DeepReinforce.

Ornith-1.5-35B-A3B — языковая модель для генерации текста, разработанная командой Ornith AI. Она относится к семейству Ornith-1.5 и создана с применением подхода непрерывного самоулучшения: модель самостоятельно генерирует новые учебные задачи, выявляет эффективные стратегии их решения и совершенствуется посредством reinforcement learning. В основе Ornith-1.0, на которой развивалась эта линейка, использовались Qwen3.5 и Gemma4 с дополнительным продолжением предобучения, mid-training и post-training. Модель предназначена прежде всего для программирования и агентных сценариев, включая работу в терминале, решение задач из репозиториев и автоматизацию многошаговых операций. Это mixture-of-experts-модель с общим размером около 35 млрд параметров, из которых для обработки каждого токена активируется примерно 3 млрд. В карточке не указаны поддерживаемые языки, размер контекста и мультимодальные возможности; по заявленному pipeline_tag это text-generation-модель. К сильным сторонам относятся результаты на coding- и agentic-бенчмарках: заявлены оценки 67,8 и 68,5 на Terminal-Bench 2.1 в конфигурациях Terminus-2 и Claude Code, а также 79 на SWE-bench Verified. По данным разработчика, модель превосходит сопоставимую Qwen3.6-35B-A3B и ряд плотных моделей в агентном программировании. Ограничения, требования к оборудованию и особенности инференса в README не описаны. Модель распространяется по лицензии MIT.

Ornith-1.5-9B-MLX-6bit — компактная языковая модель семейства Ornith-1.5, представленная проектом Ornith. Это плотная модель на 9 млрд параметров, адаптированная для запуска с использованием MLX и 6-битного квантования. Модель предназначена прежде всего для генерации текста и эффективного локального развертывания на одной GPU; семейство также ориентировано на запуск на периферийных и мобильных устройствах в квантованном варианте Ornith-1.5-9B-Mobile. Ornith-1.5 развивает Ornith-1.0, созданную на основе Qwen3.5 и Gemma4 с дополнительным continued pretraining, mid-training и post-training. Ключевая особенность новой версии — цикл самоулучшения, в котором совместно оптимизируются генерация задач, построение scaffold и rollout решений с применением reinforcement learning. Такой подход рассчитан на задачи программирования, работу с терминалом и автономное решение инженерных задач. В README приведены результаты на Terminal-Bench 2.1, SWE-bench Verified, SWE-bench Pro и других тестах; для Ornith-1.5-9B указаны результаты 46,2 и 47 на двух конфигурациях Terminal-Bench 2.1, 70,6 на SWE-bench Verified и 47,5 на SWE-bench Pro. Сильными сторонами модели являются небольшой для современных reasoning- и coding-моделей размер, возможность эффективного single-GPU deployment и ориентация на программирование и агентные сценарии. Ограничения заключаются в том, что предоставленные данные не содержат сведений о размере контекстного окна, поддерживаемых языках, мультимодальности, точной базовой архитектуре и лицензии; эти характеристики нельзя достоверно определить по карточке.

OsaurusAI/Ornith-1.5-9B-MXFP8 — это 8-битная сборка модели Ornith 1.5-9B, подготовленная для MLX Джихо Джангом на основе модели Ornith AI. Она предназначена для агентного программирования, рассуждений и работы с инструментами. Архитектура Qwen3.5 сочетает gated-delta linear attention с полным вниманием в соотношении 3:1; модель имеет 27-слойную башню зрения. Размер файлов сборки — 9,45 GiB. Модель принимает текст, изображения и видео и выдаёт текст. Режим рассуждений включён по умолчанию; доступен вариант генерации без содержимого блока рассуждений. В карточке приведены результаты SWE-bench Verified 79 и Terminal-Bench 2.1 67,8. Сборка служит 8-битным эталоном качества для вариантов JANG. Лицензия — MIT.

Agnuxo публикует локальную GGUF-модель для генерации кода на основе Phi-3.5 Mini Instruct. Карточка описывает её как помощника для программирования и разговорного взаимодействия; модель можно запускать через Ollama, а формат файлов указан как GGUF F16. Количество параметров в доступных сведениях не приведено. Модель предназначена для генерации и помощи с кодом на Python, JavaScript, TypeScript, Rust, Go и C++, включая примеры научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Указаны также возможности координации агентных задач и интеграции с MCP и A2A. Лицензия — Apache-2.0. Карточка не содержит результатов оценки качества; заявленные в ней достижения и возможности не подтверждены независимыми данными.

piiguard — модель NER, разработанная FlowX AI для библиотеки border. Она анализирует текст на входе и выходе LLM и размечает персональные данные восемью типами: имена, адреса электронной почты, телефоны, национальные идентификаторы, IBAN, номера карт, даты и местоположения. Модель основана на XLM-RoBERTa и использует токен-классификационную голову с BIO-метками; размер — 305,2 млн параметров, контекст — 514 токенов. В карточке указано обучение на окнах длиной 96 токенов. Доступен экспорт ONNX FP16, также в метаданных указан формат safetensors. Модель рассчитана на использование через библиотеку flowx-border, которая применяет argmax и формирует структурированное решение с записью доказательств. Она предназначена для обнаружения и фиксации чувствительных фрагментов текста в потоках LLM, а не для общей классификации PII. Заявлена поддержка 26 языков, включая русский; для языков, не перечисленных в карточке, поддержка не подтверждена. Лицензия — Apache-2.0. Обучающие данные синтетические, поэтому качество на реальных данных может отличаться. Оценка LOCATION в приведённом тестовом наборе отсутствует, а метки NATIONAL_ID и CARD могут назначаться неверно; приведённые в README высокие результаты на синтетическом тестовом разбиении не свидетельствуют о надёжности на практических данных. Для текстов длиннее обучающего окна необходимы разбиение на части и объединение результатов; сама модель не обеспечивает соответствие нормативным требованиям.

pplx-pii-masking-MLX — это версия весов в формате MLX модели pplx-pii-masking, разработанной Perplexity AI для обнаружения и маскирования персональных и других чувствительных данных в разговорных данных. Модель предназначена для задач token classification и оценки чувствительности беседы, включая обработку текстов перед их сохранением, анализом или передачей в другие системы. В основе используется двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b и лимитом контекста 4096 токенов. Модель поддерживает английский и мультиязычный ввод. Голова классификации токенов с 37 выходами использует BIOES-разметку для девяти категорий PII: имя человека, номер счёта, URL, дата, адрес, электронная почта, телефон, прочие персональные данные и секреты. Дополнительная голова оценивает чувствительность всей беседы. Линейные проекции backbone квантизованы до 8-битного affine-формата с размером группы 64; эмбеддинги и веса нормализации имеют формат bf16, а обе головы — fp32. Размер файла весов составляет около 779 МБ. К сильным сторонам относятся специализированное выделение PII, constrained Viterbi-декодирование BIOES-меток, отображение найденных фрагментов на символьные позиции и возможность запуска через MLX на Apple Silicon. Репозиторий содержит веса и конфигурацию, но не включает реализацию модели или загрузочный скрипт, поэтому для инференса потребуется совместимая реализация двунаправленного Qwen3-энкодера, квантизованных проекций и обеих голов. Документы длиннее 4096 токенов необходимо разбивать на части. Модель распространяется по лицензии MIT.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Llama — мультимодальная модель семейства Qwen3.6-35B-A3B, опубликованная пользователем oktayd. Это производный вариант, собранный на основе Qwen3.6-35B-A3B с использованием нескольких этапов reasoning-дистилляции, ablation, Heretic и OBLITERATUS Nuclear, а также дообучения Hermes для function calling, агентских сценариев, работы с кодом, терминалом, файлами и репозиториями. Указанная в названии связь с Opus 4.7 относится только к унаследованной линии дистилляции и не означает включение проприетарной модели Claude. Модель предназначена для генерации текста, анализа изображений и текста, рассуждений, программирования, использования инструментов и агентских задач. Архитектура — mixture-of-experts Qwen3.6, представленная в GGUF как qwen35 или qwen3_5_moe: всего около 35 млрд параметров, из которых активируется около 3 млрд. Поддерживаются контекст до 262 144 токенов, английский язык и мультимодальный ввод через отдельный F16 vision projector. Доступны варианты квантования MXFP4_MOE и Q4_K_M для запуска в llama.cpp. По приведённым тестам модель особенно сильна в соблюдении сложных инструкций: в IFEval она получила 9/10 по строгим промптам и 17/18 по строгим инструкциям. На небольших выборках она показала сопоставимые с базовым сравнением результаты в HumanEval+, MMLU-Pro, GSM8K и BBH, однако уступила в MBPP+ и продемонстрировала проблемы с зацикливанием или усечением вывода в отдельных задачах MuSR. Поддержка одновременного использования Vision и MTP, финальная проверка FreeToken-сервинга и комбинированные мультимодальные сценарии ещё не подтверждены. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется основной GGUF-файл вместе с соответствующим vision projector; заявленная поддержка относится к llama.cpp.

Qwable-9B-Claude-Fable-5-GGUF — семейство GGUF-квантизованных версий модели Qwable-9B-Claude-Fable-5, разработанной Empero. Модель создана на базе Qwen3.5-9B с полным дообучением параметров на трассах агентного программирования и рассуждений, дистиллированных из Claude Fable 5 и GPT-5.5 terminal agent. Распространяется для запуска через llama.cpp, Ollama, LM Studio и другие GGUF-совместимые среды. Модель предназначена прежде всего для программирования, терминальных и агентных сценариев, технического рассуждения и работы с инструментами. Она мультимодальная: поддерживает текст и изображения, однако для обработки изображений требуется отдельный vision projector mmproj с CLIP vision encoder. Основной язык — английский. Архитектура унаследована от Qwen3.5-9B и включает гибридный стек внимания с чередованием Gated DeltaNet linear attention и Gated full attention; заявлен длинный нативный контекст и словарь примерно из 152 тысяч токенов. Доступны варианты от BF16 до Q4_K_M размером примерно от 17 до 5,3 ГБ. Сильные стороны модели — готовое поведение для coding и agentic-задач, включая работу с терминалом и отдельные проявления security-aware подхода. По заявленной качественной проверке 27 из 34 ответов были признаны корректными и чистыми, однако полноценный набор бенчмарков ещё не опубликован. Ограничения включают меньшую надёжность в общих знаниях и длинных фактологических ответах, возможное снижение качества в низких квантизациях и отсутствие дополнительной safety-настройки. Ответы начинаются с блока <think>, который рекомендуется удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0; при использовании следует учитывать происхождение обучающих данных и организовать собственную проверку безопасности.

Модель goofyk/qwen2.5-coder-1c-7b — дообученная разработчиком goofyk версия Qwen2.5-Coder-7B. Это плотная авторегрессионная языковая модель архитектуры Qwen2, предназначенная для генерации текста; базовая модель ориентирована на задачи программирования. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Дообучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL. Модель можно применять для генерации кода и текстовых ответов в сценариях программирования. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-GGUF — квантованная в формате GGUF версия базовой модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантование подготовил bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и автодополнения исходного кода, а также других сценариев текстовой генерации, связанных с программированием; это базовая модель, поэтому она не ориентирована на диалоговый режим и instruct-задачи. Модель имеет 32 миллиарда параметров и обучена на 5,5 триллиона токенов. Заявлена поддержка контекста до 128 тысяч токенов с настройками RoPE и коэффициентом YaRN 4.0 при исходной длине контекста 32 тысячи токенов. В метаданных указан английский язык. Формат GGUF и использование llama.cpp упрощают применение совместимых локальных средств инференса, однако конкретные требования к памяти и производительность зависят от выбранного уровня квантования и оборудования. К сильным сторонам относятся специализация на коде, большой размер модели и расширенный контекст. Ограничения включают базовый, а не инструкционно настроенный характер, возможное снижение точности из-за квантования и риск генерации ошибочного или небезопасного кода. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-Coder-3B-Q8_0-GGUF — это квантизированная модель для генерации кода и другого текста, преобразованная в формат GGUF проектом ggml-org из базовой модели Qwen/Qwen2.5-Coder-3B. Модель относится к семейству Qwen2.5-Coder и предназначена для запуска с помощью llama.cpp, в том числе локально через командную строку или сервер. Модель имеет размер 3B параметров и представлена в формате Q8_0. Она поддерживает текстовый ввод и вывод; в карточке указан английский язык. Основные сценарии использования — генерация программного кода, помощь в задачах разработки и текстовая генерация. В примере запуска используется контекст длиной 2048 токенов, однако максимальный размер контекста в предоставленных данных не указан. Преимуществами являются специализированная направленность на программирование, компактный размер по сравнению с более крупными моделями и совместимость с llama.cpp. Ограничения связаны с отсутствием подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и максимальном контексте; модель следует оценивать с учётом ресурсов локального запуска и особенностей квантизации. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen2.5-Coder-3B.

Agnuxo публикует эту модель как локального помощника для генерации кода на основе Qwen2 7B Instruct. Это плотная языковая модель примерно с 7 млрд параметров, распространяемая в формате GGUF с точностью F16; метаданные указывают поддержку чата и генерации текста. Карточка заявляет работу с Python, JavaScript, TypeScript, Rust, Go и C++, а также с научными вычислениями и библиотеками машинного обучения. Модель предназначена для генерации и помощи при написании кода, включая научные вычисления и задачи машинного обучения; её можно запускать локально через Ollama или Transformers. В метаданных указаны английский и испанский языки, а лицензия — Apache-2.0. Заявления карточки о наградах и сравнительном качестве не подтверждают независимые результаты оценки; параметры контекстного окна и конкретные показатели качества не приводятся.

ssmits/Qwen2-7B-Instruct-embed-base — модель эмбеддингов на основе Qwen2, представленная автором репозитория ssmits. Это плотная Transformer-модель класса Qwen2Model с 7,1 млрд параметров; у неё удалён слой lm_head, поэтому она предназначена для получения векторных представлений текста. Модель распространяется в формате safetensors и использует библиотеку sentence-transformers. Её можно применять для извлечения признаков, сравнения сходства предложений и классификации текста. Контекст составляет до 32 768 токенов; в карточке указан английский язык, а серия Qwen2 описана как адаптированная к нескольким естественным языкам и языкам программирования. Лицензия — Apache-2.0. Автор предупреждает, что модель не показывает высокой эффективности без дополнительного дообучения, и отмечает потребление более 24 ГБ видеопамяти в собственных тестах. Для получения эмбеддингов требуется выбрать подходящую операцию pooling поверх контекстных представлений.