II.7DevOps, облако и эксплуатация IT-систем

Darwin-397B-ZTC — языковая модель семейства Darwin от VIDRAFT, созданная на базе Qwen/Qwen3.5-397B-A17B. Это разреженная MoE-модель с архитектурой Qwen3.5 MoE, общим масштабом 397 млрд параметров и примерно 17 млрд активных параметров. Веса представлены в формате compressed-tensors W8A8 FP8; README указывает размер около 418,7 ГБ. Модель предназначена для сложных рассуждений, генерации кода и работы в агентных сценариях с вызовом инструментов. Поддерживает корейский и английский, а также заявлена поддержка китайского и японского. Контекст — до 262 тысяч токенов. Ключевая особенность версии ZTC — оценка уверенности по внутреннему состоянию модели до начала генерации ответа, чтобы отсеивать потенциально ошибочные ответы и рискованные действия. В README приведены результаты на GPQA Diamond и оценке достоверности ответов, однако качество проверки зависит от модели, создавшей проверяемый ответ: перенос на существенно отличающуюся смесь генераторов требует отдельной оценки. Для запуска заявлена совместимость с Transformers, vLLM и SGLang; масштаб модели требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

unsloth/DeepSeek-R1-BF16 — версия DeepSeek-R1, опубликованная Unsloth и представленная в формате Safetensors для Transformers. Модель основана на DeepSeek-R1 от DeepSeek и предназначена для диалоговой генерации текста с упором на рассуждения, решение математических задач и помощь с кодом. В карточке указана архитектура DeepSeek-V3; размер составляет 37,6 млрд параметров, длина контекста — до 163 840 токенов. Модель может применяться для пошагового анализа сложных вопросов, объяснения решений, генерации и разбора кода, а также ответов в диалоге. Указанная лицензия — MIT. Для практического использования учитывайте, что ответы могут содержать ошибки, а многошаговые рассуждения — быть избыточными; README не приводит оценок качества именно этой сборки.

DeepSeek-R1-Distill-Qwen-32B-bf16 — языковая модель с архитектурой Qwen2, опубликованная сообществом mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит 32-миллиардную модель, конвертированную из deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.21.1; исходная модель является дистилляцией DeepSeek-R1 на базе Qwen. Модель предназначена для диалоговой генерации текста и рассуждений, в том числе для решения задач по математике и программированию. Заявленная длина контекста составляет 131072 токена. Поддерживаются чат и интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения по качеству и условиям применения в README не описаны.

DNA 3.0 — мультимодальная модель семейства Qwen, дообученная компанией Dnotitia на базе Qwen/Qwen3.6-35B-A3B. Это модель Mixture-of-Experts с 35 млрд общих и примерно 3 млрд активных параметров, объединяющая обработку текста и изображений; заявленная архитектура использует разреженные MoE-слои и гибридное внимание. Модель рассчитана на диалоги, аналитические рассуждения, агентное программирование, работу с инструментами и визуальное понимание. Дополнительное обучение включает корпоративные сведения и терминологию Dnotitia, поэтому модель подходит для сценариев, где нужен ассистент с контекстом этой компании. README заявляет поддержку 201 языка и диалекта и контекст до 262 144 токенов, расширяемый примерно до 1 010 000 токенов с YaRN. Модель совместима с Transformers, vLLM, SGLang и KTransformers; для производственного развёртывания рекомендуется многопроцессорная инфраструктура. Модель обучалась по методике с ослабленным отказом от ответов и может выдавать содержание, которое другие модели отклоняют. Она может проявлять предвзятость в пользу Dnotitia, наследует ограничения базовой модели и способна галлюцинировать; для чувствительных сценариев необходимы проверка человеком и собственные меры модерации. Лицензия — Apache-2.0.

DNA 3.0-397B-A17B — дообученная Dnotitia мультимодальная модель Mixture-of-Experts на базе Qwen/Qwen3.5-397B-A17B. Она предназначена для диалогов и рассуждений, агентного программирования, работы с инструментами, анализа изображений и видео, а также сценариев, связанных с корпоративными знаниями и продуктами Dnotitia. Архитектура сочетает разреженные MoE-слои с линейным вниманием Gated DeltaNet; всего в модели 397 млрд параметров, активны 17 млрд. Контекст составляет 262 144 токена, с расширением примерно до 1 010 000 через YaRN. Модель заявляет поддержку 201 языка и диалекта, с особым вниманием к корейскому языку и корпоративным сценариям. Дообучение включает корпоративную персону Dnotitia, более широкое следование запросам с меньшим числом отказов и сохранение цепочек рассуждений в многошаговом диалоге. Поддерживаются режим рассуждений и интерфейс вызова инструментов; для развёртывания доступны Transformers и движки vLLM, SGLang и KTransformers. Лицензия — Apache-2.0. Для обслуживания модели такого размера рекомендуется мног GPU-серверная инфраструктура. Модель может давать ответы с корпоративным уклоном при обсуждении Dnotitia, реже отказывается на чувствительные запросы и наследует ограничения базовой модели, включая возможные предвзятость и языковые пробелы. Возможны галлюцинации, особенно на узкоспециальные, актуальные и требующие высокой числовой точности темы; для ответственных решений необходима проверка человеком.

Dolphin-2.9.2-Phi-3-Medium-abliterated-GGUF — это квантованное в формате GGUF семейство версий языковой модели Dolphin-2.9.2-Phi-3-Medium-abliterated. Исходная модель опубликована cognitivecomputations, а квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая программирование, решение математических задач, работу с агентскими инструкциями и обычный чат. Указан английский язык; сведения о поддержке других языков отсутствуют. Модель основана на unsloth/Phi-3-mini-4k-instruct и обучалась на наборах Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и других. Доступны варианты квантования от Q8_0 до Q2_K и IQ2/IQ3/IQ4; размер файлов составляет примерно от 4,19 до 14,83 ГБ. Более высокие уровни квантования обычно сохраняют лучшее качество, а низкие уменьшают требования к памяти ценой качества. Архитектура, точное число параметров, модальности и фактический размер контекста в README не указаны, однако название базовой модели указывает на вариант с контекстом 4K. Сильными сторонами являются локальный запуск через llama.cpp, широкий набор инструкционных и кодовых данных, а также выбор вариантов квантования для разного объёма доступной памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие подтверждённых характеристик производительности или безопасности; обозначение abliterated также указывает на модификацию исходной модели, поэтому ответы требуют проверки. Модель распространяется по лицензии MIT.

Dolphin V2 8B Abliterated — языковая модель для генерации текста, разработанная 0arch-io для исследовательских задач TRC на базе Qwen/Qwen3-8B. Модель дообучена на 1,35 млн инструкционных примеров, включая данные для диалогов, следования инструкциям, математического рассуждения и генерации кода, а затем подвергнута abliteration — удалению остаточного поведения отказа от ответов. Заявлена как модель без контентных фильтров, поэтому требует ответственного применения. Модель построена на архитектуре Qwen3ForCausalLM и содержит около 8,2 млрд параметров: 36 слоёв, 4096-мерное скрытое представление, 32 attention heads и 8 KV heads. Она работает в формате bfloat16, поддерживает контекст длиной до 4096 токенов в обучении и до 40960 токенов согласно заявленному максимальному ограничению. Указан английский язык и сценарий text generation. В README приведены результаты на ARC-Challenge, HellaSwag, TruthfulQA и Winogrande, однако они не характеризуют все прикладные сценарии. К сильным сторонам относятся instruction tuning, диалоговые и кодовые задачи, математическое reasoning, а также доступность GGUF-квантизаций Q8_0 и Q4_K_M для локального запуска через llama.cpp или Ollama. Ограничения включают отсутствие защитных отказов и фильтров, исследовательский статус и отсутствие данных о качестве на других языках и более широком наборе задач. Модель распространяется по лицензии Apache 2.0.

DataSoul/DwQ-R1-32B-v0.1 — слитая модель генерации текста, созданная с помощью mergekit методом Linear из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated и huihui-ai/QwQ-32B-Coder-Fusion-9010. В конфигурации слияния веса моделей составляют 0,9 и 0,1 соответственно; архитектура — плотная Qwen2ForCausalLM, размер — 32 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для диалоговой генерации текста и может применяться для рассуждений и помощи с задачами программирования благодаря объединению двух исходных моделей. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Gemini 2.5 Pro Preview 06-05 — предварительная версия мультимодальной модели Google Gemini 2.5 Pro. Она предназначена для сложных задач рассуждения, программирования, математики и науки. В карточке указаны способности к рассуждению, но подробности об архитектуре, размере и длине контекста не приведены. Модель ориентирована на сценарии, где требуется разбирать запрос и формировать содержательный ответ, включая помощь с кодом и решение математических задач. Метаданные классифицируют её как image-text-to-text, однако README не уточняет поддерживаемые типы входных данных. Условия лицензии в доступных сведениях не описаны.

Это экспериментальная дообученная версия Gemma 4 26B A4B IT, подготовленная glyphsoftware с помощью Unsloth. Модель обучена методом supervised fine-tuning на примерно 8,7 тыс. примеров рассуждений, дистиллированных из Claude Opus 4.6 и 4.7. Она предназначена для диалогов и генерации текста с упором на многошаговое рассуждение, планирование и самопроверку; поддерживает интерфейс вызова инструментов. Основа — мультимодальная архитектура Gemma4ForConditionalGeneration с экспертной архитектурой MoE. Базовая модель принимает текст, изображения, аудио и видео; README заявляет контекст до 262 тыс. токенов. Метаданные указывают формат safetensors и лицензию GPL-3.0. Обучающие примеры акцентируют математику, код, логику и разбиение задач на шаги. Мультимодальные возможности унаследованы от базовой модели и специально не улучшались этим дообучением. Небольшой обучающий набор скорее влияет на стиль рассуждений, чем обеспечивает широкий прирост возможностей; возможны ошибки и перенос особенностей стиля и отказов Claude. Дополнительная настройка безопасности не проводилась, поэтому для высокорисковых сценариев нужны проверка человеком и собственные защитные меры.

GLM-Z1-32B-0414 — языковая модель с 31,6 млрд параметров от Zhipu AI (zai-org), созданная на базе GLM-4-32B-0414. Это плотная autoregressive-модель семейства GLM-4 для генерации текста и диалогов, обученная рассуждению и дообученная с помощью reinforcement learning на задачах математики, программирования и логики. Поддерживает китайский и английский языки; родной контекст — 32 768 токенов. Модель предназначена для сложных задач, где полезны пошаговые рассуждения: решения математических задач, помощь с кодом, логический анализ, ответы на вопросы и подготовка отчётов. Карточка также указывает интерфейс для вызова инструментов. Для входов длиннее 8 192 токенов README рекомендует при необходимости включать YaRN; это может немного ухудшить качество на коротких текстах. В истории диалога следует сохранять только видимый пользователю ответ, поскольку модель использует скрытое рассуждение. Модель распространяется по лицензии MIT.

Hercules-Qwen1.5-14B — разговорная языковая модель, разработанная M4-ai и дообученная на 700 тысячах примеров Hercules-v4 от Qwen1.5-14B. Она предназначена для работы в роли универсального ассистента: отвечает на вопросы, помогает с математикой и программированием, поддерживает вызов функций и ролевые диалоги. Архитектура — плотная Qwen2ForCausalLM с 13,4 млрд параметров; модель рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors. В карточке заявлена поддержка английского и, возможно, китайского языков. Обучение проводилось в bf16 с длиной последовательности 1024; оценка качества в карточке не приведена. Лицензия указана как tongyi-qianwen license, а метаданные классифицируют лицензию как other. Разработчик предупреждает о рисках, смещениях и ограничениях модели.

Locutusque/Hyperion-1.5-Mistral-7B — разговорная языковая модель, опубликованная M4-ai и дообученная на наборе Hyperion-v1.5 на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов; веса доступны в формате safetensors. Модель предназначена для диалоговых ответов на сложные вопросы, научных рассуждений, генерации и понимания кода, математических и логических задач, а также работы с медицинскими текстами. В README заявлена поддержка английского языка и применение в обучающих системах, профессиональных помощниках и технических чат-интерфейсах. Качество и согласованность ответов могут варьироваться из-за неоднородного форматирования и качества разметки обучающих данных. Медицинские и другие предметные ответы требуют проверки. Модель распространяется по лицензии Apache-2.0.

IsValorum публикует эту сборку Iris-mini-MTP APEX-I-MiniPlus — квантованную в GGUF версию MoE-модели на архитектуре qwen35moe, предназначенную для генерации текста в диалоге. Веса содержат около 35 млрд параметров, из которых, по README, примерно 3,2 млрд активируются на токен; размер файла составляет 14,84 ГБ, а заявленная средняя точность квантования — 3,42 BPW. Модель сохраняет встроенную голову Multi-Token Prediction для спекулятивного декодирования. Сборка рассчитана на генерацию текста, включая рассуждения, математику и код. README описывает выборочное квантование слоёв и компонентов, а также запуск через llama.cpp; для некоторых конфигураций заявлена работа с контекстом до 256 тысяч токенов. Метаданные указывают поддержку 13 языков, включая русский, английский, китайский, японский и арабский. Репозиторий распространяется по лицензии Apache-2.0. Это прежняя итерация MiniPlus, а не текущая спецификация разработчика. Приведённые в README показатели скорости, качества, принятия предсказанных токенов и использования памяти являются заявлениями автора и зависят от оборудования и настроек; заявленные результаты не следует считать независимой оценкой.

Liberated-Qwen1.5-7B — разговорная языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов; при дообучении использовались последовательности длиной 8 000 токенов. Модель дообучена методом qLoRA на открытых наборах данных, включая OpenHermes-2.5, Code-Feedback, CodeFeedback-Filtered-Instruction и синтетические многоходовые диалоги SystemChat. Она предназначена для ответов на запросы, ведения продолжительных диалогов и следования системным инструкциям, в том числе необычным или механическим. Также её можно использовать для генерации кода и инструкционного текста. В README указано, что при обучении не добавлялись защитные ограничения или цензура, поэтому модель может выдавать нежелательное содержание. Перед предоставлением доступа через сервис разработчик рекомендует добавить собственный слой выравнивания. Лицензия — tongyi-qianwen.

Llama-3-8B-Magpie-Align-SFT-v0.2 — разговорная языковая модель, дообученная командой Magpie-Align на базе meta-llama/Meta-Llama-3-8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K с примерами математики, программирования и рассуждений. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для ответов на инструкции и диалоговых сценариев, включая задачи на рассуждение, математику и код. В README сообщаются результаты на MT-Bench, Alpaca Eval 2 и Arena Hard, но они не гарантируют качество на конкретных запросах. Для лучшей работы рекомендуется официальный шаблон чата Llama 3. Модель рассчитана прежде всего на английский язык. Распространяется по лицензии Meta Llama 3 Community License; применяются условия этой лицензии.

ceia-aisdk/llm-medium-v1 — распространяемый CEIA AI SDK артефакт GGUF на основе инструктивной языковой модели Qwen2.5-7B-Instruct. CEIA не обучала эти веса: репозиторий содержит квантованную версию Q4_K_M, подготовленную bartowski, для использования через псевдоним SDK llm/medium@1. Модель предназначена для диалогов и генерации текста по инструкциям. Базовая Qwen2.5-7B-Instruct поддерживает также генерацию кода и структурированных ответов. Репозиторий использует формат GGUF и распространяется по лицензии Apache-2.0, как и базовая модель.

marin-8b-instruct-GGUF — это набор GGUF-квантизированных файлов модели marin-community/marin-8b-instruct, подготовленный mradermacher. Модель предназначена для генерации текста и выполнения инструкций; варианты GGUF позволяют запускать её локально с разным балансом между качеством, скоростью и потреблением памяти. При обучении использовались наборы данных AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, natural_reasoning, OpenThoughts-114k-math и smoltalk, что указывает на применимость к программированию, рассуждениям, математическим и общим диалоговым задачам. Размер базовой модели — 8 млрд параметров, однако точная архитектура и максимальная длина контекста в README не указаны. Заявлен английский язык; сведения о поддержке других языков и модальностей отсутствуют, поэтому модель следует считать текстовой и ориентированной прежде всего на англоязычные сценарии. Доступны варианты от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди перечисленных. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а также настройка под задачи программирования, рассуждений и генерации текста. Более сильное сжатие уменьшает требования к памяти, но может снижать качество; README отдельно отмечает более низкое качество Q3_K_M. Модель распространяется по лицензии Apache-2.0.

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MiniMax-M1-40k-hf — открытая по весам языковая модель компании MiniMax для рассуждений, диалога и построения агентных приложений. Это версия с бюджетом размышления 40K, предназначенная для Transformers; в README для других открытых фреймворков рекомендуется альтернативный репозиторий MiniMax-M1-40k. Модель использует гибридную архитектуру Mixture-of-Experts с механизмом lightning attention. В метаданных указаны 21,6 млрд параметров, а README описывает базовое семейство MiniMax-M1 как модель, рассчитанную на контекст до 1 млн токенов. Обучение с подкреплением охватывало математические задачи и программную инженерию; заявлены сильные результаты на сложных задачах кодирования, использования инструментов и работы с длинным контекстом. Модель поддерживает чат и интерфейс вызова инструментов. Подходит для решения сложных математических задач, анализа длинных документов, программирования и агентных сценариев с вызовом внешних функций. README указывает рекомендации по параметрам генерации, но фактическое качество зависит от задачи и конфигурации инференса. Лицензия репозитория — Apache-2.0.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MyNewModel-ReleaseRepo — выпуск MyNewModel от небольшой команды разработчиков. Это плотная авторегрессионная языковая модель семейства Llama для генерации текста; в README описаны улучшения после более длительного этапа постобучения и изменения состава данных. Модель предназначена для диалогового помощника, многошаговых рассуждений, решения математических задач, ответов на вопросы и работы с инструментами через формат function calling. Авторы сообщают об улучшении результатов на задачах рассуждения и программирования, а также о снижении ошибок в коротких фактологических ответах. Для сложных задач модель использует больше токенов рассуждения; README приводит пример роста доли решённых олимпиадных задач по алгебре с 61% до 79%. В метаданных указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0. Размер модели, контекстное окно и поддерживаемые естественные языки в предоставленных данных не описаны.

Olmo-3-32B-Think-DPO — англоязычная авторегрессионная Transformer-модель для генерации текста и диалогов, разработанная Allen Institute for AI (Ai2). Это плотная модель семейства OLMo 3 с 31,7 млрд параметров, дообученная методом DPO на базе allenai/Olmo-3-32B-Think-SFT; в обучающих данных серии Olmo 3 представлены задачи по математике, программированию, диалогу и общим знаниям. Модель ориентирована на ответы с пошаговыми рассуждениями, в том числе для математических и программных задач. Модель работает через библиотеку Transformers и поддерживает контекст до 65 536 токенов. Заявленный язык — английский. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное назначение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и без дополнительной фильтрации — вредоносный или чувствительный контент; ответы следует проверять.

Olmo-3-7B-Instruct-DPO — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Модель содержит 6,9 млрд параметров и принимает текст, генерируя текст; её длина контекста составляет 65 536 токенов. Репозиторий использует Transformers и форматы PyTorch и safetensors. Модель дообучена методом DPO на базе allenai/Olmo-3-7B-Instruct-SFT на данных Dolci-Think-DPO-7B. Она предназначена для ответов на вопросы, диалога, математики, программирования и общих знаний. В оценках из карточки DPO-версия показывает улучшение по ряду математических бенчмарков относительно SFT-версии. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент; факты следует проверять. Разработчик указывает исследовательское и образовательное применение в соответствии с правилами ответственного использования Ai2.

OpenBuddy CodeLlama 70B v17.1 4K — многоязычная чат-модель семейства LLaMA, разработанная командой OpenBuddy на базе серии Meta LLaMA. Она предназначена для диалоговых ответов и генерации текста, в том числе в сценариях помощи с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 68,8 млрд параметров; репозиторий использует формат safetensors, а контекст составляет до 16 384 токенов. В метаданных и карточке указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Модель может выдавать ошибочные, вредные или оскорбительные ответы, поэтому её не следует использовать для критически важных медицинских, финансовых, юридических решений или управления потенциально опасными системами. Лицензия — LLaMA 2: для использования требуется соответствовать условиям Meta и иметь одобрение на доступ к LLaMA.

Это производная MLX-версия модели Ornith 1.5 35B-A3B, разработанной ornith-ai и адаптированной пользователем Shiftedx. Модель предназначена для генерации текста и работы с изображениями в сценариях image-text-to-text, включая решение задач программирования, вызов функций и инструментов, структурированный вывод, OCR и визуальный анализ. Модель использует гибридную конфигурацию: 4-битное аффинное квантование экспертного блока, 8-битные attention, routing, embeddings, LM head и поздние проекции, а также 60 рекуррентных тензоров в BF16. В составе сохранены 333 нативных BF16-тензора vision и 785 BF16-тензоров MTP. Рекомендуемая среда запуска — MTPLX 2.9.1, MLX 0.32.1 и MLX-LM 0.31.3; рекомендованная глубина speculative decoding — D3. Поддержка vision требует совместимого MLX-VLM или MTPLX runtime. Языки и размер контекстного окна в README не указаны. По результатам локальной квалификации на M4 Max с 64 ГБ unified memory модель показала успешное выполнение 8 из 8 исполняемых Python-задач, 6 из 6 тестов native function calling и parallel tool planning, 4 из 4 визуальных семантических проверок, а также успешные OCR со строгой схемой и проверки сохранности vision- и MTP-тензоров. Utility pass rate составил 83,3%. Abliteration полностью устранила отказы на тестовом наборе, но может снижать предсказуемость безопасного поведения; README отдельно предупреждает, что она не гарантирует корректность или безопасность вывода. Скорость 112,1 токена в секунду измерена на конкретном M4 Max и не является универсальным показателем. Модель распространяется по лицензии MIT, унаследованной от родительской модели. Следует проверять сгенерированный код и вызовы инструментов перед выполнением; без заданной схемы ответа модель может оборачивать JSON в Markdown.

Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX — это сжатая и квантованная производная модели Ornith-1.5-35B-A3B от ornith-ai, подготовленная пользователем mchen04 для запуска на компьютерах Mac с Apple Silicon. Модель предназначена для локальной однопользовательской генерации текста, программного кода, математических ответов, JSON-вызовов инструментов и структурированного вывода через MLX или OpenAI-совместимый сервер. Модель основана на MoE-архитектуре с 35 млрд параметров и примерно 3 млрд активных параметров на токен. В ней число экспертов сокращено с 256 до 192 методом REAP, top-k уменьшен с 8 до 7, а веса преимущественно квантованы в mxfp4 с размером группы 32; общий эффективный размер составляет около 4,33 бита на параметр. Общий эксперт и маршрутизатор используют 8-битное квантование. Указан английский язык, при этом токенизатор и шаблон чата сохранены от исходной модели. Архитектура использует гибридное внимание: 10 из 40 слоёв имеют полное внимание, благодаря чему KV-кэш занимает мало памяти и допускает экономичную работу с длинным контекстом. Основное преимущество — высокая скорость и низкое потребление памяти на Mac с 24 ГБ unified memory: около 49,8 токена в секунду при декодировании, пиковое потребление примерно 14,3 ГБ и работа без постоянного обращения к swap. Модель подходит для локального программирования, математики, чат-сценариев и задач с формальным форматом вывода. Ограничения связаны с потерями от pruning и квантования, зависимостью от Apple Silicon и MLX, а также с тем, что приведённые показатели получены на конечном наборе тестов и конкретной конфигурации оборудования. Доступна по лицензии MIT.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.