II.10Разработка и эксплуатация AI/ML-систем

airoboros-3_1-yi-34b-200k — языковая модель с открытыми весами, созданная автором репозитория на основе 01-ai/Yi-34B-200k. Модель дообучена методом QLoRA ранга 64 на наборе инструкций jondurbin/airoboros-3.1, а затем объединена с базовыми весами. Использует архитектуру LlamaForCausalLM и формат safetensors; содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для генерации текста и выполнения инструкций в формате чата Llama 2. Её можно применять для ответов на вопросы, диалогов, следования текстовым инструкциям и создания текстов. Автор сообщает, что проверял модель ограниченно; во время обучения промпты обрезались до 4096 токенов, поэтому качество работы с длинным контекстом отдельно не подтверждено. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты; перед использованием следует проверить лицензию базовой модели и карточку репозитория.

Sakalti/Anemoi-3B — плотная языковая модель на архитектуре Qwen2, созданная объединением весов Qwen/Qwen2.5-3B-Instruct и bunnycore/Qwen-2.5-3b-Rp-lora_model с помощью mergekit и метода passthrough. Модель содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, следования инструкциям и создания текстов; в метаданных также отмечен интерфейс вызова инструментов. Базовая модель Qwen2.5-3B-Instruct характеризуется как компактная многоязычная чат-модель, однако конкретные языки Anemoi отдельно не перечислены. Для запуска указана библиотека Transformers, а веса представлены в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов. README не сообщает результатов оценки качества или специфических ограничений.

Aria-Base-8K — базовая плотная мультимодальная модель семейства Aria от rhymes.ai, представленная как чекпойнт после этапа мультимодального предобучения. На этом этапе модель обучалась на 1,4 трлн токенов: 1 трлн языковых и 400 млрд мультимодальных; длина последовательностей составляла 8192 токена. Модель предназначена прежде всего для продолжения предобучения, например на специализированных данных для OCR, агентных сценариев или многоязычия, а также для языковых и визуально-языковых задач.

blossom-v4-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, полученная слиянием Mistral-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b методом SLERP. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Её можно применять для чат-ботов, ответов на вопросы, написания текстов и помощи с математическими задачами. В карточке указаны английский и китайский языки; данные также связывают её с наборами для чатов, математики и инструкционного диалога. Модель распространяется по лицензии Apache-2.0. Сведений о специальных ограничениях качества или безопасности в предоставленной карточке нет.

ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 16,50 до 72,31 ГБ. В README не указаны архитектура, поддерживаемые языки, контекстное окно, мультимодальность и точные сценарии применения исходной модели. Для вариантов с более сильным сжатием ожидается снижение качества, тогда как Q6 и Q5 позиционируются как высококачественные, а Q4 — как практичный компромисс для большинства случаев. Модель удобна для локального инференса на совместимом оборудовании, однако требует значительных ресурсов, особенно в вариантах BF16 и высоких разрядностей. Формат лицензии в README не указан; условия использования следует уточнять на странице исходной модели ByteDance-Seed/Seed-OSS-36B-Instruct.

C4AI-Command-R-v01-GGUF — это квантизированная версия языковой модели C4AI Command-R, разработанной Cohere и опубликованной как CohereForAI/c4ai-command-r-v01. Формат GGUF подготовлен Second State Inc. Модель предназначена для локального запуска и инференса через совместимые инструменты, включая LlamaEdge; в README указано, что поддержка LlamaEdge находится в разработке. Модель ориентирована на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Размер исходной модели, архитектура, точные сценарии применения и другие характеристики в README не указаны. Контекстное окно составляет 8192 токена. Доступны варианты квантизации от Q2_K до Q8_0 размером от 13,8 до 37,2 ГБ. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшить качество ответов. Модель квантизирована с использованием llama.cpp b2450. Лицензия модели — CC BY-NC 4.0, поэтому её использование ограничено условиями этой лицензии и некоммерческим характером. Возможности, ограничения по производительности и требования к аппаратному обеспечению в README подробно не описаны.

calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

ColNetraEmbed — мультимодальная модель для поиска по визуальным документам, разработанная Cognitive-Lab на основе Gemma 3 4B IT. Она кодирует изображения документов и текстовые запросы в многовекторные представления размерности 128 на токен и сопоставляет их с помощью позднего взаимодействия ColBERT и оценки MaxSim. Визуальная часть использует SigLIP. Модель предназначена для поиска по сканам и другим изображениям документов, в том числе для межъязыкового поиска и ответов на вопросы по содержимому документов. В карточке заявлена поддержка 22 языков; среди перечисленных — русский, английский, китайский, японский, хинди и арабский. Модель дообучена на Gemma 3 4B IT и распространяется в формате Safetensors по лицензии Gemma. README сообщает о результатах на Nayana-IR Bench и ViDoRe v2, включая преимущество над ColPali-v1.3 на межъязыковых задачах. Многовекторное хранение требует больше места, чем одновекторный вариант NetraEmbed; README приводит для последнего оценку эффективности хранения в 250 раз выше. Для использования нужны этапы кодирования и последующего поиска с поздним взаимодействием.

KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Zigeng/dParallel_Dream_7B_Instruct — инструктивная языковая модель семейства Dream, разработанная исследователями xML Lab Национального университета Сингапура. Она использует подход dParallel: дистилляцию с принудительным повышением уверенности токенов, предназначенную для параллельного декодирования диффузионных языковых моделей и сокращения числа шагов генерации при сохранении качества. Модель подходит для диалоговой генерации текста и задач, где важна быстрая генерация ответов; в карточке также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру Dream, 7,1 млрд параметров и контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; лицензия — MIT. README описывает ускорение на GSM8K и MBPP для dParallel, применённого к LLaDA-8B-Instruct, но не приводит отдельные показатели для этой Dream-модели.

ERNIE-4.5-21B-A3B-PT-GGUF — GGUF-версия текстовой MoE-модели ERNIE-4.5-21B-A3B, разработанной Baidu; репозиторий подготовлен Unsloth. Модель предназначена для генерации текста, общего понимания языка и диалоговых сценариев. В README указана поддержка английского и китайского языков, а тип задачи обозначен как text-generation. Модель имеет 21 млрд параметров, из которых для каждого токена активируются 3 млрд. Архитектура включает 28 слоёв, 20 Q- и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов на токен, а также 2 общих эксперта. Максимальная длина контекста составляет 131 072 токена. Хотя семейство ERNIE 4.5 обучается с учётом текстовых и визуальных модальностей, данная версия в описании обозначена как текстовая и не заявлена для обработки изображений. К сильным сторонам относятся MoE-архитектура с меньшим числом активных параметров при большом общем размере и длинный контекст. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов, а также отсутствие в README подробных результатов тестирования и сравнений качества. Модель распространяется по лицензии Apache 2.0.

ERNIE-4.5-37B-A3B-Thinking-Brainstorm20x — текстовая MoE-модель для генерации и диалога, созданная DavidAU на основе ERNIE-4.5-21B-A3B-Thinking от Baidu с применением Brainstorm 20x. Модель предназначена для творческого письма, мозгового штурма, диалогов, программирования и рассуждений. По карточке, расширение Brainstorm направлено на более подробную и связную прозу, выразительные описания и нестандартные ассоциации; заявлены улучшения на некоторых тестах связности и повествовательного завершения, при небольшом снижении результата BoolQ. Архитектура — ERNIE 4.5 MoE с классом Ernie4_5_MoeForCausalLM; в метаданных указано 5,4 млрд параметров, а карточка описывает расширение исходной модели с 21 до 37 млрд параметров. Контекст составляет 131 072 токена. Модель принимает текст и генерирует текст; карточка указывает английский язык. Доступны веса safetensors и библиотека Transformers, а также возможность использовать исходные веса для конвертации в другие форматы. Лицензия — Apache-2.0. Для квантованных вариантов автор рекомендует не опускаться ниже IQ3 с imatrix или q4_K_S.

GLM-4.7-Flash-MLX-4bit — это 4-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых библиотекой Transformers и инструментами MLX, включая локальный запуск на совместимых компьютерах Apple. В README заявлена поддержка английского и китайского языков. Модель относится к текстовой модальности; сведения о размере, конкретной архитектуре и максимальной длине контекста не указаны. Ключевое преимущество версии — снижение требований к памяти и вычислительным ресурсам за счёт 4-битной квантизации и оптимизации под Apple Silicon. При этом квантизация может влиять на точность и качество генерации по сравнению с исходной моделью, а фактическая производительность зависит от оборудования и настроек запуска. Модель распространяется по лицензии MIT.

GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF — это GGUF-квантизированная версия модели GLM-4.7-Flash, разработанная DavidAU на базе Olafangensan/GLM-4.7-Flash-heretic и исходной модели ZAI-ORG. Модель предназначена для генерации текста, рассуждений, программирования, творческого письма, создания сюжетов и сцен, ролевых сценариев, а также работы с жанрами science fiction, horror и romance. Заявлена как uncensored/heretic-версия с удалёнными или ослабленными отказами, однако для получения более откровенного, грубого или эксплицитного текста может потребоваться явное указание желаемой лексики и уровня детализации. В основе используется MoE-архитектура на 30B параметров с тремя или четырьмя? активными экспертами; README указывает четыре активных эксперта и около 2B активных параметров при генерации. Поддерживаются английский и китайский языки. Модель работает на GPU и CPU, поставляется в формате GGUF, использует NEO и Code imatrix-квантизацию, а также 16-битный выходной тензор для повышения качества финального текста и рассуждений. Заявлен контекст до 200 тысяч токенов без RoPE, при этом рекомендуется использовать не менее 8–16 тысяч токенов для длинных ответов. Для запуска требуется актуальная версия llama.cpp; для некоторых конфигураций рекомендуется отключать Flash Attention из-за возможного снижения скорости. Сильными сторонами являются сочетание малой вычислительной нагрузки активной части MoE, поддержка длинного контекста, улучшения для кода и рассуждений, а также возможность локального запуска на CPU и GPU. Возможные ограничения включают зависимость качества и скорости от конкретного кванта, параметров семплирования и программного окружения, а также склонность к длинным или повторно «полирующимся» ответам. Модель распространяется по лицензии MIT.

Abiray/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF — набор квантизированных моделей в формате GGUF, созданный Abiray на основе Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated от huihui-ai. Базовая модель представляет собой версию Qwythos-9B-Claude-Mythos-5-1M от empero-ai, модифицированную методами abliteration для удаления векторов отказа. Репозиторий также содержит мультимодальные проекционные файлы mmproj для работы с изображениями локально. Модель предназначена для генерации текста, рассуждений и сценариев image-to-text с поддержкой зрения. Заявлены архитектура современного семейства Qwen 3.5, 9 млрд параметров, английский язык и контекст до 1 млн токенов; конкретные возможности зависят от используемой сборки и совместимости с llama.cpp. Доступны варианты квантизации от 3 до 8 бит размером примерно от 4,74 до 9,79 ГБ, включая рекомендуемый компромисс Q4_K_M. Для визуального ввода требуется отдельный проектор mmproj; доступны квантизированный и F16-варианты. К сильным сторонам относятся локальный запуск, широкий выбор квантизации, поддержка длинного контекста и изображений, а также сниженное количество встроенных отказов. Ограничения включают возможную потерю качества при низкой квантизации, требования к свежей версии llama.cpp и необходимость дополнительного проектора для мультимодальной работы. Модель распространяется по лицензии Apache-2.0.

Модель yeeun2/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая Llama-модель на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате инструкций и диалога; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель разработал пользователь yeeun2; для обучения использовались Unsloth и библиотека TRL из Hugging Face. Базовая модель Kakao рассчитана на генерацию текста, программирование, математику и вызов инструментов, однако README не уточняет, какие из этих навыков были целью дополнительного дообучения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Это неофициальная community-квантизация в формате GGUF модели Kimi-Linear-48B-A3B-Instruct, разработанной Moonshot AI. Квантизация выполнена с использованием метода APEX и предназначена для запуска через llama.cpp; модель не связана с Moonshot AI и не endorsed этой организацией. Модель представляет собой гибридную MoE-архитектуру с 48 млрд параметров всего и примерно 3 млрд активных параметров. В большинстве слоёв используется KDA (Kimi Delta Attention, gated-delta linear attention), а в отдельных слоях — полноценное MLA-внимание; FFN построен на 256 маршрутизируемых и одном общем эксперте. Заявленное окно контекста достигает 1 048 576 токенов, однако размер контекста необходимо явно задавать при запуске. Модель предназначена для генерации текста, диалогов и сценариев с инструментами; README не указывает перечень поддерживаемых языков. Доступны варианты APEX-balanced, APEX-i-quality и экспериментальный APEX-handroll. Рекомендуется APEX-balanced: его размер около 33 ГБ, тогда как i-quality занимает около 29 ГБ и показывает увеличение perplexity примерно на 0,34% относительно эталонной версии bf16. Ключевое преимущество — существенное уменьшение размера при сохранении качества, но для работы требуются сборка llama.cpp с поддержкой архитектуры kimi_linear и kimi-k2 pre-tokenizer, а также значительные ресурсы RAM/VRAM. Лицензия MIT распространяется на компоненты, указанные в README.

LeoScorpius-GreenNode-Alpaca-7B-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая языковая модель на базе Mistral-7B-Instruct-v0.2 и LeoScorpius-GreenNode-Alpaca-7B-v1. Разработчик карточки объединил модели методом SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий распространяется по лицензии Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; карточка не приводит оценок или сравнительных тестов.

Sakalti выпустил модель light-3B-beta — объединение языковых моделей на базе Qwen2.5-3B, созданное с помощью mergekit и метода TIES. В объединение включена Qwen/Qwen2.5-3B-Instruct; модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM и 3,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors, указанная лицензия — other. Карточка не приводит сравнительных оценок качества, перечня поддерживаемых языков или подробностей о поведении при вызове инструментов. Перед применением следует проверить качество на целевых задачах и изучить условия лицензии.

Llama 2 70B Chat — разработанная Meta диалоговая языковая модель на 70 млрд параметров. Это авторегрессионный трансформер, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей; версия в репозитории подготовлена для работы с Hugging Face Transformers и хранится в форматах PyTorch и Safetensors. Модель принимает текст и генерирует текст. Она предназначена прежде всего для диалогов в формате ассистента на английском языке: ответы на вопросы, ведение беседы и другие сценарии генерации текста. Контекст составляет 4 тыс. токенов; вариант на 70B использует Grouped-Query Attention для более масштабируемого вывода. Модель может выдавать неточные, предвзятые или нежелательные ответы, а испытания не охватывали все сценарии. Перед внедрением рекомендуется проверка безопасности и настройка под конкретное применение. Использование регулируется лицензией Meta Llama 2; для получения весов требуется принять её условия.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

Llama-3-Swallow-8B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, созданная на основе семейства Meta Llama 3. Модель прошла продолжительное предобучение с добавлением японских текстов, а инструктивная версия — дообучение на примерах инструкций и настройку Chat Vector. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, длина контекста — 8192 токена; веса опубликованы в safetensors и предназначены для Transformers. Модель рассчитана на диалог и генерацию текста на японском и английском языках. Возможные сценарии включают ответы на вопросы, следование инструкциям, суммаризацию, перевод между японским и английским, рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, но отдельные строки таблиц для этой модели здесь не представлены, поэтому конкретный уровень качества по ним оценить нельзя. Разработчики предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Llama 3; условия использования определяются её положениями.

Lumi-v2-llm-jp-4-8b — японско-английская чат-модель, разработанная SousiOmine на основе llm-jp/llm-jp-4-8b-base. Модель с архитектурой Llama и 7,8 млрд параметров прошла SFT на примерно 1,7 млрд токенов данных с шаблоном ChatML; веса доступны в формате safetensors для Transformers. Контекст модели составляет 65 536 токенов. Модель предназначена для диалоговой генерации текста, следования инструкциям и задач рассуждения на японском и английском языках. В обучающие данные вошли открытые наборы для рассуждений, мультиязычных инструкций, научных вопросов и агентного поведения, а также собственные данные разработчика для вопросов и ответов по коду на японском. Лицензия модели — Apache-2.0. Качество ответов зависит от запроса и тематики; карточка не приводит сравнительных оценок или подробных гарантий качества. Лицензии и условия использования отдельных обучающих наборов различаются и требуют проверки по их карточкам.

M7Yamshadowexperiment28_Strangemerges_32Shadow — объединённая методом SLERP модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель создана объединением automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Shadow-7B. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

cloudyu/mistral_18B_instruct_v0.1 — разговорная модель для генерации текста, разработанная на архитектуре Mistral и дообученная методом SFT на vicgalle/alpaca-gpt4. В README указано 80 слоёв; по метаданным модель содержит 17,6 млрд параметров, использует MistralForCausalLM и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций в формате «инструкция — входные данные — ответ». Она принимает текст и генерирует текст. Репозиторий содержит веса в формате Safetensors; лицензия — CC BY 4.0. Карточка не описывает отдельные специализированные предметные области или подробные оценки качества.

Mistral-Nemo-NT-Ko-12B-dpo — диалоговая языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная werty1248 как дополнительное DPO-дообучение модели werty1248/Mistral-Nemo-NT-Ko-12B-sft с помощью LoRA. Она предназначена для генерации ответов по инструкциям и многоходового общения; в описанных тестах показала сильные результаты по письму и программированию, однако DPO дало лишь небольшое общее улучшение относительно базовой SFT-модели. Для DPO использовались англоязычные, корейские и китайские пары предпочтений; часть корейских данных была переведена с английского. Базовая модель поддерживает контекст до 128K токенов, но это дообучение выполнялось с контекстом 8K. Метаданные указывают английский, корейский, японский и китайский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Jackrong/MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-4bit — это языковая модель для генерации текста и задач, требующих рассуждений. Модель разработана Jackrong и представляет собой версию Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, преобразованную в формат MLX с использованием mlx-lm 0.30.7. Модель предназначена для диалоговой генерации и reasoning-сценариев на английском и китайском языках. Она основана на архитектуре Qwen3.5 с размером 9 млрд параметров и использует 4-битное представление, что уменьшает требования к памяти по сравнению с полноразмерной версией. В метаданных также указаны обучение или настройка на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. К сильным сторонам относятся специализация на рассуждениях, поддержка английского и китайского языков и совместимость с экосистемой MLX через библиотеку mlx-lm. Ограничения включают неизвестную длину контекста и отсутствие сведений о мультимодальности; по назначению это текстовая модель. Использование распространяется на условиях лицензии Apache-2.0.

Это квантованные версии инструкционной языковой модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантования Q5_K_M, Q4_K_M, Q4_1, Q4_0, IQ4_NL, IQ4_XS, Q3, Q2 и другие. Размер файлов зависит от варианта и составляет примерно от 245,61 до 730,53 ГБ; для большинства сценариев рекомендуются Q5_K_M и Q4_K_M, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но обеспечивают более низкое качество. Квантование выполнено с использованием imatrix и llama.cpp версии b6317. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, точном формате промптов или лицензии. Поэтому эти характеристики нельзя достоверно определить по представленным данным.

OPT-IML-Max — инструкционно дообученная языковая модель семейства OPT, разработанная Meta. Она обучена на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource, и предназначена для выполнения разнообразных инструкций и генерации текста. Модель использует плотную причинную архитектуру OPTForCausalLM, содержит около 1,7 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для ответов на вопросы, суммаризации, перефразирования и других текстовых задач, сформулированных в виде инструкций. Карточка не уточняет список поддерживаемых естественных языков. Возможны фактические ошибки, токсичные высказывания и воспроизведение стереотипов; ответы требуют проверки. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.