II.8Инженерия данных и аналитика

Thalassic-Delta-LLaMa-70B — слитая разговорная языковая модель от TareksGraveyard на архитектуре Llama. Она создана методом SCE с помощью mergekit на основе SicariusSicariiStuff/Negative_LLAMA_70B и объединяет веса Anubis-70B-v1, EVA-LLaMA-3.33-70B-v0.1, 70B-L3.3-Cirrus-x1, L3.1-70B-Hanami-x1 и DeepSeek-R1-Distill-Llama-70B. Модель предназначена для генерации текста и диалогов; базовая модель DeepSeek-R1-Distill-Llama-70B ориентирована также на математические рассуждения, программирование и сложные вопросы. Размер составляет 69,5 млрд параметров, заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует лицензию llama3.3. Автор описывает её как лучший вариант серии Thalassic по своему мнению, однако README не приводит сравнительных оценок или результатов бенчмарков.

Larryvrh опубликовал версию Yi-34B-200K от 01.AI, адаптированную для работы с архитектурой Llama и удобства использования. Это плотная языковая модель на 33,9 млрд параметров для генерации текста; репозиторий содержит веса Safetensors. Заявленная длина контекста — до 200 000 токенов. Модель подходит для диалога и генерации текста на китайском и английском языках, ответов на вопросы по длинным документам, чтения с пониманием, рассуждений, математики и задач по программированию. В README приведены результаты бенчмарков для разных моделей, но отдельные результаты Yi-34B-200K здесь не выделены. Модель может выдавать ошибочные или проблематичные ответы. Лицензия — Apache-2.0.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

ZEUS-8B-V16 — объединённая инструкционная языковая модель T145, созданная методом DARE TIES с помощью mergekit на основе нескольких моделей Llama 3.1. В объединение вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и unsloth/Meta-Llama-3.1-8B-Instruct. Модель имеет архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает запросы в контексте до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; интерфейс также поддерживает вызов инструментов. В README приведены результаты Open LLM Leaderboard, включая 79,25% на IFEval и 32,53% на BBH, однако этих показателей недостаточно для выводов о качестве во всех сценариях. Лицензия в предоставленных данных не указана.

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

Airoboros 13B GPT-4 1.4.1 QLoRA — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная jondurbin с помощью QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом и генерации текста; обучение выполнено на fork FastChat, а данные взяты из набора jondurbin/airoboros-gpt4-1.4.1. Модель рассчитана на ответы на вопросы, следование инструкциям, работу с предоставленным контекстом, программирование, ролевые диалоги, шутки, загадки и викторины. Для диалогов используется шаблон Vicuna 1.1; карточка также описывает формат запросов с контекстом, призванный ограничить ответы предоставленными материалами. Контекст — 2048 токенов. Модель работает с текстом и поддерживает генерацию текста. В карточке указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор отмечает, что модель обучена отвечать без отказов независимо от законности или морали запроса; ответы по контексту всё равно могут содержать выдуманные сведения, поэтому для неизвестных ответов рекомендуется явно просить не придумывать их.

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

Buddhi-128K-Chat — диалоговая языковая модель общего назначения от AI Planet, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для генерации ответов, работы с длинными документами и продолжительными диалогами: в частности, для суммаризации, генерации текста и ответов на вопросы по большому контексту. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстным окном до 131 072 токенов. Для расширения контекста применена техника YaRN; README также описывает Dynamic-YARN. Модель принимает текст и генерирует текст, поддерживает английский язык и использует шаблон инструкций Mistral с маркерами [INST] и [/INST]. Для запуска с контекстом 128K в карточке указано требование около 80 ГБ VRAM, а для 32K — около 40 ГБ; рекомендуется A100. Модель опубликована в формате safetensors под лицензией Apache-2.0. Приведённые в README результаты бенчмарков не являются независимой оценкой, а обработка максимального контекста требует значительных ресурсов.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

GPT-5 Mini — компактная версия GPT-5 от OpenAI для задач рассуждения с умеренной вычислительной нагрузкой. Она рассчитана на сценарии, где важны меньшие задержки и стоимость при сохранении навыков следования инструкциям и настройки безопасности, характерных для GPT-5.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, объединяющая Hermes 2 Pro и Llama 3 Instruct; после слияния модель дополнительно обучали с помощью RLHF. Репозиторий содержит веса Safetensors, а контекст модели составляет 8192 токена. Модель предназначена для многоходового диалога на английском языке и генерации текста. Она использует формат ChatML и обучена следовать системным инструкциям, вызывать функции и формировать структурированные ответы в JSON. Также заявлена возможность извлекать признаки из документов для сценариев RAG. Для вызова инструментов приложение должно распознавать сгенерированный вызов, выполнить соответствующую функцию и передать результат модели. В README приведены результаты нескольких оценок, включая IFEval и MTBench, однако они не гарантируют качество в конкретных приложениях. Лицензия — Llama 3 Community License (llama3); перед использованием следует учитывать её условия. Указанный размер 70B требует существенных вычислительных ресурсов при запуске без квантизации.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Это пользовательская сборка GGUF-модели Iris-mini от IsValorum: базовая модель AllSpark-Research/Iris-mini представлена в формате GGUF с ручной схемой квантования APEX-I-MiniPlus. В карточке заявлена архитектура qwen35moe с 35 млрд параметров и примерно 3,2 млрд активных параметров на токен; веса занимают около 14,84 ГБ. Сборка сохраняет встроенную голову Multi-Token Prediction для ускорения авторегрессивной генерации с помощью спекулятивного декодирования. Модель предназначена для генерации текста в диалогах, рассуждениях, математических задачах и коде. Она поддерживает множество языков, включая английский, китайский, русский, испанский, французский, немецкий, португальский, итальянский, японский, корейский, вьетнамский, тайский и арабский. В README описаны запуски с длинным контекстом вплоть до 256 тысяч токенов, однако эти оценки зависят от конфигурации и оборудования. Автор заявляет, что выбор точности для отдельных слоёв должен лучше сохранять качество рассуждений и синтаксиса, чем некоторые более грубые квантования, при умеренных требованиях к памяти. Это пользовательская сборка, и приведённые в README сравнения производительности и качества являются заявлениями автора, а не независимой оценкой. Лицензия — Apache-2.0.

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

Карточка модели Sing0402/legal-embed-gte-inbatch на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

LLaDA2.0-flash-CAP — языковая модель компании InclusionAI на основе диффузионной архитектуры Mixture-of-Experts. Она предназначена для генерации текста и диалоговых ответов, включая задачи знаний, рассуждений, программирования и математики. Обучение Confidence-Aware Parallel (CAP) повышает уверенность модели в корректных предсказаниях, чтобы ускорить параллельное декодирование. В README указана архитектура базовой LLaDA2.0-flash с 100 млрд параметров, 32 слоями, 32 головами внимания и контекстом 32 768 токенов; метаданные репозитория указывают 5,5 млрд параметров. В сравнении с базовой версией README сообщает ускорение генерации в 1,46 раза при небольшом снижении среднего результата на бенчмарках. Модель работает с текстом; для снижения риска смешения языков авторы рекомендуют температуру 0.0. Репозиторий распространяется по лицензии Apache-2.0.

FireFunction V2 — языковая модель Fireworks AI для диалогов и вызова функций, дообученная на Llama 3. Она построена на плотной архитектуре Llama, содержит 69,5 млрд параметров и принимает текстовый контекст длиной до 8192 токенов. Модель поддерживает обычные инструкции и чат, одиночный и параллельный вызов функций, а также извлечение структурированной информации; в одном запросе можно описать до 20 функций. В карточке Fireworks сообщает о результатах, сопоставимых с GPT-4o на наборе публичных оценок вызова функций, и об улучшении относительно FireFunction v1. Модель не оптимизирована для сотен описаний функций или вложенных вызовов. Лицензия указана как llama3; применение следует сверять с её условиями.

Neurona 8B Beta — предварительная испаноязычная языковая модель от Iker, созданная дообучением Meta-Llama-3-8B. Это экспериментальная первая итерация проекта для проверки скриптов и инфраструктуры обучения; модель содержит около 7,5 млрд параметров и использует архитектуру Llama с плотным декодером causal language modeling. Модель предназначена для генерации текста и диалогов на испанском и английском языках. Обучение на смеси инструкционных, разговорных и тематических наборов данных формирует возможности ответов на вопросы, суммаризации, перевода между английским и испанским, помощи с кодом, function calling и работы со сценариями RAG. Контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Llama 3. README обозначает её как предварительную версию в разработке, поэтому качество и надёжность отдельных возможностей могут быть непостоянными; условия лицензии Meta Llama 3 распространяются на использование модели.

FriendliAI публикует вариант Meta Llama 3 70B Instruct с весами в формате FP8 для более эффективного инференса при сохранении высокой точности. В основе — авторегрессионный трансформер Llama с плотной архитектурой и Grouped-Query Attention; модель содержит 69,5 млрд параметров и принимает текст, генерируя текст и код. Контекст — до 8192 токенов. Модель предназначена для диалоговых ассистентов и генерации текста на английском языке, в том числе для коммерческих и исследовательских сценариев. FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Модель разработана Meta, а FP8-версия опубликована FriendliAI; веса представлены в safetensors. Использование регулируется специальной коммерческой лицензией Meta Llama 3.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit — квантованная MLX-версия модели XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B, разработанная сообществом mlx-community. Базовая модель представляет собой дистилляцию архитектуры Qwen3.5 9B и предназначена для генерации текста, рассуждений, программирования, агентных сценариев и работы с инструментами. Модель рассчитана на локальный запуск на устройствах с Apple Silicon через MLX, без PyTorch и облачных сервисов. Используется смешанная точность: большинство слоёв имеют 4-битное представление, а чувствительные слои — 8-битное. Всего 134 слоя хранятся в 8-битном формате и 116 — в 4-битном; средняя разрядность веса составляет 6,34 бита, размер модели на диске — около 6,77 ГБ вместо примерно 18 ГБ в формате bfloat16. Архитектура включает 32 слоя, 8 слоёв с полной attention и 24 слоя с linear attention, 16 голов, 4 KV-головы, head_dim 256, hidden size 4096 и словарь из 248 320 токенов. Языки и размер контекстного окна в README не указаны. К сильным сторонам относятся существенное уменьшение размера и заявленное ускорение генерации в 2,4–7 раз относительно родительской модели bfloat16 при проверке на нескольких типах запросов. Распределение разрядности перенесено из квантования Qwen3.5-9B и не измерялось непосредственно на этой модели, поэтому опубликованные оценки качества для Qwen3.5-9B к ней не относятся; Capability Score для данной модели не рассчитывался. Модель распространяется по лицензии MIT.

NANI-Nithin/MiniCPM5-2B-GGUF — набор GGUF-квантизованных версий MiniCPM5-2B, разработанного командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания ассистентов, coding agents, сценариев tool use, агентских workflows и задач рассуждения. Репозиторий содержит исходную BF16-версию и 29 вариантов квантования от Q8_0 до Q1_0. Базовая модель представляет собой плотный Transformer на 2,516,756,480 параметров с архитектурой LlamaForCausalLM, 42 слоями и GQA с 16 query heads и 2 KV heads. Она поддерживает контекст до 131 072 токенов, работает с английским и китайским языками и ориентирована на text generation. По данным разработчика, модель особенно сильна в рассуждениях при работе с кодом, математике, обработке длинного контекста, использовании инструментов и агентских задачах; заявленный средний результат в сравнении с другими открытыми моделями класса 2B составляет 53,9 балла. Основное преимущество набора — возможность выбрать баланс между качеством, размером и требованиями к памяти: Q4_K_M размером около 1,45 ГБ указан как вариант по умолчанию, Q8_0 около 2,50 ГБ — как близкий к исходному качеству, а IQ2_M около 0,90 ГБ — как минимальный практически пригодный вариант. Качество низкобитных и экспериментальных квантов снижается, особенно у версий Q2 и Q1. Файлы предназначены для llama.cpp, Ollama и LM Studio и не загружаются напрямую через vLLM, SGLang или transformers; для этих сред следует использовать исходный репозиторий модели. Модель распространяется по лицензии Apache-2.0, а её ответы могут содержать ошибки.

chargoddard/mistral-11b-slimorca — текстовая генеративная модель, созданная Chargoddard дообучением на двух эпохах датасета Open-Orca/SlimOrca. Она использует формат запросов Mistral Instruct и предназначена для диалогов и генерации ответов по инструкциям. Модель основана на варианте рецепта Mistral 11B: до обучения добавленные слои были настроены так, чтобы выход совпадал с Mistral 7B. Это плотная архитектура MistralForCausalLM с 10,6 млрд параметров и контекстом до 32 768 токенов. В карточке приведены результаты нескольких тестов, но они не гарантируют качество в конкретных прикладных сценариях. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.