I.11Классификация, ранжирование и сопоставление

DRAGON-MISTRAL-0.3 — модель серии dRAGon, разработанная llmware и дообученная на базе Mistral 7B 0.3 для ответов по контексту в сценариях RAG. Она предназначена для вопросно-ответной работы со сложными деловыми, юридическими и нормативными документами, извлечения пар «ключ—значение» и краткого суммирования; целевой язык — английский. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Разработчик сообщает о настройке на фактологические ответы, сокращение галлюцинаций и краткие ответы для автоматизации рабочих процессов. В описанном тестовом запуске квантованной версии GGUF указаны 99,5 балла из 100 и отсутствие замеченных галлюцинаций, однако это результат одного запуска и не гарантирует такое же качество в других условиях. Модель может выдавать неточные или неполные ответы, поэтому результаты требуют проверки. Лицензия — Apache 2.0.

Lambent/Eidolon-v3.1-14B — объединённая разговорная языковая модель, созданная разработчиком Lambent с помощью mergekit из Lambent/Eidolon-v3-14B-wyrd и Lambent/Eidolon-v3-14B-abliterated. В README указано, что слияние линейное, с равными весами; работа также проверяла восстановление словаря до дополненного размера. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Вариант abliterated описан в каталоге как модель с уменьшенным количеством отказов. README характеризует компонент wyrd как вмешательство, связанное с направлением креативности, однако не приводит количественной оценки качества. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

EssentialAI_rnj-1-instruct-GGUF — это набор GGUF-квантизованных версий instruct-модели rnj-1-instruct, разработанной Essential AI и квантизованной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных средах, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Доступны варианты от BF16 до 3- и 4-битных форматов, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,8 до 16,6 ГБ; наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 предназначены для более универсального локального использования. В README не указаны архитектура, максимальная длина контекста, поддерживаемые языки, число параметров и мультимодальные возможности, поэтому модель следует считать текстовой без подтверждённой поддержки других модальностей. Сильные стороны — широкий выбор степеней квантизации, возможность запуска на локальном оборудовании и сохранение высокого качества у вариантов Q5–Q8. Более компактные варианты экономят память, но могут заметно уступать по качеству; низкобитные версии характеризуются как менее качественные или нерекомендуемые. Для работы требуется использовать рекомендованный формат prompt-шаблона rnj-1 и совместимый inference-движок. Указанная лицензия — Apache-2.0.

MaziyarPanahi/Experiment26Neuralsirkrishna_Experiment27Inex12 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Inex12-7B. Модель предназначена для генерации текста и диалогов; размер контекстного окна составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Fanar-2-27B-Instruct — арабско-английская большая языковая модель, разработанная Институтом компьютерных исследований Катара (QCRI) при Университете Хамада бин Халифы. Это плотный авторегрессионный трансформер на 28,3 млрд параметров, дообученный на основе google/gemma-3-27b-pt. Модель рассчитана на диалоговую генерацию текста, рассуждения на арабском языке и работу с инструментами; поддерживает литературный арабский и диалекты, включая заливный, левантийский и египетский, а также английский. Модель ориентирована на арабоязычные и двуязычные сценарии: ответы на вопросы, понимание текста, математические задачи и культурно адаптированный диалог. В README описаны режим выборочного рассуждения, вызов инструментов и меры снижения галлюцинаций. Метаданные указывают контекст до 131 072 токенов; карточка также приводит 32 768 токенов. Доступна в формате safetensors и совместима с Transformers. Лицензия — Apache-2.0. Как и другие генеративные модели, Fanar может выдавать предвзятые, оскорбительные или неверные ответы. Авторы не рекомендуют использовать её самостоятельно для решений с высокими ставками, включая медицинские, юридические и финансовые; для таких сценариев нужны проверки и дополнительные меры безопасности.

Карточка модели IntervitensInc/gemma-2-27b-chatml на Hugging Face совпадает с карточкой google/gemma-2-27b, поэтому описание составлено по ней. Gemma 2 27B — текстовая авторегрессионная языковая модель семейства Gemma, разработанного Google с использованием исследований и технологий, применявшихся при создании Gemini. Модель доступна с открытыми весами и предназначена для генерации текста; семейство Gemma включает предварительно обученные и настроенные для следования инструкциям варианты. В репозитории указаны формат safetensors и библиотека Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по чётко сформулированным запросам. В README заявлена поддержка английского языка; конкретные размер контекстного окна и число параметров здесь не приведены. Открытые веса позволяют запускать модель на собственном оборудовании или в облачной инфраструктуре. Ограничения включают возможные фактические ошибки, предвзятость, трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; перед использованием следует соблюдать условия лицензии и политику допустимого использования Gemma.

unsloth/gemma-2-9b-bnb-4bit — это квантизированная 4-битная версия языковой модели Gemma 2 с 9 млрд параметров, разработанная на базе google/gemma-2-9b и подготовленная Unsloth с использованием bitsandbytes. Модель предназначена для задач генерации и дополнения текста, диалоговых приложений, а также дообучения на собственных наборах данных с помощью Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с текстом и поддерживает английский язык. Она распространяется в формате 4-bit и ориентирована на снижение требований к памяти при запуске и дообучении; для Gemma 2 (9B) заявлены экономия памяти до 58% и ускорение до 2,4 раза в соответствующем сценарии Unsloth. README не содержит сведений о длине контекста, точной архитектуре, качестве на конкретных бенчмарках или поддержке других языков и модальностей. К сильным сторонам относятся уменьшенный объём памяти и совместимость с экосистемой Transformers, а также возможность последующего экспорта в GGUF и vLLM. Ограничения связаны с 4-битной квантизацией, которая может влиять на точность и не обязательно подходит для всех задач. Модель распространяется по лицензии Gemma; условия её использования следует уточнять в документации Google.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

amir22010/gemma4-e4b-w4a16-it-v2 — мультимодальная модель для диалога и анализа изображений, созданная Team Horizon на основе google/gemma-4-E4B-it. Это версия Gemma 4 E4B Instruct с квантизацией весов W4A16: веса представлены в 4-битном формате, активации остаются в FP16. Поддерживаются входные изображения и текст; модель предназначена для визуальных вопросов и ответов, анализа документов и диалоговых инструкций. Квантизация выполнена методом RTN для линейных слоёв; lm_head и аудиослои исключены. По README, для инференса требуется около 10 ГБ видеопамяти, рекомендуется 16–24 ГБ. Заявлены улучшения на отдельных бенчмарках после калибровки на TextVQA, DocVQA и UltraChat, однако эти результаты относятся к тестам автора и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии Apache-2.0. Среди известных ограничений — небольшое снижение точности на задачах анализа документов относительно базовой модели; аудиослои сохранены в исходной точности и не квантизированы.

German-RAG-LLAMA-3.1-8B-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer семейства Llama 3.1, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Она дообучена для немецкоязычных сценариев RAG на примерах с контекстом и вопросами и ответами. Модель предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и задач рассуждения. Поддерживает немецкий и английский языки; README также отмечает обучающие примеры для вызова функций. В карточке указана лицензия Apache 2.0, тогда как метаданные Hugging Face указывают llama3.1; условия распространения следует сверять с лицензией в репозитории. Ответы могут содержать фактические ошибки, а фильтрация безопасности не заявлена.

GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

Gonzo-Chat-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением нескольких моделей с помощью mergekit и метода DARE TIES. В состав объединения вошли Nondzu/Mistral-7B-Instruct-v0.2-code-ft, NousResearch/Nous-Hermes-2-Mistral-7B-DPO, cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser и базовая eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов по метаданным; README приводит более раннее значение 8 192 токена. Модель предназначена для диалогов, ролевых сценариев, работы с агентами и несложного программирования, а также для генерации текста по инструкциям. В карточке приведены результаты Open LLM Leaderboard и сравнительных состязаний, но они не гарантируют качество на конкретных задачах. Модель принимает текст и генерирует текст; указан язык en. Распространяется под лицензией Apache-2.0.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

Weyaxi/HelpSteer-filtered-7B — языковая модель, дообученная на базе Mistral-7B-v0.1 на наборе данных Weyaxi/HelpSteer-filtered. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык и контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии CC BY 4.0. К карточке также относится версия с LoRA-весами Weyaxi/HelpSteer-filtered-7B-Lora.

Hermes-2 Θ (Theta) — экспериментальная объединённая и дополнительно обученная модель Nous Research, созданная совместно с Charles Goddard из Arcee. В основе лежит Hermes-2-Pro-Llama-3-8B: веса объединены с Meta Llama 3 Instruct, после чего модель дополнительно обучали с помощью RLHF. Это плотная причинно-языковая модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена. Модель предназначена для диалогов и выполнения инструкций на английском языке. Она поддерживает формат ChatML, многоходовое общение, вызов функций и генерацию структурированных ответов в JSON. Репозиторий содержит веса safetensors; для запуска описан пример с Transformers. В карточке приведены результаты оценок на нескольких наборах тестов, но они не гарантируют качество в конкретных сценариях. Модель распространяется по лицензии Apache-2.0. Практические ограничения: карточка называет её экспериментальной; вызовы инструментов нужно самостоятельно разбирать и исполнять в коде приложения. Указанная в README рекомендация LM Studio относится к квантованным версиям и не обещает поддержку вызова функций в этом интерфейсе.

Hermes-3-Llama-3.1-8B-lorablated-GGUF — это набор квантизированных GGUF-версий текстовой генеративной модели mlabonne/Hermes-3-Llama-3.1-8B-lorablated. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и следование инструкциям, в совместимых средах, таких как llama.cpp и LM Studio. В основе лежит модель размера 8B, однако точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия в README не указана.

harkov000/hermes-stheno-8B-v0.1 — текстовая диалоговая модель на архитектуре Llama, созданная слиянием SLERP моделей NousResearch/Hermes-3-Llama-3.1-8B и Sao10K/Llama-3.1-8B-Stheno-v3.4 с помощью mergekit. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации продолжений и диалоговых ответов; поддерживает интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалогового использования. В качестве базовых компонентов объединены модели семейства Llama 3.1 8B: Hermes 3 и Stheno v3.4. Лицензия в предоставленных данных не указана.

internlm2_5-20b-chat-IMat-GGUF — это GGUF-квантизованная версия чат-модели internlm/internlm2_5-20b-chat, подготовленная legraphista с использованием llama.cpp (сборка b3524). Исходная модель имеет формат BF16, а в репозитории доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций. Некоторые варианты используют IMatrix для калибровки квантования, что рассчитано на более эффективное сохранение качества при уменьшении размера модели. Модель предназначена для локального запуска задач генерации текста и чат-взаимодействия через совместимые инструменты, включая llama.cpp. Доступны файлы размером примерно от 7,55 до 39,73 ГБ, поэтому требования к оперативной или видеопамяти зависят от выбранного варианта. Ключевые характеристики исходной архитектуры, поддерживаемые языки, размер контекста, результаты тестирования и конкретные сильные стороны в README не указаны; качество и скорость также будут зависеть от уровня квантования и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README.

InternVL3-9B — мультимодальная модель OpenGVLab семейства InternVL3 для диалога и задач, связывающих изображения с текстом. Она построена по схеме ViT-MLP-LLM: визуальный кодировщик InternViT соединён с языковой моделью через MLP-проектор. Для языковой части семейства используются предварительно обученные LLM, включая Qwen 2.5; в этой версии применяется динамическое разбиение изображений на фрагменты 448×448 и поддерживаются несколько изображений и видео. Модель предназначена для описания и анализа изображений, визуальных вопросов и ответов, мультимодальных рассуждений, понимания видео, GUI-сценариев, работы с инструментами и 3D-сцен. Подходит также для задач на чистом тексте. README описывает развитие возможностей в семействе InternVL3, но не приводит отдельные показатели качества или точную длину контекста именно этой модели. Метаданные связывают репозиторий с OpenGVLab/InternVL3-9B-Instruct как с базовой дообученной моделью; файлы представлены в формате safetensors. Лицензия — MIT.

InternVL-Chat-V1-2 — мультимодальная большая языковая модель от OpenGVLab для диалога по изображениям и тексту. Она объединяет vision-энкодер InternViT-6B-448px-V1-2, MLP-проектор и языковую модель Nous-Hermes-2-Yi-34B; общее число параметров — 40 млрд. Модель опубликована в формате safetensors и предназначена для запуска через Transformers с поддержкой пользовательского кода модели. Модель отвечает на вопросы об изображениях, описывает их и обрабатывает визуальные инструкции. В обучающие данные включены примеры OCR, диаграмм, графиков, документов и научных иллюстраций; также поддерживается обычный текстовый диалог. Изображения обрабатываются с размером 448 × 448 пикселей и представляются 256 визуальными токенами. Карточка характеризует языковую часть как многоязычную, но не перечисляет конкретные языки. В README приведены сравнительные результаты на наборах тестов для визуальных вопросов и понимания изображений. Для запуска нужны значительные вычислительные ресурсы, соответствующие модели на 40 млрд параметров. В README отдельно предупреждают, что 4-битная квантизация BNB может привести к потере понимания изображений и бессмысленным ответам. Лицензия модели — MIT.

johnpaulbin/johnpaulbin-e2-instruct-merge-fp16 — объединённая языковая модель, созданная разработчиком johnpaulbin с помощью LazyMergekit из johnpaulbin/llama3.1-8b-e2-epoch3-merged-fp16 и meta-llama/Meta-Llama-3.1-8B-Instruct. Используется архитектура LlamaForCausalLM с плотной архитектурой и примерно 7,5 млрд параметров; веса представлены в формате safetensors. Для объединения применён метод TIES с нормализацией и int8-маской. Модель предназначена для генерации текста по текстовым запросам. Указанное базовое семейство — Meta Llama 3.1, а длина контекста составляет 131 072 токена. В метаданных нет сведений о лицензии и поддерживаемых естественных языках, поэтому условия использования и языковой охват здесь не описаны.

JOSIE-1.1-4B-Instruct — плотная языковая модель на 3,7 млрд параметров, разработанная Gökdeniz Gülmez как полновесная донастройка Qwen3-4B-Instruct-2507. Она предназначена для естественных диалогов, следования инструкциям, повседневной помощи и решения практических задач. Модель выдаёт связные ответы с дружелюбной, прямой манерой общения и ориентирована на генерацию текста в чат-сценариях. Модель поддерживает английский, испанский, французский, португальский, итальянский, арабский, китайский, японский, корейский, индонезийский, русский, вьетнамский, немецкий и тайский языки. Метаданные указывают контекст до 262 144 токенов; README сообщает о 32 768 токенах. Обучение включало дистилляцию рассуждений и преобразование ответов в разговорный стиль. По карточке, модель не имеет встроенной фильтрации контента; качество может снижаться на узкоспециализированных темах, а критические ответы требуют проверки. Лицензия — MIT.

Josiefied-Qwen3-14B-abliterated-v3 — дообученная Гёкденизом Гюльмезом плотная языковая модель семейства Qwen3 с 14 млрд параметров, созданная на базе Qwen/Qwen3-14B. Она предназначена для диалогов, следования инструкциям и генерации текста с ослабленной фильтрацией ответов; также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, а её нативная длина контекста составляет 40 960 токенов. Модель ориентирована на продвинутых пользователей, которым нужны открытые ответы и сохранение возможностей инструкционного диалога и работы с инструментами. В README также упоминаются варианты квантизации GGUF и MLX, однако эта карточка содержит веса в формате safetensors. Автор предупреждает, что сниженная фильтрация может приводить к чувствительным или спорным ответам. Условия лицензирования в предоставленных данных не указаны.

Это дообученная диалоговая модель egoigo на базе kakaocorp/kanana-1.5-8b-instruct-2505. Модель относится к семейству Llama, имеет плотную архитектуру и около 7,5 млрд параметров; она принимает текстовые запросы и генерирует текст, в том числе в формате диалога и с интерфейсом вызова инструментов. Контекст составляет до 32 768 токенов. Модель подходит для диалоговых помощников и генерации текста. Базовая Kanana также предназначена для программирования и математики, однако README не описывает специализацию или результаты именно этой версии Persona-Merge-K. Модель опубликована под лицензией Apache-2.0.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

Kona2-12B — диалоговая языковая модель на 12,2 млрд параметров от Tbilisi AI Lab. Она основана на Kona2-12B-Instruct и дообучена методом Direct Preference Optimization (DPO) на наборе из 387 тыс. пар предпочтений, чтобы улучшить качество и согласованность ответов. В основе семейства — архитектура Mistral; модель распространяется в формате safetensors и поддерживает работу через Transformers. Модель предназначена для диалогов на грузинском и английском языках, ответов на вопросы, генерации текста, перевода и автоматизации поддержки клиентов. В обучении отдельно учитывались сценарии вызова инструментов, однако метаданные подтверждают возможность чата, а не отдельный pipeline для tool calling. В README указан контекст 32 тыс. токенов, тогда как метаданные каталога сообщают native context в 1 024 000 токенов; поэтому фактический доступный контекст следует сверять с конфигурацией и используемым рантаймом. Модель рекомендована разработчиком для production-применения. Лицензия — Apache-2.0. Известное ограничение: обучающие данные имеют срез до 2024 года; для запуска в полной точности рекомендуется не менее 48 ГБ VRAM, а с 4-битной квантизацией — от 24 ГБ.

L3.3-MS-Evayale-70B-GGUF — GGUF-квантизированная версия модели L3.3-MS-Evayale-70B, разработанной Steelskull и подготовленной bartowski. Это текстовая генеративная модель для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель создана на основе merge-модели, однако подробности об исходных компонентах в README не приведены. Модель имеет около 70 млрд параметров и поддерживает несколько вариантов квантизации: от Q8_0 с максимальным качеством до Q2_K_L с существенной экономией памяти. Доступны форматы Q4, Q5, Q6, Q8, IQ и другие варианты, включая специальные сборки для ARM и AVX. В README указан шаблон промпта с системными и пользовательскими сообщениями, совместимый с форматом Llama 3.3. Модальность — текстовая; сведения о языках и размере контекста не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для большинства сценариев автор рекомендует Q4_K_M, Q5 и Q6-варианты. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Некоторые варианты оптимизированы для ARM, однако отдельные сборки не рекомендуется использовать на Mac или с GPU. Лицензия в предоставленном README не указана.

Sakalti/light-7b-beta — объединённая языковая модель на архитектуре Qwen2, созданная автором репозитория методом TIES с помощью mergekit на основе Qwen/Qwen2.5-7B и Qwen/Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоги; заявленный контекст — до 131 072 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также структурированных ответов. В метаданных указаны интерфейс вызова инструментов и лицензия Apache-2.0. Данных о конкретной специализации, языках или результатах оценки качества в карточке нет.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.