I.11Классификация, ранжирование и сопоставление

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

DPOpenHermes-7B-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и openaccess-ai-collective/DPOpenHermes-7B-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы; заявленный контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке указан английский язык. Репозиторий распространяется под лицензией Apache-2.0; веса представлены в формате safetensors. Карточка не приводит результатов оценки качества или подробных сведений о поведении модели.

jaspionjader/ek-4 — слитая автором jaspionjader языковая модель для генерации текста и диалогов. Она создана методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 с включением jaspionjader/ek-3 и jaspionjader/Kosmos-EVAA-Franken-stock-v42-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в предоставленных данных не приведена.

en_core_web_sm — англоязычная модель обработки естественного языка, разработанная компанией Explosion для фреймворка spaCy. Она предназначена для CPU-сценариев и выполняет токенизацию, морфологическую разметку, синтаксический анализ зависимостей, определение границ предложений, лемматизацию и распознавание именованных сущностей. Модель построена как конвейер компонентов tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. Она поддерживает только английский язык, не содержит предобученных векторных представлений слов и имеет 0 векторов размерности 0. Версия модели — 3.7.1; требуется spaCy версии от 3.7.2 до версии ниже 3.8.0. Распознавание сущностей охватывает, в частности, персон, организации, географические объекты, даты, деньги, проценты, события и произведения искусства. Сильные стороны модели — компактный CPU-ориентированный конвейер с широким набором базовых NLP-функций и хорошими показателями на указанных тестах: точность тегирования 97,25%, F1 синтаксического анализа зависимостей LAS 89,87% и F1 распознавания сущностей 84,56%. Ограничения — работа только с английским языком, отсутствие векторных представлений и более ограниченная точность по сравнению с крупными специализированными моделями, особенно для задач NER. Модель распространяется по лицензии MIT; автор — Explosion.

cortexso/gemma2 — это семейство текстовых генеративных моделей Gemma, разработанное Google и подготовленное для использования в экосистемах Cortex и Jan. Модели обучались на сочетании синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений. Семейство предназначено для генерации и обработки текста в локальных приложениях и через интерфейсы Cortex CLI или Jan. В README указаны варианты Gemma2-2b, Gemma2-9b и Gemma2-27b; конкретные архитектурные параметры, поддерживаемые языки и модальности не описаны. Также приведена информация о вариантах контекстной длины 8K и 128K, но соответствие этих значений отдельным версиям не уточнено. Сильными сторонами заявлены качество данных обучения и ориентация на рассуждения, однако сведения о результатах тестирования, ограничениях и рекомендуемых сценариях отсутствуют. Лицензия указана как Gemma; оригинальная лицензия доступна в условиях Google Gemma.

Карточка модели hama-jp/gemma-2-27b на Hugging Face совпадает с карточкой google/gemma-2-27b, поэтому описание составлено по ней. Gemma 2 27B — текстовая авторегрессионная языковая модель семейства Gemma, разработанного Google с использованием исследований и технологий, применявшихся при создании Gemini. Модель доступна с открытыми весами и предназначена для генерации текста; семейство Gemma включает предварительно обученные и настроенные для следования инструкциям варианты. В репозитории указаны формат safetensors и библиотека Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по чётко сформулированным запросам. В README заявлена поддержка английского языка; конкретные размер контекстного окна и число параметров здесь не приведены. Открытые веса позволяют запускать модель на собственном оборудовании или в облачной инфраструктуре. Ограничения включают возможные фактические ошибки, предвзятость, трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; перед использованием следует соблюдать условия лицензии и политику допустимого использования Gemma.

ark4004/gemma3.8-27B-FP8 — репозиторий на Hugging Face, опубликованный пользователем ark4004. По истории репозитория он является копией Qwen/Qwen3.8-27B-FP8, поэтому название Gemma не подтверждает принадлежность к семейству Gemma. Модель предназначена для диалоговой генерации текста и обработки изображений с текстом: заявлена совместимость с Transformers, vLLM и SGLang, а примеры показывают ответы на текстовые запросы и анализ изображений. Это постобученная мультимодальная модель класса image-text-to-text с заявленным размером 27B параметров и FP8-квантизацией; для исходной Qwen-версии указана fine-grained FP8-квантизация с размером блока 128. Репозиторий распространяется по лицензии Apache-2.0. Точные архитектурные детали, поддерживаемые языки, размер контекстного окна, результаты оценки, сильные стороны и ограничения именно копии ark4004 в доступных данных надежно не указаны, поэтому их нельзя утверждать.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

EZForever/gemma-4-26B-A4B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, созданная EZForever на основе объединения моделей Unsloth и llmfan46. Распространяется в формате GGUF и предназначена для запуска совместимых локальных inference-систем. Модель ориентирована на диалоговые и текстовые задачи, а при использовании файлов mmproj также поддерживает обработку изображений; файлы mtp обеспечивают поддержку MTP. Вариант UDmerge использует квантизацию Q4_0 для аблированных тензоров и имеет заявленный размер около 14,2 ГБ. В README также упоминается вариант UDmerge-Q4_K_XXL с квантизацией Q8_0 отдельных тензоров, но идентификатор модели указывает именно на UDmerge-GGUF без уточнения этого варианта. Для модели заявлены результаты MMLU-val 81,38%, PPL 5,236 и KLD 0,0448; авторы отмечают, что показатели отказов получены на ограниченном тесте и могут быть неточными. Сильными сторонами являются компактный квантизованный формат, мультимодальная поддержка, относительно небольшое отклонение от BF16-версии и высокая производительность на MMLU в приведённом сравнении. Ограничения включают возможные потери качества из-за квантизации, экспериментальный характер слияния и неопределённость результатов тестов. Контекстное окно, поддерживаемые языки и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0; для работы с Gemma могут применяться дополнительные условия лицензии Google Gemma.

ReadyArt/gemma-4-31B-it-scotoma-2-GGUF — это набор GGUF-квантизированных вариантов модели gemma-4-31B-it-scotoma-2, опубликованный ReadyArt. В основе лежит Gemma 4 31B от Google DeepMind, доработанная методом γ-fold и тремя раундами DPO на 9,3 тыс. пар предпочтений. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и мультимодального анализа изображений; GGUF-формат ориентирован на локальный запуск через llama.cpp и совместимые приложения. Базовая Gemma 4 31B — плотная модель примерно с 30,7 млрд параметров, гибридным вниманием, поддержкой текста и изображений и контекстом до 256 тысяч токенов. Семейство Gemma 4 поддерживает более 140 языков на уровне предобучения и имеет режимы рассуждений, но для конкретного производного варианта ReadyArt подробные отдельные языковые оценки не указаны. Доступны разные уровни квантизации, поэтому требования к памяти и качество зависят от выбранного GGUF-файла. Scotoma 2 изменяет поведение исходной instruction-tuned модели: ослабляет осторожные рефлексы и уменьшает повторяющиеся стилистические шаблоны, включая рефлексивные отрицания, конструкцию «not X, but Y», вставки с em dash и нагромождение прилагательных. По заявлению автора, модель сохраняет интеллект базовой версии и делает ответы более разнообразными, но это исследовательский артефакт, а не продукт; поведение зависит от запроса и контекста, а квантизация может дополнительно снижать качество. Модель не является полностью uncensored и в целом сохраняет отказы базовой модели. Указана лицензия Apache-2.0 с применением условий лицензии Gemma.

Gemma 7B — текстовая авторегрессионная языковая модель из семейства Gemma, разработанного Google на основе исследований и технологий, использованных при создании Gemini. Модель принимает текст и генерирует текст; семейство включает предварительно обученные и настроенные на выполнение инструкций варианты. Для этой модели карточка указывает генерацию текста, а метаданные — форматы Safetensors и GGUF и библиотеку Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов и генерации различных текстов, включая черновики писем, сценарии и маркетинговые материалы. Google описывает Gemma как компактное семейство, которое можно запускать на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. В README заявлена поддержка английского языка; размер контекста для этого репозитория не приведён. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модель может хуже справляться со сложными задачами, неоднозначностью и тонкими языковыми нюансами. Для практического применения следует проверять результаты и учитывать правила безопасного использования Gemma. Лицензия — Gemma License.

GLiNER-relex-large-v1.0 — модель семейства GLiNER для совместного извлечения именованных сущностей и отношений из текста. Она построена на архитектуре GLiNER с единым энкодером: модель находит фрагменты сущностей, формирует возможные пары сущностей и классифицирует отношения между ними с помощью графовых свёрточных слоёв. Размер модели и языки в предоставленных данных не приведены. Модель рассчитана на zero-shot извлечение: при каждом запросе можно задавать собственные типы сущностей и отношений, в том числе текстовые описания меток, чтобы уточнить их смысл. Она выполняет обе задачи за один проход, поддерживает извлечение сущностей без отношений, пакетную обработку и экспорт в ONNX. Подходит для построения графов знаний, анализа документов, автоматической разметки корпусов и подготовки структурированных данных для систем вопросов и ответов. Для использования требуется библиотека GLiNER. Модель распространяется по лицензии Apache-2.0. README рекомендует настраивать пороги отдельно для сущностей, смежности и отношений; качество зависит от выбранных схем и порогов. Эксплуатационные ограничения и перечень поддерживаемых языков в предоставленных данных не описаны.

Mungert/gpt-oss-20b-Derestricted-GGUF — это GGUF-версия модифицированной модели gpt-oss-20b, разработанной Arli AI на базе открытой модели OpenAI. Модель предназначена для генерации текста, локального и специализированного использования, задач рассуждения и агентных сценариев, где требуется снизить выраженность стандартных отказов модели. При этом заявленная цель модификации — сохранить качество рассуждений исходной модели. Базовая gpt-oss-20b содержит около 21 млрд параметров, из которых примерно 3,6 млрд активны одновременно, и относится к моделям с архитектурой Mixture of Experts. Модель ориентирована на меньшую задержку и локальный запуск; README также указывает формат GGUF и генерацию с использованием llama.cpp. Для снятия отказов применён метод Norm-Preserving Biprojected Abliteration, который изменяет направляющие компонентов весов с сохранением их исходных норм. Дополнительно в процессе квантования отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но может улучшать точность при низкой разрядности. Сильной стороной модели заявляется сочетание уменьшенного количества отказов, сохранённого качества рассуждений и удобства локального запуска в различных вариантах квантования. Ограничения включают возможные остаточные попытки подавлять отдельные запросы, зависимость качества и размера от выбранного GGUF-варианта, а также отсутствие в представленном README подробных данных о языках, длине контекста, результатах стандартизированных бенчмарков и точных системных требованиях. Лицензия указана как Apache-2.0.

ibm-granite/granite-3.3-8b-instruct-FP8 — это версия модели Granite-3.3-8b-Instruct в формате FP8, разработанная IBM. Модель предназначена для генерации текста и использования в сценариях, требующих следования инструкциям; карточка указывает pipeline text-generation и совместимость с библиотекой Transformers. Модель основана на ibm-granite/granite-3.3-8b-instruct и содержит 8 миллиардов параметров, однако в представленном README не приведены сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Формат FP8 может быть полезен для более эффективного хранения и инференса, но конкретные требования к оборудованию и показатели качества не указаны. Модель распространяется по лицензии Apache-2.0. Для полного описания возможностей и ограничений рекомендуется обратиться к карточке базовой модели, поскольку текущий README содержит только краткую информацию о FP8-версии.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

Карточка модели OpenPipe/Hermes-2-Theta-Llama-3-8B-32k на Hugging Face совпадает с карточкой NousResearch/Hermes-2-Theta-Llama-3-8B, поэтому описание составлено по ней. Hermes-2 Θ (Theta) — экспериментальная объединённая и дополнительно обученная модель Nous Research, созданная совместно с Charles Goddard из Arcee. В основе лежит Hermes-2-Pro-Llama-3-8B: веса объединены с Meta Llama 3 Instruct, после чего модель дополнительно обучали с помощью RLHF. Это плотная причинно-языковая модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена. Модель предназначена для диалогов и выполнения инструкций на английском языке. Она поддерживает формат ChatML, многоходовое общение, вызов функций и генерацию структурированных ответов в JSON. Репозиторий содержит веса safetensors; для запуска описан пример с Transformers. В карточке приведены результаты оценок на нескольких наборах тестов, но они не гарантируют качество в конкретных сценариях. Модель распространяется по лицензии Apache-2.0. Практические ограничения: карточка называет её экспериментальной; вызовы инструментов нужно самостоятельно разбирать и исполнять в коде приложения. Указанная в README рекомендация LM Studio относится к квантованным версиям и не обещает поддержку вызова функций в этом интерфейсе.

Horus-1.0-4B — многоязычная языковая модель TokenAI, разработанная Ассемом Сабри. Это плотная авторегрессионная модель семейства Llama с 3,7 млрд параметров, доступная в формате Safetensors и распространяемая по лицензии MIT. Она принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Модель предназначена для диалогового помощника, учебных вопросов на арабском и английском, генерации и анализа культурного контента, базовой помощи с кодом, извлечения сведений из документов и логических задач. Разработчик заявляет особый акцент на арабском языке и культурном контексте, а также на следовании инструкциям и прозрачном обозначении идентичности модели. В карточке также упоминаются варианты GGUF, но этот репозиторий содержит Safetensors. Заявленная поддержка языков включает арабский, английский, французский, испанский, немецкий, итальянский, португальский и турецкий. README отмечает, что обучение оптимизировалось для контекста в 256 токенов, поэтому качество на более длинных входах может меняться; баланс качества между арабским и английским зависит от сложности запроса. Знания модели отражают данные примерно до начала 2024 года.

CombinHorizon/huihui-ai-abliteratedV2-Qwen2.5-14B-Inst-BaseMerge-TIES — объединённая текстовая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-14B и huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0.

Nickyang/Hy3-RAZOR-226B-A21B-E144of192 — диалоговая языковая модель Tencent Hy3, в которой методом RAZOR без дообучения удалена четверть маршрутизируемых экспертов. В каждом MoE-слое сохранено 144 из 192 экспертов; README указывает 226 млрд параметров и около 21 млрд активных параметров на токен. Метаданные каталога приводят 16,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогов; базовая Hy3 также позиционируется для рассуждений, агентных сценариев и задач продуктивности. Контекстное окно — 262 144 токена. Веса доступны в формате safetensors, тип точности — bfloat16; для запуска нужна версия Transformers с нативной реализацией hy_v3. RAZOR выбирает экспертов по оценке того, насколько их функцию могут заменить оставшиеся эксперты. Веса не проходили восстановительное обучение, а калибровка проводилась на конечном многодоменном корпусе RazorCal. Использование разреженной MoE-архитектуры сохраняет около 21 млрд активных параметров на токен, но удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению завершения даже при сохранении точности на отдельных задачах. Лицензия — Apache-2.0.

InternVL3-8B-Instruct-GGUF — мультимодальная модель семейства InternVL3, разработанная OpenGVLab и представленная в GGUF-формате Unsloth. Это SFT-версия InternVL3-8B: она прошла мультимодальное предварительное обучение и дообучение с учителем, но не проходила MPO. Модель предназначена для задач понимания и анализа изображений совместно с текстом, мультимодального рассуждения, работы с инструментами и GUI-агентами, промышленного анализа изображений, а также восприятия 3D-сцен. Она поддерживает многоязычные сценарии, однако конкретный перечень языков и размер контекстного окна в предоставленных данных не указаны. Архитектура построена по схеме ViT-MLP-LLM и включает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий размер модели обозначен как 8B. Сильными сторонами заявлены развитые возможности мультимодального восприятия и рассуждения, а также повышение качества по сравнению с InternVL 2.5. Ограничения включают отсутствие MPO и неизвестные из README характеристики контекстного окна, точности GGUF-квантизации и производительности на конкретном оборудовании. В метаданных указана лицензия Apache 2.0; также присутствует обозначение license_name Qwen и ссылка на лицензию Qwen2.5.

KR-X-AI/krx-qwen2.5-7b-instruct-v2-m-e — дообученная авторами KR-X-AI разговорная языковая модель семейства Qwen2.5. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; среди заявленных возможностей также есть интерфейс вызова инструментов. Модель принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется в формате safetensors по лицензии Apache-2.0. Данных о специализированных предметных областях или отдельных ограничениях качества в карточке нет.

djuna/L3.1-Purosani-2-8B — объединённая плотная языковая модель семейства Llama, созданная разработчиком djuna с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; слияние выполнено методом della_linear с включением нескольких моделей для инструкционного диалога, длинных ответов и других сценариев генерации текста. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст, выдавая текст. Метаданные указывают контекст до 131 072 токенов и поддержку чата. Она подходит для диалоговых ассистентов и генерации развернутых ответов. В README приведены результаты оценок Open LLM Leaderboard, включая средний балл 22,85 и IFEval 49,88; эти показатели не гарантируют качество в конкретном приложении. Языки и предметные области отдельно не заявлены. Лицензия в предоставленных данных не указана.

mlx-community/LFM2.5-8B-A1B-MLX-4bit — 4-битная MLX-версия языковой модели LiquidAI LFM2.5-8B-A1B, конвертированная сообществом mlx-community с использованием mlx-lm 0.31.1. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе для локального инференса через mlx-lm. Это авторегрессионная модель с архитектурой lfm2_moe: гибрид из 18 блоков double-gated short-conv и 6 блоков внимания GQA, с разреженным MoE на 32 эксперта и активацией 4 экспертов на токен. Она содержит около 8,3 млрд параметров, из которых активно используется около 1,5 млрд, и поддерживает контекст до 128 тысяч токенов. Заявлены языки: английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. README не содержит сведений о мультимодальных возможностях или результатах бенчмарков. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и 4-битное представление, потенциально снижающее требования к памяти при запуске в MLX. Ограничения включают зависимость от экосистемы MLX и отсутствие в README подробностей о качестве на конкретных задачах. Модель является производной от LiquidAI LFM2.5-8B-A1B и распространяется по лицензии LFM Open License v1.0 (lfm1.0); применяются условия коммерческого использования этой лицензии.

Unsloth/LiquidAI LFM2-700M — компактная языковая модель для генерации текста, созданная на базе модели LiquidAI/LFM2-700M и подготовленная к запуску на периферийных устройствах. В карточке указаны 742 млн параметров, 16 слоёв и контекст до 32 768 токенов. Архитектура гибридная: 10 блоков коротких свёрток LIV и 6 блоков группового внимания GQA; модель распространяется в формате safetensors и рассчитана на работу с Transformers. Модель подходит для локальных диалоговых приложений, многошаговых агентных сценариев, извлечения данных, RAG и генерации творческого текста. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки, а также интерфейс вызова инструментов через формат диалога. Разработчик рекомендует дообучать её под узкие задачи. Малый размер облегчает развертывание на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобили. При этом модель не рекомендуется для задач с высокими требованиями к знаниям или программированию. Лицензия указана как other; конкретные условия следует уточнять в карточке репозитория.

LFM2-8B-A1B-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Она предназначена прежде всего для edge AI и локального запуска на устройствах, включая производительные смартфоны, планшеты и ноутбуки. Модель распространяется в формате GGUF и ориентирована на использование с llama.cpp и совместимыми инструментами. Модель построена по архитектуре Mixture of Experts (MoE): содержит около 8,3 млрд общих параметров, из которых при обработке запроса активно используется около 1,5 млрд. По заявлению разработчика, её качество сопоставимо с плотными моделями на 3–4 млрд параметров, а скорость выше, чем у Qwen3-1.7B. По сравнению с LFM2-2.6B улучшены возможности программирования и работы со знаниями. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Размер контекста и дополнительные модальности в README не указаны. Сильными сторонами модели являются сочетание компактного активного размера, скорости и эффективности использования памяти, что делает её подходящей для локального вывода и on-device-сценариев. Ограничения включают отсутствие в предоставленных данных подробных результатов тестирования, точного размера контекста и информации о мультимодальности; заявленные характеристики качества и скорости приведены разработчиком без детальной методики сравнения. Модель распространяется по лицензии lfm1.0.

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1-GGUF — набор файлов модели в формате GGUF, созданный и квантованный MaziyarPanahi на основе MaziyarPanahi/Llama-3-16B-Instruct-v0.1. Модель относится к семейству Llama 3 и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Основной сценарий использования — локальный запуск через совместимые инструменты, включая llama.cpp, с применением специального шаблона промпта Llama 3. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, конкретные характеристики вариантов квантования и лицензия. Сильной стороной модели является наличие нескольких GGUF-вариантов для локального инференса и адаптации под разные аппаратные ограничения. Ограничения включают возможную потерю качества при низкоразрядном квантовании, необходимость использовать корректный шаблон Llama 3 и отсутствие в предоставленных данных сведений о лицензии и детальных технических характеристиках.

Это преобразованная сообществом mlx-community версия диалоговой модели NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF, подготовленная для запуска в формате MLX на Apple Silicon. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; длина контекста — до 131 072 токенов. Она предназначена для генерации текста в ответ на инструкции и запросы, поддерживает чат и интерфейс вызова инструментов. Модель дообучена NVIDIA на базе Llama 3.1 Nemotron с использованием HelpSteer2, а затем конвертирована в MLX; в репозитории указана версия bf16. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка и метаданные указывают английский язык. Для использования действуют условия лицензии Llama 3.1; запуск через MLX ориентирован на устройства Apple Silicon.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

MeliodasPercival_01_Strangemerges_32Inex12 — объединённая текстовая модель на архитектуре Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Inex12-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Модель принимает текст и выдаёт текст. В доступных сведениях не названы целевые языки и специализированные предметные области. Лицензия — Apache-2.0.