I.11Классификация, ранжирование и сопоставление

PollardWeights/Qwen3.8-27B-Pollard — это квантизированная версия модели Qwen/Qwen3.8-27B, подготовленная командой PollardWeights. Модель предназначена для диалоговых и текстовых задач, а также может работать с изображениями при использовании отдельного vision-проектора mmproj-Qwen3.8-27B-bf16.gguf. Она поставляется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими приложениями на их основе. Модель содержит около 27,8 млрд параметров и использует архитектуру qwen3_5. В репозитории доступны варианты IQ3_S, IQ4_XS и Q6_K размером примерно 12,08, 15,72 и 22,43 ГБ соответственно. Это варианты mixed-precision квантизации с измеренным распределением битов по слоям, учитывающим их чувствительность, поэтому они рассчитаны на разные ограничения по оперативной памяти или VRAM. Основной README указывает английский язык; размер контекста не указан. К сильным сторонам относятся существенное уменьшение размера по сравнению с версией f16 — с 55,56 до 12,08 ГБ для IQ3_S — и возможность локального запуска на более доступном оборудовании. К ограничениям относятся потенциальная потеря качества из-за квантизации, зависимость производительности от оборудования и необходимость отдельного, неквантизированного vision-проектора для работы с изображениями. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.8-27B-Uncensored-OptiQ-4bit — это квантизированная версия reasoning-модели семейства Qwen3.8, разработанная сообществом mlx-community на базе orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. В карточке указана поддержка английского языка. Модель содержит 27 млрд параметров и использует смешанную квантизацию OptiQ с точностью 4 и 8 бит на уровне отдельных компонентов: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Размер модели на диске составляет около 19 ГБ, group size — 64. В ней сохранена MTP-голова для speculative decoding, которая может ускорять генерацию при использовании совместимого сервера. Модель оптимизирована для локального запуска на Apple Silicon через MLX без PyTorch и облачных сервисов. Сильными сторонами являются сочетание сниженного потребления памяти, reasoning-возможностей, поддержки инструментов и потенциально более быстрой генерации благодаря MTP. Ограничения включают необходимость экосистемы MLX и Apple Silicon, а также специального пакета mlx-optiq для загрузки архитектуры и MTP-компонента. README не указывает точный размер контекстного окна, подробные результаты тестирования или дополнительные языки. Модель распространяется по лицензии Apache-2.0.

QwQ-32B-GGUF — языковая модель для генерации текста и рассуждений из семейства Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen/QwQ-32B, ориентированная на локальный запуск и диалоговые сценарии, включая решение сложных математических, логических и других задач, где важны пошаговое рассуждение и качество вывода. Модель предназначена для использования с llama.cpp и совместимыми инструментами. Модель является авторегрессионной causal language model с архитектурой на базе Qwen2.5, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-вычислениях внимания. Она содержит около 32,5 млрд параметров, 64 слоя и механизм grouped-query attention с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для GGUF-версии без дополнительных настроек рекомендуется учитывать ограничение около 32 768 токенов; обработка более длинных последовательностей требует YaRN и поддержки со стороны используемого фреймворка. Указан английский язык. Сильная сторона модели — усиленная способность к рассуждению, обеспеченная последующим обучением с учителем и reinforcement learning; заявляется конкурентоспособность с современными reasoning-моделями, включая DeepSeek-R1 и o1-mini. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для стабильной работы рекомендуются специальные параметры семплирования и начало ответа с маркера <think>. Лицензия — Apache-2.0.

Rombos-LLM-V2.6-Nemotron-70b — текстовая генеративная модель на архитектуре Llama, опубликованная разработчиком rombodawg. По README, это результат последнего этапа непрерывного дообучения модели Nemotron-70B от NVIDIA; метаданные также указывают на слияние моделей Llama 3.1 70B Base, Llama 3.1 70B Instruct и Nemotron-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Весовые файлы представлены в формате safetensors. Лицензия — Llama 3.1; условия её использования определяются этой лицензией.

Fulcrum-AI представляет Ryze-Mistral-Nemo-Instruct-2407-8 — текстовую генеративную модель на архитектуре MistralForCausalLM, полученную слиянием весов через passthrough mergekit на основе mistralai/Mistral-Nemo-Instruct-2407. В репозитории указаны 20,1 млрд параметров, формат safetensors и контекст до 1 024 000 токенов. Модель предназначена для диалога, генерации текста, выполнения инструкций и сценариев с интерфейсом вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель Mistral AI и NVIDIA; модель можно применять для общения и генерации текста на поддерживаемых ею языках. README не описывает отдельную специализацию или результаты оценки именно этого слияния. Лицензия в предоставленных данных не указана.

Salamandra 7B Instruct — модель семейства Salamandra, разработанного Barcelona Supercomputing Center (BSC), для генерации текста и диалогового общения. Это decoder-only трансформер с архитектурой Llama, дообученный следовать инструкциям; в метаданных указано 6,7 млрд параметров, а карточка описывает семейство как предварительно обученное с нуля на 12,875 трлн токенов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и предназначена для работы на европейских языках и с кодом. Инструкционная версия подходит для использования в качестве многоязычного помощника, генерации текста и ответов на запросы; базовую модель также можно дообучать под специализированные сценарии. Salamandra обучалась на 35 европейских языках и коде, а среди языков в метаданных указаны, в частности, болгарский, каталанский, чешский, датский, немецкий, греческий, английский, испанский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, нидерландский, польский, португальский, русский и украинский. Лицензия Apache 2.0 допускает коммерческое и исследовательское использование. Это ранняя proof-of-concept версия с предварительной настройкой инструкций, без RLHF-фильтрации чувствительных тем. Модель может выдавать вредный или неподходящий контент; оценки также выявили социальные и когнитивные смещения, поэтому для прикладных систем необходимы отдельная проверка и настройка безопасности.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.

T5Gemma 2 — семейство мультимодальных моделей Google на архитектуре encoder-decoder, созданных адаптацией предварительно обученных моделей Gemma 3. Этот репозиторий содержит предварительно обученную модель с энкодером и декодером по 4 млрд параметров; адаптация выполнена с использованием UL2. Модель принимает текст и изображения и генерирует текст, поддерживает более 140 языков и контекст до 128 тыс. токенов. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и задачи по визуальным документам. В карточке приведены результаты оценки на наборах COCOcap, DocVQA и InfoVQA, а также тестах длинного контекста. Google описывает семейство как исследовательское; веса доступны для использования по лицензии Gemma. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами. Разработчикам следует самостоятельно оценивать безопасность и качество результатов.

Карточка модели gradients-io-tournaments/tournament-tourn_e758aac2d861c378_20260824-318ef829-69d5-40c9-b803-b3b78b525668-5D2Qee4V на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

Agents-A1-4B-Fable-Preview-heretic-GGUF — это GGUF-квантизированная vision-language модель, разработанная hotdogs на основе Agents-A1-4B от InternScience. Модель предназначена для диалогов, понимания изображений, агентских сценариев, пошагового рассуждения, вызова инструментов и function calling, а также выполнения задач с кодом и shell-командами. Поддерживаются английский и тайский языки, формат ChatML и инференс через llama.cpp с использованием vision-проектора mmproj. Модель содержит около 4,29 млрд параметров и использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием. Для обработки изображений применяется 24-слойный ViT-энкодер, контекст поддерживает до 128K токенов. Обучение включало 3 500 примеров Fable-style reasoning traces в течение трёх эпох; заявлена поддержка многошаговых агентских траекторий и блоков рассуждений <think>. Доступны варианты GGUF с разными уровнями квантизации, включая рекомендуемый IQ4_NL размером около 2,61 ГБ. К сильным сторонам относятся мультимодальность, поддержка инструментов, двуязычность, большой контекст и возможность запуска на видеокартах с ограниченной памятью. Abliteration с использованием heretic снизила заявленный уровень отказов примерно до 11%, однако модель может генерировать вредный, оскорбительный или неподходящий контент, поэтому требует осторожного применения. Лицензия — AGPL-3.0.

airoboros-l2-7b-2.2.1 — экспериментальная инструкция-настроенная языковая модель jondurbin на архитектуре Llama. Это обновлённая версия airoboros-l2-7b-2.2: в обучении использованы преимущественно синтетические данные набора airoboros-2.2.1, обновлены примеры написания текстов, добавлены более длинные контекстные блоки и удалены данные для ролевых сценариев. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате PyTorch по лицензии Llama 2. Модель предназначена для следования инструкциям, ответов на вопросы по предоставленному контексту, суммаризации, написания текстов и кода. Также она может формировать JSON- или YAML-подобные аргументы и планы для сценариев вызова функций, но выполнение этих планов требует отдельной реализации. Карточка отмечает склонность к инструкциям вместо непринуждённого общения и ролевой игры. Для диалога используется формат с маркерами USER и ASSISTANT; для вопросов по источникам автор рекомендует явные разделители контекста и инструкции не выдумывать ответ при нехватке сведений. Модель может галлюцинировать, поэтому её ответы и планы следует проверять; для предотвращения продолжения от лица пользователя нужно настроить критерии остановки генерации.

Это GGUF-квантизированная версия языковой модели Mistral-Small-24b-Sertraline-0304, разработанной allura-org и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая общие, научные, медицинские, программные и другие текстовые задачи. В README указано, что она основана на наборах данных для instruction following, включая Tulu 3, s1K, медицинские данные, данные по программированию и научным вопросам. Модель имеет размер 24B параметров, относится к текстовым autoregressive language models и поддерживает английский и китайский языки. Доступны варианты квантизации GGUF с форматами от Q3 до Q8 и размерами примерно от 12,4 до 25,05 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, поэтому модель подходит для локального запуска через llama.cpp, LM Studio и совместимые проекты. Контекстный размер, точная архитектура базовой модели, результаты оценивания и требования к оперативной памяти в README не указаны. Сильными сторонами являются широкий набор обучающих данных, ориентация на следование инструкциям и наличие вариантов с разным балансом качества и потребления памяти. Ограничения связаны с отсутствием подробных независимых бенчмарков, сведений о мультимодальности и гарантированной точности ответов; модель следует использовать с проверкой результатов, особенно в медицинских и научных сценариях. Лицензия — Apache-2.0.

Cerebrum-1.0-8x7b — языковая модель AetherResearch для генерации текста и решения задач, требующих рассуждений. Это дообученная версия Mixtral 8x7B с архитектурой sparse Mixture of Experts (MoE); модель обучали на небольшом наборе примеров с цепочками рассуждений и дополнительно выравнивали с помощью targeted RLHF. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, математических и логических задач, программирования, творческой работы и мозгового штурма. Карточка сообщает о конкурентных результатах на отдельных тестах относительно Gemini 1.0 Pro и GPT-3.5 Turbo, однако оценки получены в разных режимах и условиях. Для диалога рекомендуется шаблон Alpaca с запросом описать ход решения. Модель работает с текстом и рассчитана на английский язык; лицензия — Apache 2.0. Результаты могут зависеть от формулировки запроса и выбранного шаблона.

Dirk-Qwen3.8-27B-GGUF — это квантованная GGUF-версия плотной мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем npario. Модель предназначена для диалогов, агентного программирования, анализа изображений и других задач, требующих генерации текста с поддержкой vision-language. Она рассчитана на запуск через llama.cpp и совместимые рантаймы. Модель сохраняет веса исходной Qwen3.8-27B, vision-возможности и MTP-голову nextn для multi-token prediction и speculative decoding. В поставку включён Sharp chat template, ориентированный на краткие ответы и работу без дополнительной настройки шаблона. Поддерживаются английский и китайский языки. Доступны уровни reasoning_effort low, medium и xhigh; high является псевдонимом xhigh, а рассуждения можно полностью отключить. Контекстный размер в README не указан. Сильные стороны модели — компактные ответы, потенциально более высокая скорость генерации благодаря MTP и широкий выбор квантов Dynamic 3.0 UD размером примерно от 9,8 до 31,5 ГБ. Ограничения связаны с потерями качества у малобитных квантов, требованиями к видеопамяти и необходимостью использования совместимого vision-проектора mmproj-F16.gguf для работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Dolphin-v2-f32-GGUF — это мультимодальная vision-language модель для интеллектуального разбора документов. Базовая модель Dolphin-v2 разработана ByteDance, а данный репозиторий prithivMLmods содержит её варианты в формате GGUF с разными уровнями квантования. Модель основана на Qwen2.5-VL-3B, насчитывает около 3 млрд параметров и использует vision encoder Native Resolution Vision Transformer (NaViT) вместе с авторегрессионным декодером. Модель предназначена для OCR и структурированного понимания цифровых документов, PDF-файлов, отсканированных и сфотографированных страниц. Она распознаёт заголовки, абзацы, формулы с выводом в LaTeX, таблицы в HTML, код, списки, изображения и другие элементы, возвращая их с абсолютными координатами на странице. Двухэтапная архитектура сначала различает цифровые и фотографированные документы, а затем применяет параллельный поэлементный или целостный разбор. Поддерживаются английский и китайский языки; заявлены сценарии локального использования в медицине, юриспруденции и финансах. К сильным сторонам относятся высокая точность анализа структуры и порядка чтения, распознавания формул и таблиц, устойчивость к искажениям, наклонам и перспективе, а также возможность локального запуска. Для вариантов модели указаны размеры от примерно 791 МБ до 12,3 ГБ; производительность исходной модели заявлена на уровне 0,1729 кадра в секунду на GPU с 8–12 ГБ VRAM, при этом она может превосходить универсальные VLM по скорости и точности. Конкретные характеристики зависят от выбранного GGUF-варианта: более сильное квантование уменьшает требования к памяти, но может снижать качество. Размер контекста и подробные требования к программному обеспечению не указаны. Лицензия — Apache 2.0.

unsloth/gemma-3-12b-pt — вариант Gemma 3 от Unsloth, основанный на дообучении предобученной модели Google google/gemma-3-12b-pt. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration и 12 млрд параметров. Она принимает текст и изображения и генерирует текст; семейство Gemma 3 поддерживает контекст до 128 тыс. токенов и более 140 языков. Модель подходит для ответов на вопросы по изображениям, извлечения и пересказа визуальной информации, суммаризации и генерации текста, включая диалог, черновики писем и код. Карточка Unsloth ориентирована на использование модели как основы для дальнейшего дообучения и описывает экспорт дообученных вариантов в GGUF, Ollama, llama.cpp и формат Hugging Face. Возможности и качество ответов зависят от обучающих данных и формулировки запроса: модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости данных. Лицензия — Gemma; условия использования следует сверять с лицензией Google Gemma.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

Hermes-3-Llama-3.1-8B-GGUF — это квантизированная GGUF-версия языковой модели Hermes-3-Llama-3.1-8B от NousResearch, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая чат, ролевое взаимодействие, следование инструкциям, function calling и работу с JSON. Указан язык модели — английский; формат промптов основан на ChatML. Архитектура и исходный размер соответствуют Llama 3.1 с 8 млрд параметров, однако размер контекста в README не указан. Доступно множество вариантов квантизации от f32 до Q2_K и IQ2_M, что позволяет выбирать между качеством ответов, требованиями к памяти и размером файла. В качестве рекомендуемых отмечены варианты Q4_K_M, Q5 и Q6; более компактные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск, в частности через llama.cpp и LM Studio. Лицензия указана как llama3; дополнительные ограничения и условия распространения в README не описаны.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

IFM/K2-Horizon-MoVA-36B-A4B-FP8 — открытая FP8-квантизованная версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с механизмом внимания Mixture-of-Values (MoVA), содержащая 36 млрд параметров, из которых около 4 млрд активируются для каждого токена. Модель предназначена для генерации текста, агентских сценариев и задач, требующих рассуждений. Модель поддерживает английский язык и нативный контекст до 524 288 токенов. Квантизации FP8 подвергнуты маршрутизируемые линейные слои экспертов в слоях трансформера 3–47: веса используют статический FP8 E4M3FN, а активации — динамический FP8. Остальные основные тензоры, включая attention, общие эксперты, маршрутизаторы, первые плотные слои, MoVA-экспертов значений, нормализацию, embeddings и lm_head, сохранены в BF16. Благодаря этому снижается объём памяти и ускоряется инференс на оборудовании с поддержкой FP8 при близком к исходной BF16-модели качестве. Сильные стороны модели — высокий заявленный уровень результатов при небольшом числе активных параметров, длинный контекст и эффективность разреженной архитектуры. Для обслуживания рекомендуется tensor parallelism с TP=1 или TP=2. Ограничения включают зависимость преимуществ FP8 от совместимого оборудования и инфраструктуры, а также отсутствие в предоставленных данных подробной оценки качества по отдельным задачам и языкам. Модель распространяется под лицензией Apache-2.0.

Карточка модели meta-llama/Llama-3.1-405B-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-405B, поэтому описание составлено по ней. Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

Llama-3.1-Nemotron-92B-Instruct-HF-early — текстовая диалоговая модель на архитектуре Llama, созданная слиянием весов через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Репозиторий содержит модель примерно с 90,9 млрд параметров в формате safetensors; для работы используется библиотека Transformers. Модель предназначена для генерации ответов на инструкции и диалоговых запросов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 131 072 токена. В карточке не приведены сведения о поддерживаемых естественных языках и лицензии, поэтому их нельзя уточнить; условия использования следует сверить с лицензией базовой модели и репозитория.

yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

Llama-3.2-1B-Instruct-GGUF — квантизированная GGUF-версия 1B-инструкционной модели семейства Llama 3.2, разработанного Meta и опубликованная Unsloth. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Модель работает в текстовом формате и предназначена для диалоговых сценариев, включая агентский поиск с извлечением данных и суммаризацию. Доступны варианты с разной точностью квантования: 16, 8, 6, 5, 4, 3 и 2 бита, что позволяет выбирать компромисс между качеством, размером и требованиями к памяти. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также обучалась на более широком наборе языков, но качество для них может различаться. Инструкционная версия обучалась с использованием supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. Ограничения включают меньший размер по сравнению с более крупными моделями семейства, возможное снижение качества при сильном квантовании и отсутствие гарантии высокого качества для языков, не входящих в официальный список. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

Карточка модели joe-sidley-adc/lora-finetuned на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.