I.3Извлечение и структурирование данных

QuantFactory/WizardLM-2-7B-abliterated-GGUF — это квантизированная версия WizardLM-2 7B, разработанная QuantFactory с использованием llama.cpp на основе fearlessdots/WizardLM-2-7B-abliterated. Базовая модель WizardLM-2 создана командой WizardLM при Microsoft AI и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения сложных инструкций, включая задачи письма, программирования, математики, рассуждений, агентских сценариев и многоязычного общения. Поддерживаются многоходовые диалоги с шаблоном запросов Vicuna. Модель содержит около 7 миллиардов параметров и работает только с текстом. Вариант abliterated использует ортогонализованные веса bfloat16, а текущая версия распространяется в квантизированном формате GGUF, что ориентировано на более эффективный запуск и снижение требований к памяти по сравнению с полноразмерными весами. В README не указаны точное окно контекста, поддерживаемые языки и конкретные параметры квантизации. Заявлены высокая скорость для своего класса и конкурентные результаты среди открытых моделей сопоставимого размера, однако приведённые оценки относятся к WizardLM-2 7B и не обязательно полностью характеризуют данный GGUF-вариант. Лицензия модели указана как Apache 2.0. Специфические ограничения, связанные с abliterated-модификацией, в README не описаны; поэтому качество, безопасность и соответствие ответов требованиям конкретного применения следует проверять отдельно.

Aether-12b — языковая модель AIXON Lab, дообученная на основе Xclbr7/Arcanum-12b на наборе theprint/CleverBoi-Data-20k. Это плотная авторегрессионная Transformer-модель семейства Mistral с 12,1 млрд параметров; для дообучения использовались TRL SFTTrainer, оптимизатор AdamW, планировщик cosine decay и точность bfloat16. В карточке указано контекстное окно 1 024 000 токенов. Модель предназначена для работы в роли ассистента или чат-бота с заданной ролью. Разработчик заявляет улучшения в рассуждении, решении задач, письме, анализе и понимании контекста. Основной язык — английский; карточка также отмечает возможную поддержку других языков. Лицензия — Apache-2.0. Модель может наследовать предвзятости и ограничения базовой модели и обучающих данных; результаты стоит проверять, особенно при использовании для анализа и решения задач. Оценки Open LLM Leaderboard в карточке пока отсутствуют.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели jinreiyu/cloned-Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — модифицированная версия Gemma 4 12B от Google DeepMind, подготовленная HauhauCS. Модель основана на официальных QAT-весах и ориентирована на агентное программирование, рассуждения, творческое письмо, ролевые сценарии и диалоговые задачи, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и предназначен для случаев, когда стандартные отказы базовой модели нежелательны. Это плотная модель на 12 млрд параметров с контекстом до 256K токенов. Она поддерживает ввод изображений через отдельный vision-проектор mmproj, поэтому может использоваться в мультимодальных сценариях. Доступна в формате GGUF с квантизацией Q4_K_M размером около 6,9 ГБ; автор считает этот вариант оптимальным благодаря обучению Gemma 4 с учетом 4-битной квантизации. Для ускорения генерации поставляется MTP-голова для speculative decoding, которая в llama.cpp, по заявлению автора, дает примерно 60% прироста скорости без изменения проверяемого результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Среди ограничений — заявленное ускорение MTP протестировано только в llama.cpp, а при использовании LM Studio автор наблюдал возможные сбои в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоев. Заявление об отсутствии отказов основано на тестах автора и не исключает отдельных отказов в пограничных случаях. Лицензия указана как Gemma; конкретные условия следует уточнять в лицензии семейства Gemma.

GPT-3.5 Turbo Instruct — вариант модели OpenAI, настроенный на выполнение инструкций в текстовых запросах и не ориентированный на диалоговые оптимизации. Он предназначен для генерации текста в ответ на инструкции и запросы пользователя. В README указан предел знаний в виде обучающих данных по сентябрь 2021 года. Сведения об архитектуре, размере, контекстном окне и лицензии в предоставленных источниках отсутствуют.

NVIDIA Kimi-K2-Thinking-Eagle3 — текстовая авторегрессионная модель NVIDIA, представляющая собой Eagle3 speculative decoding head для Moonshot AI Kimi-K2-Thinking. Она основана на трансформерной архитектуре DeepSeek V3 и обучена с NVIDIA Model Optimizer. Веса модели занимают 1,8 млрд параметров; метаданные указывают контекст до 262 144 токенов, тогда как README приводит длину 4096 токенов. Эти значения расходятся, поэтому фактическую длину контекста следует сверить с выбранной конфигурацией запуска. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и других приложений, а также для выполнения инструкций, генерации кода и рассуждений. Она принимает текст и генерирует текст; для ускоренного инференса NVIDIA указывает TensorRT-LLM и совместимость с GPU Blackwell. Лицензия обозначена как other; README требует соблюдать NVIDIA Open Model License и упоминает Modified MIT License Kimi-K2-Thinking. Перед использованием следует проверить условия обеих лицензий и протестировать модель на целевых данных.

Llama-SEA-LION-v3-70B-IT — языковая модель с настройкой по инструкциям, разработанная командой Products Pillar организации AI Singapore при финансировании Национального исследовательского фонда Сингапура. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. Модель предназначена для следования инструкциям и общения на английском и языках Юго-Восточной Азии. В README перечислены бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский; настройка по инструкциям проводилась на английском, индонезийском, яванском, сунданском, тамильском, тайском и вьетнамском. Среди проверявшихся задач — ответы на вопросы, анализ тональности, выявление токсичности, перевод и суммаризация. Модель распространяется по лицензии Llama 3.1 Community License. Модель может галлюцинировать, выдавать нерелевантные или вымышленные сведения и непоследовательно рассуждать. В README также отмечено, что релиз не прошёл настройку безопасности, поэтому для ответственных сценариев пользователям следует самостоятельно применять меры безопасности и проверять результаты.

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Mellum2-12B-A2.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Mellum2, разработанной JetBrains и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста по инструкциям, включая задачи программирования, рассуждений, ответов на вопросы и вызова функций. В README заявлена поддержка английского языка и текстовая модальность. Модель основана на Mellum2-12B-A2.5B-Instruct; из идентификатора следует обозначение 12B-A2.5B, однако подробности архитектуры и контекстного окна не указаны. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством и требованиями к памяти. Для запуска указаны llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Приведены результаты на наборах для программирования, математики, следования инструкциям, вызова функций и оценки безопасности, но они не верифицированы. Лицензия модели — Apache 2.0. Ограничениями являются отсутствие в предоставленных данных подробной информации об архитектуре, размере контекста, полном наборе языков, системных требованиях и качестве работы на языках, кроме английского; перед использованием также может потребоваться обновление программного обеспечения для поддержки модели.

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

Nesso-4B — компактная языковая модель-ассистент от Mii, основанная на плотной архитектуре Qwen3. В репозитории указано 4,0 млрд параметров, а метаданные фиксируют 3,7 млрд; модель распространяется в формате safetensors и рассчитана на запуск локально на пользовательском оборудовании. Заявленное окно контекста — до 262 144 токенов, однако для устройств с ограниченной памятью README рекомендует сокращать его. Модель предназначена для повседневного диалога, генерации текста, поиска ответов по документам с RAG, агентных сценариев и использования инструментов. Заявлена поддержка нескольких языков и кросс-языковых задач, но конкретные языки и их качество не перечислены. Поддерживаются Transformers и приложения локального запуска, включая Ollama, LM Studio, llama.cpp и MLX-LM. Лицензия — Mii Open License 1.0; условия следует сверить с текстом лицензии в репозитории.

Карточка модели ashton25549/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B — извлечённый из семейства NVIDIA Nemotron Labs 3 Elastic 12B вариант языковой модели, опубликованный DavidAU. Модель предназначена для диалогов, генерации текста и задач рассуждения. В ней 946,5 млн параметров по метаданным; архитектура Nemotron H, а базовая модель — NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16. В README для семейства описана гибридная архитектура Mamba, Transformer и MoE с 128 экспертами, из которых активируются 8; вариант 12B указан как содержащий 2B активных параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов по метаданным. Указаны английский, немецкий, испанский, французский, итальянский и японский языки. README сообщает о коротких блоках рассуждений и готовности к дальнейшей настройке. Лицензия обозначена как other, а README заявляет о коммерческой применимости, поэтому условия следует проверять по лицензии исходной модели и карточке репозитория.

Omega AI 1T — вариант модели OpenModel-1T-A50B-Instruct под брендом Omega AI. По карточке, архитектура и предварительно обученные веса происходят от базовой модели; репозиторий указывает около 1 трлн общих параметров и примерно 50 млрд активных параметров на проход, тогда как метаданные каталога приводят 49,6 млрд параметров. Модель относится к архитектуре OpenModel с разреженной смесью экспертов (MoE), принимает текст и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Возможны сценарии, унаследованные от базовой инструкционной модели: сложные рассуждения, генерация кода, математические задачи и многошаговые диалоги. Эти возможности описывают базовую модель и не подтверждены отдельными оценками именно для Omega AI 1T. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0.

Omni-Reasoner4-Merged — объединённая языковая модель от prithivMLmods, созданная методом Model Stock с помощью mergekit. В объединение вошли Qwen/QwQ-32B-Preview, Qwen/Qwen2.5-32B и prithivMLmods/Blaze.1-32B-Instruct; в качестве базовой модели указана Qwen/QwQ-32B-Preview. Модель имеет архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов. Длина контекста — 32 768 токенов; заявлена поддержка интерфейса вызова инструментов. Модель подходит для диалоговых сценариев и генерации текста, включая задачи рассуждения, на которые указывает название и включение QwQ-32B-Preview. Поддерживаемые языки в карточке не перечислены. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Лицензия в предоставленных данных не указана.

RobinsonLabs Qwen3.6-35B-A3B-abliterated-GGUF — набор квантованных моделей в формате GGUF, созданный Robinson Labs на базе Qwen/Qwen3.6-35B-A3B. Это разреженная Mixture-of-Experts-модель архитектуры qwen35moe с 35 млрд параметров и бюджетом около 3 млрд активных параметров на токен, предназначенная для генерации текста и запуска в совместимых локальных inference-движках. В модели сохранён Multi-Token Prediction (MTP/NextN), благодаря чему поддерживается спекулятивное декодирование в runtime, которые умеют с ним работать. Сведения о длине контекста и языках в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы о взрослом и творческом контенте. Согласно описанию, базовые защитные механизмы от реального вреда намеренно сохранены; на внутренних тестах модель получила 5/5 по набору задач на рассуждение, код, математику, фактические ответы и следование инструкциям, а также 10/10 по проверенному набору детской безопасности. При этом авторы подчёркивают, что наборы тестов невелики и не гарантируют сохранность всех защитных механизмов. Модель помечена как предназначенная не для всех аудиторий и требует ответственного использования. Основные ограничения связаны с квантованием: доступные варианты отличаются размером и потенциальным компромиссом между качеством и требованиями к памяти, однако конкретные параметры каждого варианта следует уточнять по выбранному файлу. Лицензия унаследована от базовой модели и указана как Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Карточка модели CollectionStudio/Trinity-Large-Preview на Hugging Face совпадает с карточкой arcee-ai/Trinity-Large-Preview, поэтому описание составлено по ней. Trinity-Large-Preview — разговорная модель Arcee AI на архитектуре разреженного Mixture-of-Experts (MoE), созданная на основе Trinity-Large-Base и прошедшая лёгкое дообучение для диалога. В README указано около 398 млрд параметров всего и примерно 13 млрд активных параметров на токен; метаданные каталога приводят размер 8,7 млрд параметров. Модель обучалась на более чем 17 трлн токенов, а этап настройки инструкций охватил 20 млрд токенов. Контекст составляет до 262 144 токенов. Модель предназначена для генерации текста и диалогов, в том числе с использованием интерфейса вызова инструментов. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Доступны варианты запуска через Transformers, vLLM, llama.cpp, LM Studio и API. Карточка приводит неоднозначные результаты бенчмарков: модель выше Llama 4 Maverick на MMLU, но ниже на MMLU-Pro и GPQA-Diamond. Это preview-чекпойнт, который проходит активное обучение с подкреплением, поэтому качество может меняться. Указана лицензия other; конкретные условия использования следует проверять в репозитории модели.

xGen-small-9B-instruct-r — диалоговая языковая модель Salesforce из семейства xGen-small, предназначенная для генерации ответов и ведения чата. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM; в метаданных указано 10,2 млрд параметров и контекст до 262 144 токенов. Вариант instruct дообучен для диалогового использования. Модель подходит для длинных текстовых запросов и ответов, требующих работы с обширным контекстом, а также для общих задач рассуждения и знаний. В README приведены сравнительные результаты для тестов MMLU, MMLU-Pro и Arena-Hard; это результаты оценок, а не гарантия качества в прикладных сценариях. Salesforce описывает xGen-small как компактную модель с предметно-ориентированным отбором данных, масштабируемым предварительным обучением, расширением контекста и дообучением с RL. Выпуск предназначен для исследований; README рекомендует проверять точность, безопасность и справедливость перед применением, особенно в сценариях с высоким риском. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

AI21-Jamba2-3B — компактная языковая модель компании AI21 Labs для локального развёртывания на телефонах и персональных компьютерах. Она содержит 2,3 млрд параметров и использует архитектуру Jamba, сочетающую слои Mamba и Transformer; модель доступна через библиотеку Transformers и предназначена для генерации текста в диалоговом режиме. Модель подходит для следования инструкциям, ответов с опорой на предоставленный контекст, работы с длинными документами и сценариев RAG, в том числе при обработке технической и корпоративной документации. Контекстное окно составляет 256 000 токенов. По карточке, обучение включало дообучение на инструкциях, оптимизацию DPO и этапы обучения с подкреплением; заявлены результаты на бенчмарках instruction following и grounding. Модель выпущена под лицензией Apache 2.0, допускающей коммерческое использование. Компактный размер рассчитан на устройства с ограниченными ресурсами, однако качество конкретных ответов следует проверять на целевых задачах; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

Квантизированная 4-битная версия большой языковой модели Command R+ от CohereForAI, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm. Модель предназначена для генерации текста в диалогах, ответов на вопросы, работы с внешними инструментами и генерации ответов, основанных на предоставленных документах и источниках.

DeepSeek-V2-Lite-Chat — диалоговая языковая модель DeepSeek AI, дообученная методом SFT на основе семейства DeepSeek-V2-Lite. В карточке описана архитектура MoE с Multi-head Latent Attention (MLA): около 16 млрд параметров всего, из которых для каждого токена активируется 2,4 млрд; модель имеет 27 слоёв. Она предназначена для генерации текста в диалоге, продолжения текста и ответов на запросы. README приводит результаты на английских и китайских бенчмарках и указывает длину контекста 32 тыс. токенов; метаданные каталога указывают 163 840 токенов. Эти значения расходятся, поэтому фактическое доступное окно следует сверять с конфигурацией используемого чекпойнта и программной среды. MLA сжимает KV-кэш для более экономичного инференса, а разреженные MoE-слои активируют часть экспертов на каждом токене. README сообщает, что для инференса в BF16 требуется GPU с 40 ГБ памяти; также описаны запуск через Transformers и оптимизированный вариант с vLLM. В метаданных указан формат safetensors. Модель рассчитана на текстовый ввод и текстовый вывод; результаты бенчмарков охватывают английский и китайский, но это не задаёт полный перечень поддерживаемых языков. В метаданных лицензия обозначена как other, без конкретных условий в предоставленных данных. Перед использованием следует проверить лицензионные условия на странице репозитория.

alpindale/gemma-7b — текстовая авторегрессионная модель семейства Gemma, разработанного Google на основе исследований и технологий, применявшихся для Gemini. Это плотная decoder-only модель с 8,2 млрд параметров; карточка указывает поддержку английского языка и контекст до 8192 токенов. Модель принимает текст и генерирует текст, подходит для ответов на вопросы, суммаризации, диалога, создания текстов и рассуждений. Модель можно запускать через Transformers; сравнительно небольшой размер позволяет использовать её на персональных компьютерах и собственной облачной инфраструктуре. В репозитории указаны веса в формате safetensors. README описывает Gemma как семейство с предварительно обученными и дообученными для инструкций вариантами, но не уточняет отдельно тип этого чекпойнта. Лицензия в предоставленных данных не указана. Как и другие языковые модели, она может выдавать фактически неверные ответы, отражать предвзятость обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для пользовательских приложений следует оценивать качество ответов и применять меры безопасности.

HyperLlama-3.1-8B — языковая модель для генерации текста и диалогов, созданная объединением моделей Replete-AI, Dampfinchen и Orenguteng с помощью mergekit. Она основана на плотной архитектуре Llama и содержит 7,5 млрд параметров; для объединения использован метод model_stock, веса представлены в формате safetensors. Модель подходит для ответов на инструкции и ведения диалога, а метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. В README приведены результаты Open LLM Leaderboard: средний балл 28,07, IFEval — 78,83 и BBH — 29,81. В состав объединения входит вариант Lexi Uncensored V2, поэтому ответы могут быть менее ограниченными по содержанию. Модель распространяется по лицензии Apache-2.0.