I.3Извлечение и структурирование данных

Это GGUF-квантизированная версия текстовой языковой модели dolphin-2.9.2-Phi-3-Medium, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, программным кодом, математическими задачами и агентными запросами. В обучении или дообучении исходной модели использовались наборы данных Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и SystemChat-2.0. Распространяется в формате GGUF для запуска с llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели при сохранении качества. Указан английский язык, модальность — текстовая. Размер исходного BF16-варианта составляет около 27,92 ГБ, а доступные квантизированные файлы занимают примерно от 5,20 до 14,83 ГБ. Сильная сторона модели — возможность локального запуска с выбором компромисса между качеством и требованиями к памяти благодаря множеству уровней квантизации. Ограничения README не раскрывает: отсутствуют сведения о числе параметров, архитектурных деталях, размере контекста, результатах бенчмарков и качестве на других языках. Для публикации указана лицензия MIT.

Карточка модели RichardHuu/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

FreedomAISVR/Gemma-4-12B-it-NVFP4-GGUF — квантованная в формате NVFP4 версия инструкционной модели Google Gemma 4 12B-it. Это плотный трансформер-декодер Gemma4ForCausalLM с 12,08 млрд параметров, предназначенный для диалога, следования инструкциям, рассуждений, программирования и мультимодального понимания. Модель рассчитана на запуск на видеокартах NVIDIA Blackwell, включая RTX 50 серии; репозиторий содержит GGUF-веса с заявленным размером файла 6,5 ГБ. Карточка приводит результаты на RTX 5060 Ti и рекомендует контекст до 256 тыс. токенов с соответствующими настройками KV-кэша. NVFP4 использует 4-битное представление весов с масштабированием по группам; автор отмечает, что на потребительских GPU скорость декодирования ограничена ядрами, а тензорные ядра FP4 в первую очередь ускоряют обработку входного контекста. Метаданные указывают диалоговую возможность, английский язык и задачу text-generation; описание базовой модели сообщает о понимании изображений, видео и аудио, но карточка этой квантованной версии не описывает точный мультимодальный интерфейс. Лицензия — Apache-2.0.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

Hy3 preview-Base — предварительно обученная языковая модель Tencent Hy Team для генерации текста. Она построена на архитектуре Mixture-of-Experts (MoE); README описывает семейство Hy3 preview как модель с 295 млрд параметров и 21 млрд активных параметров, тогда как метаданные этого репозитория указывают 16,6 млрд параметров. Модель предназначена для задач рассуждения, следования инструкциям, работы с длинным контекстом, программирования и агентных сценариев; эта версия является базовой, предварительно обученной моделью. Метаданные указывают контекст до 262 144 токенов и возможность диалогового использования. Для запуска README рекомендует vLLM или SGLang и отмечает необходимость нескольких GPU с большим объёмом памяти. Карточка приводит результаты тестов по математике, STEM, коду и агентным задачам, но они не гарантируют качество в конкретном приложении. В репозитории указаны веса safetensors и лицензия other; условия лицензии следует уточнить в её тексте перед использованием.

J.A.R.V.I.S. — дообученная разговорная языковая модель автора hadadrjt на базе Qwen3-14B, представленная как базовая и облегчённая версия публичного релиза. Это плотная авторегрессионная модель с 14 млрд параметров, контекстом до 40 960 токенов и форматом Safetensors; она предназначена для генерации текста, диалогов и интеграции в чат-боты, агентные сценарии, инструменты и автоматизированные процессы. README описывает ответы на вопросы, объяснения, перевод, написание кода, суммаризацию и творческое письмо. Модель принимает текст и генерирует текст. В README также упоминаются аудио- и графические функции в основном Space, однако они недоступны в терминальной и OpenAI-совместимой версиях API и не подтверждены как возможности этой модели из репозитория. Лицензия — Apache-2.0. Автор предупреждает о возможных предвзятых или ошибочных ответах и не рекомендует применять модель в критически важных сценариях без проверки человеком.

Kimi-Linear-REAP-35B-A3B-Instruct — разговорная причинно-языковая MoE-модель, созданная Cerebras на основе moonshotai/Kimi-Linear-48B-A3B-Instruct методом REAP: из исходной модели удалены избыточные эксперты. По README, в модели 35 млрд параметров, из которых около 3 млрд активируются на токен; заявлены 27 слоёв, 180 экспертов и выбор 8 экспертов на токен. В метаданных размер указан как 2,7 млрд параметров. Модель предназначена для диалога и генерации текста, включая код, математические рассуждения, вызов функций и ответы на вопросы по длинному контексту. Заявлена длина контекста до 1 048 576 токенов; README отмечает, что отдельные оценки на LongBench v2 и FRAMES проводились с ограничением входа до 128 тысяч токенов. Карточка сообщает о близком к исходной модели качестве при снижении размера примерно на 30%, а также о совместимости с актуальной версией vLLM, поддерживающей Kimi-Linear. Модель распространяется по лицензии MIT. README указывает, что после однократного прореживания дополнительное дообучение не выполнялось; при этом метаданные обозначают связь с базовой моделью как finetune. Заявления о качестве основаны на оценках карточки и могут не переноситься на все задачи; для отдельных тестов отмечено снижение точности после удаления экспертов.

Ling-lite-1.5 — языковая модель с разреженной архитектурой MoE, разработанная InclusionAI для генерации текста и диалогового взаимодействия. Карточка относит её к семейству Ling и приводит для этой версии 16,8 млрд параметров, из которых активируется 2,75 млрд. В метаданных репозитория указано 794,8 млн параметров и контекст 32 768 токенов, тогда как README сообщает 128K контекста; поэтому характеристики размера и длины контекста в источниках расходятся. Модель предназначена для широкого круга задач с текстом, включая ответы на вопросы, решение задач и генерацию кода. В опубликованной таблице оценки приведены результаты на MMLU, GPQA и HumanEval; README также описывает тесты длинного контекста до 128K. Для запуска указана библиотека Transformers, веса представлены в формате safetensors. Лицензия — MIT.

Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.

unsloth/Llama-3.2-1B-Instruct — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta и опубликованная Unsloth. Это плотная авторегрессионная трансформерная модель с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров. В карточке указаны диалоговый режим и интерфейс вызова инструментов; модель принимает и генерирует текст, а контекстное окно составляет 131 072 токена. Модель предназначена для многоязычных диалогов, ответов на вопросы, суммаризации и помощи в написании текста, в том числе в сценариях агентного поиска и использования инструментов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; модель обучалась на более широком наборе языков. Репозиторий содержит веса Safetensors и указывает лицензию Llama 3.2 Community License — специальную лицензию Meta с условиями коммерческого использования. Компактный размер облегчает развёртывание по сравнению с более крупными моделями, однако качество и надёжность ответов требуют проверки для конкретного применения.

unsloth/MAI-DS-R1-GGUF — GGUF-версия модели MAI-DS-R1, разработанной командой Microsoft AI на базе DeepSeek-R1 и опубликованной Unsloth. Модель дообучалась для устранения информационных пробелов, повышения отзывчивости к ранее блокировавшимся темам и улучшения профиля безопасности при сохранении возможностей рассуждения DeepSeek-R1. Для постобучения использовались 110 тысяч примеров безопасности и отказов из набора Tulu 3 SFT, а также около 350 тысяч внутренних многоязычных примеров по различным темам и случаям выявленных смещений. Модель предназначена для генерации и понимания текста, диалогов, ответов на общеобразовательные вопросы, многошагового решения математических и логических задач, генерации и объяснения кода, а также научных и академических сценариев. Она может использоваться как основа для дальнейшей адаптации в системах обучения математике, помощниках программиста и исследовательских инструментах. Формат GGUF ориентирован на запуск в совместимых локальных инструментах, однако конкретные размер, вариант квантования, длина контекста и поддерживаемые языки в представленных данных не указаны. Сильной стороной модели является сочетание возможностей рассуждения DeepSeek-R1 с постобучением, направленным на более корректное поведение в темах, которые исходная модель могла чрезмерно блокировать. При этом сохраняются ограничения исходной модели: возможны галлюцинации, уязвимость к состязательным запросам, предвзятые или небезопасные ответы, а также недостаточная осведомлённость о новых событиях. Модель не предназначена для медицинских и юридических рекомендаций, критически важных систем или самостоятельной поддержки решений с высокими рисками; необходимы проверка результатов человеком, модерация и мониторинг. Модель распространяется по лицензии MIT.

AI-Engine/Meta-Llama-3-8B-Instruct-GGUF — это GGUF-квантизированная версия инструкционно дообученной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и кода, прежде всего для диалоговых ассистентов, обработки инструкций и других задач генерации на английском языке. Репозиторий содержит варианты квантования для llama.cpp, включая версии с imatrix. Модель имеет авторегрессионную архитектуру на основе оптимизированного Transformer, около 8 млрд параметров и поддерживает только текстовые входы и выходы. Она использует Grouped-Query Attention (GQA), контекстное окно до 8 тысяч токенов, а инструкционная версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Данные обучения включали новый набор общедоступных онлайн-данных; дата отсечения знаний указана как март 2023 года. К сильным сторонам относятся ориентация на диалог, генерацию текста и кода, относительно компактный размер 8B и возможность локального запуска через совместимые инструменты GGUF и llama.cpp. Ограничения включают англоязычную специализацию, статичность модели и устаревание знаний после даты отсечения; качество и требования к ресурсам зависят от выбранного уровня квантования. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей Acceptable Use Policy; в README указано, что доступна коммерческая лицензия с особыми условиями.

maldv/Meta-Llama-3-8B-Instruct-hf — чат-модель семейства Llama 3, разработанного Meta. Это авторегрессионный плотный трансформер LlamaForCausalLM с 7,5 млрд параметров и Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текст, включая код, а версия Instruct настроена для диалогов и помощнических сценариев. Модель подходит для ответов на вопросы, ведения диалога и генерации текста или кода на английском языке. Метаданные указывают контекст до 8192 токенов. README описывает настройку инструкционной версии с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи людей. Для языков помимо английского может потребоваться дополнительное дообучение. Условия использования определяются лицензией Meta Llama 3 с коммерческими условиями и политикой допустимого использования. Модель статична и обучена на офлайн-данных; для конкретного приложения разработчикам следует самостоятельно настраивать меры безопасности.

openbmb/MiniCPM5-1B-GGUF — компактная языковая модель серии MiniCPM5, разработанная командой OpenBMB. Это GGUF-версия MiniCPM5-1B, предназначенная для локального запуска через llama.cpp, Ollama и LM Studio, включая устройства с ограниченными ресурсами. Модель представляет собой causal language model на архитектуре LlamaForCausalLM с 1 080 632 832 параметрами, 24 слоями и группированным вниманием GQA: 16 голов для запросов и 2 для ключей и значений. Максимальная длина контекста составляет 131 072 токена. Заявлена поддержка английского и китайского языков. Один и тот же checkpoint поддерживает быстрый режим без рассуждений и режим пошагового рассуждения через параметр enable_thinking и шаблон чата с маркером <think>. Модель ориентирована на локальных ассистентов, генерацию кода, coding agents, использование инструментов, агентские сценарии и задачи, требующие рассуждений при небольшом размере модели. К сильным сторонам относятся компактность, нативный длинный контекст, поддержка tool use и гибридного режима рассуждений; разработчики заявляют конкурентные результаты среди открытых моделей класса около 1B, особенно в использовании инструментов, генерации кода и сложном reasoning. Ограничения связаны с малым размером модели, из-за которого её возможности могут уступать более крупным моделям в сложных и специализированных задачах. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Olmo-Hybrid-Instruct-SFT-7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель с 6,3 млрд параметров, дообученная методом supervised fine-tuning на наборах Dolci для инструкций, включая примеры использования инструментов. Модель принимает текст и генерирует текст; размер контекста — до 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции, в том числе для задач по математике, программированию, общим знаниям и вызову инструментов. Ai2 сообщает о повышенной эффективности обучения и инференса на длинном контексте по сравнению с Olmo 3; приведённые в карточке результаты показывают пригодность модели для решения разнообразных текстовых задач. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и вредный или предвзятый контент, поскольку не имеет фильтрации безопасности.

Omega AI 8B — публикация модели Qwen3-8B под брендом Omega AI. Репозиторий сохраняет исходные предварительно обученные веса без дообучения и содержит только изменения брендинга и метаданных. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель подходит для диалоговых приложений, следования инструкциям, рассуждений, работы с кодом и вызова инструментов — эти возможности описаны для базовой Qwen3-8B. Карточка Omega не сообщает о дополнительном обучении или отдельных улучшениях относительно базы. Лицензия репозитория — Apache-2.0.

OpenAi-GPT-oss-20b-MODERATE-uncensored-NEO-Imatrix-gguf — текстовая generative-модель, разработанная DavidAU на базе huizimao/gpt-oss-20b-uncensored-bf16. Она предназначена для диалогов, общего решения задач, рассуждений, мозгового штурма, генерации текста и кода, включая программирование. Модель ориентирована на более свободную генерацию контента с меньшим количеством отказов, чем исходная версия OpenAI, однако не является полностью abliterate и в некоторых случаях требует более подробных инструкций. Заявлены архитектура Mixture of Experts с 24 экспертами, размер около 20B параметров, поддержка контекста до 128K токенов и английского языка. Распространяется в формате GGUF с вариантами квантования IQ4_NL, Q5_1 и Q8_0, включая версии с одной, двумя или тремя Imatrix-матрицами NEO, NeoCODE и Horror. По утверждению автора, NEO-, DI- и TRI-Matrix-варианты могут улучшать качество, стабильность и креативность, а производительность на совместимом оборудовании может достигать более 80 токенов в секунду. К сильным сторонам относятся широкий набор сценариев, генерация кода, творческие задачи и относительно низкая склонность к отказам. Ограничения включают возможную нестабильность отдельных генераций, зависимость результата от температуры, repetition penalty, числа экспертов и длины промпта, а также необходимость дополнительных указаний для получения выраженной ненормативной, графичной или сексуальной лексики. Модель лицензирована по Apache-2.0; конкретные требования к аппаратному обеспечению в README не указаны.

Open-Instruct SNI 7B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на наборе Super-Natural Instructions. Она предназначена для генерации ответов на инструкции и выполнения разнообразных текстовых задач, включая вопросы и ответы, рассуждения, задачи по математике и генерацию кода. Модель содержит 6,6 млрд параметров, использует формат PyTorch и имеет контекст длиной 2048 токенов. Модель обучалась в рамках исследования состояния instruction tuning на открытых ресурсах; в README приведены результаты на MMLU, GSM, BBH, TyDiQA, Codex-Eval и AlpacaFarm. Для качественной генерации следует соблюдать указанный в карточке формат запросов с переводами строк. Репозиторий содержит diff весов: для использования нужна доступная базовая модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model и исходной лицензией LLaMA.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-NVFP4-GGUF — квантованная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B от команды Qwen компании Alibaba. Репозиторий содержит GGUF-веса текстовой модели и отдельный проектор изображений SigLIP в формате F16; для инференса автор описывает использование llama.cpp. Модель рассчитана на диалог, выполнение инструкций, генерацию текста и кода, рассуждения и понимание изображений. Поддерживает английский, китайский и другие языки; режим рассуждений по умолчанию отключён и может быть включён настройкой enable_thinking=true. Модель имеет 4 млрд параметров, 32 слоя трансформера, гибридное внимание GQA и MLA с чередованием SSM Mamba-2, скрытую размерность 2560. Квантование NVFP4 использует около 4,74 бита на вес и ориентировано на ускорение на графических процессорах NVIDIA Blackwell; README рекомендует традиционные форматы для более старых GPU, AMD и CPU. Лицензия — Apache-2.0. Карточка не сообщает длину контекста и количественную оценку качества.

Jakeatx подготовил GGUF-квантизацию Qwen3.8-27B для запуска через llama.cpp на одной видеокарте RTX 3090 или 3090 Ti с 24 ГБ памяти. Это диалоговая модель для генерации текста; репозиторий содержит один файл размером 13,9 ГиБ с форматом IQ4_XS и смешанным повышением точности отдельных тензоров до Q5_0, Q6_K и Q8_0. В README указано, что квантизация создана на основе BF16 GGUF Qwen3.8-27B с использованием матрицы важности Unsloth. Сборка ориентирована на скорость и длинный контекст: автор измерил окно до 245 760 токенов на RTX 3090 Ti, а для 200 000 токенов рекомендует выделить около 20,9 ГиБ под веса и контекст. По приведённым замерам скорость декодирования составляет примерно 93–108 токенов/с на контексте 16K и 44–72 токена/с на 100K, в зависимости от нагрузки. Автор ожидает качество между Q3_K_XL и Q4_K_M; сопоставительная оценка на Terminal-Bench, SciCode и GDPval ещё не завершена. Модель подходит для диалогов, программирования, поиска по длинному контексту и многошаговых задач. README отмечает, что этот репозиторий является базовой квантизированной моделью-сравнением и не включает более поздние изменения проекта Perian. Модель распространяется по лицензии Apache-2.0. Языки и мультимодальные возможности исходной модели в данных этой карточки конкретно не описаны.

Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 — плотная языковая модель с 27 млрд параметров, опубликованная пользователем nerkyor. Модель предназначена для генерации текста, рассуждений, программирования, агентских и диалоговых сценариев. В README заявлена поддержка английского и китайского языков. Обучение и доработка включают SFT и SimPO; для ускорения вывода предусмотрена совместимость с DFlash2, speculative decoding, llama.cpp, SGLang и vLLM. Доступны варианты GGUF с уровнями квантования от Q2-LynnStyle до Q8_0, включая смешанную точность GSQ-RCO и численное уточнение IQ для Q2-LynnStyle, а также True-QAT INT8 W8A8 с динамическими INT8-активациями. В приведённых измерениях результаты зависят от варианта: на GPQA показатели составляют 82,83–86,87%, на MMLU — 83,20–89,40%, на LiveCodeBench — 74–78%. Это указывает на пригодность модели для общих знаний, рассуждений и кода, но качество зависит от выбранной точности и конфигурации запуска. README не указывает размер контекстного окна, мультимодальные возможности, точные требования к оборудованию или детальные ограничения поведения. Название содержит слово «Uncensored», однако формальные характеристики безопасности не приведены. Модель распространяется по лицензии Apache-2.0.

Verkiki/Qwen3.8-27b-Fable5-Distill-Abliterated-GGUF — производная модель, созданная на основе Blackfrost-AI Qwen3.8-27B-ABLITERATED-BF16 с применением нативного LoRA-адаптера TeichAI Qwen3.8-27B-Fable-Distill-LoRA. Модель относится к архитектуре qwen3_5, имеет класс размера 27B и распространяется в формате GGUF с квантизацией IQ4_XS и importance matrix, рассчитанной после объединения компонентов. Она предназначена для локального использования в задачах планирования, программирования, многошагового рассуждения, технического анализа и агентских рабочих процессов, включая работу с инструментами и многофайловыми проектами. Fable5-Distill ориентирован на декомпозицию задач, удержание инструкций, последовательное планирование и более агентное поведение. Для родительской Fable-модели TeichAI заявлены улучшения на ARC Challenge, ARC Challenge Easy и BoolQ, однако эти результаты не являются измерениями именно финальной квантизированной сборки. Поддерживаются режимы thinking с параметрами reasoning_effort low, medium и xhigh; шаблон по умолчанию использует xhigh. Сочетание с аблитерированной базой должно снижать склонность к отказам, но итоговые поведение и качество следует оценивать отдельно. К ограничениям относятся отсутствие в предоставленных данных точного размера контекстного окна, перечня поддерживаемых языков и подтверждения мультимодальных возможностей, несмотря на соответствующие метки. IQ4_XS уменьшает требования к памяти по сравнению с BF16 и Q8, но может снижать точность относительно исходных весов. Модель распространяется по лицензии Apache-2.0.

Ring-2.6-1T — большая языковая модель компании InclusionAI для рассуждений и выполнения сложных многошаговых задач. В README заявлено триллион параметров, тогда как метаданные репозитория указывают 59 млрд; фактический размер по доступным сведениям определить однозначно нельзя. Метаданные описывают архитектуру как MoE на базе BailingMoE V2.5 и указывают формат safetensors с compressed-tensors; для запуска README упоминает поддержку BF16 и FP8 в SGLang. Модель предназначена для агентных сценариев: планирования шагов, вызова инструментов, продолжительных диалогов и автоматизации рабочих процессов. Среди заявленных применений — разработка ПО, научный анализ, сложные логические и математические задачи, а также корпоративная автоматизация. README сообщает о режимах интенсивности рассуждений high и xhigh и контексте 128K с расширением до 256K через YaRN; метаданные указывают нативный контекст 131072 токена. Карточка приводит результаты ряда бенчмарков, но они являются заявлениями разработчика. Метаданные подтверждают текстовую генерацию и возможность чата; конкретные языки не указаны. Лицензия репозитория — MIT.

Tess-2.0-Llama-3-70B — универсальная языковая модель для диалога и генерации текста, разработанная Migtissera; вычислительные ресурсы для обучения предоставила KindoAI. Это плотная autoregressive-модель семейства Llama 3 на архитектуре LlamaForCausalLM с 69,5 млрд параметров и контекстом до 8192 токенов. Она принимает текстовые инструкции и выдаёт текст, поддерживает формат диалога Llama 3. Модель дообучена на базе meta-llama/Meta-Llama-3-70B в течение двух эпох на наборе Tess-2.0, который по принципам LIMA включает около 100 тысяч высококачественных примеров по программированию и общим темам. Подходит для диалоговых помощников, ответов на вопросы, написания текстов и помощи с кодом. Карточка характеризует набор данных как мало ограничивающий следование инструкциям, поэтому модель может отвечать на нежелательные запросы. Модель может выдавать неточную или вводящую в заблуждение информацию, а также предвзятый, оскорбительный или иной неподходящий контент; ответы следует проверять. Лицензия — Llama 3 License (llama3).

AceInstruct-72B — разработанная NVIDIA большая языковая модель для программирования, математики и общих задач. Это плотная авторегрессионная модель семейства Qwen2 с 71,5 млрд параметров, дообученная методом supervised fine-tuning на базовой модели Qwen2.5-Base с использованием общих инструкционных наборов данных. Модель поддерживает диалог и генерацию кода; заявленная длина контекста — 131 072 токена. AceInstruct рассчитана на широкий круг задач по инструкциям, включая написание и объяснение кода, решение математических задач и ответы на вопросы общего характера. В оценках из карточки её результаты сопоставимы с Qwen2.5-Instruct; это результаты бенчмарков, а не гарантия качества для каждого сценария. Модель принимает текст и генерирует текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Aya Expanse 8B Ungated — открытая версия весов многоязычной языковой модели, разработанной Cohere For AI на основе предварительно обученной модели семейства Command. Это авторегрессионный трансформер Cohere с 8 млрд параметров и контекстом до 8192 токенов; модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного общения и генерации текста на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Её постобучение включает обучение с учителем, обучение на предпочтениях, настройку безопасности и слияние моделей. Она подходит для ответов на вопросы, диалогов и создания текстов на поддерживаемых языках. Веса опубликованы по лицензии CC-BY-NC-4.0; использование также регулируется политикой допустимого использования C4AI. Лицензия ограничивает коммерческое применение. Модель принимает и выдаёт только текст; заявленная длина контекста — около 8 тысяч токенов.