I.3Извлечение и структурирование данных

mikr/whisper-large-czech-cv11 — дообученная модель автоматического распознавания речи на базе Whisper Large от OpenAI. Она обучена на чешской части датасета Mozilla Common Voice 11.0 и предназначена для транскрибирования чешской речи в текст. В архитектуре WhisperForConditionalGeneration около 905,2 млн параметров; веса доступны в форматах PyTorch и Safetensors. На тестовой выборке автор приводит WER 10,8278 и loss 0,2528. Модель распространяется по лицензии Apache-2.0.

Finnish-NLP разработала эту модель как дообученную на финских данных версию OpenAI Whisper Large V3 для распознавания финской речи. Модель семейства Whisper содержит около 905,2 млн параметров и принимает аудио, выдавая распознанный текст; она доступна в формате Safetensors и рассчитана на использование с Transformers. Модель предназначена для транскрибирования финской речи. В карточке приведены результаты на тестовых наборах Common Voice 11 и Google Fleurs: после 32 000 шагов дообучения WER составил 8,23 на Common Voice 11 и 8,21 на Fleurs. Используется лицензия Apache 2.0.

Модель Pirnazar — версия Whisper large-v3-turbo, дообученная для распознавания туркменской речи. Это самостоятельный чекпойнт с объединённым в веса LoRA-адаптером; отдельная загрузка адаптера или базовой модели не требуется. Модель построена на архитектуре Whisper и принимает аудио, выдавая текстовую транскрипцию. Для распознавания рекомендуется задавать язык tk и режим транскрипции. При обучении использовался датасет mamed0v/TurkmenSpeech; LoRA ранга 8 обучалась на проекциях q_proj и v_proj. В карточке приведены результаты валидации на 500 примерах: WER 29,51% и CER 6,59%; это метрики обучения, а не независимая оценка тестового набора. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

qanastek/whisper-small-french-uncased — дообученная модель распознавания речи на базе openai/whisper-small, созданная для транскрибирования французской речи. Она использует архитектуру Whisper с 153,1 млн параметров и обучена на французской части набора Mozilla Common Voice 11.0. Модель принимает аудио и выдаёт текст; в README приведены результаты оценки на французских наборах Common Voice 11.0, VoxPopuli и FLEURS: WER 15,38%, 16,29% и 13,98% соответственно, с нормализацией. Модель подходит для транскрибирования французских аудиозаписей и речевых данных. Доступна в формате PyTorch по лицензии Apache-2.0. Оценки WER относятся к указанным наборам и условиям нормализации; README не описывает дополнительные сценарии или ограничения.

CKSINGH/whisper-small-hi-iiib — дообученная модель семейства Whisper на основе openai/whisper-medium, предназначенная для автоматического распознавания речи и преобразования аудио в текст. В метаданных указано 153,1 млн параметров; модель использует архитектуру WhisperForConditionalGeneration и распространяется в форматах PyTorch и safetensors. Карточка сообщает результаты оценки: loss 0,1203, WER 10,8852 и CER 3,4179. Язык карточки и тег модели указывают на хинди. Лицензия — Apache-2.0. README не уточняет набор данных и сценарии применения, поэтому качество на других наборах записей и устойчивость к различным условиям записи по имеющимся данным оценить нельзя.

Blgn94/whisper-small-mn-v2 — дообученная модель на основе openai/whisper-small для автоматического распознавания речи на монгольском языке. Она использует архитектуру Whisper и предназначена для транскрибирования аудио; модель распространяется через Transformers в формате safetensors. Обучение проводилось на корпусе примерно из 77 часов монгольской речи с частотой 16 кГц, преимущественно на записях Common Voice. По результатам проверки на фиксированной выборке из 200 примеров модель показала WER 15,16% и CER 6,60%; полная оценка на валидационной выборке ещё не проводилась. Модель лучше подходит для чёткой подготовленной речи на кириллице и может быть полезна для транскрибирования записей и субтитров. По сравнению с разговорной, шумной или телефонной речью качество может быть ниже; Whisper также может ошибочно генерировать текст на тишине и неречевых фрагментах. Лицензия — Apache-2.0.

hongzoh/Yi-6B_Open-Orca — текстовая генеративная модель, дообученная на наборе Open-Orca/OpenOrca на основе 01-ai/Yi-6B. Модель содержит 5,8 млрд параметров и использует плотную архитектуру семейства Llama; для запуска указана библиотека Transformers и формат весов PyTorch. Модель предназначена для генерации текста и диалоговых ответов по текстовым запросам. Обучение на Open-Orca ориентирует её на следование инструкциям и ответы на вопросы на английском языке. Контекст составляет до 4096 токенов. Модель выпущена под лицензией Apache-2.0. Карточка содержит мало сведений о качестве и оценках модели; фактические результаты могут зависеть от запроса и настроек генерации.

Zen-VL-30B-Instruct — мультимодальная vision-language модель на базе zenlm/zen-vl-30b-instruct, подготовленная в формате GGUF пользователем mradermacher. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальному и текстовому вводу. В README указано, что она поддерживает английский язык и относится к семейству ZenLM. Размер базовой модели — 30B параметров, однако точная архитектура и размер контекстного окна не указаны. Репозиторий содержит imatrix-квантизацию и набор вариантов GGUF с разными уровнями сжатия — от IQ1_S до Q6_K, размером примерно от 6,5 до 25,2 ГБ. Это позволяет выбирать баланс между требованиями к памяти, скоростью и качеством; для общего применения рекомендован вариант i1-Q4_K_M, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Агрессивно квантованные варианты имеют более низкое качество, а сведения о специализированных ограничениях и контекстном окне отсутствуют. Лицензия модели — Apache-2.0.

Shunya Labs Zero STT Hinglish — модель автоматического распознавания речи, созданная Shunya Labs на базе OpenAI Whisper Medium и дообученная для хинди-английской речи с переключением языков. Она преобразует аудио разговоров, подкастов и видео в текст, сохраняя естественное чередование хинди и английского, в том числе внутри фраз. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. Модель предназначена для расшифровки Hinglish: например, записей встреч, разговоров с клиентами и медиаконтента для субтитров. В примерах карточки встречаются записи смешанным письмом, включая латиницу для английских слов и деванагари для хинди. Для распознавания речи она обучалась на данных Vaani, Kathbath и Shrutilipi. Карточка заявляет более точную обработку естественных переключений между хинди и английским по сравнению с обычной мультиязычной Whisper Medium, однако количественных результатов оценки не приводит. Лицензия модели — OpenRAIL; для полного понимания условий использования следует учитывать текст лицензии в репозитории.

unsloth/Qwen3-32B-unsloth-bnb-4bit — 4-битная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная causal language model с 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и 64 слоями. Модель поддерживает более 100 языков и диалектов, включая английский, и предназначена для работы через Transformers. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Она поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрых ответов в рамках одной модели. Используется Grouped Query Attention: 64 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель предназначена только для обработки текста; сведения о других модальностях в README отсутствуют. Лицензия — Apache-2.0, согласно ссылке на лицензию базовой модели Qwen/Qwen3-32B.

mlx-community/gemma-4-12B-it-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 12B Unified, опубликованная сообществом mlx-community на основе модели Google DeepMind. Это открытая мультимодальная модель с генерацией текста и поддержкой текстовых, изображений, видео и аудио входов; вариант 12B поддерживает аудио непосредственно. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, обработки документов и изображений, OCR, понимания видео, распознавания речи и агентских сценариев с function calling. Она использует encoder-free unified-архитектуру, содержит около 12 млрд параметров и распространяется в 8-битном представлении MLX. Для Gemma 4 12B заявлены контекст до 256K токенов, мультиязычная поддержка более 140 языков при обучении и готовая поддержка более 35 языков. Сильные стороны — сочетание текстовых, визуальных и аудиовозможностей, длинный контекст, режим рассуждений и локальное выполнение; ограничение данного варианта — зависимость от совместимого стека MLX и снижение точности представления по сравнению с полноразмерной версией из-за 8-битной квантизации. Карточка исходной модели указывает разработчика Google DeepMind и лицензию Apache 2.0; для Gemma также следует учитывать применимые условия использования Google. Репозиторий mlx-community содержит веса в формате Safetensors и инструкции для запуска через MLX.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

Mistral-Large-Instruct-2407 — плотная инструктивная большая языковая модель Mistral AI с 122,2 млрд параметров, опубликованная 24 июля 2024 года. Она предназначена для генерации текста, диалогов, математических рассуждений, программирования и работы в агентных сценариях с вызовом функций и формированием JSON. Архитектура — MistralForCausalLM; модель распространяется в формате safetensors. В карточке заявлена поддержка многих языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Для этой версии метаданные указывают контекстное окно 32 768 токенов. По карточке, для запуска требуется несколько GPU с суммарной видеопамятью свыше 300 ГБ. Карточка приводит высокие результаты на тестах инструктивного следования, кода и математики. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Лицензия Mistral Research License разрешает исследовательское и некоммерческое использование, а также модификацию.

Qwen3-235B-A22B-Instruct-2507-FP8 — инструкционная causal language model семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-235B-A22B-Instruct-2507 для генерации текста и диалогового взаимодействия. Она предназначена для следования инструкциям, понимания текста, логического рассуждения, математики, научных задач, программирования, использования инструментов и открытых субъективных задач, включая генерацию качественного текста. Модель использует архитектуру Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к неэмбеддинговым. Архитектура включает 94 слоя, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 64 Q- и 4 KV-головами. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков и улучшенное покрытие редких знаний, однако конкретный полный список языков в README не указан. Поддерживается только non-thinking mode: модель не формирует блоки <think></think>. Сильные стороны модели — улучшенные instruction following, рассуждение, кодинг, tool usage, многоязычность, субъективные и открытые задачи, а также обработка длинного контекста. Ограничения включают высокие требования к вычислительным ресурсам, обусловленные общим размером модели, и отсутствие режима thinking. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

Jackrong/Qwen3.8-27B-MTP-GGUF — мультимодальная причинная языковая модель семейства Qwen3.8, опубликованная пользователем Jackrong в формате GGUF. Она предназначена для диалогов, генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих агентных сценариев, вызова инструментов, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров и сочетает языковую модель с vision-энкодером. Архитектура включает 64 слоя, механизмы Gated DeltaNet и Gated Attention, а также Multi-Token Prediction (MTP). Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживается управляемый режим рассуждений: его можно отключать для отдельных запросов, настраивать глубину через reasoning_effort и сохранять контекст рассуждений с помощью preserve_thinking. Языки явно не перечислены. Ключевое отличие этой версии — встроенная MTP-голова для speculative decoding без отдельной draft-модели. В опубликованном внутреннем тестировании с llama.cpp это дало примерно двукратный прирост пропускной способности и снижение средней задержки примерно в 1,88 раза; рекомендуемый параметр — max draft = 2. Фактическая производительность зависит от оборудования, длины запроса и ответа, глубины рассуждений и настроек запуска. Модель распространяется по лицензии Apache-2.0 и совместима с экосистемами Transformers, vLLM, SGLang, TokenSpeed и другими инструментами, поддерживающими соответствующие форматы.

alpindale/c4ai-command-r-plus-GPTQ — GPTQ-вариант модели C4AI Command R+, разработанной Cohere и Cohere For AI. Базовая модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 104 миллиардами параметров и контекстом до 128K токенов. После предварительного обучения она прошла supervised fine-tuning и обучение на предпочтениях для повышения полезности и безопасности ответов. Модель предназначена для генерации текста, рассуждений, суммирования, ответов на вопросы, Retrieval Augmented Generation и многошагового использования инструментов. Она оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков; в предобучающие данные также входили русский и другие языки. Входом и выходом служит только текст. Сильные стороны — большой контекст, мультиязычность, поддержка RAG и сложных цепочек вызова инструментов. Ограничения и точные характеристики GPTQ-квантизации в представленном README не указаны. Использование регулируется лицензией CC-BY-NC-4.0 и политикой допустимого использования C4AI.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

Mungert/Qwen3.8-27B-GGUF — это GGUF-сборка модели Qwen3.8-27B из открытого семейства Qwen, разработанного командой Qwen. Веса и конфигурация подготовлены с использованием llama.cpp; модель предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Модель представляет собой плотную каузальную языковую модель с vision-энкодером на 27 млрд параметров. Она поддерживает понимание текста, изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Заявленные сценарии включают программирование, профессиональную работу, исследовательские задачи и многошаговые агентные процессы. Доступны режим рассуждений, его отключение и настройка глубины через reasoning_effort; контекст сохраняется с помощью preserve_thinking. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура включает 64 слоя, Gated DeltaNet, Gated Attention и Multi-Token Prediction. Сильными сторонами являются мультимодальность, обработка длинного контекста, планирование и выполнение сложных последовательностей действий. Ограничения конкретной GGUF-сборки, включая требования к памяти и доступные варианты квантования, в предоставленных данных не указаны. Лицензия модели — Apache-2.0.

Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

GLM-4-9B-Chat-1M — открытая чат-модель семейства GLM-4, разработанная Zhipu AI. Это плотная архитектура ChatGLM примерно на 10,7 млрд параметров, рассчитанная на диалог и генерацию текста; модель поддерживает контекст до 1 048 576 токенов и интерфейс вызова инструментов. README также упоминает возможности веб-браузинга, выполнения кода и рассуждений по длинным текстам. Модель предназначена для многошаговых диалогов, анализа длинных документов, ответов на вопросы по большому контексту, рассуждений, работы с кодом и вызова пользовательских инструментов. В README заявлена поддержка 26 языков, включая японский, корейский и немецкий; метаданные карточки отмечают китайский и английский. Для весов действует лицензия, указанная в LICENSE; в метаданных она обозначена как other.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter31 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

unsloth/Qwen3-4B-128K-GGUF — это GGUF-версия текстовой авторегрессионной языковой модели Qwen3-4B, разработанной командой Qwen и опубликованной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 4 миллиардов параметров, из них 3,6 миллиарда приходятся на параметры без учёта embedding-слоя. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами запросов и 8 головами ключей/значений. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Базовая длина контекста составляет 32 768 токенов, а с применением YaRN — до 131 072 токенов, что соответствует заявленному в идентификаторе варианту 128K. Модель ориентирована на работу более чем со 100 языками и диалектами. К сильным сторонам относятся компактный размер, поддержка многоязычных сценариев, развитое следование инструкциям, рассуждение, генерация кода и интеграция с инструментами. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, текстовую специализацию без заявленной поддержки изображений или аудио, а также необходимость корректной настройки режима рассуждения и совместимого программного обеспечения для запуска GGUF. Лицензия — Apache 2.0.

mattbucci/gemma-4-12B-AWQ — 4-битная AWQ-Marlin-квантизированная версия модели google/gemma-4-12B-it, подготовленная mattbucci. Это унифицированная безэнкодерная модель Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration. Она поддерживает работу с текстом, рассуждениями, инструментами, изображениями и аудио; заявленный нативный контекст составляет около 262 тысяч токенов. Модель использует attention с global-MQA и сочетание скользящего и полного внимания в пропорции 5:1. Квантизация выполнена в формате int4 W4A16 с размером группы 128. Линейные слои текстового декодера переведены в AWQ int4, тогда как эмбеддеры изображений и аудио, нормализации и связанная с эмбеддингами матрица lm_head сохранены в BF16 для поддержки мультимодальных возможностей. Согласно README, модель демонстрирует результаты 80% на MMLU, 95% на HumanEval, 100% на тесте Needle@long-ctx и 100% на тесте использования инструментов до контекста 256K; также заявлена работоспособность с изображениями и качественное рассуждение. Веса занимают около 5,4 ГБ на ранг при использовании int4. Модель предназначена для ресурсоэффективного инференса задач генерации и понимания текста, программирования, длинноконтекстного анализа, вызова инструментов, а также обработки изображений и аудио. Для запуска через SGLang требуются back-port-патчи 042–048 из указанного репозитория; на GPU Ampere рекомендуется использовать attention-backend triton и отключить CUDA Graph. Ограничения включают зависимость от специальной версии архитектуры и дополнительных патчей серверного ПО. Модель распространяется на условиях Gemma Terms of Use и является производной от google/gemma-4-12B-it.

cyankiwi/gemma-4-26B-A4B-it-AWQ-8bit — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате AWQ 8bit. Она основана на Google Gemma 4 26B A4B и использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых около 3,8 млрд активируются при обработке запроса. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа изображений и построения агентных сценариев с вызовом функций. Модель принимает текст и изображения и генерирует текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов и использует гибридный механизм внимания с чередованием локального sliding window attention и глобального внимания. В конфигурации MoE предусмотрены 128 экспертов, 8 активных экспертов и один общий эксперт; размер скользящего окна составляет 1024 токена, словарь — 262 тысячи токенов. Поддерживаются настраиваемые режимы рассуждений и системные сообщения. Ключевое преимущество — сочетание возможностей модели класса 26B с вычислительной нагрузкой, близкой к модели примерно на 4 млрд активных параметров, что делает инференс быстрее плотной модели Gemma 4 31B. Большой контекст и поддержка изображений подходят для анализа длинных документов, сложных задач рассуждения, программного кода и визуальных данных. Ограничения включают необходимость совместимого оборудования и программного обеспечения для AWQ 8bit, а также потенциальные ошибки и ограничения, свойственные генеративным мультимодальным моделям; конкретные показатели производительности в предоставленном фрагменте README приведены не полностью. Лицензия — Apache 2.0.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

GPT-4.1 — флагманская большая языковая модель OpenAI, предназначенная для точного выполнения инструкций, разработки программного обеспечения и рассуждений по длинным материалам. В README заявлено контекстное окно размером до 1 миллиона токенов. Модель подходит для работы с запросами на естественном языке, задач программирования и анализа объёмных текстовых данных. Доступный фрагмент README не сообщает сведения об архитектуре, поддерживаемых языках, лицензии или ограничениях применения.

Llama 3.1 8B Instruct — текстовая генеративная языковая модель Meta, представленная в формате GGUF. Квантованные GGUF-файлы подготовлены несколькими участниками сообщества, включая bartowski, kaetemi и ddh0, а исходная модель — Meta-Llama-3.1-8B-Instruct от Meta. Модель предназначена для ассистентского диалога, генерации и обработки текста, работы с кодом, а также коммерческих и исследовательских сценариев на поддерживаемых языках. Она использует авторегрессионную оптимизированную архитектуру Transformer, Grouped-Query Attention, содержит около 8 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Входом и выходом служит мультиязычный текст; заявленные языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучалась на более чем 15 триллионах токенов, а дата отсечения знаний указана как декабрь 2023 года. Сильные стороны модели — большой контекст, относительно компактный размер, оптимизация для диалоговых сценариев и возможность локального использования благодаря формату GGUF. Ограничения включают статичность знаний, текстовую мультимодальность без поддержки изображений и аудио, а также официальное ограничение на использование языков, не перечисленных в карточке. Модель распространяется по кастомной коммерческой лицензии Llama 3.1 Community License; применение также должно соответствовать Acceptable Use Policy и действующему законодательству.