I.1Поиск и навигация по информации

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

GLM-4.6V-FP8 — мультимодальная модель семейства GLM-V, разработанная организацией zai-org (Z.ai). Репозиторий содержит FP8-версию модели GLM-4.6V с 106 млрд параметров, предназначенную преимущественно для облачной инфраструктуры и высокопроизводительных кластеров. Заявлены поддерживаемые языки Chinese и English, библиотека Transformers и сценарий image-text-to-text. Модель предназначена для анализа изображений, скриншотов и страниц документов вместе с текстом, понимания длинных и визуально сложных документов, работы с таблицами, графиками и макетами, а также для мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей визуальных данных инструментам и интерпретацией визуальных результатов, генерацию смешанного изображения и текста, а также восстановление HTML/CSS по скриншотам интерфейсов и их редактирование по инструкциям на естественном языке. К сильным сторонам относятся масштабный контекст, объединённое понимание текста и визуального содержимого, возможность связывать восприятие с вызовом инструментов и заявленная высокая эффективность в задачах визуального понимания среди моделей сопоставимого размера. При этом разработчики отмечают, что возможности ответов на чисто текстовые вопросы всё ещё нуждаются в улучшении; также ранее наблюдавшиеся повторяющиеся рассуждения и ошибки форматирования были лишь частично смягчены. Модель распространяется по лицензии MIT.

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

HyperNova-60B-2602-GGUF — GGUF-версия модели HyperNova 60B 2602 от Multiverse Computing. Модель создана на основе openai/gpt-oss-120b и сжата технологией CompactifAI: в ней 60 млрд параметров вместо 117 млрд у базовой модели, что снижает требования к памяти. Это instruction-tuned языковая модель с архитектурой MoE, предназначенная для генерации текста, рассуждений и задач разработчика. Модель поддерживает диалог, вызов инструментов по схемам в стиле OpenAI и структурированный вывод. Её можно применять для генерации и анализа кода, чат-ботов, RAG-систем и агентных сценариев, где модель вызывает внешние инструменты. В README рекомендуют формат сообщений Harmony, используемый базовой моделью. Основной язык — английский; другие языки формально не оценивались, и качество на них может различаться. Сжатие может влиять на отдельные способности, а вызов инструментов зависит от корректных схем и настройки инструментов; поведение не гарантирует полного совпадения с базовой моделью. Лицензия — Apache-2.0.

Linkbricks Horizon-AI Korean Superb — плотная языковая модель на 22 млрд параметров, дообученная Саксоном (Джи Юнсоном), специалистом по данным компании Linkbricks Horizon-AI, на основе Mistral-Small-Instruct-2409. Для обучения использовались продолженное предобучение на корейском новостном корпусе, затем настройка на инструкциях и оптимизация предпочтений. Модель принимает текст и поддерживает контекст до 32 768 токенов, диалог и интерфейс вызова функций; токенизатор оставлен от базовой модели. Модель предназначена для генерации и написания текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Обучающие данные включают корейский, английский, китайский и японский языки, а также задачи перевода и суммаризации. Выпускается в формате Safetensors под лицензией Apache-2.0.

mlx-community/Meta-Llama-3.1-70B-Instruct-4bit — 4-битная квантованная версия инструкционной большой языковой модели Llama 3.1, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов и другие задачи обработки естественного языка. Известно, что модель содержит 70 миллиардов параметров и работает в формате 4-bit quantization, что снижает требования к памяти по сравнению с полноразмерной версией и делает локальный запуск более доступным при совместимом оборудовании и программном обеспечении. Заявлены поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В карточке указаны библиотеки Transformers и MLX, однако архитектура и размер контекстного окна не уточнены. Модель подходит для локального инференса и приложений, где важны качество инструкционного следования и многоязычная генерация. К ограничениям относятся высокие вычислительные требования, обусловленные размером 70B, возможные потери качества из-за 4-битного квантования и отсутствие в предоставленных данных сведений о мультимодальности, точных характеристиках производительности и контекстном окне. Использование регулируется Llama 3.1 Community License от Meta: при распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение уведомления об авторских правах и Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Карточка модели ckoozzzu/new3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

Карточка модели spinochenza/Qwen3.6-27B-uncensored-heretic-v2 на Hugging Face совпадает с карточкой llmfan46/Qwen3.6-27B-uncensored-heretic-v2, поэтому описание составлено по ней. Qwen3.6-27B-uncensored-heretic-v2 — мультимодальная модель на 27 млрд параметров, созданная независимым автором на основе Qwen/Qwen3.6-27B методом abliteration. Модель предназначена для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов; автор сообщает о снижении частоты отказов по сравнению с исходной моделью. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает контекст 262 144 токена с возможностью расширения; в карточке указана работа с изображениями и чат-возможности. В README приведены результаты MMLU исходной модели, но сопоставимых результатов для этой версии нет. Модель распространяется в формате safetensors по лицензии Apache-2.0. Уменьшение числа отказов не гарантирует их полного отсутствия, а результаты тестирования базовой модели нельзя считать оценкой качества этой производной версии.

Atomic-Germ/Qwen3.8-Flash-Next-APEX-GGUF — набор оптимизированных GGUF-квантизаций модели Qwen3.8-Flash-Next, разработанный Atomic-Germ на базе mudler/Qwen3.8-Flash-Next-APEX-GGUF. Модель описана как Mixture-of-Experts архитектура объёмом 125B/177B параметров с технологиями GDN и Qwen Sparse Attention. Репозиторий ориентирован на локальный запуск и совместное использование с Guanaco, включая потоковую загрузку с диска на потребительском оборудовании. Основные варианты включают Q6_K с высококачественной квантизацией весов, Q8_0 для скрытых состояний и F32 для нормализаций, а также более компактный Q4_0 с меньшими требованиями к памяти. В комплект также входит importance matrix imatrix.dat, предназначенная для настройки квантизации и оптимизации динамической выгрузки экспертов. В репозитории заявлен улучшенный шаблон чата с поддержкой многошагового диалога, строгих JSON-схем и параллельных вызовов инструментов. Для запуска через Guanaco указана возможность работы примерно в 24 ГБ памяти; конкретная скорость зависит от оборудования, типа квантизации и используемых ядер. Сильными сторонами являются высокая степень сжатия при заявленном небольшом ухудшении perplexity относительно BF16, оптимизация размещения чувствительных слоёв и поддержка потокового запуска крупных MoE-моделей на ограниченных ресурсах. Ограничения включают зависимость производительности от конкретного оборудования и режима загрузки, отсутствие измерений пропускной способности в README, а также неполную оценку на отложенных данных. Языки, точная максимальная длина контекста и полноценные мультимодальные возможности явно не указаны; в примере запуска используется контекст 128000 токенов. Лицензия — Apache-2.0.

Guile/Qwen3.8-Flash-Next-GGUF — это GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и квантизированной bartowski с использованием llama.cpp. Модель содержит около 180 млрд параметров и предназначена для задач генерации и понимания текста, а также обработки изображений в мультимодальном режиме при наличии файла mmproj. Поддержка speculative decoding не заявлена. Доступны варианты весов от BF16 и Q8_0 до низкобитных Q2–Q5 и IQ-квантизаций. Размер файлов составляет примерно от 88 до 354 ГБ, поэтому модель рассчитана на системы с большим объёмом оперативной или видеопамяти. В README рекомендуется Q4_K_M как компромисс между качеством и размером, а Q6_K — как вариант с очень высоким качеством. Квантизации используют imatrix, что должно помогать сохранять качество при уменьшении размера, однако более низкие разрядности сопровождаются заметным снижением качества. Модель запускается через совместимые инструменты экосистемы llama.cpp и распространяется с лицензией qwen-community-1.0; указана лицензия other и ссылка на файл LICENSE. Сведения о поддерживаемых языках, размере контекстного окна и точных архитектурных особенностях в предоставленном README отсутствуют.

taurusduan/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантования. Модель предназначена для генерации текста, задач с длинным контекстом и мультимодальных сценариев, включая обработку изображений, и может использоваться через llama.cpp или Unsloth Desktop. В README не указано точное назначение данного варианта квантования или его конкретные уровни квантования. Это причинная языковая модель с vision encoder и архитектурой, включающей Hybrid Attention с Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts, Gated Residual и n-gram embedding. Всего заявлено 125 млрд параметров, из которых активируется 6 млрд, а также 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов, из которых активируются 10 маршрутизируемых и один общий, поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддержка языков и точные характеристики GGUF-файлов в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженного внимания и MoE, ориентация на длинный контекст, мультимодальность и возможность ускорения инференса с помощью MTP. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README результатов бенчмарков и подробностей о качестве конкретной квантованной сборки. Лицензия указана как qwen-community-1.0; ссылка на текст лицензии ведёт к файлу LICENSE.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, опубликованная Red Hat AI. Это MoE-модель для диалога и генерации ответов по тексту и визуальным данным; в README указана конфигурация с 30 млрд параметров и активной частью A3B. Она предназначена для анализа изображений и видео, визуального рассуждения, OCR, пространственного понимания и взаимодействия с инструментами. Модель также может распознавать интерфейсы и выполнять задачи через GUI, а по изображениям и видео создавать код для Draw.io, HTML, CSS и JavaScript. README заявляет контекст 256 тысяч токенов с возможностью расширения до 1 млн, поддержку OCR на 32 языках и улучшенное понимание длительных видео с привязкой событий ко времени. Среди архитектурных особенностей названы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия — Apache-2.0. Описание не приводит результатов бенчмарков или точного перечня поддерживаемых языков; заявленные возможности и качество следует оценивать на целевых данных и сценариях.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

c4ai-command-r-plus-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-plus-08-2024, разработанной CohereForAI и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для задач генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы и работу с многоязычными запросами. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Модель распространяется в нескольких вариантах квантизации GGUF с разрядностью от 2 до 5 бит и размером файлов примерно от 15,9 до 39,5 ГБ; некоторые варианты состоят из нескольких частей. Q4_K_M обозначен как рекомендуемый сбалансированный вариант, тогда как более низкие уровни квантизации сопровождаются заметной потерей качества. В README также приведён контекст 128000 токенов и шаблон prompt типа chatml, однако соответствующие инструкции помечены как закомментированные, а поддержка запуска через LlamaEdge указана как находящаяся в разработке. К сильным сторонам относятся широкий набор поддерживаемых языков и возможность запуска в компактных квантизированных форматах, уменьшающих требования к памяти по сравнению с полноразмерной моделью. Ограничения связаны с потерей качества при агрессивной квантизации, значительным размером даже наиболее компактных файлов и отсутствием в README подробностей об архитектуре, числе параметров, мультимодальности и подтверждённых характеристиках производительности. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

DeepSeek-V4-Flash-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Flash, разработанной deepseek-ai и опубликованной пользователем teamblobfish. Модель предназначена для генерации текста, агентских сценариев и задач с вызовом инструментов, включая рабочие процессы наподобие Claude Code. Варианты представлены с разной степенью квантизации: от Q8_0 размером около 282 ГиБ до IQ1_S-XL размером около 57 ГиБ. Рекомендуемый вариант Q4_K_M-XL занимает около 163 ГиБ и сочетает 4-битное тело модели с хранением ряда важных тензоров в Q8_0; заявлена поддержка tool calling. GGUF-файлы используют архитектуру DeepSeek V4 с MoE-компонентами и специализированными операциями, включая compressor decode, hyperconnection, lightning indexer, FP8 KV simulation и NextN heads. Для запуска требуется форк llama.cpp с поддержкой V4; стандартный upstream llama.cpp не подходит. Поддерживаются Apple Silicon через Metal, NVIDIA CUDA на совместимых GPU и CPU. ROCm, Vulkan и Metal на AMD не поддерживают необходимые V4-ядра. В репозитории также присутствуют встроенный DSML chat template и калибровочные данные для некоторых вариантов. Проект находится в статусе WIP. Квантизации позволяют уменьшить требования к диску и памяти, однако качество и производительность зависят от выбранного варианта и оборудования; для некоторых старых GPU CUDA-путь FP8 не был проверен в работе. Модель и материалы репозитория распространяются по лицензии MIT.

DeepSeek-V4-Pro — крупная языковая модель, разработанная DeepSeek и преобразованная сообществом mlx-community в формат MLX. Эта версия предназначена для генерации текста и запуска с библиотекой mlx-lm, преимущественно в сценариях локального инференса на совместимом оборудовании Apple MLX. Модель использует архитектуру Mixture-of-Experts (MoE), содержит около 1,6 трлн параметров в общей сложности, из которых активируется около 49 млрд, и поддерживает контекст до 1 млн токенов. Представленная версия имеет 8-битное представление весов. В карточке указана поддержка английского языка и текстовая модальность; сведения о других языках и модальностях отсутствуют. К сильным сторонам относятся очень большой контекст, MoE-архитектура с существенно меньшим числом активируемых параметров при каждом обращении и адаптация к MLX. Ограничения этой карточки — отсутствие подробных данных о качестве, бенчмарках, требованиях к памяти, скорости, поддерживаемых языках и особенностях применения; за дополнительной информацией предлагается обращаться к исходной карточке DeepSeek-V4-Pro. Лицензия указана как MIT.

DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

unsloth/gemma-3n-E4B-it-GGUF — GGUF-квантизированная инструкцияная версия модели Gemma 3n E4B, разработанной Google DeepMind и распространяемой в формате GGUF сообществом Unsloth. Модель относится к семейству лёгких открытых моделей Google, созданных на основе исследований и технологий Gemini, и предназначена для эффективного запуска на устройствах с ограниченными ресурсами. Модель рассчитана на диалоговые сценарии, ответы на вопросы, обработку запросов и суммаризацию документов. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако данная карточка указывает, что для этой версии в текущей конфигурации поддерживается только текст. Максимальная длина контекста составляет 32K токенов. Указан эффективный размер 4B параметров благодаря технологии выборочной активации параметров; точная архитектура GGUF-варианта и конкретный метод квантования в карточке не уточняются. Модель обучалась на данных более чем на 140 разговорных языках, но в метаданных этой версии явно указан английский язык. К сильным сторонам относятся низкие требования к ресурсам, возможность локального запуска и поддержка тонкой настройки через инструменты Unsloth. Ограничениями являются текстовый режим данной версии, зависимость характеристик от выбранного GGUF-кванта и отсутствие в карточке подробных данных о точном размере файла, производительности и качестве по языкам. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

Mungert/GLM-4.6V-Flash-GGUF — это GGUF-версия модели GLM-4.6V-Flash из семейства GLM-V, разработанного Z.ai. Модель предназначена для локального развертывания и приложений с низкой задержкой; исходная версия GLM-4.6V-Flash содержит около 9 млрд параметров. Данный репозиторий подготовлен с использованием llama.cpp и включает варианты квантования GGUF с повышенной точностью отдельных важных слоёв. Модель поддерживает мультимодальные сценарии image-text-to-text: анализ изображений, скриншотов и страниц документов, понимание текста, разметки, таблиц, графиков и иллюстраций. Она ориентирована на мультимодальное рассуждение, работу с документами, визуальный вызов инструментов, генерацию смешанного текстово-графического контента, а также восстановление HTML/CSS по скриншотам и визуальное редактирование интерфейсов. Заявлена поддержка китайского и английского языков; контекстное окно при обучении масштабировано до 128 тысяч токенов. К сильным сторонам относятся мультимодальное понимание документов, встроенные возможности Function Calling и оптимизация для локального использования. Ограничения связаны с компромиссами GGUF-квантования: варианты с меньшей разрядностью могут снижать точность, хотя в этой сборке отдельные слои дополнительно переведены в более высокую точность для улучшения качества. Конкретный размер файла, требования к памяти и характеристики отдельных вариантов квантования в README не указаны. Лицензия — MIT.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

GPT-4o mini — компактная мультимодальная модель OpenAI, представленная как модель семейства GPT-4o. Она принимает текст и изображения и формирует текстовые ответы, поэтому подходит для диалога, ответов на вопросы и анализа изображений с текстовым описанием или инструкцией. В карточке она охарактеризована как более доступная по стоимости модель по сравнению с более крупными моделями OpenAI. Сведения о лицензии и ограничениях использования в предоставленных данных отсутствуют.

Linkbricks-Horizon-AI-Japanese-Pro-V6-70B — языковая модель, дообученная директором по данным Linkbricks Юнсоном Джи (Saxo) на основе Saxo/Linkbricks-Horizon-AI-Japanese-Advanced-V2-70B. Это плотная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста в диалоге и работы с инструментами через function calling. Модель обучалась с помощью SFT, DPO и слияния весов на корпусах японских новостей и Википедии, а также на задачах с японским, корейским, китайским и английским языками. В карточке заявлено усиление для анализа отзывов клиентов и публикаций в социальных сетях, письма, программирования, математики и логических рассуждений; среди обучающих задач также указаны перевод, суммаризация и ответы на вопросы. Доступна в формате Safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Заявленные языковые и прикладные возможности приведены в карточке модели; независимые результаты оценки качества и дополнительные ограничения там не описаны.

LLaDA2.0-mini-CAP — языковая модель компании InclusionAI, основанная на диффузионной архитектуре Mixture-of-Experts и обученная с применением Confidence-Aware Parallel (CAP). Она предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений, математических задач и программирования. CAP повышает эффективность параллельного декодирования: в README заявлено ускорение генерации в 1,46 раза относительно LLaDA2.0-mini при снижении среднего результата на указанных тестах с 70,15 до 67,32. Модель содержит 1,2 млрд параметров по метаданным; README описывает базовую архитектуру как 16B-A1B MoE, 20 слоёв и 16 голов внимания. Длина контекста — 32 768 токенов. Для инференса предназначен формат safetensors и библиотека Transformers; доступны чат и интерфейс вызова инструментов. README рекомендует температуру 0, block_length 32 и steps 32, предупреждая, что повышенная температура может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

meta-llama/Llama-3.1-405B-FP8 — крупная языковая модель семейства Llama 3.1, разработанная Meta. Она предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая создание и преобразование текстового контента. Модель ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Из доступных данных следует, что модель содержит 405 миллиардов параметров и представлена в формате FP8. Архитектура, максимальная длина контекста, поддерживаемые модальности помимо текста и подробные сведения о сильных сторонах в README не указаны. Большой размер модели потенциально обеспечивает высокую способность к обработке сложных языковых задач, но также предполагает значительные требования к вычислительным ресурсам; конкретные требования и ограничения по производительности не приведены. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использовать, воспроизводить, распространять, изменять материалы и создавать производные работы на установленных условиях. При распространении необходимо сохранять текст лицензии и уведомление об атрибуции, указывать «Built with Llama», соблюдать Acceptable Use Policy и применимое законодательство. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Карточка модели RoyYao233/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Llama-3.1-Nemotron-lorablated-70B — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория слиянием NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF и mlabonne/Llama-3-70B-Instruct-abliterated-LORA с помощью mergekit и task arithmetic. Модель содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и ответов на инструкции, включая запросы, на которые базовая модель могла отказываться отвечать. В метаданных также заявлен интерфейс вызова инструментов. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает конкретный набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1; применимость её условий следует проверять для конкретного использования.

Llama-3.1-Swallow-70B-v0.1 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института и AIST. Она создана продолжительным предварительным обучением Meta Llama 3.1 на примерно 200 миллиардах токенов японских и английских текстов, включая веб-материалы, Википедию, математику и код. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом 8192 токена. Модель рассчитана на генерацию текста на японском и английском языках: ответы на вопросы, суммаризацию, машинный перевод, рассуждения, понимание текста и генерацию кода. README сообщает об улучшении японских языковых возможностей при сохранении возможностей английской исходной модели; оценка проводилась на японских и англоязычных бенчмарках. Это базовая версия, не Instruct-вариант, поэтому она не настроена для следования инструкциям и не гарантирует соответствия ответов намерениям пользователя или требованиям безопасности. Распространяется по лицензии Llama 3.1.

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.