I.1Поиск и навигация по информации

NuExtract 2.0 2B — мультимодальная модель компании NuMind для извлечения структурированных данных. Она дообучена на базе Qwen2-VL-2B-Instruct и принимает текст и изображения. Пользователь задаёт JSON-шаблон с названиями полей и типами значений; модель извлекает данные и возвращает результат в соответствии с заданной схемой. Поддерживаются строки, числа, даты, перечисления и массивы, а при отсутствии подходящих сведений модель может вернуть null или пустой массив. Модель рассчитана на извлечение информации из текстов и изображений, а также на автоматическую генерацию шаблонов из описания на естественном языке или существующей схемы. Она мультиязычная, имеет 1,5 млрд параметров и контекст до 32 768 токенов. Для задач извлечения рекомендуется температура генерации, близкая к нулю; примеры в контексте могут помочь при неоднозначных запросах или специальных требованиях к формату. Лицензия — MIT.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

rbinrs/Qwen2.5-14B-Instruct-abliterated-v2 — диалоговая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная на основе Qwen/Qwen2.5-14B-Instruct методом abliteration. Она предназначена для генерации текста и общения в формате чата; заявленная особенность версии — снижение отказов отвечать на запросы. Модель поддерживает интерфейс вызова инструментов и контекст длиной до 32 768 токенов, работает с текстом и рассчитана на многоязычные сценарии, включая русский, английский, китайский, французский, испанский, португальский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель можно применять в чат-ботах, для свободной генерации и структурированных ответов, а также в приложениях с вызовом инструментов. Разработчик сообщает, что эта версия улучшена по сравнению с предыдущей, однако оценивание ещё продолжается, поэтому опубликованных результатов качества в карточке нет. Доступна по лицензии Apache-2.0.

bartowski/Qwen2.5-7B-Instruct-1M-GGUF — набор GGUF-квантизаций модели Qwen2.5-7B-Instruct-1M, подготовленный bartowski на основе модели Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях и запуск через llama.cpp или LM Studio. В README указана поддержка английского языка. Модель содержит около 7 миллиардов параметров и рассчитана на контекст до 1 миллиона токенов, что подходит для обработки очень длинных документов и многошаговых диалогов. Доступны варианты от F32 и F16 до различных типов квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы с imatrix-квантизацией. Размер файлов варьируется примерно от 3,5 до 30,5 ГБ; более компактные варианты снижают требования к памяти, но могут ухудшать качество ответов. Для работы следует использовать шаблон сообщений Qwen с ролями system, user и assistant. Наиболее качественными в README названы варианты Q6 и Q5, а Q4_K_M описан как типичный компромисс между размером и качеством. Модель распространяется по лицензии Apache-2.0; конкретные требования и ограничения исходной модели следует проверять в её лицензии.

z-lab/Qwen3.5-9B-PARO — это 4-битная версия языково-визуальной модели Qwen/Qwen3.5-9B, квантованная методом ParoQuant. Модель разработана командой z-lab; метод описан в работе ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference. Модель предназначена для эффективного запуска задач генерации и рассуждений на языковых данных, а также мультимодальных сценариев с обработкой изображений и текста. Она поддерживает работу на NVIDIA GPU через vLLM и Transformers и на устройствах Apple Silicon через MLX. Архитектура и поддерживаемые языки унаследованы от базовой Qwen/Qwen3.5-9B, но их подробные характеристики в README не указаны. Ключевая особенность — квантование языковых компонентов до INT4, обеспечивающее уменьшенный размер и ускоренный inference при заявленном качестве, близком к FP16, и скорости около уровня AWQ. Визуальные компоненты хранятся в исходной точности, поэтому модель крупнее полностью квантованной версии; при отсутствии мультимодальных задач их рекомендуется не загружать для повышения эффективности. Контекстное окно, точные требования к памяти и результаты бенчмарков не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется совместимое окружение ParoQuant; README содержит варианты запуска через vLLM, Transformers и MLX.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-VQ-3.8bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная TheDrainFlorist для Apple Silicon. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; поддерживает запуск через MLX, mlx-lm и mlx-vlm. В README указан английский язык. Архитектура включает MoE с 35 млрд параметров и активной частью около 3 млрд параметров, а также vision tower; точный размер контекста не указан. Модель занимает около 15,7 GiB и использует равномерное vector quantization экспертных слоёв с геометрией d=4, K=8192, 13-битными индексами и fp16 codebook, тогда как неэкспертные тензоры имеют 8-битное представление. По сравнению с bf16-версией она заметно компактнее и демонстрирует меньшее расхождение с эталонным распределением, чем распространённая 4-битная сборка, однако уступает 8-битной по совпадению наиболее вероятных токенов. Скорость именно этого артефакта не измерялась; модель комфортно работает на машинах с 24 ГБ памяти и может запускаться на 16 ГБ при коротком контексте. Для изображений требуется mlx-vlm версии 0.6.16 или новее, а загрузчик должен поддерживать ключ model_file. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-w4a16-llmcompressor — квантизированная версия модели Qwen3.6-35B-A3B, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и обработки изображений и текста; её архитектура обозначена как Qwen3_5MoeForConditionalGeneration. Основной сценарий использования — инференс на CPU AMD EPYC под Linux через vLLM с оптимизациями ZenDNN. Модель использует 4-битную квантизацию только весов W4A16 по алгоритму GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Размер весов уменьшен примерно с 67,0 до 18,1 GiB, то есть примерно на 73%. Квантизации подвергнуты, в частности, 256 маршрутизируемых MoE-экспертов, общий эксперт и проекции линейного внимания; vision tower, маршрутизатор MoE, отдельные gate-компоненты, lm_head, эмбеддинги и layer norms сохранены в BF16. В README явно указан английский язык, но сведения о полном контекстном окне отсутствуют. Сильными сторонами являются существенное сокращение объёма модели и ориентация на эффективный CPU-инференс на аппаратной платформе AMD при сохранении наиболее чувствительных к качеству компонентов в BF16. Ограничения связаны с зависимостью от совместимого стека: ZenDNN 6.1.0, ZenTorch 2.13.0.0, PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0, а также с потенциальными потерями качества, характерными для 4-битной квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

Qwen_Qwen3.5-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-27B, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом; запуск возможен через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README указан pipeline image-text-to-text, однако подробности о поддерживаемых языках и максимальном контексте не приведены. Доступны варианты от исходных весов BF16 размером 54,66 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M указан как стандартный вариант для большинства сценариев. Меньшие варианты экономят память, но могут заметно снижать качество ответов. Для ускорения генерации поддерживаются MTP-слои при использовании соответствующей функции llama.cpp. Модель удобна для локального запуска на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость совместимости от обновлений используемого программного обеспечения и возможное ухудшение качества при сильной квантизации. Лицензия — Apache-2.0.

Fulcrum-AI/Ryze-Mistral-7B-Instruct-v0.3-10 — текстовая генеративная модель для диалогов и выполнения инструкций. Карточка сообщает, что модель создана с помощью mergekit методом passthrough; в слиянии участвовала mistralai/Mistral-7B-Instruct-v0.3. Метаданные классифицируют её как плотную архитектуру Mistral с классом MistralForCausalLM и указывают 16,3 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель подходит для генерации ответов и текста в диалоге, а также для сценариев с интерфейсом вызова инструментов. Базовая Mistral-7B-Instruct-v0.3 предназначена для диалогов, генерации текста и работы с инструментами. В README и метаданных лицензия не указана.

XpressAI/shisa-v2.1-qwen3-8b-GGUF — GGUF-версия модели Shisa V2.1 Qwen3 8B, разработанной компанией Shisa.AI. Это двуязычная разговорная модель общего назначения, ориентированная прежде всего на японский язык при сохранении устойчивых возможностей в английском. Модель предназначена для локального и периферийного использования, генерации текста, диалоговых приложений, следования инструкциям, перевода и других японско- и англоязычных задач. Модель содержит 8 млрд параметров и относится к семейству на базе Qwen3. Заявленная длина контекста составляет 32K или 128K токенов в зависимости от конфигурации. В обучении использовались обновлённые данные Shisa V2.1, включая материалы для улучшения следования инструкциям, перевода, вежливости и других специфических аспектов японского языка; применялись дообучение SFT и DPO, а для некоторых моделей семейства также объединение моделей и этапы RL. Внутренние оценки указывают на высокие результаты для своего размера: JA AVG 67,8 и EN AVG 57,8. Сильной стороной модели являются японские языковые возможности, а также сочетание компактного размера с поддержкой английского языка и длинного контекста, что делает её подходящей для локального запуска. Ограничения включают меньший масштаб по сравнению с моделями на 14B и 70B параметров и отсутствие в предоставленных данных подробностей о конкретной GGUF-квантизации, требованиях к ресурсам и мультимодальных возможностях; поэтому модель следует считать текстовой. Модель распространяется по лицензии Apache 2.0.

Spark-X2.5-1.7B-Abliterated-GGUF — набор GGUF-квантов модели Spark-X2.5-1.7B, разработанный сообществом darioooooo0o на основе XHToken/Spark-X2.5-1.7B. Модель предназначена для генерации текста и рассуждений, включая многоязычные сценарии и агентское использование с инструментами. Основное изменение — однократная rank-1-абляция направления отказа методом heretic, выполненная на сбалансированной многоязычной выборке из 6292 запросов; это существенно снизило склонность модели к отказам и предисловиям о соблюдении ограничений. Доступны варианты Q8_0 размером около 1,8 ГБ, Q6_K около 1,4 ГБ, Q4_K_M около 1,0 ГБ и IQ4_XS около 0,9 ГБ. Для работы требуется совместимая версия llama.cpp с архитектурой spark2_5; README рекомендует F16 KV-кэш и задаваемый лимит рассуждений, поскольку типичная длина скрытого рассуждения превышает 1500 токенов, а отдельные цепочки превышают 4000 токенов. Размер контекста указан в инструкции запуска как 65536 токенов, максимальная длина вывода — 4096 токенов. Точные сведения об архитектуре базовой модели, языковом покрытии и исходном контекстном окне вынесены в отдельную карточку и здесь не приведены. По заявленным проверкам, на закрытых наборах после аудита модель не демонстрировала реальных отказов в ответах, сохранив результат 5 из 6 эффективных задач агентского использования. Ограничением стала небольшая потеря качества по perplexity: ухудшение относительно базовой модели составило 2,3%. Кроме того, абляция направлена на снятие отказов, поэтому поведение и защитные ограничения базовой модели не следует считать сохранёнными. Распространение указано по лицензии Apache-2.0.

jackboot/uwu-qwen-32b — объединённая языковая модель на 32 млрд параметров, созданная с помощью mergekit методом TIES на основе Qwen/QwQ-32B-Preview и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2. Она предназначена для диалоговой генерации текста; каталог также указывает интерфейс вызова инструментов. Модель использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. В README отмечено, что варианты EOS-токена у исходных моделей немного различаются, а настройки BOS могут менять результаты; автор советует подбирать подходящий токенизатор. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

ZEUS-8B-V14 — объединённая модель для генерации текста и диалогов на базе семейства Llama 3.1. Согласно карточке, её создали методом DARE TIES, объединив unsloth/Meta-Llama-3.1-8B-Instruct с моделями Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM и работает с контекстом до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов; метаданные также указывают интерфейс вызова инструментов. В README приведены результаты оценки на IFEval и BBH, однако подробные сравнительные данные и описание целевого поведения ограничены. Модель опубликована в формате safetensors; дата публикации — 30 декабря 2024 года. Лицензия в предоставленных данных не указана.

ChimeraLlama-3-8B-v3 — объединённая языковая модель, созданная mlabonne с помощью LazyMergekit из семи моделей семейства Llama 3, включая инструктивные версии и варианты, дообученные с ORPO и DPO. Это плотная авторегрессионная модель на 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 8192 токена. Модель принимает текст и выдаёт текст. Её можно использовать для ответов на вопросы, ведения диалога и генерации текста. В README приведены результаты оценок Open LLM Leaderboard, но они сами по себе не гарантируют качество на конкретных задачах. В метаданных указана лицензия «other»; условия использования следует сверить с карточкой модели и лицензиями объединённых базовых моделей.

DeepSeek-V4-Flash-162B-GGUF — это квантизированная версия модели DeepSeek-V4-Flash-162B в формате GGUF, опубликованная пользователем 0xSero. Модель предназначена для текстовой генерации и локального запуска в совместимых средах, включая сценарии развёртывания на NVIDIA DGX Spark. Репозиторий содержит профиль Q2-REAP-ds4, созданный на основе checkpoint с применением метода REAP для сжатия MoE-модели. Модель содержит 162 млрд параметров, занимает около 149 ГБ на диске и использует специализированную схему квантизации: IQ2_XXS для маршрутизируемых gate/up-экспертов, Q2_K для маршрутизируемых down-экспертов и Q8_0 для общих, выходных и attention-проекций. Заявлена поддержка контекста до 200 000 токенов; валидация проводилась на DGX Spark. Данные о количестве слоёв, размере скрытого представления, активных параметрах, языках и мультимодальности в README не указаны. Сильными сторонами являются существенно уменьшенный размер относительно полноточной версии, поддержка длинного контекста и наличие опубликованных измерений производительности. Ограничение заключается в том, что эти GGUF-файлы используют специфическую структуру тензоров и метаданные DeepSeek-V4 Flash и не предназначены для generic llama.cpp без поддержки соответствующего формата. В README указана лицензия MIT, унаследованная от базовой модели.

Efficient-Large-Model/Gemma-2-2B-it — инструктивно дообученная текстовая модель семейства Gemma 2, основанного Google на технологиях и исследованиях, использованных при создании Gemini. Это декодерная плотная языковая модель с 2,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и работает с контекстом до 8192 токенов. Модель предназначена для генерации текстов, диалоговых интерфейсов, ответов на вопросы, суммаризации и задач рассуждения. Её сравнительно компактный размер подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. README указывает английский как язык моделей Gemma; отдельные коды языков для этого репозитория в метаданных не приведены. Ответы могут содержать фактические ошибки или устаревшую информацию; модель также может испытывать трудности с неоднозначными формулировками, сложными задачами и тонкими языковыми нюансами, а обучающие данные могут отражать предвзятость. Репозиторий использует лицензию Gemma; перед применением следует учитывать её условия и политику допустимого использования Gemma.

ark4004/gemma3.8-27B-FP8 — репозиторий на Hugging Face, опубликованный пользователем ark4004. По истории репозитория он является копией Qwen/Qwen3.8-27B-FP8, поэтому название Gemma не подтверждает принадлежность к семейству Gemma. Модель предназначена для диалоговой генерации текста и обработки изображений с текстом: заявлена совместимость с Transformers, vLLM и SGLang, а примеры показывают ответы на текстовые запросы и анализ изображений. Это постобученная мультимодальная модель класса image-text-to-text с заявленным размером 27B параметров и FP8-квантизацией; для исходной Qwen-версии указана fine-grained FP8-квантизация с размером блока 128. Репозиторий распространяется по лицензии Apache-2.0. Точные архитектурные детали, поддерживаемые языки, размер контекстного окна, результаты оценки, сильные стороны и ограничения именно копии ark4004 в доступных данных надежно не указаны, поэтому их нельзя утверждать.

Gemma 7B — текстовая авторегрессионная языковая модель из семейства Gemma, разработанного Google на основе исследований и технологий, использованных при создании Gemini. Модель принимает текст и генерирует текст; семейство включает предварительно обученные и настроенные на выполнение инструкций варианты. Для этой модели карточка указывает генерацию текста, а метаданные — форматы Safetensors и GGUF и библиотеку Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов и генерации различных текстов, включая черновики писем, сценарии и маркетинговые материалы. Google описывает Gemma как компактное семейство, которое можно запускать на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. В README заявлена поддержка английского языка; размер контекста для этого репозитория не приведён. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модель может хуже справляться со сложными задачами, неоднозначностью и тонкими языковыми нюансами. Для практического применения следует проверять результаты и учитывать правила безопасного использования Gemma. Лицензия — Gemma License.

GLM-4.7-Flash-FP8 — это FP8-квантизированная версия модели GLM-4.7-Flash, разработанной zai-org. Модель предназначена для задач генерации текста и инференса через библиотеку Transformers и сервер vLLM; в README также указана поддержка архитектуры glm4_moe_lite, что указывает на использование MoE-подхода. Сведения о поддерживаемых языках и модальностях отсутствуют. Квантизация выполнена методом FP8 E4M3 с масштабами, встроенными в тензоры. Размер исходной модели в формате BF16 составляет около 62 ГБ, квантизированной версии — около 30 ГБ. В формате BF16 сохранены lm_head, embed_tokens, layernorms и веса маршрутизатора. В README приведён контекст длиной 8192 токена: на двух видеокартах RTX 3090 по 24 ГБ модель потребляла около 14,7 ГБ VRAM на GPU и достигала пропускной способности 19,4 токена в секунду при использовании vLLM 0.13.0 и tensor parallelism на двух GPU. Основное преимущество модели — существенно меньший объём хранения и потребление видеопамяти по сравнению с версией BF16 при сохранении ключевых компонентов в BF16. На GPU с аппаратной поддержкой FP8, включая RTX 40xx и более новые Ada Lovelace, ожидается более высокая производительность; RTX 3090 использует Marlin kernel для распаковки весов. Для запуска требуются vLLM версии 0.13.0 или новее и Transformers 5.0 или новее. Ограничения включают зависимость от совместимого оборудования и программного стека, а также отсутствие в README подробностей о качестве, результатах бенчмарков, языковой поддержке и максимальном контексте базовой модели. Лицензия — MIT.

GPT-4 Turbo — мультимодальная модель OpenAI с поддержкой зрения. Она предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстовыми запросами. Для запросов с изображениями поддерживаются JSON mode и вызов функций. В README указано, что обучающие данные охватывают период до декабря 2023 года. Размер модели, длина контекста и условия лицензии в предоставленных материалах не описаны.

Richard Young выпустил granite-4.2-8b-heretic — модифицированную версию диалоговой модели IBM Granite-4.2-8B. Это плотный авторегрессионный трансформер GraniteForCausalLM на 8,4 млрд параметров с контекстом 131 072 токена. Модель принимает текст и генерирует текст; карточка заявляет поддержку 12 языков, режимов рассуждения и вызова инструментов. Модель создана методом abliteration с Heretic: изменение направления отказа уменьшает частоту отказов по сравнению с исходной моделью. Она предназначена для локального диалога, творческого письма, обучения и исследований методов выравнивания. По приведённым в README измерениям, модель отказала в 12 из 100 проверочных запросов против 99 из 100 у исходной версии; эти результаты относятся к описанному тесту и не гарантируют поведение на других запросах. Модель распространяется в формате Safetensors под лицензией Apache 2.0. README также упоминает варианты GGUF для Ollama и llama.cpp. Возможны неточные, предвзятые или небезопасные ответы; качество может различаться между языками, а рассуждения могут содержать промежуточные мысли.

Karnak-6B-v1.0 — плотная причинно-языковая модель семейства Qwen3, разработанная Applied Innovation Center на основе Qwen/Qwen3-4B-Instruct-2507. Модель дообучена в несколько этапов с расширением глубины, продолжением предобучения и supervised fine-tuning; в карточке заявлены около 6 млрд параметров, а метаданные указывают 5,4 млрд. Для арабского применён оптимизированный токенизатор. Модель предназначена для генерации текста и диалогов на арабском и английском: она отвечает на вопросы, объясняет темы, пишет материалы и помогает работать с длинными документами и беседами. Метаданные указывают контекст до 262 144 токенов, тогда как README рекомендует ограничивать рабочий контекст 20 000 токенами для стабильной работы. Модель можно запускать локально или на собственных серверах, в том числе через Transformers и vLLM. Разработчик заявляет улучшенное следование инструкциям, беглость арабского текста и обработку длинных зависимостей; независимые показатели качества в предоставленных данных не приведены. Лицензия — Apache-2.0.

nlpguy/Lion-Lamarck-v.1.1.0 — объединённая с помощью mergekit модель на базе семейства Qwen2.5. В слиянии использован SCE, а CultriX/Qwen2.5-14B-Wernicke указан как базовая модель; также объединены SuperNova-Medius, Qwen2.5-14B-Vimarckoso-v3, DeepSeek-R1-Distill-Qwen-14B и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, построена на плотной архитектуре Qwen2ForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В карточке не приведены сведения о целевых языках, тестировании качества или рекомендуемых сценариях. Лицензия в предоставленных данных не указана.

m8than/Llama-2-7b-chat-hf — копия модели Llama 2 7B Chat от Meta, размещённая на Hugging Face. Это авторегрессионная плотная Transformer-модель примерно с 6,6 млрд параметров, оптимизированная для диалогов и генерации текста. Она принимает текст и выдаёт текст; заявленная длина контекста — 4096 токенов. В карточке Meta указаны английский язык, обучение с учителем и дополнительное выравнивание с помощью RLHF. Модель подходит для диалоговых помощников, ответов на вопросы и создания текстовых продолжений. Возможны неточные или предвзятые ответы и небезопасные генерации. Репозиторий указывает лицензию Apache-2.0, однако исходная модель Llama 2 распространяется по лицензии Meta Llama 2 Community License; перед использованием следует учитывать условия лицензии исходных весов.

prithivMLmods/Llama-3.1-5B-Instruct — инструктивно настроенная авторегрессионная языковая модель семейства Llama на архитектуре Transformer. По карточке, модель прошла дообучение SFT и RLHF и предназначена для диалоговой генерации, ответов на вопросы, перевода и выполнения инструкций. В метаданных указаны 4,9 млрд параметров, контекст 8192 токена и поддержка чат-сценариев; веса представлены в формате safetensors и рассчитаны на работу с Transformers. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она подходит для создания многоязычных диалоговых приложений и генерации текста по запросу. Карточка заявляет хорошее качество на отраслевых бенчмарках, но не приводит их названия или результаты, поэтому эти оценки нельзя независимо проверить по предоставленным данным. Лицензия — Llama 3.1 License.

Llama-3-8B-Magpie-Align-v0.1 — чат-модель на архитектуре Llama 3, разработанная проектом Magpie-Align на основе Meta-Llama-3-8B. Её обучили в два этапа: сначала SFT на Magpie-Pro-MT-300K-v0.1, затем DPO на llama3-ultrafeedback. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленный контекст — 8192 токена. В карточке приведены результаты на Alpaca Eval 2, Arena Hard, WildBench и нескольких бенчмарках знаний и рассуждений. Модель предназначена для диалогов и выполнения пользовательских инструкций на английском языке. Её можно применять для ответов на вопросы, написания текстов и решения типовых задач в формате чата. Репозиторий содержит веса в формате safetensors. Лицензия — Llama 3 License; условия Meta Llama 3 Community License следует проверить перед использованием и распространением.