II.2Создание и понимание программного кода

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Nex-N2.5-Pro-GGUF — квантизированная мультимодальная версия модели Nex-N2.5-Pro, разработанная nex-agi и преобразованная в формат GGUF командой qtum с использованием llama.cpp. Модель предназначена для генерации и понимания текста, а также анализа изображений в сценариях локального запуска через llama.cpp. Модель содержит 397 млрд параметров и использует гибридную архитектуру: 45 слоёв линейного внимания Gated DeltaNet и 15 слоёв полного внимания с GQA. Это MoE-модель: для каждого токена выбираются 10 из 512 экспертов и общий эксперт. Контекст — до 262 144 токенов, словарь — 248 320 токенов. Поддерживаются английский и китайский языки. Для обработки изображений используется отдельный 27-слойный vision encoder с входом 768 пикселей и патчами 16 пикселей; проектор поставляется в формате BF16. Модель доступна в вариантах IQ4_XS, Q2_K и IQ2_XS, занимающих примерно 200,1, 138,9 и 113,2 ГиБ соответственно. IQ4_XS обеспечивает качество, близкое к BF16-версии, Q2_K является более сбалансированным вариантом и рекомендуется для инференса только на CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти, но с заметно большей потерей точности. Для работы с изображениями рекомендуется выделять не менее 1024 image tokens. Необходима сборка llama.cpp с поддержкой Qwen3.5-MoE; все 19 шардов выбранной квантизации нужно хранить в одной директории. Модель распространяется по лицензии Apache-2.0.

yejingfu/nmagic-Meta-Llama-3.1-8B-Instruct-FP8 — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Она предназначена для задач генерации текста и ассистентского диалога, включая коммерческое и исследовательское использование. Модель принимает и возвращает текст; в метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако README отдельно ограничивает использование языками, отличными от английского, поэтому языковая применимость требует осторожной проверки. Модель имеет архитектуру Meta-Llama-3.1 и около 8 миллиардов параметров. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 с использованием симметричной потензорной схемы. Это снижает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Модель оптимизирована для инференса с vLLM и поддерживает OpenAI-совместимую подачу сервиса. По данным README, средний результат на OpenLLM Leaderboard составляет 73,44 против 73,79 у неквантизированной исходной модели, что указывает на небольшое снижение качества при заметном сокращении требований к ресурсам. Для квантизации использовались 512 калибровочных последовательностей UltraChat длиной до 4096 токенов; это не подтверждает максимальный контекст модели. Модель распространяется по лицензии llama3.1, применяемой к исходной Meta Llama 3.1.

bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.

Это GGUF-квантизированная версия DeepHermes-3-Mistral-24B-Preview, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель основана на архитектуре Mistral, содержит 24 млрд параметров и предназначена для генерации текста в формате instruct/chat. В репозитории представлены варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4 и Q3, различающиеся размером файлов и соотношением качества и требований к памяти. Модель ориентирована на диалоговые сценарии, рассуждения, ролевое взаимодействие, синтетическую генерацию данных, function calling и выдачу структурированного JSON. Для работы используется формат сообщений ChatML-подобного типа с ролями system, user и assistant; рекомендуемые среды запуска включают LM Studio, llama.cpp и совместимые проекты. В метаданных указан английский язык, однако сведения о поддерживаемых языках помимо него отсутствуют. Максимальная длина контекста также не указана. Сильной стороной являются доступные варианты квантизации: Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество при меньших требованиях к памяти, а Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Ограничения связаны с тем, что это preview-версия, а квантизация может снижать точность по сравнению с исходными весами; характеристики производительности и результаты тестирования в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Omega AI 50B — разговорная текстовая модель семейства Omega AI, опубликованная K168-V0JL как reference repository. Это дообученная производная NVIDIA Llama-3.3-Nemotron-Super-49B-v1 с плотной архитектурой DeciLMForCausalLM; в метаданных указано 87 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для текстовой генерации и диалоговых сценариев. README сообщает, что репозиторий служит справочным, а брендинг Omega AI не меняет архитектуру или исходные веса базовой модели. Для исходной модели NVIDIA каталог указывает применение в англоязычных диалогах, рассуждениях, программировании, RAG и агентных приложениях; эти сведения описывают базовую модель и не подтверждены отдельно для производной Omega AI. Файлы опубликованы в формате safetensors. Условия лицензии и атрибуции исходной модели продолжают действовать; конкретная лицензия в предоставленных данных не указана.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

Карточка модели Itchymaroo/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.

unsloth/Qwen3-VL-2B-Instruct — версия мультимодальной модели Qwen3-VL-2B-Instruct, подготовленная Unsloth; это плотная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration и весами в формате safetensors. Она принимает текст и изображения, а также предназначена для анализа видео в диалоге: отвечает на вопросы по визуальным данным, распознаёт текст, рассуждает о пространственных отношениях и помогает взаимодействовать с графическими интерфейсами и инструментами. Карточка базовой модели указывает контекст 256 тысяч токенов с возможностью расширения до миллиона; README также заявляет поддержку OCR на 32 языках и обработку длинных видео. Модель подходит для описания изображений и видео, извлечения текста из документов, визуальных вопросов и ответов, генерации кода интерфейсов по визуальному примеру и сценариев с визуальными агентами. README отмечает исправления шаблона чата Unsloth; для llama.cpp требуется параметр --jinja. Заявления о качестве и производительности приведены без таблиц результатов в доступном README. Лицензия — Apache-2.0.

Wiederchat-7b-dpo-laser — чат-модель для генерации текста, созданная mayflowergmbh. Это объединение трёх моделей на архитектуре Mistral: mlabonne/OmniTruthyBeagle-7B-v0, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Веса представлены в формате safetensors; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов. В README приведены результаты оценки Mt-Bench-De, включая категории письма, ролевого общения, рассуждений, математики, программирования, извлечения информации, STEM и гуманитарных дисциплин. Базовая модель описана как немецкоязычная, поэтому немецкий — основной язык модели; результаты теста сами по себе не гарантируют качество в конкретных сценариях. Условия лицензирования в предоставленных данных не описаны.

Bhineka-GPT-500M — двуязычная авторегрессионная языковая модель BhinekaIntiLabs для генерации индонезийского и английского текста. Она использует плотную decoder-only архитектуру Transformer в стиле Llama; в метаданных указано 482,5 млн параметров, тогда как README приводит 556,3 млн для проверенного тренировочного чекпойнта. Контекст модели — 2048 токенов, токенизатор BPE обучен для этого проекта. Репозиторий содержит веса в форматах Safetensors и GGUF; модель поддерживает диалоговый сценарий. Модель предназначена для ответов на вопросы, суммаризации и перефразирования, перевода между индонезийским и английским, технических текстов, помощи с кодом и генерации структурированных ответов в Markdown или JSON. README описывает обучение с предварительным обучением, дообучением на инструкциях и оптимизацией предпочтений; проект позиционирует модель для исследований, экспериментов и прототипирования, хотя по критериям каталога это применимая модель, а не промежуточный исследовательский чекпойнт. Лицензия — Apache-2.0. Модель может выдумывать факты, цитаты, поведение кода и численные данные; качество может различаться для диалектов и неформальной индонезийской речи. Небольшой размер ограничивает сложные рассуждения, работу с инструментами и фактическую точность, а оценка языкового моделирования сама по себе не подтверждает качество прикладных задач. Не следует полагаться на неё как на единственный источник в медицинских, юридических, финансовых и других критически важных вопросах.

FINAL-Bench_Darwin-28B-Opus-GGUF — GGUF-квантизации модели Darwin-28B-Opus, разработанной FINAL-Bench и подготовленной квантизатором bartowski. Модель создана как эволюционное объединение Qwen/Qwen3.6-27B и варианта Qwen3.6-27B с дистиллированным стилем рассуждений Claude Opus. Она предназначена для генерации текста, решения сложных задач и углублённого рассуждения, включая сценарии, требующие пошагового анализа и режима thinking. В основе лежит плотная архитектура поколения Qwen3.6 с гибридным сочетанием линейного и полноформатного внимания: 64 слоя, соотношение три линейных слоя к одному слою полного внимания, размер скрытого состояния 5120 и 27,6 млрд параметров в исходной BF16-версии. Заявлены поддержка английского, китайского, корейского и японского языков, а также многоязычных сценариев. Точная длина контекста в карточке не указана и унаследована от базовой модели. Для GPQA Diamond заявлена точность 88,89% по протоколу адаптивной оценки из трёх этапов, однако результат помечен как непроверенный. Сильные стороны модели — крупный объём параметров, ориентация на продвинутое рассуждение и сочетание возможностей Qwen3.6 с дистиллированным стилем Claude Opus. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, отсутствие точных сведений о длине контекста в данной карточке и то, что доступные GGUF-квантизации являются статическими, без imatrix. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-2-9b-bnb-4bit — это квантизированная 4-битная версия языковой модели Gemma 2 с 9 млрд параметров, разработанная на базе google/gemma-2-9b и подготовленная Unsloth с использованием bitsandbytes. Модель предназначена для задач генерации и дополнения текста, диалоговых приложений, а также дообучения на собственных наборах данных с помощью Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с текстом и поддерживает английский язык. Она распространяется в формате 4-bit и ориентирована на снижение требований к памяти при запуске и дообучении; для Gemma 2 (9B) заявлены экономия памяти до 58% и ускорение до 2,4 раза в соответствующем сценарии Unsloth. README не содержит сведений о длине контекста, точной архитектуре, качестве на конкретных бенчмарках или поддержке других языков и модальностей. К сильным сторонам относятся уменьшенный объём памяти и совместимость с экосистемой Transformers, а также возможность последующего экспорта в GGUF и vLLM. Ограничения связаны с 4-битной квантизацией, которая может влиять на точность и не обязательно подходит для всех задач. Модель распространяется по лицензии Gemma; условия её использования следует уточнять в документации Google.

Это квантизированная instruction-tuned модель Gemma 3 12B, разработанная Google и представленная сообществом abhishekchohan в формате для размещения на Hugging Face. Модель предназначена для диалоговых сценариев и задач генерации текста, а также заявлена как image-text-to-text модель, то есть может обрабатывать текстовые и визуальные данные. В репозитории предусмотрены chat template и средства разбора tool calls для использования с vLLM. Модель использует архитектуру Gemma 3 с 12 миллиардами параметров и квантизацию W4A16, выполненную с помощью LLM Compressor: веса представлены в 4-битной точности, а активации — в 16-битной. Это существенно снижает требования к памяти и делает модель более подходящей для развёртывания на потребительском оборудовании при сохранении хорошего качества работы, однако квантизация может влиять на точность по сравнению с полной версией. Языки и размер контекстного окна в README не указаны. Для запуска рекомендуется vLLM с соответствующими chat template, parser для Gemma и поддержкой автоматического выбора инструментов. Модель распространяется на условиях Gemma license; перед использованием необходимо ознакомиться с условиями и принять лицензию Google на Hugging Face.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

lemon-mint/gte-modernbert-base-code-3 — англоязычная модель Sentence Transformers, дообученная разработчиком lemon-mint на базе Alibaba-NLP/gte-modernbert-base на парах запросов и положительных примеров из набора Magpie-Qwen2.5-Coder-Pro-300K-Query-Positive-Pair. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска и сравнения текстов, в том числе запросов и материалов по программированию. Архитектура включает ModernBERT и пулинг CLS-токена; максимальная длина входа — 8192 токена, сходство можно оценивать косинусной мерой. Модель подходит для поиска релевантных фрагментов по запросам, ранжирования текстов по смысловой близости, кластеризации и поиска перефразирований; эмбеддинги также можно использовать как признаки для классификации. Основной язык — английский. Лицензия Apache-2.0. Ее векторное представление ориентировано на семантическое сопоставление, а не на генерацию текста; README не приводит количественных результатов оценки качества.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

Hermes 3 Llama 3.1 70B 4bit — чат-модель, подготовленная сообществом mlx-community для запуска в экосистеме MLX. Она преобразована в формат MLX из NousResearch/Hermes-3-Llama-3.1-70B с помощью mlx-lm 0.16.1. В основе лежит дообученная плотная модель Llama 3.1 с архитектурой LlamaForCausalLM и 69,5 млрд параметров; модель рассчитана на диалоги и следование инструкциям, поддерживает контекст до 131 072 токенов и английский язык. Модель подходит для чат-ботов, ответов на вопросы, генерации текста и ролевых диалогов. Тег 4bit в названии указывает на 4-битное представление, однако метаданные перечисляют формат safetensors, поэтому точный способ представления весов в репозитории не подтверждён. Лицензия — Llama 3 Community License (llama3); условия её использования следует учитывать при развёртывании.

Jan-v1-4B-GGUF — языковая модель для генерации текста, разработанная командой Jan (Jan Community/Jan HQ). Она предназначена для агентских сценариев, рассуждений, решения задач, диалогового взаимодействия и использования инструментов, прежде всего в приложении Jan и при локальном развёртывании через совместимые средства, такие как llama.cpp. Модель основана на Jan-v1-4B, созданной на базе подходов Lucy и Qwen3-4B-Thinking-2507. Модель имеет размер 4B параметров, поддерживает английский язык и относится к классу text-generation. Формат GGUF ориентирован на локальный запуск, в том числе с llama.cpp; README также описывает интеграцию с Jan App и использование tool calling. Среди заявленных сильных сторон — улучшенные возможности рассуждения и работы с инструментами, а также результат 91,1% в SimpleQA. Рекомендуемые параметры генерации включают temperature 0.6, top_p 0.95, top_k 20 и max_tokens 2048. В README не указаны размер контекстного окна, точная схема квантования GGUF, поддерживаемые модальности помимо текста и подробные условия проведения бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

SliceX AI разработала ELM Turbo — семейство компактных языковых моделей Starfruit с модульной декомпозируемой архитектурой. Эта версия представляет собой инструктивно настроенный срез Llama 3.1; в репозитории указано 2,6 млрд параметров, а README относит модель к линейке срезов около 3 млрд параметров. Архитектура — плотная LlamaForCausalLM, формат весов — Safetensors, заявленный контекст — 131 072 токена. Модель предназначена для диалогов и генерации текста по инструкциям. Срезы ELM Turbo рассчитаны на выбор баланса качества, скорости и потребления памяти под разные условия развертывания, включая облачные и периферийные устройства; для ускорения вывода авторы также описывают интеграцию с TensorRT-LLM. README указывает на дообучение с использованием, среди прочего, наборов инструкций Tulu, Orca Math и WizardLM. Модель основана на meta-llama/Meta-Llama-3.1-8B-Instruct. Лицензия — llama3.1; условия её использования следует соблюдать. Авторы предупреждают, что данные дообучения могут содержать ошибки, смещения и неподходящий контент, поэтому ответы следует оценивать и проверять для конкретного применения.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

Occiglot-7B-FR-EN-Instruct — чат-модель с открытыми весами, разработанная Occiglot Research Collective. Это инструктивно дообученная версия occiglot-7b-fr-en: плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках; в обучении также использовались инструкции для кода. Контекст модели по метаданным составляет 32 768 токенов. Модель обучена методом полного инструктивного дообучения на данных Open-Hermes-2B и нескольких наборах французских инструкций. Она использует шаблон чата ChatML и токенизатор Mistral-7B-v0.1. Авторы называют релиз ранним этапом исследовательского проекта; опубликованные оценки предварительные, а результаты для французского получены на ограниченных наборах и требуют осторожной интерпретации. Модель не проходила выравнивание по безопасности и может выдавать проблемный контент. Лицензия — Apache 2.0.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Qwen2.5-0.5B-Instruct-AWQ — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации текста, диалоговых приложений, следования инструкциям, обработки структурированных данных и создания структурированных ответов, включая JSON, а также для задач программирования и математики. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и корейский. Модель построена по архитектуре causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд приходятся на неэмбеддинговые параметры, 24 слоя и механизм GQA с 14 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. AWQ-квантизация до 4 бит снижает требования к памяти и подходит для локального и ресурсно-ограниченного запуска, однако может приводить к некоторой потере качества по сравнению с исходной версией в формате bfloat16. README не содержит конкретных результатов бенчмарков, требований к объёму GPU-памяти или данных о пропускной способности. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы.