II.4Отладка, тестирование и качество ПО

Llama-3-8B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия с использованием шаблона запросов llama-3-chat, а также для локального запуска через llama.cpp и LlamaEdge. Модель относится к архитектуре Llama и содержит 8 миллиардов параметров. Это текстовая модель с поддержкой английского языка и контекстом до 8192 токенов. Доступны варианты квантизации от 2 до 8 бит, а также версия f16; размеры файлов составляют примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Основные преимущества модели — относительно компактный размер, возможность локального развертывания и выбор между несколькими уровнями квантизации. Существенным ограничением является потеря качества у низкобитных вариантов, особенно Q2 и Q3; README также не содержит результатов бенчмарков или подробных сведений о безопасности и ограничениях применения. Указана лицензия Llama 3 с обозначением llama3; условия использования следует уточнять в лицензии Meta.

MaziyarPanahi/Llama-3-8B-Instruct-v0.9-GGUF — это набор файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе модели MaziyarPanahi/Llama-3-8B-Instruct-v0.9. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что модель относится к семейству Llama 3 и имеет размер 8B параметров. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным сохранением качества. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. Сведения о языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Основные преимущества — локальное использование, широкий выбор уровней квантования и совместимость с различными клиентами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных инструментах. Ограничения и условия лицензии в README не описаны; перед использованием необходимо проверить лицензию исходной модели и соответствующие условия распространения.

Llama-3-8B-Ultra-Instruct-GGUF — квантованные версии инструкционной языковой модели Llama-3-8B-Ultra-Instruct. Исходная модель связана с elinas/Llama-3-8B-Ultra-Instruct и базируется на Undi95/Meta-Llama-3-8B-Instruct-hf; квантования подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны автономность и умеренные требования к памяти. Это текстовая модель с примерно 8 млрд параметров, представленная в формате GGUF и совместимая с llama.cpp. Доступны варианты квантования от Q8_0 до IQ1_M размером примерно от 2,16 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4; низкобитные версии экономят память, но снижают качество. В README не указаны языки, размер контекста, поддержка других модальностей и результаты бенчмарков. Для работы следует использовать специальный chat-шаблон Llama 3 с ролями system, user и assistant. Модель подходит для локальных чат-ботов, генерации и преобразования текста, а также других задач следования инструкциям. Сильные стороны — широкий выбор квантований, возможность запуска на ограниченных ресурсах и сохранение высокого качества в старших вариантах. Ограничения связаны с потерями качества при сильном квантовании; варианты Q3 и ниже имеют заметно более низкое качество, а IQ1_M не рекомендуется. Лицензия указана как llama3.

Alecator/llama-3-Buzzy — дообученная языковая модель Alecator на базе unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также указана поддержка интерфейса вызова инструментов. Контекстное окно составляет до 131 072 токенов, основной язык карточки — английский. Модель можно использовать для диалоговых помощников, генерации и продолжения текста, а также сценариев с вызовом инструментов. В README указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель распространяется по лицензии Apache-2.0. Данных о специальных ограничениях качества или областях применения в карточке нет.

bartowski/lordx64_Qwable-v1-GGUF — набор GGUF-квантизованных версий модели Qwable-v1, разработанной lordx64. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и агентских сценариев, включая использование инструментов, цепочки рассуждений и генерацию текста; в метаданных она также отмечена как image-text-to-text, однако подробности о поддерживаемых визуальных возможностях не приведены. Указан английский язык, а обучение связано с датасетом agentic-distill-fable-5-sft. В тегах упоминаются Qwen3, Qwen3.6, MoE, distillation и chained distill, но точная архитектура, число параметров и размер контекста в README не указаны. Доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q3-квантизаций. Размер файлов варьируется примерно от 15,98 до 71,07 ГБ; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты более высокого качества. Более сильные квантизации обеспечивают лучшее сохранение качества, тогда как низкобитные версии экономят оперативную память, но могут заметно уступать в качестве. Для запуска предлагаются llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты, однако для недавно поддерживаемых архитектур может потребоваться обновление ПО. Лицензия модели указана как AGPL-3.0. README не содержит результатов бенчмарков, точных требований к оборудованию, данных о размере контекста и детального описания ограничений, поэтому производительность и фактические мультимодальные возможности следует проверять отдельно.

Lorenzo-8B-Merge — генеративная языковая модель для продолжения и создания текста, опубликованная пользователем qingy2024 на Hugging Face. Модель предназначена для использования через библиотеку Transformers и относится к семейству Llama согласно метаданным. В карточке модели не приведены сведения о точной архитектуре слияния, исходных моделях, разработчиках, обучающих данных и методике обучения. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она может применяться для генерации ответов, написания и продолжения текстов, диалоговых сценариев и построения приложений на базе больших языковых моделей. Лицензия, поддерживаемые естественные языки, результаты оценки, рекомендуемые параметры запуска и специализированные ограничения в карточке не указаны. Перед использованием в продуктивных системах следует самостоятельно проверить качество на целевых данных, устойчивость к ошибкам и условия распространения.

UCSC-VLAA/m1-7B-23K — языковая модель семейства Qwen2, опубликованная UCSC-VLAA. Она предназначена для диалогов и ответов на вопросы; каталог также относит её к генерации текста и отмечает интерфейс вызова инструментов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает контекст до 32 768 токенов. Модель работает с текстом и размещена в формате safetensors. Метаданные указывают лицензию MIT. README содержимого не предоставляет, поэтому сведения о специальной настройке, языковом охвате и фактической точности подтвердить нельзя.

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

megatron_2.1_MoE_2x7B — языковая модель архитектуры Mixtral с разреженной смесью экспертов (MoE), представленная пользователем Eurdem. Она предназначена для генерации текста и может применяться в диалоговых сценариях, ответах на вопросы и других задачах, решаемых текстовой языковой моделью. В карточке приведены результаты Open LLM Leaderboard: среднее значение 76,64, AI2 Reasoning Challenge — 72,95 и HellaSwag — 88,94. Модель содержит 7,1 млрд параметров, принимает контекст длиной до 32 768 токенов и распространяется в формате safetensors. Репозиторий помечен тегом merge, однако README и предоставленные сведения не называют исходные модели, вошедшие в слияние. Лицензия — Apache-2.0. Языки и дополнительные ограничения в доступных материалах не описаны.

Merlinite-7B — языковая модель IBM Research для генерации текста и диалогового общения. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, дообученная на базе mistralai/Mistral-7B-v0.1 методом LAB (Large-scale Alignment for chatBots). При подготовке использовалась синтетическая обучающая выборка, созданная с помощью Mixtral-8x7B-Instruct в роли учителя. Модель рассчитана прежде всего на английский язык и поддерживает контекст до 32 768 токенов. Её можно применять для ответов на вопросы, рассуждений, творческого письма и работы с информацией из документов. Авторы рекомендуют использовать системный промпт из обучения для оптимальной работы. Merlinite-7B не проходила выравнивание по человеческим предпочтениям с помощью RLHF и может выдавать проблемные или вымышленные ответы; сохраняются и ограничения базовой модели. Для важных решений ответы нужно проверять. Модель распространяется по лицензии Apache 2.0.

Maziyar Panahi выпустил эту диалоговую модель как слияние методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Sacralet/mistral-7B. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалоге и выполнения инструкций; карточка указывает поддержку chat и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. В карточке не описаны отдельная специализация по языкам, области применения или результаты оценки качества.

unsloth/mistral-7b-v0.3-bnb-4bit — 4-битная версия модели Mistral-7B-v0.3, подготовленная Unsloth на базе модели mistralai/Mistral-7B-v0.3. Это текстовая языковая модель примерно с 7 млрд параметров, предназначенная для использования и дообучения через библиотеку Transformers. В карточке указано, что модель ориентирована на английский язык. Модель подходит для генерации и продолжения текста, диалоговых сценариев при использовании соответствующего шаблона данных, а также для последующего fine-tuning на собственных наборах данных. Ключевая особенность данной версии — 4-битное представление в формате bitsandbytes, снижающее требования к памяти и удобное для запуска и дообучения на ограниченных GPU-ресурсах. В README также заявлена поддержка сценариев экспорта в GGUF и vLLM после дообучения, но подробные характеристики контекстного окна и архитектуры не приведены. Преимуществами являются компактное 4-битное представление, совместимость с экосистемой Transformers и возможность эффективного дообучения с помощью инструментов Unsloth. Ограничения включают отсутствие заявленной мультимодальности, отсутствие сведений о специализированной instruction-настройке именно этой версии, а также неполные данные о производительности и контекстном окне. Лицензия модели указана как Apache-2.0.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

Это набор GGUF-квантизованных файлов модели Mistral Nemo Instruct 2407, разработанной Mistral AI и квантизованной командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, поэтому может использоваться в диалоговых приложениях, локальных ассистентах и других сценариях text-generation при наличии совместимого ПО для работы с форматом GGUF. В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 4,6 до 12,4 ГБ. Квантизация позволяет выбирать компромисс между размером файла, требованиями к ресурсам и сохранением качества, однако README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста. Сильная сторона представленной версии — широкий выбор уровней квантизации для развёртывания на оборудовании с разными ограничениями по памяти. Ограничения качества и производительности зависят от выбранного варианта и среды запуска; конкретные результаты в README не приведены. Лицензия модели и условия её использования в предоставленных данных не указаны.

Mistral-Small-24B-Base-2501-GGUF — это квантизированная GGUF-версия базовой языковой модели Mistral-Small-24B-Base-2501, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров и представлена в нескольких вариантах точности: от F32 до Q3 и IQ-квантизаций. Доступны версии с разным размером файла и компромиссом между качеством и требованиями к памяти; наиболее сбалансированным вариантом в README назван Q4_K_M, а Q5 и Q6 отмечены как высококачественные. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Сведения об архитектуре, размере контекста, мультимодальности и формате промпта в README не указаны. Сильная сторона модели — возможность локального инференса с выбором уровня квантизации, что позволяет адаптировать потребление памяти под доступное оборудование. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а старшие требуют значительного объёма памяти. Модель является базовой, поэтому готовый формат инструкций не предоставлен и параметры использования следует уточнять на странице исходной модели. Лицензия — Apache-2.0.

Mistral-Starling-merge-trial3-7B — объединённая языковая модель, созданная grimjim с помощью mergekit методом SLERP на основе Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Модель с архитектурой Mistral содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая задачи рассуждения; заявленная длина контекста составляет 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. В метаданных Hugging Face указаны библиотека Transformers и лицензия Apache-2.0. README сообщает о цели объединить сильные стороны рассуждения с контекстом 32K, но не приводит оценок качества или подробных результатов проверки.

TeichAI/Nemotron-Cascade-14B-Thinking-Claude-4.5-Opus-High-Reasoning-Distill — дообученная TeichAI языковая модель на архитектуре Qwen3, основанная на nvidia/Nemotron-Cascade-14B-Thinking. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации текста и диалогов, включая задачи рассуждения. Обучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL; веса доступны в формате safetensors. Модель поддерживает английский язык и контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова инструментов и обучающий набор TeichAI/claude-4.5-opus-high-reasoning-250x. Лицензия — Apache-2.0. Подробные оценки качества и конкретные ограничения в карточке не описаны.

OmniBeagleSquaredMBX-v3-7B — слитая текстовая модель, созданная paulml с помощью LazyMergekit из paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3. Она предназначена для генерации текста и может использоваться в диалоговых и других сценариях, где требуется продолжать или создавать текст по текстовому запросу. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для слияния применён метод SLERP; файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/opt-iml-1.3b — языковая модель семейства OPT, разработанная Meta AI и дообученная следованию инструкциям методом Instruction Meta-Learning. Модель с плотной архитектурой и примерно 1,7 млрд параметров предназначена для генерации текста по запросу; её можно использовать через библиотеку Transformers. Контекст модели составляет 2048 токенов. Обучение проводилось на OPT-IML Bench — наборе примерно из 2000 задач обработки естественного языка, собранных из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource. Семейство включает варианты, обученные на 1500 задачах с отложенными задачами для оценки, и OPT-IML-Max, обученный на всех примерно 2000 задачах. В карточке для этой модели не уточнено, какой из вариантов имеется в виду. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели. Модель подходит для ответов на инструкции, генерации и преобразования текста в широком круге NLP-задач. Как и другие крупные языковые модели, она может выдавать фактически неверные ответы, токсичный текст и воспроизводить стереотипы; результаты требуют проверки.

OrcaMaid 13B — это языковая модель для генерации текста в формате GGUF, созданная ddh0 на базе архитектуры Llama и квантизированная TheBloke. Репозиторий содержит варианты модели с разрядностью 2, 3, 4, 5, 6 и 8 бит для запуска на CPU и GPU. Исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель предназначена для выполнения инструкций и генерации ответов в текстовых сценариях, включая локальный инференс через llama.cpp и совместимые приложения и библиотеки. Для работы используется шаблон Alpaca с секциями Instruction и Response. Поддерживаются клиенты и инструменты, совместимые с GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ключевые характеристики — 13 миллиардов параметров, текстовая модальность, архитектура семейства Llama и формат GGUFv2. Сведения о поддерживаемых языках и размере контекста в README не указаны. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством, однако конкретные характеристики качества и аппаратные требования зависят от выбранного варианта. Лицензия указана как microsoft-research-license для исходной модели; также заявляется применимость лицензии Meta Llama 2, поэтому условия использования и взаимодействие лицензий следует проверять в исходном репозитории.

mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit — квантизированная версия модели ornith-ai/Ornith-1.5-35B-A3B, подготовленная сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. Это vision-language модель на архитектуре Qwen3.5-MoE: всего 35 млрд параметров, из которых активно используется около 3 млрд. Модель поддерживает работу с текстом и изображениями, а также оснащена головкой MTP для multi-token prediction и ускорения генерации. В карточке заявлен английский язык; размер модели на диске составляет около 24 ГБ. Модель предназначена для локального запуска на Apple Silicon и сценариев, связанных с рассуждениями, обработкой изображений и текста, function calling, использованием инструментов и агентными приложениями. Для подачи изображений сохраняется vision tower в формате bf16. Квантизация OptiQ использует смешанную точность: 113 компонентов представлены в 4-битном, а 399 — в 8-битном формате, с group size 64. Это снижает требования к памяти при сохранении более высокой точности для чувствительных слоёв, однако квантизация может ухудшать качество по сравнению с полной точностью, а для работы требуется совместимая MLX/OptiQ-среда и оборудование Apple Silicon. Распространяется по лицензии Apache 2.0. Контекст модели, точные показатели качества и поддерживаемый диапазон языков, кроме указанного английского, в README не приведены.

Ornith-1.5-9B-GGUF — это набор квантованных форматов GGUF для модели Ornith-1.5-9B, подготовленный пользователем NANI-Nithin на основе базовой модели ornith-ai. Модель относится к семейству Qwen3.5 и предназначена для запуска локального текстового вывода в llama.cpp, LM Studio, Ollama с импортом GGUF, KoboldCpp и других совместимых средах. Базовая модель содержит 9 миллиардов параметров и использует плотную архитектуру без маршрутизируемых экспертов: 32 трансформерных слоя, гибридное внимание с линейным механизмом Gated DeltaNet и полноформатным вниманием, а также позиционное кодирование MRoPE. Представленные файлы предназначены только для работы с текстом. В метаданных указан английский язык; размер контекста в README не указан. Доступны стандартные и IQ-квантизации от 2- до 8-битного уровня. Q2_K и IQ2_M экономят максимум памяти, Q4_K_M предлагают компромисс между качеством и размером, а Q8_0 обеспечивают наивысшее качество среди вариантов репозитория. Квантизация уменьшает требования к памяти, но может снижать точность по сравнению с исходными весами. README также сообщает, что заявленный в исходной конфигурации слой MTP для предсказания следующего токена отсутствует в опубликованных весах, поэтому метаданные GGUF были исправлены в соответствии с фактической структурой модели. Лицензия — Apache-2.0.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

Platyboros-Instruct-7B — разговорная модель Lodrick-the-Lafted на архитектуре Mistral, дообученная на Mistral-7B-Instruct-v0.2 с наборами jondurbin/airoboros-3.2 и garage-bAInd/Open-Platypus в формате Alpaca. Она предназначена для генерации ответов в диалоге и выполнения инструкций; принимает запросы в формате Mistral Instruct или Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели по AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

POCKET-35B-GGUF — языковая модель семейства POCKET, разработанная FINAL-Bench. Это GGUF-сборка, предназначенная для запуска через стандартный llama.cpp без CUDA, GPU и облачных сервисов. Модель позиционируется для локального использования на ПК, серверах, мини-ПК и мобильных устройствах, включая сценарии on-device и edge-инференса. Модель имеет заявленный размер 35B параметров и архитектуру mixture-of-experts; в карточке она связана с FINAL-Bench/Darwin-36B-Opus, а также обозначена как основанная на Qwen3.5-35B-A3B. Доступны варианты квантования от IQ1_M и Q2_K до Q4_K_M: размер файлов составляет примерно от 8,2 до 21 ГБ, что позволяет выбирать между экономией памяти и качеством. В качестве ориентиров приведены показатели GPQA Diamond от 60,1% для Q2_K до 68,7% для Q4_K_M, а также измерения скорости генерации на CPU и GPU. Модель ориентирована на диалоговые и общие текстогенерационные задачи, включая локального повседневного ассистента. Среди сильных сторон заявлены работа на CPU, совместимость с upstream llama.cpp и высокая скорость генерации в ряде сравнительных тестов. Ограничения включают заметные требования к оперативной памяти, снижение качества при сильном квантовании и отсутствие завершённых измерений производительности на iPhone и Strix Halo. В карточке явно указаны английская и корейская специализации отдельных сборок, но полный набор поддерживаемых языков и максимальный контекст не приведены. Лицензия — Apache 2.0.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-GRPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.