II.4Отладка, тестирование и качество ПО

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF-v2 — квантованная GGUF-версия модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная QuantFactory с использованием llama.cpp. В основе лежит Meta Llama 3 8B Instruct, дообученная Gradient при спонсорской поддержке вычислительной инфраструктуры Crusoe Energy. Версия v2 использует обновлённые веса исходной модели и дополнительно усиливает диалоговые возможности ассистента. Модель предназначена для генерации текста и кода, диалоговых сценариев и обработки исключительно текстовых входных данных. Её ключевая особенность — расширенный контекст длиной более 1,04 млн токенов вместо стандартных 8 тысяч у базовой Llama 3. Для этого применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение на последовательно увеличивающихся длинах контекста. Архитектурно это авторегрессионная модель на основе оптимизированного Transformer с Grouped-Query Attention; размер — 8 млрд параметров. Заявлена поддержка английского языка. Сильная сторона модели — способность работать с очень большими текстовыми контекстами; в README приведены результаты тестов Needle-in-a-Haystack на длинах до 1 040 200 токенов, включая высокую точность на описанных сценариях. Ограничения включают текстовую модальность, зависимость практической производительности от используемой квантовки и аппаратного обеспечения, а также отсутствие подробных сведений о конкретном формате квантования, требованиях к памяти и скорости инференса. Модель распространяется по лицензии Llama 3.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

next-70b-i1-GGUF — это набор квантизированных файлов GGUF для языковой модели next-70b, разработанной thelamapi и подготовленной в формате GGUF пользователем mradermacher. Модель относится к большим трансформерным instruction-tuned языковым моделям с 70 миллиардами параметров и предназначена для генерации текста и диалогового использования. Модель обучалась на наборах данных для instruction tuning, написания текстов, краткого содержания, агентных сценариев, математических задач и программной инженерии, включая GSM8K, MATH-500 и SWE-bench Verified. Заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. README не содержит данных о длине контекста, точной архитектуре трансформера, мультимодальности или результатах бенчмарков, поэтому эти характеристики нельзя оценить по предоставленной информации. Основное преимущество репозитория — широкий выбор квантизаций с размером примерно от 15,4 до 58 ГБ, что позволяет выбирать баланс качества, скорости и требований к памяти. Для использования требуются совместимые инструменты, поддерживающие GGUF. Низкобитные варианты могут заметно уступать по качеству; в README отдельно отмечены варианты с низким качеством, а для ряда конфигураций рекомендуются IQ-квантизации или Q4_K_M. Модель распространяется по лицензии MIT.

Ornstein3.6-35B-A3B-GGUF — набор GGUF-квантизаций модели DJLougen/Ornstein3.6-35B-A3B, опубликованный для локального запуска. Это дообученная модель семейства Qwen 3.6 с архитектурой Qwen3_5MoeForCausalLM и поддержкой сценариев генерации текста; репозиторий также содержит мультимодальные конфигурации и файлы визуальной башни для обработки изображений и видео, однако существующие GGUF-бинарники при обновлении метаданных не переписывались. Модель использует архитектуру mixture-of-experts с 34,66 млрд параметров, из которых около 3 млрд активны для каждого токена. В ней 256 экспертов, выбираются 8 экспертов на токен, предусмотрены чередующиеся линейное и полноразмерное внимание, а также Gated Delta Net. Контекст составляет до 262 144 токенов, скрытый размер — 2048, число слоёв — 40, словарь — 248 320 токенов. Доступны варианты квантизации от 8 до примерно 2,6 бит; версии ниже 8 бит частично созданы с importance matrix на смешанном многоязычном корпусе. Сильная сторона модели — сочетание большого общего числа параметров с относительно небольшим числом активных параметров, что делает локальный инференс более доступным по памяти. Для лучшего качества рекомендуется Q4_K_M или выше; Q5_K_M описывается как удачный баланс качества и размера, а Q8_0 — как почти без потерь. Низкобитные варианты требуют компромисса по качеству, причём у MoE-моделей деградация при сильной квантизации может быть заметнее. Для запуска подходят llama.cpp, LM Studio, Ollama, koboldcpp и text-generation-webui при наличии поддержки Qwen3_5MoeForCausalLM и Gated Delta Net. Модель распространяется по лицензии Apache 2.0, унаследованной от базового релиза Qwen 3.6.

SassyDiffusion/Qwen3.5-9B-heretic-ara-GGUF — это GGUF-версия декензурированной модели SassyDiffusion/Qwen3.5-9B-heretic, созданной на основе Qwen3.5-9B с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для генерации и анализа текста, а также для мультимодальных сценариев с изображениями, поскольку базовая Qwen3.5-9B описана как причинная языковая модель с vision encoder. Она может применяться в чат-ботах, ассистентах, задачах рассуждения, программирования, работы с агентами и визуального понимания. Архитектура базовой модели включает 9 млрд параметров, 32 слоя, гибрид Gated Delta Networks и разреженного Mixture-of-Experts, а также 4096-мерное скрытое представление. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат GGUF ориентирован на использование в совместимых средах инференса, однако конкретные квантизация и требования к ресурсам в README не указаны. Главная особенность версии — существенное снижение частоты отказов по сравнению с оригинальной Qwen3.5-9B: в приведённом тесте 7 отказов из 100 против 93 из 100 у исходной модели, при KL divergence 0,0168. Это может быть полезно для сценариев, где требуется более свободная генерация, но одновременно означает ослабление исходных механизмов безопасного отказа. Результаты приведены для ограниченного теста и не характеризуют качество во всех задачах. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp8 — квантизированная MLX-версия модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, основанной на Qwen3.5-9B. Модель конвертирована в формат MLX командой TheCluster; исходная базовая модель разработана HauhauCS на основе Qwen. Лицензия — Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, включая диалоговые приложения, анализ контента, программирование и задачи рассуждения. Это плотная модель с 9 млрд параметров и 32 слоями, использующая гибридную архитектуру Gated DeltaNet с линейным вниманием и полноразмерным softmax-вниманием в соотношении 3:1. Она поддерживает Multi-Token Prediction, контекст до 262 тысяч токенов с возможностью расширения до 1 млн с помощью YaRN, словарь на 248 тысяч токенов и 201 язык. Ключевая особенность варианта — усиленное удаление отказов от выполнения запросов; в README заявлены отсутствие отказов в тесте из 465 запросов и отсутствие потери возможностей, однако независимые результаты не приведены. Агрессивная настройка может быть нежелательной для сценариев, требующих строгих защитных ограничений. Квантизация mxfp8 с размером группы 32 и показателем 8,626 bpw снижает требования к памяти, но потенциально может влиять на точность по сравнению с исходной моделью. Для режима рассуждения рекомендованы temperature 0.6, top_p 0.95 и top_k 20, для нережима рассуждения — temperature 0.7, top_p 0.8 и top_k 20.

Qwen3.8-27B-2bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованная пользователем lukaskremla в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалогов, рассуждений, работы с инструментами и задач с длинным контекстом; заявлена поддержка нескольких языков. Модель содержит около 27 млрд параметров и использует 2-битное weight-only-квантование с affine RTN-квантизацией и group size 64. Это text-to-text-модель: vision tower удалён, поэтому обработка изображений и другие визуальные сценарии не поддерживаются. Формат MLX ориентирован на запуск в экосистеме Apple MLX и mlx-lm. Точная длина контекста и архитектурные детали в README не указаны. Ключевое преимущество — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, что делает её пригодной для локального запуска при сохранении возможностей исходной текстовой модели. Ограничения связаны с 2-битным квантованием, которое может снизить точность и качество по сравнению с исходной моделью, а также с отсутствием визуального ввода. Модель распространяется по лицензии Apache-2.0.

leonsarmiento/Qwen3.8-27B-3bit-mtp-mlx — это 3-битная MLX-квантизация мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач text-to-text и image-text-to-text, включая диалоговую работу с текстом и изображениями, генерацию кода и другие сценарии локального запуска на устройствах Apple через совместимые MLX-инструменты. В основу входит dense hybrid-attention VLM с 64 слоями: 48 слоями linear attention и 16 слоями full attention, контекстом до 262K токенов и сохранённой vision tower. Поддерживаемые языки в README не указаны. Основная часть слоёв использует 3-битное affine-квантование с group_size=64; embedding layers и lm_head имеют 4-битное квантование, а vision tower — 8-битное. Размер модели составляет около 13,04 ГБ в трёх шардах. Отличительная особенность — встроенный Multi-Token Prediction (MTP) слой, позволяющий включать спекулятивное декодирование без отдельной модели-черновика. В oMLX с включённым MTP заявлено ускорение генерации примерно на 30,7% в однопоточном режиме и до 90,9 токена в секунду при пакетной генерации 4×, однако требуется около 15,69 ГБ пиковой памяти. Сильными сторонами являются мультимодальность, большой контекст, относительно небольшой размер для класса 27B и высокая скорость декодирования при использовании oMLX. Ограничения включают повышенное потребление памяти при активном MTP, отсутствие поддержки ускорения MTP в LM Studio и снижение качества на задачах, требующих интенсивного рассуждения: для таких сценариев рекомендуется отключать MTP. Лицензия — Apache-2.0.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF-q4kp — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Это плотная causal language model на 27 млрд параметров с vision encoder, предназначенная для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальными вступлениями на сложные запросы. Модель содержит 64 слоя, размер скрытого представления 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняет встроенный MTP/NextN и дополнительно поддерживает HauhauCS FastMTP для ускорения спекулятивного декодирования; для визуального ввода используется отдельный BF16-проектор. Заявлены языки английский, китайский и другие многоязычные сценарии. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Сильные стороны модели — широкий набор текстовых, reasoning-, agentic-, image- и video-возможностей, большой контекст, несколько вариантов квантизации K_P и ускорение FastMTP. Aggressive-профиль может быть менее подходящим для надёжных длинноконтекстных агентских задач, где предпочтительнее более сбалансированная версия. Модель распространяется по лицензии Apache-2.0; для работы с изображениями и видео требуется отдельный vision projector.

Карточка модели TreezzZ/r2s-scienceworld-qwen3.5-4b-student на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.

Agents-A1 — агентная модель от InternScience, созданная для длительных многошаговых задач в поиске, инженерии, научных исследованиях, следовании инструкциям и работе с инструментами. В карточке указана архитектура Mixture-of-Experts и размер 35 млрд параметров; модель распространяется в формате Safetensors и поддерживает диалог и интерфейс вызова инструментов. Для запуска подходят Transformers, vLLM и SGLang. Модель предназначена для разбиения сложных запросов на шаги, планирования, использования внешних инструментов и адаптации по промежуточным результатам. Разработчики сообщают о трёхэтапном обучении: широкая supervised fine-tuning, обучение доменных моделей-учителей и многодоменная дистилляция с учётом различий между задачами. В карточке приведены сильные результаты на агентных, научных и инструкционных бенчмарках; они отражают оценку авторов и зависят от сценария и настроек. Веса опубликованы по лицензии Apache-2.0. Карточка не сообщает поддерживаемые естественные языки или длину контекста; описание стандартного варианта упоминает контекст 262K, но подробности конфигурации приведены не полностью. Тег метаданных указывает на генерацию текста; изображение упоминается среди тегов VLM, однако README не описывает визуальный ввод для этой конкретной модели.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

mrcuddle/arcee-fusion-lumaid-12B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit и метода Arcee Fusion. В качестве базовой модели использована mistralai/Mistral-Nemo-Instruct-2407; в объединение также вошла NeverSleep/Lumimaid-v0.2-12B. Модель содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям. Её можно применять для ответов на вопросы, написания и редактирования текстов, а также сценариев с интерфейсом вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В метаданных и README не приведены результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и правомерность использования следует проверять по исходным карточкам обеих базовых моделей и условиям публикации этой модели.

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества. Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

DeepSeek-R1-Distill-Qwen-14B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai и подготовленной компанией Second State Inc. Модель предназначена для текстового диалога и генерации ответов, а также может использоваться в локальных приложениях и сервисах на базе LlamaEdge. Для взаимодействия применяется шаблон запросов ChatML. Модель содержит 14 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации Q2_K–Q8_0 и f16 размером примерно от 5,77 до 29,5 ГБ. Варианты с меньшим числом бит требуют меньше памяти, но могут заметно терять в качестве; README рекомендует Q4_K_M как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Модель рассчитана на работу через llama.cpp и LlamaEdge, включая запуск как локального чат-приложения или API-сервиса. Сильными сторонами являются большой контекст, возможность локального развертывания и широкий выбор компромиссов между размером, требованиями к ресурсам и качеством. Ограничения связаны с потерями качества при низкой квантизации и значительными требованиями к памяти для крупных вариантов. Сведения о поддерживаемых языках, точной архитектуре, назначении обучения и лицензии в README не указаны.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

Dirk-Qwen3.8-27B-GGUF — это квантованная GGUF-версия плотной мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем npario. Модель предназначена для диалогов, агентного программирования, анализа изображений и других задач, требующих генерации текста с поддержкой vision-language. Она рассчитана на запуск через llama.cpp и совместимые рантаймы. Модель сохраняет веса исходной Qwen3.8-27B, vision-возможности и MTP-голову nextn для multi-token prediction и speculative decoding. В поставку включён Sharp chat template, ориентированный на краткие ответы и работу без дополнительной настройки шаблона. Поддерживаются английский и китайский языки. Доступны уровни reasoning_effort low, medium и xhigh; high является псевдонимом xhigh, а рассуждения можно полностью отключить. Контекстный размер в README не указан. Сильные стороны модели — компактные ответы, потенциально более высокая скорость генерации благодаря MTP и широкий выбор квантов Dynamic 3.0 UD размером примерно от 9,8 до 31,5 ГБ. Ограничения связаны с потерями качества у малобитных квантов, требованиями к видеопамяти и необходимостью использования совместимого vision-проектора mmproj-F16.gguf для работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Dolphin-2.6-FC_Hermes-2-Pro — объединённая модель, созданная с помощью LazyMergekit из cognitivecomputations/fc-dolphin-2.6-mistral-7b-dpo-laser и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов по текстовым запросам. Наследует ориентированные на инструкции и диалоговые сценарии возможности базовых моделей; описание базовой модели в каталоге также указывает на вызов функций и генерацию структурированного JSON. Заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате Safetensors. Языковая поддержка, лицензия и отдельные ограничения в предоставленных материалах не описаны.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

Gemma4-E4B-MLX — подготовленная MAVIS AI сборка инструкционной мультимодальной модели Google Gemma 4 E4B для локального запуска на компьютерах Mac с Apple Silicon через MLX. По карточке это та же модель, что google/gemma-4-E4B-it: обучение и архитектура не менялись; веса упакованы в формат MLX, с точностью BF16 там, где это предусмотрено исходным способом конверсии. Модель поддерживает диалог и анализ изображений. Сборка предназначена для локальных сценариев с мультимодальным чатом, анализа изображений, помощи в RAG, извлечения и проверки информации из документов, а также задач, требующих структурированных ответов и многошаговых рассуждений. README особо выделяет использование в экосистеме R.E.V.I.S. и локальных MLX-проектах на Apple Silicon. Лицензия репозитория — Apache License 2.0; также применяются условия Google Gemma.

Gixtral 100B — разговорная языковая модель для генерации текста и выполнения инструкций, созданная ehristoforu путём объединения нескольких моделей семейства Mixtral и WizardLM, включая Mixtral-8x22B-Instruct-v0.1, Mixtral-8x7B-Instruct-v0.1, Dolphin и WizardLM-2-8x22B. Архитектура — Mixtral с разреженной экспертной структурой (MoE); в метаданных указано 9,7 млрд параметров и контекстное окно 32 768 токенов. Модель подходит для диалогов, ответов на запросы, следования инструкциям и генерации текста на английском, французском, немецком, испанском и итальянском языках. Для объединения использованы наборы данных, включающие примеры для программирования и инструктивных диалогов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает модель как объединение моделей, хотя в метаданных среди базовых моделей также указаны Dolphin и WizardLM. Практические результаты объединения и сравнительные оценки в карточке не приведены; фактическое качество может зависеть от запроса и используемой конфигурации.