II.2Создание и понимание программного кода

dippitydoodle/Qwen3-8B-heretic — декензурированная версия Qwen3-8B, созданная с помощью Heretic v1.4.0. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров с архитектурой Qwen3ForCausalLM; веса представлены в формате safetensors. Модель предназначена для диалоговой генерации текста и задач, в которых требуется меньше отказов на запросы: в карточке указано 15 отказов из 100 против 100 из 100 у исходной модели. Модель унаследовала от Qwen3 поддержку диалога, рассуждений, следования инструкциям, программирования, перевода и более чем 100 языков и диалектов. Метаданные указывают контекст до 40 960 токенов. README сообщает о KL-дивергенции 0,0577 относительно оригинала; это показывает, что изменение поведения сопровождается некоторым отклонением от исходной модели. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционно настроенная dense-модель для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев image-text-to-text. Модель предназначена для визуального вопросно-ответного взаимодействия, анализа изображений и видео, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео и событий с временными метками, а также OCR на 32 языках. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и визуальной информации, детальное восприятие сцен, объектов и документов, расширенный контекст и широкий набор мультимодальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели с 32B параметрами, а также потенциальные потери точности из-за квантования в GGUF; конкретный вариант квантования в README не указан. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Лицензия модели — Apache-2.0.

RWKV-7 «Goose» — базовая авторегрессионная языковая модель, выпущенная BlinkDL в формате Transformers. Это плотная модель архитектуры RWKV-7 с классом Rwkv7ForCausalLM; в метаданных указан размер 7,8 млрд параметров. В отличие от архитектур с attention, она использует рекуррентное состояние постоянного размера, поэтому объём состояния не растёт как KV-кэш, а вычисления при генерации масштабируются линейно по числу токенов. Обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, разговорных и рассуждательных данных. Её можно использовать для генерации продолжений, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат запросов, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В карточке заявлена поддержка нескольких языков, включая русский, английский и китайский. Контекстное окно в предоставленных данных не описано. В комплект входят интеграция с Transformers, токенизатор RWKV World и шаблон многоходового чата с поддержкой префикса рассуждений и формата вызова инструментов. Для тонкой настройки описана поддержка SFT и LoRA; ускоренный инференс на TileLang зависит от GPU, типа данных и формы входа, с возможностью отката на PyTorch. Лицензия — Apache-2.0. Карточка не заявляет оценок безопасности, предвзятости, токсичности или фактической точности; спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний.

Карточка модели LCM-Lab/1.2steps300_full_streaming_64k_qwen3-8b_wfrozen на Hugging Face совпадает с карточкой LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen, поэтому описание составлено по ней. LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.

RedHatAI/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic — квантизированная версия модели DeepSeek-R1-Distill-Llama-70B, разработанная Neural Magic на базе модели DeepSeek. Это текстовая авторегрессионная модель с архитектурой LlamaForCausalLM: принимает текст и генерирует текст. Модель предназначена для задач рассуждения, ответов на вопросы, математических и общих языковых задач, а также для развертывания через vLLM и OpenAI-совместимый сервер. Модель содержит около 70 миллиардов параметров и использует FP8-квантизацию весов и активаций. Квантизации подвергаются линейные операции внутри трансформерных блоков; веса квантизируются по симметричной поканальной схеме, а активации — по симметричной потокенной схеме. Переход с 16-битного представления на 8-битное примерно вдвое сокращает размер модели на диске и требования к памяти GPU. Для квантизации использован LLM Compressor. В README не указаны поддерживаемые языки и максимальная длина контекста. По приведенным оценкам, FP8-версия сохраняет близкую к исходной точность на тестах рассуждения и OpenLLM Leaderboard, включая AIME 2024, MATH-500, GPQA Diamond, GSM8K и MMLU. Основное преимущество модели — снижение требований к памяти и возможность эффективного инференса на GPU, однако фактическая производительность зависит от оборудования и конфигурации vLLM. Модель распространяется по лицензии MIT.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

Functionary Medium v3.1 — языковая модель компании MeetKai для диалогов и работы с функциями и плагинами. Она основана на meta-llama/Meta-Llama-3.1-70B-Instruct и использует плотную архитектуру Llama; в метаданных указаны 69,5 млрд параметров и контекст до 131 072 токенов. Модель принимает определения инструментов в формате JSON Schema, выбирает, когда вызывать функции, может запускать несколько вызовов параллельно или последовательно и учитывать их результаты в ответе. Она также может вести обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Модель предназначена для ассистентов, которым нужно вызывать API и плагины, оркестрировать инструменты и формулировать ответы с учётом полученных данных. README рекомендует запуск через совместимый с OpenAI сервер vLLM; для разбора сырых ответов в JSON предусмотрен специальный код. Репозиторий содержит веса Safetensors. Лицензия — MIT.

FuseChat-7B-TA — диалоговая языковая модель FuseAI, разработанная в рамках исследовательской работы учёных Университета Сунь Ятсена. Это вариант FuseChat-7B, полученный слиянием знаний нескольких чат-моделей; версия TA использует один из методов слияния. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и базовая модель OpenChat 3.5, дообучение которой также входит в процесс создания FuseChat. Модель предназначена для диалогов и выполнения текстовых инструкций общего назначения, включая ответы на вопросы, письмо, ролевые сценарии, рассуждения, математику, программирование и темы STEM и гуманитарных наук. Контекст составляет 8192 токена. В README для FuseChat-7B-TA указана средняя оценка 8,20 на MT-Bench. Модель принимает и выдаёт текст; в карточке отмечен английский язык. Слияние позволяет объединить способности нескольких моделей в одной без необходимости загружать несколько экспертов во время инференса. Модель выпущена под лицензией Apache-2.0. Показатель MT-Bench не гарантирует качество для конкретной задачи; подтверждённые возможности в карточке ограничены генерацией текста и чатом.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

1024m/HPhi-4-00-fp16 — дообученная 1024m модель для генерации текста и диалогов. Она основана на unsloth/phi-4 и обучалась с использованием Unsloth и библиотеки TRL; архитектура в метаданных указана как LlamaForCausalLM, плотная, размер — 14,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и ориентирована на английский язык. Модель подходит для ведения диалога и генерации англоязычных ответов, рассуждений и кода. В репозитории представлены веса в формате safetensors. Лицензия — Apache-2.0.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

Jhjhugv/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая модель, созданная Jhjhugv на основе kakaocorp/kanana-1.5-8b-instruct-2505. Это плотная Llama-модель с 7,5 млрд параметров, рассчитанная на генерацию текста и чат; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Модель принимает текст и выдаёт текст. Базовая модель предназначена для генерации текста, программирования, математики и работы с инструментами; карточка этой производной версии не уточняет специализацию дообучения. В README указано использование Unsloth и библиотеки TRL при обучении. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или конкретных ограничений, поэтому пригодность для специализированных задач следует проверять на собственных примерах.

Saxo, специалист по данным компании Linkbricks, дообучил эту плотную 70-миллиардную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V2-70B с помощью SFT и DPO. Модель ориентирована прежде всего на японский язык и обучалась на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Модель предназначена для генерации текста, письма, программирования, математических и логических задач, анализа отзывов клиентов и публикаций в социальных сетях, а также вызова функций и инструментов. Она поддерживает контекст до 128 тысяч токенов. В метаданных указаны Transformers, формат safetensors и лицензия Apache-2.0. README сообщает об усилении японских возможностей и о поддержке function calling, однако результат зависит от задачи и качества запроса. Обучающие данные и заявленные возможности не гарантируют точность ответов; для критически важных решений результаты следует проверять.

IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml — текстовая авторегрессионная модель семейства Llama, разработанная NVIDIA. Это базовая модель для генерации текста и адаптации к различным задачам обработки естественного языка; в этой версии добавлены токены ChatML для дообучения в формате диалога. Модель получена структурным прореживанием Llama-3.1-8B по размеру эмбеддингов и промежуточному слою MLP, после чего прошла дальнейшее обучение с дистилляцией на 94 млрд токенов. Архитектура включает 32 слоя, 32 головы внимания, Grouped-Query Attention и RoPE; число параметров — 3,9 млрд. Модель принимает и выдаёт текст. В README заявлена поддержка английского и многоязычного текста, а также кода; корпус включал веб-страницы, диалоги и документы из разных областей. Метаданные указывают контекстное окно 131 072 токена. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные сценарии; README также сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому перед использованием следует свериться с условиями NVIDIA. Модель может выдавать неточные, неполные или избыточные ответы и воспроизводить токсичность и предвзятость из обучающих данных.

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

TheBloke/Mistral-7B-Instruct-v0.2-GPTQ — это GPTQ-квантизированная версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной к распространению TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая работу через text-generation-webui, KoboldAI, LoLLMS Web UI и Hugging Face Text Generation Inference. Модель относится к семейству Mistral, содержит около 7 млрд параметров и работает с текстом. В репозитории представлены варианты квантования с разными параметрами; основной вариант использует 4-битное GPTQ-квантование, group size 128, Act Order и занимает около 4,16 ГБ. Для запросов рекомендуется шаблон «<s>[INST] {prompt} [/INST]». Квантование снижает требования к видеопамяти и облегчает локальный запуск, но может немного уменьшать точность по сравнению с исходной моделью и ограничивает совместимость средой выполнения. Указана поддержка Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA; для macOS рекомендуются версии GGUF. Лицензия — Apache 2.0.

ihughes15234/Phi-3.5-mini-instruct_unslothcpy — разговорная инструктивная версия компактной языковой модели семейства Phi-3.5, представленная в карточке с материалами Unsloth по тонкой настройке. Модель содержит 3,7 млрд параметров, использует плотную архитектуру и предназначена для генерации текста и многоходового диалога. Метаданные указывают контекст 4096 токенов; заявленные в README 128K относятся к Phi-3.5-mini в целом и не подтверждены для этой конкретной копии. Модель подходит для генерации ответов и создания приложений на базе языковой модели в условиях ограниченных вычислительных ресурсов и требований к задержке. В README базовая Phi-3.5 описана как многоязычная модель с сильными сторонами в рассуждениях, коде, математике, логике, обобщении длинных документов и ответах на вопросы по ним; эти характеристики не являются отдельной оценкой данного репозитория. Указана лицензия MIT. Как и другие языковые модели, она может ошибаться; перед применением в рискованных сценариях следует проверять точность и безопасность ответов.

Aratako создал эту диалоговую языковую модель, объединив через mergekit Qwen/Qwen1.5-7B-Chat и abacusai/Liberated-Qwen1.5-7B в архитектуру Mixture of Experts без дополнительного дообучения. Модель имеет архитектуру Qwen2ForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; она предназначена для генерации текста и диалогов на английском языке. В тестах MT-Bench модель показала результаты, близкие к исходной Qwen1.5-7B-Chat; автор приводит сравнительные оценки для задач кодирования, извлечения информации, рассуждений, ролевого общения и письма. Для запуска нужны пользовательские файлы модели и конфигурации, размещённые рядом с весами. В карточке указана лицензия other, а README сообщает о наследовании лицензии Tongyi-Qianwen.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

Richard Young подготовил декензурированную версию Qwen2.5-3B-Instruct с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,1 млрд параметров для диалоговой генерации текста. Она подходит для чат-ботов, ответов на инструкции, написания и анализа текста, а также задач по программированию и математике. Модель принимает текст и выдаёт текст; контекст составляет 32 768 токенов, поддерживается генерация до 8 192 токенов. В основе лежит Qwen2.5-3B-Instruct с архитектурой Qwen2ForCausalLM; заявлены RoPE, SwiGLU, RMSNorm и grouped-query attention. README указывает многоязычную поддержку более чем 29 языков, включая русский и английский. В приведённом сравнении модель отказала в 3 случаях из 100 против 96 у исходной версии, поэтому её следует считать менее склонной к отказам при запросах на чувствительные темы. Это не означает гарантии полноты или точности ответов. В метаданных лицензия обозначена как other, а README не содержит её условий, поэтому перед использованием следует проверить лицензию на странице модели и базовой модели. Модель предназначена для работы через библиотеку Transformers.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

NVIDIA Qwen3-8B FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемая длина контекста достигает 131K токенов. Квантизация FP8 применяется к весам и активациям линейных операторов внутри трансформерных блоков, что ориентировано на эффективный инференс. Языки и мультимодальные возможности в карточке не указаны. Модель подготовлена для TensorRT-LLM и оптимизирована для NVIDIA GPU, в частности совместима с микроархитектурой NVIDIA Blackwell; предпочтительная операционная система — Linux. Указанное тестирование проводилось на NVIDIA B200. Ограничения качества, рисков и применимости зависят от исходной Qwen3-8B и конкретного сценария использования; разработчикам рекомендуется самостоятельно оценивать модель для целевой отрасли и задач. Использование разрешено для коммерческих и некоммерческих целей по лицензии Apache 2.0.

Qwen3-VL-30B-A3B-Thinking-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF проектом Unsloth. Модель предназначена для генерации текста на основе текстовых и визуальных входных данных, включая анализ изображений и видео, визуальное рассуждение, OCR, понимание пространственных отношений, решение задач STEM и математики, а также взаимодействие с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру и относится к reasoning-ориентированной версии Thinking; заявленный размер — 30B параметров при 3B активных параметрах. Поддерживаются текст, изображения и видео. Контекст составляет 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временного и пространственного позиционирования, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — мультимодальное понимание, визуальное и пространственное рассуждение, обработка длинного контекста и видео, распознавание текста в сложных условиях, а также генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео. Ограничения, требования к ресурсам, точные показатели производительности и конкретные параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0; в репозитории Unsloth также отмечены исправления chat template.

RigoChat-7b-v2 — диалоговая языковая модель, разработанная Instituto de Ingeniería del Conocimiento (IIC) на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 без изменений и дообучена методом Direct Preference Optimization (DPO) для более точных ответов на запросы на испанском языке. Максимальная длина контекста — 32 768 токенов. Модель предназначена для широкого круга задач на испанском: диалогов, суммаризации, математических и кодовых запросов, ответов на вопросы по контексту и работы с инструментами. В карточке отдельно отмечено применение в RAG-системах с испанскими документами, где обучение было направлено на ответы с учетом контекста и снижение галлюцинаций. Модель распространяется в формате Safetensors и поддерживает интерфейс вызова инструментов. Лицензия RIGOCHAT NON-COMMERCIAL ограничивает коммерческое использование загруженной модели; для коммерческого применения разработчик указывает отдельный вариант через AWS Marketplace. Модель может воспроизводить предвзятости, ошибаться, особенно в технических, научных и юридических темах, и не знать событий после даты отсечения обучения.

Salamandra-7B-Instruct-Aina-Hack — разговорная языковая модель, разработанная подразделением языковых технологий Barcelona Supercomputing Center для мероприятия AinaHack, посвящённого созданию ИИ-инструментов для администрации Каталонии. Это инструкция-настроенная версия Salamandra-7B: decoder-only трансформер семейства Llama с 32 слоями и примерно 7 млрд параметров. Модель принимает текст и генерирует текст, использует шаблон ChatML и поддерживает контекст до 8192 токенов. Модель предназначена для диалоговых помощников и генерации текста на европейских языках, а также может служить основой для прикладной донастройки. Семейство Salamandra обучалось с нуля на многоязычном корпусе из 35 европейских языков и программного кода; карточка этой версии описывает её как proof of concept с предварительной настройкой следования инструкциям. Модель распространяется под лицензией Apache 2.0. У модели выявлены социальные и когнитивные смещения, а анализ охватывает не все поддерживаемые языки. Карточка предупреждает, что модель не прошла RLHF-выравнивание для фильтрации чувствительных тем и может создавать вредный или неподходящий контент; перед применением в продуктах необходимы оценка рисков и дополнительная настройка безопасности.

hypn05 разработала Secrets Sentinel xsmall-c2p-v1 — экспериментальную англоязычную модель для бинарной классификации строк кода и конфигураций на наличие секретов. Она основана на microsoft/deberta-v3-xsmall и дообучена на наборе data_v10. Архитектура DeBERTa-v2 для классификации последовательностей использует только компонент позиционного внимания c2p; модель содержит 77,5 млн параметров по метаданным, а длина контекста составляет 512 токенов. Модель предназначена для поиска ключей и других секретов в репозиториях, например в проверках pre-commit, GitHub Actions и pre-receive hooks. В README заявлена скорость примерно в 5,3 раза выше базового варианта, однако на коротких идентификаторах Terraform отмечены ложные срабатывания. Автор рекомендует использовать эту версию для исследований и сравнения скорости, а для production — xsmall-v1. Лицензия MIT.