II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейMeta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.
LongCat-2.0-INT8 — 8-битная версия крупной разреженной MoE-языковой модели LongCat-2.0, разработанная командой Meituan LongCat. Модель предназначена для генерации текста, понимания кода, редактирования репозиториев, автоматизированного выполнения задач и агентских рабочих процессов. В метаданных Hugging Face указаны 42,1 млрд параметров и контекст до 262 144 токенов; README базовой модели описывает архитектурные технологии LongCat Sparse Attention, N-gram Embedding и поддержку многотокенного предсказания.
SillyTilly/Meta-Llama-3.1-405B-Instruct — текстовая инструкция-настроенная модель Meta из семейства Llama 3.1. Это авторегрессионный плотный Transformer с архитектурой LlamaForCausalLM и механизмом Grouped-Query Attention; в репозитории указано около 408 млрд параметров, формат весов safetensors и контекст до 131 072 токенов. Модель принимает и генерирует текст и предназначена для диалоговых сценариев с ассистентом, генерации текста и использования в коммерческих и исследовательских приложениях. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ключевые особенности семейства включают настройку инструкциями с помощью supervised fine-tuning и обучения с обратной связью от людей, а также возможности многоязычного диалога и интеграции с внешними инструментами на стороне приложения. Репозиторий создан пользователем SillyTilly; README описывает модель Meta Llama 3.1. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy. К ограничениям относятся непредсказуемые или небезопасные ответы, а также недостаточно надёжное качество и безопасность на языках, не входящих в перечень поддерживаемых; при подключении инструментов разработчик должен отдельно контролировать их безопасность и целостность.
Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.
Карточка модели context-labs/meta-llama-Llama-3.2-3B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.
MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и NurtureAI/Mistral-7B-Instruct-v0.1-16k методом SLERP. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров для генерации текста и выполнения инструкций в диалоговом формате. Модель принимает текст и генерирует текст; максимальная длина контекста по метаданным — 32 768 токенов. Она подходит для диалогов, ответов на вопросы и работы с длинными текстовыми запросами. Лицензия — Apache-2.0.
Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.
Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.
Mistral Large 2407 — флагманская языковая модель Mistral AI, выпущенная в июле 2024 года. Это модель с доступными весами, но проприетарными условиями использования. Модель предназначена для диалога, рассуждений, работы с кодом и генерации JSON и может использоваться как универсальный помощник для этих задач. В карточке указано, что модель хорошо справляется с перечисленными сценариями, однако подробности об архитектуре, размере и контексте здесь не приведены. Лицензия и конкретные условия использования в доступном описании не раскрыты; перед применением следует свериться с условиями Mistral AI.
gghfez/Mistral-Small-3.2-24B-Instruct-hf — преобразованная в формат Hugging Face версия Mistral-Small-3.2-24B-Instruct-2506. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для генерации текста и диалогов по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. В карточке указано, что эта версия не мультимодальная. Модель может применяться для диалоговых ассистентов, ответов на вопросы и генерации текста. Она распространяется по лицензии Apache-2.0. README описывает преобразование базовой модели в формат Hugging Face, а не отдельное дообучение.
Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.
Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.
Mixtral-8x22B-v0.1 — предварительно обученная генеративная языковая модель семейства Mixtral, разработанная командой Mistral AI. Это разреженная архитектура Mixture of Experts; модель предназначена для генерации текста и может служить базой для адаптации под конкретные задачи. Репозиторий содержит веса в формате safetensors, совместимые с vLLM и библиотекой Transformers. В карточке указано 22B параметров и контекст до 65 536 токенов. Модель поддерживает английский, французский, итальянский, немецкий и испанский языки. Она не содержит механизмов модерации, поэтому выдачу следует проверять при пользовательском применении. Лицензия — Apache 2.0.
mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.
Moe-2x7b-QA-Code — языковая модель команды nextai-team для ответов на вопросы и работы с запросами по программированию. Она использует архитектуру Mixture of Experts семейства Mixtral; в метаданных указан размер 7,1 млрд параметров и контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Модель предназначена для разработчиков, специалистов по данным и исследователей. Её можно использовать для генерации и объяснения кода, помощи при разборе технической документации, ответов в службе поддержки, обучения программированию и поддержки код-ревью. В карточке указано обучение на технической документации, публикациях Stack Overflow и репозиториях GitHub; заявлена поддержка английского языка. Карточка заявляет улучшение ответов на сложные вопросы о коде, но не приводит численных результатов бенчмарков. Ответы могут быть предвзятыми или неточными, особенно за пределами обучающих данных, поэтому их следует проверять перед использованием в критически важных сценариях.
Карточка модели Darth-Coder/my-model2.5-14b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.
Карточка модели davidnichols-ops/NVIDIA-Nemotron-Nano-9B-v2-fork на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Nano-9B-v2, поэтому описание составлено по ней. NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалога, следования инструкциям и задач с рассуждением. В карточке она описана как обученная с нуля; метаданные каталога указывают связь merge с NVIDIA-Nemotron-Nano-12B-v2 и NVIDIA-Nemotron-Nano-12B-v2-Base, поэтому происхождение модели отмечено как слияние. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Метаданные указывают 15,1 млрд параметров, контекст до 131 072 токенов и формат safetensors. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Она рассчитана на ответы на вопросы, программирование, RAG-системы, чат-боты и агентные приложения. Режим рассуждения можно управлять системной инструкцией или бюджетом токенов; разрешение промежуточного рассуждения обычно повышает качество сложных ответов, но увеличивает расход токенов. В README перечислены английский, немецкий, испанский, французский, итальянский и японский; также для входа указаны корейский, португальский, русский и китайский. Лицензия в метаданных обозначена как other, а README заявляет готовность к коммерческому использованию.
Карточка модели TreezzZ/opd-teacher-alfworld-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.
unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.
Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.
Qwen1.5-7B-Chat — диалоговая языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для генерации текста в формате беседы и ответов на запросы. Модель принимает текстовые сообщения и генерирует текст. Модель поддерживает контекст до 32 768 токенов и многоязычную работу. В карточке указаны улучшения качества диалоговых моделей по предпочтениям пользователей и токенизатор, адаптированный к нескольким естественным языкам и программным кодам. Для загрузки используется библиотека Transformers; удалённый код не требуется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить на странице модели. В README отмечено, что при переключении между языками или других проблемах генерации рекомендуется использовать параметры из generation_config.json.
Карточка модели Gaurav1872/Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.
mlx-community/Qwen2.5-14B-Instruct-bf16 — преобразованная в формат MLX модель Qwen2.5-14B-Instruct, подготовленная сообществом mlx-community для запуска на Apple Silicon. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста в диалоговом режиме и интерфейса вызова инструментов. Метаданные указывают контекст до 32 768 токенов и поддержку английского языка; README описывает конвертацию из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Модель распространяется по лицензии Apache-2.0.
Qwen2.5-32B-Instruct-GGUF — квантованная в формате GGUF версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование подготовлено bartowski на основе llama.cpp, а распространение модели осуществляется в рамках Community Model Program LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, работу со структурированными данными и создание структурированного контента. Она поддерживает более 29 языков, среди которых английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявлена поддержка контекста до 128 000 токенов с использованием настроек YaRN RoPE и генерацией до 8 000 токенов. Ключевые характеристики включают размер 32B параметров, текстовую модальность и обучение на наборе данных объёмом 18 триллионов токенов. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в поддерживаемых приложениях, однако требования к вычислительным ресурсам зависят от конкретного уровня квантования. Модель может генерировать неточные, вредные или непреднамеренные ответы. Лицензия — Apache 2.0.
Qwen2.5-3B-Instruct-AWQ — инструкционно дообученная причинная языковая модель из семейства Qwen2.5, разработанная командой Qwen; в примере README также указано, что Qwen создан Alibaba Cloud. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура основана на Transformers и использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов. Применяется GQA с 16 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, длина генерации — до 8 192 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и другие. Ключевое преимущество версии AWQ — 4-битное квантование, позволяющее снизить требования к памяти и сделать развёртывание компактнее по сравнению с полноточной версией, при этом возможна потеря качества относительно исходной модели. Для работы рекомендуется использовать актуальную версию библиотеки Transformers и совместимые инструменты AWQ. В README указана лицензия qwen-research; точные условия следует проверять в файле лицензии репозитория.
RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.
Meohan/Qwen2.5-Coder-3B-Instruct — языковая модель семейства Qwen2, ориентированная на генерацию текста и выполнение инструкций в сценариях, связанных с программированием. Модель опубликована пользователем Meohan на Hugging Face; сведения о разработчике и происхождении в README не приведены. Модель содержит около 3,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Она распространяется для использования через библиотеку Transformers; в метаданных также отмечены форматы safetensors и GGUF. Основной pipeline-тег — text-generation. Модель может применяться для генерации фрагментов программного кода, объяснения кода, помощи при рефакторинге и ответов на технические запросы в диалоговом формате. README не содержит результатов оценки, описания обучающих данных, сведений о языках, лицензии или подтверждённых характеристиках качества, поэтому перед использованием в продуктивных системах необходима самостоятельная проверка.
qwen3-4b-zhtw-translate — дообученная модель Qwen3-4B-Instruct-2507, созданная theblackcat102 для перевода с английского на естественный традиционный китайский Тайваня (臺灣正體). Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает текст; максимальная длина контекста — 262 144 токена. Модель предназначена для локализации прозы, вопросов и ответов, технических текстов и комментариев в коде. Она обучена выдавать только перевод, использовать тайваньскую терминологию, сохранять Markdown, код, URL, заполнители и идентификаторы, а также оставлять пунктуацию и форматирование кода без изменений. Обучение включало дистилляцию поведения большой модели-учителя Gemma-4-27B и полное дообучение Qwen3 в формате инструкций и чата. Модель рассчитана на направление английский → традиционный китайский Тайваня; перевод из китайского и другие языки-источники не оценивались. Переводы для критически важных сценариев, особенно юридических и медицинских, следует проверять. Лицензия — Apache-2.0.
Smoffyy/Qwen3.6-27B-Instruct-Revised-GGUF — производная от Qwen3.6-27B, разработанного командой Qwen, и конвертация в формат GGUF, выполненная Smoffyy с использованием llama.cpp. Модель предназначена для диалоговых задач, программирования, агентских сценариев, работы с репозиториями и frontend-разработки. Она также поддерживает обработку изображений при использовании файла mmproj-f16.gguf. В основе лежит каузальная языковая модель с vision-энкодером на 27 млрд параметров, 64 слоями и нативным контекстом до 262 144 токенов; заявлена возможность расширения контекста до 1 010 000 токенов. Доступны различные уровни квантования GGUF. Вариант Revised сохраняет возможности исходной модели, но содержит исправленный и улучшенный шаблон чата с поддержкой роли developer, управлением режимом reasoning и другими исправлениями. По умолчанию используется режим без рассуждений; включение и отключение reasoning задаётся через системный промпт. Для запуска рекомендуется выбирать q5_k_m и выше при наличии от 48 ГБ VRAM, q4_k_m как сбалансированный вариант при наличии от 24 ГБ, а q3_k_m для систем с 8–12 ГБ. Ограничения зависят от выбранного уровня квантования и доступной памяти; для мультимодальной работы требуется дополнительный mmproj-файл. Модель и производные распространяются по лицензии Apache 2.0.
Qwen3.8-27B-FP8 — FP8-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная причинная языковая модель с визуальным энкодером, предназначенная для работы с текстом, изображениями и видео. Модель ориентирована на программирование, профессиональные и исследовательские задачи, автономное планирование, агентные сценарии и выполнение сложных многошаговых задач. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Модель содержит 27 млрд параметров, 64 слоя и использует архитектуру, сочетающую Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 000 000 токенов. Поддерживается понимание изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы, однако конкретный перечень языков в README не указан. Веса квантизированы методом fine-grained FP8 с размером блока 128; заявлено, что показатели близки к исходной модели. Формат совместим с Hugging Face Transformers, vLLM, SGLang и другими инструментами инференса. Лицензия — Apache 2.0. Ограничениями являются необходимость подходящей инфраструктуры для локального развёртывания, возможные особенности FP8-инференса и отсутствие в предоставленных данных подробных результатов бенчмарков и языкового покрытия.