I.6Перевод и языковая адаптация

Ling-3.0-flash-VL GGUF — GGUF-конверсия мультимодальной модели inclusionAI/Ling-3.0-flash-VL, подготовленная bloomer010 для запуска через llama.cpp. Это Mixture-of-Experts-модель с 124 млрд общих параметров и примерно 5,5 млрд активируемых параметров на токен. Она поддерживает текстовые, графические и видео-входы и предназначена для мультимодального понимания, рассуждений, выполнения агентских задач и проверки результатов. Заявлено контекстное окно до 256K токенов, однако в README отдельно указана поддержка до 128K, поэтому фактический предел зависит от используемой сборки и конфигурации. Для обработки изображений требуется отдельный файл mmproj-model-f16.gguf размером около 875 МБ; текстовый чат может работать без него. Модель рассчитана на использование с llama.cpp, но пока требует сборки с ещё не объединённым PR для архитектуры bailingmoe3vl и визуального проектора Ling VL. Доступны различные варианты квантования от BF16 до Q3_K_M, что позволяет адаптировать требования к памяти, но уменьшение размера может снижать точность и стабильность ответов. Поддерживаются режим рассуждений и ускорение speculative decoding через DSpark, хотя выигрыш в скорости зависит от оборудования и сценария. Лицензия — MIT.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

win10/Qwen2.5-12.3B — языковая модель семейства Qwen2.5, созданная автором репозитория с помощью mergekit из слоёв Qwen/Qwen2.5-7B. Конфигурация использует метод passthrough и формат bfloat16; в метаданных архитектура указана как плотная Qwen2ForCausalLM с 11,7 млрд параметров. Модель предназначена для генерации текста и диалогового применения. Её можно использовать для ответов на вопросы, написания текстов и интеграции в чат-системы; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Метаданные указывают библиотеку Transformers и лицензию не сообщают, поэтому условия использования определить по доступным данным нельзя.

Карточка модели Davedav/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели xuanguan5525/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen2-7B — базовая предобученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров; в README указаны SwiGLU, смещение в проекциях QKV и групповое внимание. Модель принимает текст и предназначена для дообучения, например с помощью SFT, RLHF или продолжения предобучения, перед использованием в прикладной генерации текста. Модель оценивается на задачах понимания и генерации текста, вопросах и ответах, программировании, математике, рассуждениях и многоязычных тестах. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. Метаданные указывают контекст до 131 072 токенов и формат весов safetensors; карточка описывает базовую, а не instruction-tuned версию. Модель распространяется по лицензии Apache-2.0. Разработчики не рекомендуют использовать базовую версию для непосредственной генерации текста; качество на конкретных прикладных задачах может потребовать постобучения и отдельной проверки.

Это версия Qwen3-4B-Instruct-2507, подготовленная сообществом mlx-community для запуска с библиотекой MLX. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров; в метаданных указан контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также работы с длинными текстовыми контекстами. Карточка подтверждает формат MLX и safetensors; лицензия — Apache-2.0. README сообщает о конвертации из Qwen/Qwen3-4B-Instruct-2507 с помощью mlx-lm 0.30.2.

amd/Qwen3.5-397B-A17B-MXFP4 — мультимодальная генеративная модель семейства Qwen, представленная AMD на основе Qwen/Qwen3.5-397B-A17B-FP8. Она предназначена для задач условной генерации текста с обработкой текста, изображений и видео на входе и генерацией текста на выходе. В README указан английский язык. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и оптимизирована для инференса на AMD MI300, MI350 и MI355 под Linux с ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Для запуска рекомендуются SGLang или vLLM. Экспериментальная конфигурация оценки использовала максимальную длину контекста 262144 токена и распределение по четырём GPU, однако это не подтверждает полный нативный размер контекста модели. Ключевая особенность версии — статическое квантование весов экспертов языковой части и динамическое квантование активаций в формат OCP MXFP4 с помощью AMD-Quark 0.12; визуальные и некоторые другие слои исключены из квантования. На GSM8K модель получила 94,54 против 95,38 у исходной FP8-версии, сохранив 99,12% относительного результата. Ограничения включают зависимость от совместимого оборудования и программного стека AMD, а также ограниченность опубликованной оценки одним бенчмарком. Лицензия — Apache-2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.6-35B-A3B-Uncensored-Genesis-Final-NVFP4-GGUF — квантизированная в формате NVFP4 GGUF версия модели LuffyTheFox. NVFP4-квантизацию и интеграцию MTP выполнил jan1k; базовая модель разработана HauhauCS. Модель распространяется по лицензии Apache-2.0. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на диалоговые сценарии, программирование, точные задачи, творческое взаимодействие и roleplay. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется дополнительный файл mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf. Модель предназначена для запуска через llama.cpp и поддерживает контекст до 128K токенов. Архитектура — Mixture of Experts: около 35 млрд общих параметров, примерно 3 млрд активных на токен, 8 маршрутизируемых экспертов и 1 общий эксперт. Доступен вариант с MTP для speculative decoding, способный ускорять генерацию. К сильным сторонам относятся сравнительно низкая вычислительная нагрузка на токен, поддержка reasoning и мультимодальности, а также оптимизация для GPU NVIDIA Ampere, Ada Lovelace и Blackwell. Ограничения включают зависимость от совместимого программного обеспечения и оборудования, необходимость отдельного vision-проектора для изображений и отсутствие в карточке независимых бенчмарков качества.

SILMA STS Arabic Embedding Model 0.1 — модель Sentence Transformers от SILMA AI для оценки смысловой близости предложений и абзацев. Она преобразует текст в плотные векторы размерности 768; близость векторов рассчитывается косинусным сходством. Модель основана на BERT, дообучена в два этапа: сначала на арабских и английских триплетах, затем на парах текстов с оценками сходства. Базовая модель из карточки — silma-ai/silma-embeddding-matryoshka-0.1; в README также указан aubmindlab/bert-base-arabertv02. Модель подходит для семантического поиска, сопоставления вопроса с абзацем, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Карточка приводит оценку на MTEB STS17 для арабского языка и примеры сценариев на арабском и английском. Максимальная длина последовательности — 512 токенов. Модель распространяется по лицензии Apache-2.0.

Ahadadada Jailbreak Qwen3.8-27B — модифицированная jailbreak-версия модели Qwen3.8-27B, опубликованная пользователем или организацией Ahadadada. Модель сохраняет исходные возможности базовой модели и ориентирована на диалоговые сценарии, генерацию текста, программирование, агентские задачи, рассуждения и обработку изображений, видео и документов. Заявлено отсутствие стандартных фильтров безопасности, поэтому модель обычно отвечает более прямо и редко отказывается от запросов. Модель содержит 27 млрд плотных параметров и использует архитектуру qwen35 с гибридом SSM и attention: 64 слоя, включая 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Размерность скрытого состояния составляет 5120, размерность FFN — 17408, словарь содержит 248 320 токенов. Заявлен нативный контекст 262K токенов с возможностью расширения через YaRN. Поддержка мультимодальности реализуется через отдельный файл mmproj, а MTP с параметром n_max=3 предназначен для ускорения инференса. Доступны GGUF-квантизации APEX-I-Mini, Q4_K_M, Q5_K_M, Q6_K и Q8_0. В приведённых тестах вариант APEX-I-Mini в среднем уступил базовой bf16-модели 1,9 процентного пункта по HellaSwag, Winogrande и ARC-Challenge, хотя результаты зависят от квантизации и настроек. Для работы с изображениями требуется отдельный mmproj-файл; рекомендуются llama.cpp с поддержкой шаблонов Jinja и достаточным объёмом контекста. Модель распространяется по лицензии Apache-2.0, однако снятие защитных ограничений повышает риски небезопасного или вредоносного применения.

along26/all-MiniLM-L6-v2_multilingual_malaysian-v2 — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Энкодер архитектуры BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска, а также для поиска перефразировок, кластеризации и классификации текстов. По примерам обучающих данных она адаптирована к сопоставлению текстов на малайском и английском языках. В README приведена оценка cosine_accuracy 0,0044; без описания протокола и набора метрик эту цифру сложно интерпретировать, поэтому качество на конкретной задаче следует проверять отдельно. Веса доступны в формате Safetensors; модель использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.

darkps_ice-AI-GGUF — это квантованные версии языковой модели ice-AI, разработанной DarkPs и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Входной модальностью является текст, спекулятивное декодирование не поддерживается. Модель содержит около 8 млрд параметров. Набор включает варианты от BF16 до низкоразрядных квантовок Q2 и IQ, размер файлов составляет примерно от 3,4 до 16,4 ГБ. Квантования с imatrix рассчитаны на работу через совместимые инструменты llama.cpp; разработчик рекомендует Q4_K_M как сбалансированный вариант по качеству, размеру и производительности, а Q6_K и Q6_K_L — для более высокого качества. Длина контекста в README не указана. Сильными сторонами являются широкий выбор квантований, возможность подобрать модель под доступный объём памяти и совместимость с экосистемой llama.cpp. Более компактные варианты экономят память, но могут заметно уступать старшим квантованиям по качеству. Лицензия — Apache-2.0; исходной моделью указана darkps/ice-AI.

MLX-версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и производной от Qwen. Данная сборка преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1 и предназначена для локального запуска и генерации текста через библиотеку mlx-lm, прежде всего на устройствах Apple, поддерживающих MLX. Из README известно, что модель имеет размер 32B параметров и использует 8-битное представление весов. Она является текстовой языковой моделью; конкретные сведения об архитектуре, поддерживаемых языках, длине контекста, сильных сторонах и ограничениях в карточке не указаны. Для работы требуется установить mlx-lm и загрузить модель через его API. Лицензия и условия коммерческого или иного использования в README не указаны. Для точной оценки прав использования следует обратиться к карточке базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B и к условиям публикации конвертированной версии.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — модификация базовой модели Qwen3.6-27B, разработанная HauhauCS. Это мультимодальная модель для работы с текстом, изображениями и видео, представленная в формате GGUF и предназначенная для запуска в llama.cpp, LM Studio и других совместимых средах. Она ориентирована на агентное программирование, использование инструментов, рассуждения, творческое письмо и ролевые сценарии, а версия Aggressive специально настроена на прямые ответы без предварительных оговорок на жёсткие запросы. README заявляет отсутствие отказов в тесте из 465 запросов, однако это утверждение следует считать характеристикой автора сборки, а не независимой гарантией поведения модели. Модель содержит 27 млрд плотных параметров, 64 слоя и гибридную архитектуру с 48 слоями линейного внимания Gated DeltaNet и 16 слоями полноценного Gated Attention. Нативный контекст составляет 262 тыс. токенов и может быть расширен примерно до 1 млн с помощью YaRN. Указана поддержка английского, китайского и других языков, а также встроенная мультимодальность; для обработки визуальных данных поставляется отдельный компонент mmproj. Доступны квантизированные варианты от Q8 до Q2, включая специализированные K_P-квантизации, оптимизированные для сохранения качества. Сильными сторонами являются большой контекст, поддержка текста, изображений и видео, широкий выбор вариантов квантизации и отсутствие изменений в заявленных исходных возможностях Qwen3.6-27B. Ограничение версии Aggressive — менее сдержанная манера поведения и отсутствие защитных отказов, что повышает риски при использовании. Модель распространяется по лицензии Apache-2.0; сведения о требованиях к аппаратному обеспечению в README не приведены, но размер файлов квантизаций составляет примерно от 10 до 32 ГБ, не считая mmproj размером 928 МБ.

Faro-Yi-9B — чат-модель wenbopan, созданная на основе Yi-9B-200K путём масштабного дообучения на инструкциях из набора Fusang-V1. Это плотная причинно-языковая модель семейства Llama с 8,6 млрд параметров; репозиторий содержит веса Safetensors, а для диалога используется шаблон ChatML. Модель предназначена для ответов на инструкции и различных текстовых задач на английском и китайском языках, включая работу с длинными документами и сложными запросами. В README заявлена длина контекста до 200 тысяч токенов. В метаданных Hugging Face указано значение 32 768 токенов; для практического использования длинного контекста README приводит настройки vLLM и отмечает влияние квантизации AWQ на качество. В опубликованных автором тестах Faro-Yi-9B превосходит Yi-9B-200K по большинству приведённых показателей, в том числе по ряду тестов понимания длинного контекста; результаты кодогенерации в LongBench ниже, чем у базовой модели. Лицензия — MIT.

heretic-org/gemma-3-4b-it-heretic — это производная от Gemma 3 4B IT модель с открытыми весами, размещённая heretic-org. Она принимает текст и изображения и генерирует текст; поддерживает диалоговые сценарии и задачи понимания изображений. В карточке базовой Gemma 3 указаны контекст до 128K токенов и поддержка более 140 языков. Модель подходит для ответов на вопросы по изображениям, извлечения и краткого изложения визуальной информации, диалоговых помощников, генерации и суммаризации текста. Метаданные отмечают её как uncensored/decensored, поэтому она может слабее ограничивать генерацию нежелательного содержания. Указанная лицензия — gemma; применяются условия лицензии и политики использования Gemma.

unsloth/gemma-3n-E2B-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3n E2B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Gemma — семейство лёгких открытых моделей Google, созданных с использованием исследований и технологий Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и генерации текста, включая запуск на устройствах с ограниченными ресурсами. Gemma 3n использует технологию выборочной активации параметров, благодаря чему обеспечивает эффективный размер около 2B параметров при меньших требованиях к ресурсам по сравнению с полноразмерной моделью. Максимальный контекст составляет 32K токенов. Семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио, а обучение проводилось на данных более чем для 140 языков, однако для данной GGUF-версии в README указана текущая поддержка только текстового ввода. Выходом служит сгенерированный текст. К сильным сторонам относятся компактность, пригодность для локального запуска и сниженные требования к памяти, а также открытые веса инструкционной версии. Ограничения этой карточки — отсутствие точных сведений о размере конкретного GGUF-файла, варианте квантования, производительности и качестве на отдельных языках; мультимодальные возможности для данной версии заявлены как недоступные. Использование регулируется лицензией Gemma и соответствующими условиями Google.

InternLM2.5-20B-Chat GGUF — большая языковая чат-модель в формате GGUF, разработанная Shanghai AI Laboratory (上海人工智能实验室) и представленная для запуска с помощью llama.cpp. Она предназначена для локального и облачного инференса, ведения диалогов, генерации текста и интеграции в сервисы через совместимый с OpenAI API сервер llama-server. В README также показан сценарий вызова функций, например получения текущей погоды через внешний инструмент. Модель имеет размер 20B параметров и поддерживает несколько вариантов точности и квантования, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В качестве языков указано English, а в примере системного промпта заявлена способность общаться на английском и китайском языках. README демонстрирует контекст размером 4096 токенов и рекомендует использование аппаратного ускорения, включая CUDA; конкретные требования к ресурсам не указаны. Сильными сторонами модели являются возможность локального развёртывания на различных аппаратных платформах, наличие низкобитных версий и поддержка чатового взаимодействия, вызова функций и OpenAI-совместимого API. Ограничения включают отсутствие подробных данных о качестве, обучающих данных, точных языковых возможностях и рекомендуемых ресурсах, а также то, что результаты зависят от выбранной точности, конфигурации llama.cpp и параметров инференса. Модель распространяется по лицензии Apache-2.0.

LFM2-2.6B — компактная языковая модель Liquid AI для запуска ИИ на устройствах и периферийном оборудовании. Это плотная гибридная авторегрессионная модель семейства LFM2 с 2,4 млрд параметров по метаданным и 30 слоями: 22 блока коротких свёрток и 8 блоков внимания GQA. Модель принимает текст и генерирует текст; поддерживает контекст до 128 000 токенов по метаданным. Карточка также указывает, что эта версия использует динамический гибридный режим рассуждений для сложных и многоязычных запросов. Модель предназначена для диалогов, извлечения данных, RAG, творческого письма и агентных сценариев, в том числе на смартфонах, ноутбуках и в автомобилях. В карточке заявлены высокая скорость обучения и вывода, а также работа на CPU, GPU и NPU. Для узких задач разработчик рекомендует дополнительную настройку. Модель не рекомендуется для задач, требующих обширных знаний или программирования. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский; основного языка среди них не выделено. Лицензия указана как other, поэтому конкретные условия следует проверять на странице репозитория Hugging Face.

Карточка модели yentinglin/Llama-3.1-Taiwan-8B на Hugging Face совпадает с карточкой yentinglin/Llama-3.1-Taiwan-8B-Instruct, поэтому описание составлено по ней. yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

NVIDIA Parakeet TDT 0.6B v3 — многоязычная модель распознавания речи на 600 млн параметров, доступная в формате Transformers. Она использует архитектуру FastConformer-TDT и предназначена для преобразования речи в текст с автоматическим определением языка аудио. Поддерживает 25 европейских языков, включая русский и английский. Модель подходит для транскрибации разговоров и длинных записей, создания субтитров, голосовых помощников и аналитики речи. Она добавляет пунктуацию и заглавные буквы, а также может выдавать временные отметки на уровне слов и сегментов. Принимает монофоническое аудио 16 кГц; в README заявлена обработка записей до 24 минут с full attention на A100 80 ГБ или до 3 часов с local attention. Модель выпущена NVIDIA под лицензией CC BY 4.0, допускающей коммерческое и некоммерческое использование при соблюдении её условий. README отмечает оптимизацию для систем с GPU NVIDIA. Среди ограничений указаны отсутствие мер по снижению смещения и возможное влияние различий между европейским и бразильским вариантами португальского на результаты оценки.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.