I.6Перевод и языковая адаптация

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

LD-Zephyria-37b_HEALED — дообученная версия TheSkullery/LD-Zephyria-37b, созданная автором athirdpath. Для обучения применён LoRA-адаптер ранга 128, нацеленный на проекции q и down; использована одна эпоха датасета TheSkullery/Aether-Lite-PurHyDe. Модель представляет собой плотную авторегрессионную языковую модель семейства Mistral с 37,3 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

shb777/Llama-3.3-8B-Instruct-128K — доработанная версия Llama 3.3 8B Instruct, созданная на основе allura-forge/Llama-3.3-8B-Instruct. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что для версии включена полная длина контекста — 131 072 токена; также добавлены настройки rope_scaling, шаблон чата Unsloth в конфигурации токенизатора и обновлена конфигурация генерации. Модель можно использовать для ответов в чате, продолжения текста и других сценариев генерации. Метаданные отмечают интерфейс для вызова инструментов, но README не описывает его поведение или качество. Модель опубликована в формате safetensors и распространяется по лицензии llama3.3. README также ссылается на GGUF-варианты, однако этот репозиторий описан как safetensors-модель.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

Mistral-7B-Instruct-v0.2-expanded — разговорная языковая модель, созданная Arcee AI на основе mistralai/Mistral-7B-Instruct-v0.2. Авторы расширили блоки модели с помощью метода passthrough из mergekit: после каждого пятого слоя добавлен новый слой, в котором параметры o_proj и down_proj инициализированы нулями по подходу LLaMA Pro. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; использовать модель можно через библиотеку Transformers. Лицензия в предоставленных данных не указана.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

onelevelstudio/M-MPNET-BASE — резервная копия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2, обученной командой sentence-transformers. Модель на базе XLM-RoBERTa преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения предложений и кластеризации. Она принимает текст и выдаёт эмбеддинги; поддерживает множество языков, включая русский. Контекст — до 514 токенов, размер — 305,2 млн параметров. Модель подходит для поиска близких по смыслу текстов и группировки многоязычных документов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0.

Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Карточка модели Karmukilan/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Карточка модели thuan220401/multilingual-e5-large на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.

Карточка модели vectoriseai/multilingual-e5-large на Hugging Face совпадает с карточкой goldenrooster/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — мультиязычная модель текстовых эмбеддингов, основанная на XLM-RoBERTa-large и обученная контрастивным методом на смеси мультиязычных данных. В карточке перечислены авторы Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Модель имеет 24 слоя, размер эмбеддинга 1024 и около 658,7 млн параметров. Она предназначена для поиска по текстам, семантического сходства, поиска парафраз и межъязыкового сопоставления текстов, а также для получения признаков для классификации и кластеризации. Для поиска нужно добавлять к запросу префикс «query:», а к документу — «passage:»; для симметричных задач и получения признаков используется префикс «query:». Поддерживается 100 языков семейства XLM-RoBERTa, включая русский, однако качество может снижаться на языках с малым объёмом обучающих данных. Модель принимает текст и выдаёт векторные представления. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Лицензия — MIT.

Карточка модели Hiveurban/multilingual-e5-large-pooled на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

DavidAU/Qwen3-32B-128k-NEO-Imatrix-Max-GGUF — квантованные GGUF-варианты модели Qwen3-32B, разработанные DavidAU. Модель предназначена для генерации текста, диалогов, задач с рассуждениями и творческих сценариев, включая хоррор и другие художественные применения. Указано, что модель может использоваться также для общего назначения. Модель имеет заявленный контекст до 128k токенов и поддерживает режим reasoning с автоматической генерацией блоков размышлений. Варианты используют NEO Imatrix-квантизацию, при этом выходной тензор оставлен в формате BF16 для улучшения рассуждений и генерации. Размер базовой модели — 32B параметров; конкретная архитектура, список поддерживаемых языков и точные характеристики отдельных квантов в карточке не указаны. Для качества рекомендуется контекст не менее 8k, предпочтительно 16k; IQ4XS и IQ4NL описаны как наиболее сбалансированные варианты, а более высокие кванты — как предпочтительные для усиленного reasoning. К ограничениям относятся зависимость качества от выбранного уровня квантизации, необходимость корректной настройки Jinja или CHATML-шаблона и возможная потребность в подборе параметров генерации. Для Q8_0 эффект Imatrix, согласно описанию, отсутствует. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.5-9B-Brainwaves-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе nightmedia/Qwen3.5-9B-Brainwaves. Это модель примерно на 9 млрд параметров; в README она также обозначена как vision model, однако подробности о визуальной архитектуре и поддерживаемых типах входных данных не приведены. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, а также творческого письма и ролевого взаимодействия. Заявлена поддержка английского, китайского, японского и испанского языков. Репозиторий содержит варианты квантования i1 от Q2_K до Q6_K и IQ-квантов, что позволяет выбирать между размером файлов, скоростью и качеством; рекомендуемым вариантом назван i1-Q4_K_M. К сильным сторонам относятся разнообразие доступных квантов и возможность запуска через совместимое с GGUF программное обеспечение. Ограничения — отсутствие в README подробных сведений об архитектуре, точном размере контекста, результатах тестирования и фактических возможностях vision-компонента; квантование может снижать качество по сравнению с исходной моделью. Указанная лицензия — Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-4bit — это квантизированный вариант Qwen/Qwen3.8-27B, разработанный сообществом Qwen и подготовленный пользователем btbtyler09. Модель представляет собой плотную мультимодальную модель примерно на 27 млрд параметров с поддержкой текста и изображений, предназначенную для генерации и понимания текста, анализа изображений, обслуживания через vLLM и ускоренного декодирования с помощью модуля MTP. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, скрытое представление размером 5120 и промежуточный размер 17408. Максимальная длина контекста составляет 262 144 токена. В состав входят 27-блочный визуальный ViT-энкодер и однослойная голова Multi-Token Prediction. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM и размером группы 32, а визуальный энкодер, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Итоговый размер — около 21 ГБ вместо примерно 56 ГБ у исходной BF16-модели. Основное преимущество — существенно меньшие требования к памяти при сохранении близкого к исходной модели качества: на wikitext-2-raw-v1 ухудшение perplexity составляет 0,81%. Модель поддерживает мультимодальные запросы и совместима с ядрами GPTQ в vLLM, однако для полноценного запуска требуется значительный объём видеопамяти и подходящая конфигурация GPU. Квантизация может снижать качество на отдельных задачах, а в некоторых версиях vLLM возможна ошибка разбора конфигурации, требующая исправления. Лицензия — Apache 2.0; поддерживаемые языки README не указывает.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Это вариант модели Qwen3-Next-80B-A3B-Thinking, подготовленный командой minjaechoi как экспериментальный чекпойнт r26 с разреженными экспертами MoE. Средняя точность весов маршрутизируемых экспертов составляет 2,125 бита, остальные веса — BF16; в репозитории веса сохранены в тензорах BF16 после деквантизации. Модель предназначена для генерации текста и диалога, включая сложные рассуждения, а интерфейс поддерживает вызов инструментов. Она использует архитектуру Qwen3-Next и рассчитана на контекст до 262 144 токенов. Метаданные указывают 2,3 млрд параметров, а для загрузки доступны safetensors и библиотека Transformers. Сверхнизкая точность маршрутизируемых экспертов может ограничивать качество по сравнению с исходной моделью; README характеризует этот вариант как внутренний исследовательский чекпойнт. Лицензия наследуется от Qwen3-Next-80B-A3B-Thinking.

SakThai Multilingual Embedding — модель семейства SakThai, созданная на основе Multilingual-MiniLM-L12-H384 и дообученная для получения векторных представлений предложений. Она строит 384-мерные эмбеддинги, в которых тексты близкого смысла располагаются рядом, в том числе если они написаны на разных языках. Модель предназначена для многоязычного семантического поиска, извлечения контекста для RAG, сравнения предложений, кластеризации и поиска дубликатов. Заявлена поддержка более 50 языков; архитектура BERT имеет 12 слоёв, размер модели по метаданным — 124,3 млн параметров, контекст — до 512 токенов. Использовать её можно через sentence-transformers локально или развернуть на TEI endpoint. Лицензия — MIT. В карточке подтверждены локальная загрузка и кодирование на CPU, но приведённые проверки являются лишь smoke-тестами. Формальные оценки MTEB и STS для этой дообученной модели пока не опубликованы, а показатели базовой модели не следует считать результатами SakThai. Серверless API Hugging Face, согласно README, модель не поддерживает; длинные документы требуют разбиения на фрагменты, а качество может снижаться для малоресурсных языков и отдельных языковых пар.

amahdaouy/xlmrsim-mar_cos — мультиязычная модель Sentence Transformer, дообученная на базе sentence-transformers/stsb-xlm-r-multilingual. Она использует XLM-RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерности 768; косинусное сходство подходит для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают нативный контекст до 514 токенов. Модель обучена на 19 755 примерах с CosineSimilarityLoss. Указанные в карточке языки примеров включают английский, французский и арабский; базовая модель мультиязычная. Доступна в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

DeepSeek-V3.2-Exp — экспериментальная языковая модель семейства DeepSeek, разработанная DeepSeek и опубликованная в виде побитово идентичной архивной копии AIArchiveInfo. В исходной версии исследуется механизм DeepSeek Sparse Attention для повышения эффективности обучения и инференса на длинных последовательностях; по заявлению авторов, качество ответов остаётся близким к DeepSeek-V3.1-Terminus. Модель предназначена для генерации текста и диалогового взаимодействия, а метаданные также указывают интерфейс вызова инструментов. Модель содержит 37,6 млрд параметров, использует архитектуру DeepseekV32ForCausalLM и формат весов safetensors FP8. Длина контекста — 163 840 токенов. README сообщает, что веса архивной копии не обучались и не изменялись, поэтому классификация как дообучения из метаданных может отражать связь с базовой моделью, а не изменение весов именно этой копии. Лицензия — MIT.

distiluse-base-multilingual-cased-v2 — модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 512 на основе архитектуры DistilBERT и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель поддерживает множество языков, включая русский, и может применяться для поиска похожих фраз и документов в многоязычных коллекциях. Максимальная длина контекста — 512 токенов. Доступны форматы PyTorch, safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache-2.0. Модель выдаёт эмбеддинги, а не готовые ответы или метки. Качество поиска зависит от языка, предметной области и выбранного способа сравнения векторов; тексты длиннее контекстного окна ограничиваются доступной длиной.

Dolphin Mistral 24B Venice Edition — языковая модель для генерации текста, разработанная Dolphin в сотрудничестве с Venice.ai на базе Mistral-Small-24B-Instruct-2501 от Mistral AI. Модель предназначена для общего назначения: диалоговых систем, ассистентов и встраивания в приложения, где владельцу нужен контроль над системным промптом, настройками выравнивания и данными. Она позиционируется как максимально неограниченная версия Mistral 24B и используется в экосистеме Venice, где представлена под названием Venice Uncensored. Модель относится к классу text-generation и совместима с Transformers, vLLM, Ollama, LM Studio, SGLang и TGI. Указан формат FP8; размер базовой модели — 24B параметров. Сохраняется стандартный chat template Mistral. Для инференса рекомендуется низкая температура, например 0,15; в примере для vLLM заявлена поддержка контекста до 131 072 токенов, вызова инструментов и изображений, однако архитектура мультимодальности и точный набор поддерживаемых языков в README не описаны. Сильная сторона модели — управляемость: системный владелец самостоятельно задаёт тон, правила поведения и ограничения, а также может разворачивать модель локально или в собственной инфраструктуре. Ограничение заключается в намеренно минимальном уровне встроенных этических и безопасностных ограничений, поэтому результаты требуют внешнего контроля и настройки политик применения. Модель распространяется по лицензии Apache-2.0.

EVA-Qwen2.5-72B-v0.2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели EVA-Qwen2.5-72B-v0.2, подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Базовая модель указана как EVA-UNIT-01/EVA-Qwen2.5-72B-v0.2; её основой является Qwen2.5-72B. Модель ориентирована на генерацию текста, следование инструкциям, написание различных материалов и ролевые сценарии. В обучающих данных использовались наборы для instruction-following, письма, roleplay и синтетической генерации, включая материалы на базе Opus, Sonnet 3.5, ChatGPT-4o и Dolphin. Модель доступна в нескольких вариантах квантования от Q8_0 до Q2_K и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуется использовать LM Studio или совместимый с GGUF движок на базе llama.cpp. В README не указаны точная архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия обозначена как Qwen; в качестве официального документа приведена лицензия Qwen2.5-72B-Instruct. Условия конкретного использования необходимо проверять по указанному лицензионному тексту. Основные ограничения связаны с большими требованиями к памяти и снижением качества при использовании низких уровней квантования; вариант Q4_K_M описан как оптимальный по размеру для большинства сценариев, а Q6_K и Q5 считаются высококачественными рекомендуемыми вариантами.

Huihui-Qwen3.5-27B-Opus-abliterated-YaRN-1M — текстовая генеративная модель на архитектуре Qwen3.5 с 27 млрд параметров, представленная в GGUF BF16. Это версия модели HuihuiAI с расширением контекста YaRN и включённым пошаговым рассуждением; в README также указана поддержка изображений через файл mmproj. Модель предназначена для диалогов, генерации текста и работы с длинными контекстами: заявлено 262 тысячи токенов активного контекста и до 1 млн токенов с YaRN, а максимальная длина ответа — 81 920 токенов. Карточка указывает английский язык. Для контекста 262K заявлено около 60 ГБ видеопамяти, для 1M — около 90 ГБ. Модель основана на HuihuiAI/Huihui-Qwen3.5-27B-Opus-abliterated; исходное семейство разработано командой Qwen. Лицензия — Apache-2.0. Термин «abliterated» указывает на изменение поведения модели, однако README не уточняет его влияние на безопасность или качество; длинный контекст требует значительных ресурсов видеопамяти.

Huihui-Qwen3.8-27B-Abliterated-INT4-W4A16-AutoRound — производная мультимодальная модель, опубликованная LeTechLead на основе Huihui-Qwen3.8-27B-abliterated и Qwen3.8-27B от Qwen. Она предназначена для генерации и понимания текста, а также обработки изображений и видео в сценариях, поддерживаемых архитектурой Qwen3.5 и установленными библиотеками Transformers или vLLM. Модель сохраняет аблированное поведение исходной версии и может использоваться для исследований, оценки и контролируемых приложений. Архитектура указана как Qwen3_5ForConditionalGeneration; текстовая часть содержит 64 слоя, скрытое представление размером 5120, словарь из 248 320 токенов и максимальный контекст до 262 144 позиций. В конфигурации предусмотрены 48 слоёв с linear attention и 16 слоёв с полной attention, MTP-путь и vision tower. Языки явно не указаны. Языковая часть и MTP-путь квантизованы методом AutoRound до INT4 в формате W4A16 с размером группы 128, тогда как vision tower сохраняет BF16. Индексированные веса представляют около 6,28 млрд параметров, размер репозитория — около 19,02 ГБ. Ключевые преимущества модели — мультимодальность, длинный контекст и снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают зависимость от совместимых версий Transformers или vLLM, требований доступного оборудования и возможное ухудшение характеристик из-за квантизации. Модель может генерировать чувствительный, спорный или небезопасный контент, поэтому результаты требуют проверки. Указана лицензия Apache-2.0; пользователи несут ответственность за соблюдение законодательства, правил платформ и организационных политик.

KAI-7B-Instruct-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и KAI-7B-Instruct-v0.1 от Keynote Technology методом SLERP. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате диалога. Модель принимает текст и выдаёт текст; заявленный размер контекста — до 32 768 токенов. В карточке не указаны целевые языки и специализированная предметная область. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

LFM2-700M — компактная языковая модель Liquid AI для локального и периферийного запуска на смартфонах, ноутбуках и других устройствах с CPU, GPU или NPU. Она содержит около 654 млн параметров по метаданным и построена на гибридной плотной архитектуре LFM2: 10 блоков коротких свёрток с двойными вентильными механизмами и 6 блоков внимания GQA. Модель предназначена для диалогов, агентных сценариев, извлечения данных, RAG и генерации творческих текстов; поддерживает шаблон чата в стиле ChatML и вызов инструментов. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. В карточке указан контекст 32 768 токенов, тогда как метаданные каталога сообщают native context в 128 000 токенов. Liquid AI описывает ускорение обучения и вывода и повышенную эффективность по памяти относительно предыдущих моделей и некоторых сопоставимых моделей; эти заявления относятся к оценкам разработчика. Для узких сценариев рекомендуется дообучение. Модель не рекомендуется для задач с высокими требованиями к знаниям или навыкам программирования. Лицензия в метаданных обозначена как other; конкретные условия следует проверить в репозитории модели.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.