I.6Перевод и языковая адаптация

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

amd/Llama-3.1-8B-Instruct-FP8-KV — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, созданная компанией Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной инструкционной моделью Llama 3.1, а также для эффективного развёртывания через backend vLLM. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор. Экспорт выполняется в формате Quark safetensors, совместимом с vLLM. Для оценки потери точности использовалась perplexity на Wikitext-2: 7,2169 у исходной модели и 7,2752 у данной версии; результаты получены в режиме псевдоквантизации и могут отличаться от показателей фактического инференса. Размер модели, контекстное окно, список языков и другие архитектурные характеристики в README не указаны. Модель ориентирована на снижение требований к памяти и повышение эффективности инференса на совместимом оборудовании, однако FP8-квантизация может незначительно ухудшать качество по сравнению с исходной моделью. Для использования требуется Quark; заявлена возможность развёртывания с помощью vLLM. Лицензия указана как llama3.1, с условиями Meta для Llama 3.1 и дополнительными модификациями, защищёнными авторским правом AMD.

Llama 4 Scout 17B 16E Instruct — мультимодальная инструкционная модель Meta на архитектуре Llama 4 с механизмом смеси экспертов и ранним объединением модальностей. В карточке репозитория указано 17 млрд параметров и 16 экспертов; модель работает с текстом и изображениями и поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для ассистентских диалогов и визуального рассуждения: распознавания содержимого изображений, ответов на вопросы о них и создания подписей. Она рассчитана на арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Для понимания изображений модель протестирована на входе до пяти изображений. Модель может применяться в коммерческих и исследовательских сценариях, включая генерацию синтетических данных. Это статичный чекпойнт, обученный на офлайн-данных; качество ответов и безопасность следует проверять для конкретного применения. Использование регулируется пользовательской лицензией Meta Llama 4 Community License Agreement.

miqu-1-120b — крупная текстовая языковая модель, созданная wolfram с помощью mergekit: слои модели miqu-1-70b-sf были объединены методом passthrough в конфигурацию из 140 слоёв. Модель содержит около 120,1 млрд параметров, использует архитектуру Llama и рассчитана на генерацию текста и диалоговое общение. Максимальный контекст — 32 764 токена; в README указан шаблон запросов Mistral `[INST] ... [/INST]`. Модель предназначена для диалогов, ответов на вопросы, написания и продолжения текста. В карточке перечислены английский, немецкий, французский, испанский и итальянский; отзывы пользователей отмечают связность диалога и удержание контекста, а также отдельные случаи слабого следования инструкциям. Доступны варианты квантования EXL2 и GGUF. Лицензия указана как `other`; README сообщает, что использованы утёкшие веса, поэтому правовой статус и условия использования требуют отдельной проверки.

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

omniASR-CTC-300M — конверсия чекпойнта OmniLingual omniASR_CTC_300M в формат Hugging Face, опубликованная aadel4. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием: она принимает аудио и выдаёт логиты по SentencePiece-словарю для транскрибирования речи на нескольких языках. В метаданных указано 412,7 млн параметров; модель использует класс Wav2Vec2ForCTC и библиотеку Transformers. В карточке описаны 24 слоя энкодера и размер скрытого состояния 1024. Автор сообщает, что результаты модели совпадают с исходным чекпойнтом fairseq2 с точностью до atol=1e-4 на контрольном аудиофрагменте, и приводит совпадающую транскрипцию. Модель предназначена для многоязычного ASR; конкретные поддерживаемые языки в карточке не перечислены. Условия лицензирования в предоставленных данных не описаны.

MaziyarPanahi/Phi-4-mini-instruct-GGUF — это набор квантованных файлов в формате GGUF для исходной модели microsoft/Phi-4-mini-instruct. Базовую модель разработала Microsoft, а квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Набор содержит варианты с квантованием 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Архитектура, количество параметров, поддерживаемые языки и размер контекста в предоставленных данных не указаны. Ключевые преимущества — доступность нескольких уровней квантования и совместимость с широким набором локальных средств запуска, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, а также с зависимостью характеристик производительности от выбранного варианта и оборудования. Лицензия в README не указана.

Карточка модели LIF1014/ptdbench-Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели cold368733/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели Gaery0611/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

mlx-community/Qwen3-30B-A3B-4bit — это 4-битная версия модели Qwen3-30B-A3B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-30B-A3B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в среде MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple Silicon. Ключевые характеристики включают формат MLX, 4-битное квантование и назначение text-generation. README не содержит сведений о точной архитектуре, количестве активных и общих параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования, сильных сторонах и ограничениях качества. Модель распространяется по лицензии Apache 2.0.

huihui-ai/Qwen3-32B-abliterated — версия Qwen3-32B, созданная huihui-ai методом abliteration, который изменяет модель для уменьшения числа отказов. Автор описывает реализацию как грубую проверку концепции. Модель предназначена для диалоговой генерации текста и может использоваться через Transformers или Ollama. Это плотная многоязычная модель на 32 млрд параметров, дообученная на Qwen/Qwen3-32B; в репозитории указаны веса safetensors и библиотека Transformers. Модель ориентирована на чат и сохраняет общую область применения базовой Qwen3: рассуждения, программирование и работу с инструментами. Лицензия — Apache-2.0. Уменьшение отказов не гарантирует их полного отсутствия и может влиять на поведение и надёжность ответов.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3.5-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-27B, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом; запуск возможен через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README указан pipeline image-text-to-text, однако подробности о поддерживаемых языках и максимальном контексте не приведены. Доступны варианты от исходных весов BF16 размером 54,66 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M указан как стандартный вариант для большинства сценариев. Меньшие варианты экономят память, но могут заметно снижать качество ответов. Для ускорения генерации поддерживаются MTP-слои при использовании соответствующей функции llama.cpp. Модель удобна для локального запуска на совместимом оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость совместимости от обновлений используемого программного обеспечения и возможное ухудшение качества при сильной квантизации. Лицензия — Apache-2.0.

SraVaani-1.0 — модель автоматического распознавания речи (ASR), разработанная ARTPARK-IISc. Она предназначена для преобразования аудиозаписей в текст, включая распознавание речи на индийских языках и диалектах в сценариях транскрибации и обработки голосовых данных. Модель основана на архитектуре FastConformer и содержит около 430 млн параметров. Она использует гибридный декодер TDT-CTC, доступна в формате FP16 и занимает примерно 900 МБ. Предварительное обучение проводилось на 31 255 часах речи из набора Vaani, охватывающего 105 языков, а последующая настройка — примерно на 31 270 часах транскрибированной речи на 65 индийских языках и диалектах. Также применялось выравнивание аудио и изображений на 11 млн пар, что предназначено для улучшения представлений аудиоданных. Модель поддерживает, среди прочих, Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Sanskrit, Tamil и Telugu, а также множество региональных языков и диалектов; поддерживается и English. Качество существенно различается между языками: для Hindi средний WER составляет 12,4%, тогда как для некоторых малоресурсных языков он превышает 70–90%, поэтому результаты требуют проверки в конкретном сценарии. Urdu и Kashmiri в выпущенной версии не поддерживаются. Модель распространяется по лицензии MIT.

T5Gemma 2 — семейство мультимодальных моделей Google на архитектуре encoder-decoder. Этот чекпойнт содержит энкодер на 270 млн и декодер на 270 млн параметров; он получен адаптацией предварительно обученной Gemma 3 с использованием подхода UL2. Модель принимает текст и изображения и генерирует текст. Семейство заявлено как мультиязычное: более 140 языков и контекст до 128 тысяч токенов; для этого размера в README приведены оценки на задачах понимания изображений и обработки длинного контекста. Модель предназначена для генерации и преобразования текста, ответов на вопросы по изображениям, суммаризации и рассуждений, а компактный размер позволяет рассматривать запуск на ноутбуках, настольных компьютерах или в облачной инфраструктуре. Чекпойнт отмечен как предварительно обученный; README также описывает исследовательское применение семейства. Модель может ошибаться в фактах, испытывать трудности со сложными или неоднозначными запросами и отражать смещения обучающих данных. Лицензия — Gemma; применяйте модель с учётом её условий и самостоятельно оценивайте безопасность результатов.

nxn1231/yi6 — текстовая генеративная модель семейства Yi, основанная на 01-ai/Yi-6B. Модель разработана на базе открытой модели 01.AI и использует плотную архитектуру LlamaForCausalLM; в репозитории представлены веса PyTorch в формате Safetensors. Размер составляет 5,8 млрд параметров, контекст — до 4096 токенов. Лицензия — MIT. Модель предназначена для генерации текста на английском и китайском языках, понимания языка, рассуждений на основе здравого смысла и ответов на вопросы по прочитанному. Её можно применять для диалога, написания и продолжения текстов, а также для прототипирования приложений на базе LLM. README сообщает, что семейство обучалось на многоязычном корпусе объёмом 3 трлн токенов, но конкретные показатели качества этой копии отдельно не приводятся.

arabic_PP-OCRv5_mobile_rec — мобильная модель распознавания строк арабского текста из изображений, разработанная командой PaddleOCR как часть семейства PP-OCRv5_rec. Она предназначена для использования в OCR-системах, где требуется извлекать текстовые строки и выдавать их в виде текста; показатель точности на описанной в карточке оценке составляет 81,27%. Для распознавания документов модель можно подключить как модуль распознавания в конвейере PP-OCRv5 вместе с детектором текста и, при необходимости, модулями коррекции ориентации и геометрии изображения. Модель относится к мобильной линейке и использует библиотеку PaddleOCR. В метаданных указан английский язык, но README описывает поддержку арабского; идентификатор модели также указывает на арабское распознавание. Репозиторий распространяется по лицензии Apache-2.0. Это распознаватель текстовых строк, поэтому сам по себе он не выполняет полный поиск областей текста на странице: для такого сценария нужен OCR-конвейер с модулем детекции.

BerryBase — языковая модель на 7,1 млрд параметров, созданная автором репозитория путём слияния maywell/Qwen2-7B-Multilingual-RP и Weyaxi/Einstein-v7-Qwen2-7B с помощью LazyMergekit и метода SLERP. Она основана на архитектуре Qwen2 и предназначена для генерации текста в диалоговом формате, включая ответы на вопросы. Указанный родительский чекпойнт — maywell/Qwen2-7B-Multilingual-RP; конфигурация слияния также включает слои второй модели. Модель принимает текст и генерирует текст. Нативная длина контекста составляет 32 768 токенов; веса опубликованы в формате Safetensors и имеют тип bfloat16. Языковая основа — мультиязычная модель Qwen2, однако конкретный перечень поддерживаемых языков для BerryBase в карточке не приведён. Карточка не содержит оценок качества или подробных ограничений применения. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверить на странице репозитория и у базовых моделей.

ByteDance-Seed_Seed-OSS-36B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 16,50 до 72,31 ГБ. В README не указаны архитектура, поддерживаемые языки, контекстное окно, мультимодальность и точные сценарии применения исходной модели. Для вариантов с более сильным сжатием ожидается снижение качества, тогда как Q6 и Q5 позиционируются как высококачественные, а Q4 — как практичный компромисс для большинства случаев. Модель удобна для локального инференса на совместимом оборудовании, однако требует значительных ресурсов, особенно в вариантах BF16 и высоких разрядностей. Формат лицензии в README не указан; условия использования следует уточнять на странице исходной модели ByteDance-Seed/Seed-OSS-36B-Instruct.

calme-3.1-instruct-3b — языковая модель MaziyarPanahi, дообученная на базе Qwen/Qwen2.5-3B для общих задач. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML; контекстное окно — 32 768 токенов. В карточке указана поддержка французского и английского языков, а метаданные отмечают интерфейс для вызова инструментов. Модель подойдёт для ответов на вопросы, написания и редактирования текста, а также для диалоговых приложений общего назначения. Автор предупреждает, что из-за небольшого размера она может хуже справляться с некоторыми запросами и быть чувствительной к гиперпараметрам; для применения в производственной среде рекомендуется проверка результатов и человеческий контроль. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B в формат MLX с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалогового использования в экосистеме MLX, в частности через библиотеку mlx-lm. В README приведён пример запуска с чат-шаблоном токенизатора, поэтому её можно использовать для ответов на запросы и интерактивного общения. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Ключевая характеристика модели — 4-битное представление, ориентированное на более эффективное использование памяти при локальном запуске в MLX. Ограничения, точные сильные стороны, лицензия и условия распространения в README не указаны. Для работы требуется установить библиотеку mlx-lm.

mlx-community/DeepSeek-V3.1-8bit — это 8-битная версия модели DeepSeek-V3.1, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai/DeepSeek-V3.1. Модель предназначена для генерации текста и локального использования через библиотеку mlx-lm на устройствах, поддерживающих MLX. Она может применяться для диалогов и других задач текстовой генерации; в README приведён пример использования с chat template и сообщениями в формате ролей. Ключевые характеристики — формат MLX, 8-битное представление весов и тег text-generation. Конвертация выполнена с помощью mlx-lm версии 0.26.3. Данные о точном размере модели, архитектуре, поддерживаемых языках и длине контекста в README не указаны. Сжатое 8-битное представление может быть удобно для локального запуска, однако конкретные требования к памяти, производительность и качество по сравнению с исходной моделью не описаны. Модель распространяется по лицензии MIT.

Это пакет слоёв GGUF-модели DeepSeek-V3.2-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска. Он основан на unsloth/DeepSeek-V3.2-GGUF и сохраняет её веса в отдельных артефактах по слоям; вариант квантования — UD-Q4_K_XL. Пакет предназначен для локального и приватного чат-инференса, в том числе на нескольких машинах, когда полная модель не помещается на одном узле. Через Mesh LLM он поддерживает подачу запросов на генерацию текста и совместимый с OpenAI интерфейс chat completions. В метаданных указана библиотека mesh-llm; исходная карточка модели содержит дополнительные сведения об архитектуре и условиях лицензии, которых в предоставленных данных нет.

Experiment28T3q_Neuralsirkrishnaexperiment26Experiment24 — объединённая модель семейства Mistral от MaziyarPanahi, созданная на основе automerger/Experiment28T3q-7B и automerger/Neuralsirkrishnaexperiment26Experiment24-7B. Она предназначена для генерации текста и может использоваться для диалогов и ответов на текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.