I.6Перевод и языковая адаптация

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-32B-GGUF — это квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая использование на системах с ограниченными ресурсами. В набор входят варианты с разными уровнями квантизации: от BF16 и Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 12 до 65 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для работы рекомендуется применять шаблон промпта Qwen3 с ролями system, user и assistant. Более высокие варианты квантизации обеспечивают качество, близкое к исходной модели, тогда как младшие варианты экономят память за счёт заметного снижения качества. Сильными сторонами являются широкий выбор форматов, возможность локального запуска и хорошее соотношение качества и требований к памяти у вариантов Q4–Q6. Ограничения включают значительный объём файлов, зависимость характеристик от выбранного уровня квантизации и отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре и мультимодальности. Модель распространяется по лицензии Apache-2.0.

jangedoo/all-MiniLM-L6-v2-nepali — Sanjaya Subedi создал модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2 и дообучил её для английского и непальского языков на параллельных англо-непальских предложениях, статьях Википедии, новостях и вопросах с ответами о здоровье. Это BERT-модель с 25,9 млн параметров: она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 384 и поддерживает контекст до 512 токенов по метаданным; в карточке модели указана максимальная длина последовательности 256 токенов. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. Английские и непальские тексты можно сопоставлять в общем векторном пространстве; для сравнения применяется косинусное сходство. Архитектура использует усреднение токенных представлений и нормализацию векторов. В README приведены результаты оценки поиска информации, но они не гарантируют качество для других наборов данных и задач. Лицензия в предоставленных материалах не указана. Модель распространяется в формате safetensors.

Модель omarelshehy/arabic-english-sts-matryoshka — двуязычная Sentence Transformer, дообученная разработчиком на базе FacebookAI/xlm-roberta-large. Она преобразует предложения и абзацы на арабском и английском языках в плотные векторы размерностью 1024 для сравнения семантической близости. Векторы можно сокращать до 768, 512, 256, 128 или 64 измерений, чтобы уменьшить требования к памяти и вычислениям; для оценки сходства используется косинусная мера. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации. Она поддерживает как сравнение текстов внутри каждого языка, так и межъязыковое сопоставление арабского и английского текстов. Архитектура основана на XLM-RoBERTa large, содержит 658,7 млн параметров, принимает текст длиной до 514 токенов и выдаёт векторы. Для использования требуется библиотека Sentence Transformers. В README приведены обнадёживающие результаты MTEB, но разработчик рекомендует проверять качество на целевых данных. Модель распространяется по лицензии Apache-2.0.

A.X 3.1 Light — компактная языковая модель SKT, обученная с нуля на многоязычном корпусе с приоритетом корейского языка. В метаданных указаны 6,8 млрд параметров, архитектура Llama с плотной авторегрессионной моделью и контекст до 32 768 токенов; доступны веса в формате Safetensors. Модель предназначена для диалогов, понимания корейского языка и корпоративного развёртывания, а интерфейс поддерживает вызов инструментов. SKT сообщает, что модель обучалась на 1,65 трлн токенов и показывает результаты на корейских языковых бенчмарках KMMLU и KoBALT-700. Компания также заявляет о снижении вычислительных затрат относительно моделей со сравнимыми результатами. В карточке приведён пример использования с Transformers версии 4.46.0 или новее и vLLM для функций вызова инструментов. Лицензия — Apache 2.0.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

ByT5-xl — предобученная байтовая модель семейства T5, разработанная Google. Она использует архитектуру Transformer для преобразования текста в текст и обрабатывает строки непосредственно как последовательности UTF-8 байтов, без отдельного токенизатора. Размер модели — 3,3 млрд параметров; доступны веса PyTorch и TensorFlow. Модель предобучена на mC4 с задачей восстановления замаскированных фрагментов и не проходила supervised-обучение для прикладных задач. Перед использованием её нужно дообучить под конкретный сценарий: например, ответы на вопросы или другие задачи преобразования текста. ByT5 особенно хорошо подходит для зашумлённого текста; в README отмечено превосходство над mT5-xl на TweetQA. Поддерживаются многие языки, включая английский, испанский, французский, арабский, хинди, японский и корейский; обработка байтов позволяет подавать текст на разных языках без токенизатора. Работа с байтовыми последовательностями может быть менее эффективной по длине входа, чем токенизация. Модель опубликована Google и распространяется по лицензии Apache-2.0.

Weyaxi/CollectiveCognition-v1.1-Nebula-7B — объединённая языковая модель на архитектуре Mistral, созданная путём слияния teknium/CollectiveCognition-v1.1-Mistral-7B и PulsarAI/Nebula-7B. Она предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и других задач с текстовыми инструкциями. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке приведены результаты оценки Open LLM Leaderboard, включая ARC и HellaSwag. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

bartowski/DeepSeek-V2.5-GGUF — набор GGUF-квантизаций модели DeepSeek-V2.5, разработанной DeepSeek AI и подготовленной для llama.cpp. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio; варианты файлов позволяют выбирать баланс между качеством, размером и требованиями к RAM или VRAM. Доступны квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_0, IQ4_XS, Q3, Q2 и IQ1–IQ3 различных уровней. Размер файлов составляет примерно от 52,68 до 250,62 ГБ; крупные варианты разделены на несколько файлов. Квантизации выполнены с использованием imatrix на базе llama.cpp b3658, отдельные варианты используют Q8_0 для embedding- и output-весов. Для модели указан формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильная сторона набора — широкий выбор вариантов: Q6_K и Q5_K_M заявлены как близкие к исходному качеству, Q4_K_M — как рекомендуемый компромисс, а малые варианты подходят для систем с ограниченной памятью, хотя имеют заметно более низкое качество. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках и размере контекстного окна. Лицензия указана как other/deepseek; применяются условия лицензии DeepSeek, доступной по ссылке в карточке модели.

DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

LLM-jp-4-VL 9B beta — зрительно-языковая модель, разработанная исследовательской группой LLM-jp. Она дообучена на основе llm-jp/llm-jp-4-8b-instruct и объединяет языковую модель на 8,6 млрд параметров, визуальный энкодер SigLIP2 SO400M на 0,4 млрд параметров и лёгкий двухслойный MLP-проектор. Архитектура вдохновлена InternVL3.0; для обработки изображений высокого разрешения применяется динамическое разбиение на фрагменты. Модель предназначена для диалога с изображениями и ответов на визуальные вопросы, включая анализ диаграмм, документов, слайдов и сцен. Обучение использовало англоязычный набор FineVision и японский мультимодальный набор Jagle. В README сообщается о результатах на уровне Qwen3-VL-8B-Instruct в среднем по десяти японским задачам; это не гарантирует такого же качества на других данных. Модель доступна по лицензии Apache-2.0.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Mixtral-8x7B-Instruct-v0.1 — инструктивная языковая модель Mistral AI на архитектуре Mixtral с разреженной смесью экспертов (MoE). Это дообученная версия Mixtral-8x7B-v0.1 для диалогов и генерации ответов по запросу. Модель принимает текст и выдаёт текст; в карточке заявлен контекст до 32 768 токенов. Для запуска README показывает токенизатор mistral-common и библиотеку mistralinference, а метаданные также указывают поддержку vLLM. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по инструкциям. В карточке она названа демонстрацией возможностей дообучения базовой модели. Указанные языки — английский, французский, итальянский, немецкий и испанский; специализация на каком-либо одном языке не заявлена. README предупреждает, что встроенных механизмов модерации нет. Лицензия — Apache-2.0.

NbAiLab/nb-notram-llama-3.3-70b-instruct — диалоговая языковая модель, разработанная лабораторией NB-AiLab Национальной библиотеки Норвегии. Это дообученная на базе Meta Llama 3.3 70B Instruct плотная трансформерная модель с 69,5 млрд параметров и контекстом до 131 072 токенов. Для обучения использовались публично доступные данные и синтетические данные; материалы, доступные только по обязательному экземплярному хранению, не включались. Модель предназначена для следования инструкциям и диалогов на норвежском букмоле, норвежском нюноске и английском языке. Подходит для ответов на вопросы и суммаризации на норвежском, а также для генерации текста и работы в качестве ассистента. Настройка включает supervised fine-tuning и лёгкий этап DPO; ответы обычно короче, чем у более разговорчивых ассистентов. Поддерживаются чатовый формат и интерфейс вызова инструментов. Лицензия — Llama 3.3 Community License. Модель может ошибаться и уверенно выдавать вымышленные сведения. Знания о норвежской культуре и истории могут проявляться непоследовательно и зависеть от формулировки запроса; настройки безопасности ограничены. В README релиз назван исследовательским, поэтому перед прикладным использованием рекомендуется оценка в целевом сценарии; для медицинских, юридических и финансовых задач нужны дополнительные проверки и надзор человека.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это квантизированная версия языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и автоматически преобразованной в формат GGUF проектом ggml-org. В качестве исходной модели указана NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Модель предназначена для генерации текста и может использоваться в приложениях, поддерживающих формат GGUF и совместимых с llama.cpp или аналогичными инструментами. Из доступных данных известны размер 30B и обозначение A3B, однако подробности архитектуры, число активных параметров, длина контекста, поддерживаемые языки и дополнительные модальности не указаны. Формат GGUF удобен для локального запуска и интеграции с соответствующим программным обеспечением, но конкретные требования к памяти, производительность и качество генерации зависят от варианта квантизации и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README. Поэтому перед использованием необходимо ознакомиться с лицензией исходной модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и условиями распространения данной сборки.

MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантованные версии опубликованы пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии применения instruction-tuned модели. Модель содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. В README не указаны архитектурные детали, объём контекста, поддерживаемые языки, модальности, результаты оценивания или конкретные ограничения качества. Лицензия в предоставленных данных не указана. Для использования необходимо учитывать условия лицензии исходной модели Qwen2.5-7B-Instruct и правила распространения опубликованных квантованных файлов.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

uzbek-e5-small — компактная модель для создания текстовых эмбеддингов, разработанная Sukhrob Nurali на основе intfloat/multilingual-e5-small и дообученная для семантического поиска и извлечения текстов на узбекском языке. Архитектура — BERT, около 124,3 млн параметров; модель создаёт 384-мерные нормализованные векторы и поддерживает контекст до 512 токенов. Для поиска рекомендуется добавлять к запросам префикс «query: », а к документам — «passage: »; для сравнения предложений использовать «query: » с обеих сторон. Модель предназначена для поиска по узбекским документам, в том числе для RAG, сравнения предложений, кластеризации и межъязыкового поиска между узбекским и английским. На тесте Wiki Retrieval Eval показаны Recall@1 0,9914 и Recall@10 0,9972; на FLORES+ devtest средняя точность сопоставления параллельных узбекско-английских предложений составила 0,9876. Нормализованные векторы можно сравнивать по косинусной близости или скалярному произведению. Модель распространяется по лицензии MIT. Редкие тематики и диалекты представлены слабее; часть параллельных данных может содержать шум машинного перевода. Качество для узбекской кириллицы проверено менее тщательно, а монолингвальная оценка основана на подборе заголовка к абзацу, а не на специально составленных пользовательских запросах.

deepdml/whisper-large-v3-turbo — многоязычная модель распознавания речи семейства Whisper, основанная на Whisper large-v3 от OpenAI. Это Transformer encoder-decoder с 905,2 млн параметров; в версии Turbo число слоёв декодера сокращено с 32 до 4, что ускоряет генерацию транскрипции с небольшим снижением качества. Модель принимает аудио и преобразует речь в текст, поддерживая распознавание на языке оригинала; семейство Whisper также умеет переводить речь, однако метаданные этой модели указывают только задачу автоматического распознавания речи. Модель подходит для транскрибирования записей, интервью, встреч и других аудиоматериалов на многих языках. Для длинных записей README описывает последовательную обработку скользящим окном и разбиение на перекрывающиеся фрагменты; стандартное окно восприятия составляет 30 секунд. По заявлению карточки, Whisper устойчив к акцентам, фоновому шуму и технической лексике, но точность неодинакова между языками, диалектами и группами говорящих. Возможны повторы и галлюцинации — текст, отсутствующий в аудио. Модель распространяется под лицензией Apache-2.0. README указывает поддержку библиотеки Transformers; файлы репозитория представлены в формате safetensors.

T-Systems-onsite выпустила модель на основе XLM-RoBERTa для получения векторных представлений предложений на английском и немецком языках. Модель дообучена для сравнения семантической близости предложений, в том числе между языками: тексты на английском и немецком с похожим смыслом отображаются в близкие векторы. Репозиторий содержит версии весов для PyTorch, Safetensors и TensorFlow; общее число параметров — 305,2 млн, контекст — до 514 токенов. Модель предназначена для семантического поиска, оценки текстового сходства и поиска перефразирований. Её можно использовать, например, чтобы искать немецкие документы по английскому запросу или сравнивать предложения по косинусному сходству. Для работы авторы рекомендуют библиотеку Sentence Transformers. Модель дообучена на англо-немецких данных STSbenchmark с дополнительными парами предложений между языками; карточка приводит результаты оценки на английском, немецком и их межъязыковых парах. Лицензия — MIT. Модель выдаёт эмбеддинги, а не готовые текстовые ответы; качество поиска зависит от корпуса и настроек сравнения. Карточка описывает её применение прежде всего для английского и немецкого языков, поэтому не следует считать заявленное межъязыковое качество универсальным для других языковых пар.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.

Falcon-H1-34B-Base — базовая языковая модель семейства Falcon-H1, разработанная TII (Technology Innovation Institute). Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba и примерно 29,6 млрд параметров. Она предназначена для генерации продолжений текста и служит базой для построения приложений и последующей адаптации под конкретные задачи. Модель работает с текстом, поддерживает многоязычные сценарии, включая английский и русский, и имеет контекстное окно до 262 144 токенов. Для запуска README указывает библиотеки Transformers, vLLM и llama.cpp; файлы репозитория представлены в формате safetensors. В таблице оценки приведены результаты на общих и логических задачах, но конкретные метрики зависят от теста и сценария применения. Лицензия — Falcon-LLM License. Это базовая модель, поэтому для диалоговых приложений и специализированных задач может потребоваться дополнительная настройка; качество также зависит от промпта и способа развёртывания.

Gemma 3 27B IT GGUF — квантизированная версия инструкционной модели Gemma 3 27B IT, разработанной Google. Модель подготовлена сообществом LM Studio, а GGUF-квантизацию выполнил bartowski на основе llama.cpp. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, суммаризацию и задачи рассуждения. Модель поддерживает мультимодальный ввод с изображениями, нормализованными до разрешения 896 × 896, а также текстовые сценарии. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8 192 токена. В README не указаны полный перечень поддерживаемых языков, конкретный метод и уровень квантизации, а также требования к аппаратным ресурсам. К сильным сторонам относятся большой контекст, поддержка понимания изображений и пригодность для локального использования через формат GGUF. Ограничения связаны с зависимостью от совместимого llama.cpp runtime версии 1.19.0 или новее, причём актуальная версия runtime на момент публикации обозначена как beta. Как квантизированная сборка, модель может отличаться по качеству и потреблению ресурсов от оригинальной версии. Доступ и использование регулируются лицензией Gemma от Google.