II.10Разработка и эксплуатация AI/ML-систем

Это конверсия модели distil-whisper/distil-large-v3 в формат CTranslate2, опубликованная Systran. Она предназначена для автоматического распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; тип вычислений можно выбрать при загрузке через параметр compute_type. Лицензия репозитория — MIT.

Это конверсия модели distil-whisper/distil-medium.en в формат CTranslate2, опубликованная Systran для распознавания речи. Её можно запускать через CTranslate2 и совместимые проекты, включая faster-whisper. Модель принимает аудио и выдаёт текстовую транскрипцию на английском языке. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT.

Карточка модели xiaofeng123456/faster-whisper-small на Hugging Face совпадает с карточкой Systran/faster-whisper-small, поэтому описание составлено по ней. Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

guillaumekln/faster-whisper-tiny — конверсия модели Whisper tiny от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи; исходная модель — openai/whisper-tiny. Веса сохранены в FP16. При загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий лицензирован по MIT.

facebook/fasttext-de-vectors — предварительно обученные векторные представления немецких слов на основе fastText, разработанного Facebook. Модель предназначена для получения векторов слов и использования их в задачах извлечения признаков, классификации текста и определения языка. fastText работает на обычных многоядерных процессорах; обучение и применение не требуют специализированного оборудования. Векторы размерности 300 обучены методом CBOW с весами позиций, символьными n-граммами длины 5, окном 5 и 10 отрицательными примерами. Обучающие данные взяты из Common Crawl и Википедии. Лицензия — CC BY-SA 3.0. Модель может наследовать смещения обучающих данных; сходство векторов не гарантирует семантической эквивалентности.

facebook/fasttext-fr-vectors — предварительно обученная модель векторных представлений французских слов на основе библиотеки fastText, разработанной Facebook. Она предназначена для получения векторов слов и использования их в задачах классификации текста и определения языка, а также для оценки сходства слов по косинусной близости. Модель построена на архитектуре CBOW с позиционными весами, использует символьные n-граммы длиной 5 и выдаёт векторы размерности 300. Обучение проводилось на данных Common Crawl и Википедии. fastText рассчитан на работу на стандартном оборудовании и может применяться в прототипах и производственных системах. Модель поддерживает французский язык; описание семейства сообщает о моделях fastText для 157 языков. Возможны смещения в предсказаниях, а качество и охват представлений зависят от обучающих корпусов. Лицензия модели — CC BY-SA 3.0.

deutsche-telekom/gbert-large-paraphrase-cosine — модель Sentence Transformers, разработанная Deutsche Telekom на основе deepset/gbert-large и дообученная для работы с немецкими парафразами. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; при обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель предназначена для улучшения классификации текстов на немецком языке в few-shot сценариях с SetFit, а также подходит для сравнения сходства предложений и извлечения эмбеддингов. Модель основана на архитектуре BERT, содержит 434,5 млн параметров и принимает текст длиной до 512 токенов. В карточке сообщается, что дообученная версия показала лучшие результаты среди сравнивавшихся моделей в немецком few-shot сценарии на NLU Few-shot Benchmark. Лицензия — MIT.

Gemini 3.7 Flash — мультимодальная модель Google для быстрых агентных сценариев, программирования и сложных многошаговых рассуждений. Она предназначена для задач, где важны отзывчивость и надёжное выполнение последовательности шагов. Каталог классифицирует модель как image-text-to-text, что указывает на обработку изображений с выдачей текстового ответа. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных сведениях нет. README описывает модель как мультимодальную, но не уточняет перечень модальностей и конкретные ограничения.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

GLM-5.2-EXL3-TR3-3.40bpw-KVarN-K4V2 — это локально ориентированный serving-чекпойнт на базе GLM-5.2 от zai-org, подготовленный jpsequeira. Модель предназначена для генерации текста, прежде всего для задач программирования, рассуждений и агентских сценариев, с акцентом на эффективное развертывание на четырёх GPU RTX PRO 6000 Blackwell по 96 ГБ. Чекпойнт рассчитан на использование с форком local-inference-lab/vllm и специализированными компонентами b12x, KVarN и sparkinfer. Модель использует архитектуру GLM-5.2 размером 756B параметров с MoE и маршрутизацией экспертов. Применена смешанная EXL3-квантизация примерно 3,40 бит на вес, а для KV-кэша используется формат KVarN K4V2 с затратами 290 байт на токен на слой. Поддерживаются sparse MLA attention, paged top-k indexer и MTP3 speculative decoding. Для данного класса оборудования подтверждён контекст до 819K токенов; модель относится к текстовым моделям, однако сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются высокая экономичность KV-кэша, большой практически проверенный контекст и оптимизация под локальное инференс-развёртывание. При этом качество квантизации зависит от домена: заявленные низкие значения KLD на калибровочном наборе не обобщаются на отложенные данные, где модель уступает некоторым общественным чекпойнтам GLM-5.2. Кроме того, для работы требуются совместимые GPU, специализированный runtime и соответствующие backend-компоненты. Чекпойнт распространяется по лицензии MIT.

gpt-oss-safeguard-120b — модель рассуждений о безопасности, разработанная OpenAI на основе gpt-oss-120b. Она предназначена для задач Trust and Safety: фильтрации входов и выходов LLM, разметки контента в интернете и офлайн-классификации текста по заданным пользователем политикам безопасности. Модель интерпретирует текстовую политику организации, что позволяет адаптировать её к различным продуктам и сценариям с минимальной доработкой. Она предоставляет обоснованные решения и доступ к процессу рассуждений для отладки и повышения прозрачности, а также поддерживает настраиваемый уровень усилий рассуждения — low, medium или high — с компромиссом между качеством и задержкой. Модель содержит 117 млрд параметров, из которых активно используется 5,1 млрд, и помещается на одной H100 GPU. Сведения о языках и размере контекстного окна в README не указаны. Модель ориентирована именно на сценарии безопасности; для других задач рекомендуется использовать базовые модели gpt-oss. Её необходимо применять с форматом ответов harmony, поскольку без него она работает некорректно. Необработанный процесс рассуждений предназначен для разработчиков и специалистов по безопасности, а не для показа обычным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей эксперименты, настройку и коммерческое использование без ограничений copyleft.

Hammer 2.0-7B — языковая модель MadeAgents для вызова функций и создания агентных приложений, в том числе локальных и работающих на устройствах. Это плотная авторегрессионная модель семейства Qwen2 на 7,1 млрд параметров, дообученная на базе Qwen/Qwen2.5-Coder-7B-Instruct с применением техники маскирования функций. Модель обучали на 60 тысячах примеров вызова функций из набора APIGen и на дополнительном наборе xlam-irrelevance-7.5k. Она предназначена для выбора и вызова инструментов в агентных сценариях; в карточке описаны результаты оценки на BFCL-v3 и других академических тестах. Контекст составляет 32 768 токенов. Модель принимает текстовые запросы и выдаёт текст, включая структурированные вызовы функций. Репозиторий содержит веса в формате safetensors и поддерживает Transformers версии 4.37.0 и выше. Лицензия — CC BY 4.0. Карточка не приводит сведений о поддерживаемых естественных языках и конкретных ограничениях качества или безопасного использования.

hotchpotch/japanese-reranker-cross-encoder-small-v1 — японская модель-реранкер от разработчика hotchpotch. Она повторно ранжирует пары запросов и текстовых фрагментов, оценивая их релевантность; модель построена как CrossEncoder на базе XLM-RoBERTa и предназначена для японского языка. Вариант small содержит 12 слоёв и скрытый размер 384; в метаданных указан размер 124,3 млн параметров и контекст до 514 токенов. Модель обучалась на японских данных, а в карточке приведены результаты оценки на JQaRA, JaCWIR, MIRACL и JSQuAD. Она подходит для уточнения порядка результатов поиска или кандидатов, полученных системой извлечения. Модель доступна в формате safetensors, использует библиотеку Sentence Transformers и распространяется по лицензии MIT. Как реранкер, она оценивает заданные пары, а не генерирует развернутые ответы; применимость к другим языкам карточкой не подтверждена.

jina-code-embeddings-1.5b — модель эмбеддингов для поиска по коду, разработанная Jina AI на основе Qwen/Qwen2.5-Coder-1.5B. Она предназначена для извлечения плотных векторов, которые помогают находить код по текстовому запросу, похожие фрагменты кода, естественно-языковые описания кода и подходящие продолжения кода, а также поддерживают технический поиск ответов по программным проектам. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2 и принимает контекст до 32 768 токенов. По README, она рассчитана на более чем 15 языков программирования и разные области разработки, включая веб-разработку, машинное обучение и анализ данных. Для пяти сценариев предусмотрены отдельные инструкционные префиксы; размер эмбеддинга по умолчанию — 1536 измерений, его можно сократить до 128 с минимальной потерей качества. Модель возвращает векторы, а не готовые ответы или исполняемый код, поэтому её используют как компонент поиска или retrieval-системы. Метаданные указывают лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

Myric/KAT-Coder-V2.5-Dev-APEX-GGUF — это GGUF-квантизация модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot, подготовленная Myric. Модель предназначена для генерации кода и агентских сценариев программирования, а также для запуска через совместимые инструменты, включая llama.cpp. Репозиторий содержит APEX-квантизации и матрицу важности imatrix; README также указывает на поддержку архитектуры mixture-of-experts (MoE) и семейства Qwen3.5 MoE. Доступен файл KAT-Coder-V2.5-Dev-APEX-dynamic.gguf размером 11,86 GiB, рассчитанный на видеокарту с 16 ГБ памяти. Указанный вариант не содержит MTP-голову и сам по себе не поддерживает speculative decoding; отдельная связанная сборка переносит обученную MTP-голову Qwen3.6-35B-A3B и заявляет ускорение в 2,03 раза на агентском наборе тестов программирования без снижения корректности. Другие характеристики, включая точное число параметров, размер контекста и перечень поддерживаемых языков, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Kimi-K2-Base — базовая языковая модель, разработанная Moonshot AI. Это фундаментальная версия семейства Kimi K2, предназначенная для исследователей и разработчиков, которым нужен контроль над дообучением и созданием специализированных решений. Модель ориентирована на задачи работы с текстом, рассуждения, программирования, использования инструментов и построения автономных агентных систем. Модель использует архитектуру Mixture-of-Experts (MoE) с 1 трлн общих параметров и 32 млрд активируемых параметров. Она содержит 61 слой, включая один плотный слой, 384 эксперта, из которых для каждого токена выбираются 8, один общий эксперт, 64 attention-головы, скрытую размерность внимания 7168, размерность MoE-эксперта 2048 и словарь из 160 тысяч токенов. Используются механизм внимания MLA и функция активации SwiGLU; длина контекста составляет 128K токенов. Модель предварительно обучена на 15,5 трлн токенов с использованием оптимизатора MuonClip. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую без подтверждённой мультимодальности. В отличие от готовой инструкционной версии, Base требует дополнительной настройки под конкретные сценарии и не предназначена прежде всего для непосредственного использования в чат-интерфейсе. Лицензия указана как modified MIT.

atonlee/koelectra-ko-pii-ner — корейская модель распознавания именованных сущностей, разработанная для обнаружения персональных данных в тексте и определения их типа и позиции. Она предназначена для маскирования чувствительных данных и для проверки текста перед передачей во внешний LLM или облачный сервис. Модель различает 29 меток, включая идентификационные номера, паспортные и банковские данные, имена, телефоны, адреса и организации; категории помогают определить, какие сущности следует скрыть. Модель построена на ELECTRA и дообучена для классификации токенов на основе monologg/koelectra-small-v3-discriminator. Метаданные указывают 21,5 млн параметров, контекст до 512 токенов и поддержку корейского языка. Доступны веса Safetensors и ONNX, включая варианты FP16 и INT8 для локального запуска. В оценке на 5 171 размеченном предложении F1 составил 94,2% для совпадения типа сущности и 88,1% для точного совпадения границ; качество может различаться по классам, а неполное совпадение границ способно повлиять на маскирование. Модель распространяется по лицензии Apache-2.0.

Kurage — японская модель для сценариев RAG, разработанная Lightblue. Она основана на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров; модель принимает текст и рассчитана на генерацию ответов в диалоговом формате. Контекстное окно составляет 32 768 токенов, лицензия — Apache-2.0. Модель находит подходящие фрагменты среди нескольких контекстов и формирует ответ, либо обрабатывает контексты по одному для параллельного поиска. Она также умеет расширять краткие ответы, отвечать на японском по текстам на других языках и генерировать пары вопросов и ответов по исходному тексту для подготовки индекса. Обучающие данные включали фрагменты документов MADLAD-400, синтетические вопросы и ответы, а также отрицательные примеры, отобранные с помощью BAAI/bge-m3. Модель предназначена прежде всего для японских RAG-систем. В режиме обработки одного фрагмента она иногда ошибочно заявляет, что не может ответить на вопрос, хотя нужный ответ содержится в контексте. Качество межъязыкового поиска и ответа зависит от вопроса и языка источника.

Laguna-S-2.1-JANG_6M-CRACK — текстовая MoE-модель на базе poolside/Laguna-S-2.1, подготовленная dealignai для запуска на Apple Silicon через MLX и vMLX. По README, исходная Laguna-S-2.1 имеет 118 млрд параметров, 48 слоёв, 256 маршрутизируемых экспертов с top-10 и общий эксперт; метаданные репозитория указывают 6,8 млрд параметров. Модель представлена в смешанной квантизации JANG_6M в формате MLX affine и предназначена для агентного программирования, рассуждений и вызова инструментов. README заявляет контекст 262 тыс. токенов, тогда как метаданные каталога указывают нативный контекст 1 048 576 токенов. Вариант CRACK прошёл абляцию отказов на уровне весов: согласно карточке, поведение отказа удалено, а результаты MMLU близки к базовой модели. Для запуска рекомендованы vMLX или совместимая среда MLX с поддержкой Laguna; модель принимает текст и выдаёт текст, включая вызовы инструментов. Карточка заявляет английский язык. Лицензия в метаданных обозначена как other; конкретные условия использования следует сверить с лицензией репозитория.

LateOn-regularized — модель LightOn для поиска по текстам в стиле ColBERT, обученная с помощью PyLate на базе LateOn-unsupervised и ModernBERT-base. Это многовекторная модель позднего взаимодействия: она кодирует токены запросов и документов в векторы и сопоставляет их с помощью MaxSim. Модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов; для документов рекомендуется длина до 300 токенов, для запросов — до 32 токенов. При дообучении применена регуляризация Straight-Through Estimator с контрастивной функцией потерь на проекциях MUVERA. Она улучшает совместимость представлений с эффективной генерацией кандидатов через MUVERA и SMVE, сохраняя качество поиска с PLAID. Для MUVERA и SMVE рекомендуется центрировать эмбеддинги. Модель предназначена для англоязычного поиска; лицензия — Apache 2.0.

LateOn-unsupervised — англоязычная модель поиска LightOn из семейства LateOn, реализованная на базе ModernBERT-base и библиотеки PyLate. Это промежуточный чекпойнт первого этапа обучения: контрастивное предварительное обучение на парах запросов и документов без последующей настройки на сложных негативных примерах. Модель ColBERT формирует многовекторные представления размерности 128 и оценивает соответствие запросов и документов функцией MaxSim; длина документа при использовании — до 300 токенов, запроса — до 32 токенов. Контекст модели составляет 8192 токена, размер — 149 млн параметров. Чекпойнт предназначен для исследований этапов обучения, дообучения на собственных доменных данных, экспериментов с дистилляцией и адаптации стратегий поиска. Для большинства производственных сценариев автор рекомендует полностью обученную LateOn. Модель опубликована под лицензией Apache 2.0.

sahilchachra/Laya-Multilingual-MXFP8 — квантованный мультиязычный энкодер ModernBERT, подготовленный автором репозитория на основе convaiinnovations/laya для запуска через MLX на Apple Silicon. Модель содержит около 306,9 млн параметров, использует MXFP8 и рассчитана на контекст до 8192 токенов. Она предназначена для извлечения признаков из текста и создания пользовательских MLX-голов; это двунаправленный энкодер, а не генеративная чат-модель. Репозиторий включает только энкодер: отдельная голова принятия решений из исходного Laya здесь не опубликована, поэтому для API Laya требуется upstream-репозиторий. README сообщает о поддержке более 100 языков через основу mmBERT. Проверка на небольшом наборе показала заметный дрейф скрытых состояний после квантования и возможное изменение результата при близких оценках; для точных или чувствительных к калибровке решений рекомендуется исходная версия bf16/fp32. Файлы опубликованы в формате safetensors; условия лицензии в предоставленных данных не описаны.

LiteCoder-Terminal-30b-a3b-sft — модель команды LiteCoder для кодовых агентов, дообученная на базе Qwen3-30B-A3B-Instruct-2507 на наборе LiteCoder-Terminal-SFT. Она предназначена для решения задач через терминал в агентных сценариях и показала результаты на бенчмарках Terminal Bench при работе с агентом Terminus 2. Модель использует архитектуру Qwen3 MoE с генерацией текста; метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов. README сообщает об обучении на 11 255 траекториях и приводит показатели pass@1 и pass@4 для нескольких версий Terminal Bench. Поддерживается диалоговый режим. Лицензия — MIT.

LLaDA2.2-flash — агентно-ориентированная языковая модель на основе диффузии от InclusionAI. Это MoE-модель семейства LLaDA2 с 32 слоями, 32 головами внимания, RoPE и словарём из 157 184 токенов; в README указано 100 млрд параметров без эмбеддингов, тогда как метаданные Hugging Face указывают общий размер 5,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 128K токенов и предназначена для диалогов, многошагового использования инструментов и агентных сценариев. Механизм Levenshtein Editing с управляющими токенами DELETE и INSERT позволяет модели удалять и вставлять фрагменты при параллельной генерации, что авторы связывают с исправлением ошибок и устойчивостью в многоходовых задачах. В README приведены результаты SWE-bench и высокая пропускная способность в указанных авторами условиях оценки; сравнение с Ling-2.6-flash проводилось с разными настройками для части бенчмарков. Для инференса авторы рекомендуют Transformers и SGLang для длинных агентных сценариев; некоторые пороги декодирования требуют настройки, а слишком низкие значения могут усиливать повторы или нестабильность. Лицензия — Apache-2.0.

skar01/llama2-coder-full — языковая модель семейства Llama 2, дообученная на наборе CodeAlpaca 20K с помощью QLoRA и библиотеки PEFT. Модель предназначена для генерации кода и ответов на инструкции, связанные с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст; заявленный размер контекста — 2048 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В качестве базовой модели указана TinyPixel/Llama-2-7B-bf16-sharded.

QuantFactory/Llama-3-Groq-8B-Tool-Use-GGUF — квантизированная версия модели Llama-3-Groq-8B-Tool-Use, созданная QuantFactory с использованием llama.cpp на основе модели Groq. Это авторегрессионная языковая модель с оптимизированной transformer-архитектурой и примерно 8 млрд параметров, дообученная полным fine-tuning и методом Direct Preference Optimization (DPO) на базе Llama 3 8B. Модель предназначена прежде всего для tool use и function calling: взаимодействия с API, обработки структурированных данных и выполнения сложных последовательностей вызовов инструментов. Она принимает текст и генерирует текст с поддержкой вызовов функций в структурированном формате. Заявленный язык — английский; сведения о размере контекста и мультимодальных возможностях отсутствуют. На Berkeley Function Calling Leaderboard модель получила 89,06% общей точности, что в карточке указано как лучший результат среди открытых 8B-моделей. Для общих вопросов и открытой генерации может быть предпочтительнее универсальная языковая модель. Модель способна генерировать неточный или предвзятый контент и требует дополнительных мер безопасности. Результаты чувствительны к параметрам sampling; в качестве отправной точки рекомендованы temperature 0,5 и top_p 0,65. Указана лицензия Meta Llama 3 Community License.

mergekit-community/mergekit-slerp-fecxcxs — слитая языковая модель, созданная сообществом с помощью mergekit методом SLERP из budecosystem/code-millenials-34b и oobabooga/CodeBooga-34B-v0.1. Модель относится к семейству Llama, использует плотную архитектуру LlamaForCausalLM и содержит 22,4 млрд параметров. Она предназначена для генерации текста, включая код и ответы на инструкции по программированию. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 16 384 токена. Веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

unsloth/mistral-7b-instruct-v0.2-bnb-4bit — это 4-битно квантованная версия Mistral-7B-Instruct-v0.2, подготовленная Unsloth на базе модели mistralai/mistral-7b-instruct-v0.2. Модель предназначена для генерации текста и диалоговых сценариев, включая conversational-форматы ShareGPT, а также для дообучения на собственных наборах данных. Она интегрируется с библиотекой Transformers и может экспортироваться в форматы GGUF и vLLM. Из известных характеристик: модель относится к семейству Mistral, содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Представление bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что делает вариант подходящим для локального запуска и эффективного fine-tuning на ограниченных ресурсах. README также указывает на ускорение дообучения Mistral в Unsloth примерно в 2,2 раза и сокращение использования памяти до 62%, однако эти показатели относятся к процессу дообучения в заявленной конфигурации, а не являются гарантией качества или скорости инференса. Модель может использоваться для чат-ботов, генерации и продолжения текста, экспериментов с instruction tuning и DPO. Ограничения включают зависимость качества от формата промптов и данных дообучения, возможные потери качества из-за 4-битной квантизации, а также отсутствие в README сведений о размере контекстного окна, точной архитектуре, мультимодальности, результатах бенчмарков и требованиях к инференсу. Лицензия — Apache-2.0.

unsloth/mistral-7b-v0.3-bnb-4bit — 4-битная версия модели Mistral-7B-v0.3, подготовленная Unsloth на базе модели mistralai/Mistral-7B-v0.3. Это текстовая языковая модель примерно с 7 млрд параметров, предназначенная для использования и дообучения через библиотеку Transformers. В карточке указано, что модель ориентирована на английский язык. Модель подходит для генерации и продолжения текста, диалоговых сценариев при использовании соответствующего шаблона данных, а также для последующего fine-tuning на собственных наборах данных. Ключевая особенность данной версии — 4-битное представление в формате bitsandbytes, снижающее требования к памяти и удобное для запуска и дообучения на ограниченных GPU-ресурсах. В README также заявлена поддержка сценариев экспорта в GGUF и vLLM после дообучения, но подробные характеристики контекстного окна и архитектуры не приведены. Преимуществами являются компактное 4-битное представление, совместимость с экосистемой Transformers и возможность эффективного дообучения с помощью инструментов Unsloth. Ограничения включают отсутствие заявленной мультимодальности, отсутствие сведений о специализированной instruction-настройке именно этой версии, а также неполные данные о производительности и контекстном окне. Лицензия модели указана как Apache-2.0.

facebook/mms-1b-all — многоязычная модель автоматического распознавания речи, разработанная Vineel Pratap и соавторами в рамках проекта MMS. Она построена на архитектуре wav2vec2 с CTC-выходом и содержит около 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указана поддержка 1162 языков, а частота дискретизации аудио составляет 16 кГц. Модель предназначена для транскрибации речи на большом числе языков, в том числе малоресурсных, например для расшифровки записей и создания многоязычных систем распознавания речи. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия CC-BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование. Качество распознавания может различаться в зависимости от языка, диалекта и условий записи.