II.1Анализ требований и архитектура ПО

litert-community/Qwen3.5-4B — это конвертированная версия текстовой части модели Qwen3.5-4B, разработанной Alibaba, в формат LiteRT-LM для локального вывода на устройствах через runtime Google LiteRT. Модель предназначена для генерации текста, диалогов и других сценариев on-device inference на мобильных и периферийных устройствах. В поставляемый пакет не входят vision tower и MTP-головы, поэтому данная версия работает только с текстом; функции tool calling и обработки изображений не включены. Архитектура гибридная: 24 слоя GatedDeltaNet с линейным вниманием и 8 слоёв полного внимания. Линейные слои используют постоянное по размеру свёрточное и рекуррентное состояние, благодаря чему потребление памяти слабо растёт с длиной контекста; KV-кэш сохраняется только для слоёв полного внимания, с бюджетом 4096 токенов. Доступны варианты int8 размером 4,10 ГБ и Mixed INT4 размером 2,57 ГБ. INT4 рассчитан на устройства с ограниченной оперативной памятью, но немного уступает int8 на математических задачах GSM8K. Модель демонстрирует проверенную совместимость с PyTorch-оригиналом, корректную работу на CPU и GPU, включая Metal, а также поддержку многоходовых диалогов. Для использования требуется LiteRT-LM версии не ниже 0.15.0. Поставляемый пакет использует упрощённый ChatML-шаблон без визуальных и инструментальных секций, поэтому совместимость со стандартным шаблоном Qwen3.5 ограничена. Модель распространяется по лицензии Apache-2.0.

sleepy186247 конвертировал модель llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved в формат MLX с точностью fp16; README указывает версию mlx-lm 0.31.2. Это мультимодальная MoE-модель семейства Qwen3.5, предназначенная для диалогов, анализа изображений и агентного программирования. Метаданные указывают архитектуру Qwen3_5MoeForConditionalGeneration, поддержку чата и зрения, а также задачу image-text-to-text. Модификация uncensored/heretic ослабляет ограничения на ответы. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5c — настраиваемая мультимодальная модель для диалогов, созданная YFC-112358 слиянием Qwen/Qwen3.8-27B и нескольких моделей на его основе методом della_linear. Она предназначена для общения с пользователем и задач, где нужно анализировать изображения; в метаданных также отмечены интерфейс вызова инструментов и поддержка vision. Архитектура — плотная Qwen3_5ForConditionalGeneration, размер базовой модели — 27 млрд параметров; модель распространяется в safetensors и загружается через Transformers. Токенизатор и конфигурация взяты у Qwen/Qwen3.8-27B. README описывает однопроходное слияние четырёх источников и его технические параметры, включая прореживание по блокам строк, вычисления в fp32 и сохранение в bf16. Это не отдельное дообучение: итоговое поведение зависит от слияния исходных моделей, а специальные токены этих источников в итоговый токенизатор не включены. Основной язык и длина контекста в предоставленных данных не подтверждены. Лицензия не указана, поэтому условия использования следует сверить с лицензиями базовой модели и компонентов слияния.

Qwen3.8-27B-Huihui-Abliterated-NVFP4-MTP-VL — мультимодальная квантованная модель, разработанная lyf на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это поведенческий производный вариант, предназначенный для исследований и локального инференса, включая генерацию текста, работу с изображениями и видео, рассуждения, вызов инструментов и ускорение декодирования с помощью MTP (эталонного многотокенного предсказания). Модель использует языковую часть размером 27B параметров с квантованием линейных слоёв в формате NVFP4 W4A4 и размером группы 16. Башня обработки изображений и видео, MTP-голова, lm_head, эмбеддинги токенов и GDN conv1d сохранены в формате BF16. Поддерживаются английский и китайский языки. Указанный проверенный профиль рассчитан на видеокарты NVIDIA RTX 5090 с архитектурой Blackwell, ограничением контекста 4096 токенов и KV-кэшем FP8; большие контексты требуют отдельной проверки доступной видеопамяти. К сильным сторонам относятся мультимодальность, существенное снижение требований к памяти благодаря NVFP4, сохранение исходной BF16 vision/video tower и MTP-компонентов, а также совместимость с vLLM и OpenAI-compatible API. На одной RTX 5090 модель успешно прошла проверки текстовой генерации, MTP и мультимодального профиля; во время генерации использовалось около 28 944 MiB VRAM. Ограничения включают зависимость от совместимого оборудования и программного окружения, необходимость валидации для иных нагрузок и контекстов, а также экспериментальный характер abliterated-производной. Модель распространяется по лицензии Apache-2.0. Она предназначена для исследовательского использования и локального инференса; ответственность за дальнейшее применение и соблюдение соответствующих политик лежит на пользователе.

Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с квантизацией Q4_K_M, поэтому предназначена для запуска через llama.cpp, включая локальный inference и серверный режим. Модель ориентирована прежде всего на генерацию текста и задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках, модальностях, архитектуре, фактическом размере активной части модели и максимальной длине контекста. Ключевое преимущество этой версии — совместимость с экосистемой llama.cpp и возможность более экономичного запуска благодаря 4-битной квантизации; ограничениями могут быть потери качества по сравнению с исходной моделью и зависимость от подходящей аппаратной конфигурации. Указана лицензия Apache-2.0.

Карточка модели Zhangdanyang/Qwen3-Coder-30B-A3B-SFT-TH-4epoch на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Coder-30B-A3B-Instruct — инструктивная языковая модель для программирования от команды Qwen. Это причинная модель семейства Qwen3 MoE: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; в архитектуре 48 слоёв и 128 экспертов, из которых задействуются 8. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель предназначена для генерации и анализа кода, агентного программирования и использования в браузерных сценариях. Большое окно контекста помогает разбирать целые репозитории; модель также поддерживает специальный формат вызова функций. Выпускается только в режиме без рассуждений (non-thinking) и не генерирует блоки ``` в ответах. Доступна по лицензии Apache-2.0.

Это текстовая модель Sentence Transformer от givenpenguin, дообученная на Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска и сравнения текстов. Архитектура включает Qwen3Model, пулинг по последнему токену и нормализацию; сходство можно оценивать косинусной мерой. Модель принимает только текст и поддерживает последовательности до 32 768 токенов. В обучающем наборе было 9 900 примеров с парами и тройками текстов; метаданные указывают на многоязычную базовую модель, но конкретные языки карточкой этой версии не перечислены. Лицензия в предоставленных данных не указана.

Qwen3-Swallow-30B-A3B-RL-v0.2 — двуязычная языковая модель Swallow LLM на архитектуре Qwen3 MoE, дообученная методом обучения с подкреплением на проверяемых наградах (RLVR) поверх Qwen3-Swallow-30B-A3B-SFT-v0.2. Она предназначена для диалогов на японском и английском, перевода между этими языками, решения математических задач и программирования с рассуждениями. В репозитории указано 2,6 млрд параметров и контекст до 40 960 токенов; для воспроизводимого инференса авторы рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или меньше. Модель обучалась на японских и англоязычных корпусах, а также на данных по математике, коду и диалогам. Разработчики сообщают об улучшенных языковых и рассуждательных способностях при сохранении результатов в STEM-задачах. Модель не обучалась специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия намерениям человека и требованиям безопасности. Лицензия — Apache-2.0.

RexBERT-base-embed-pf-v0.4 — модель Sentence Transformers, дообученная thebajajra на базе thebajajra/RexBERT-base-embed-pf-v0.1 на наборе nomic-embed-supervised-data. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Архитектура включает ModernBERT и mean pooling; модель рассчитана на последовательности до 1024 токенов по README, а метаданные указывают контекст до 7999 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также для поиска перефразировок, кластеризации и подготовки признаков для классификации. Данные не указывают на специализацию по языку или прикладной области. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

RexBERT-base-embed-pf-v0.4a — дообученная модель Sentence Transformers на базе thebajajra/RexBERT-base-embed-pf-v0.1, разработанная автором репозитория thebajajra. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла текста, семантического поиска, поиска перефразирований, кластеризации и классификации. Архитектура основана на ModernBERT с усреднением токенных представлений; сходство рассчитано на cosine similarity. Модель обучалась на nomic-embed-supervised-data и содержит около 149 млн параметров. README указывает максимальную длину последовательности 1024 токена, тогда как метаданные каталога сообщают нативный контекст в 7999 токенов. Модель принимает текст и выдаёт векторы; языки, на которых она специально оптимизирована, в предоставленных данных не обозначены. Лицензия в данных не указана.

asaakyan/ruRoPEBert-e5-base-512-allRU-authorship — модель Sentence Transformers, дообученная на базе Tochka-AI/ruRoPEBert-e5-base-512 для сопоставления русскоязычных текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического сходства, поиска, выявления перефразировок, кластеризации и классификации текстов. В основе — RoPEBert с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Максимальная длина входа — 512 токенов. Модель подходит для ранжирования документов по смысловой близости к запросу, группировки похожих текстов и выявления сходных формулировок. В карточке указаны 2 465 773 обучающих примера с парами предложений и метками, а также контрастивное обучение. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

S-BioBert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, представленная пользователем pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла и поиска семантически близких текстов. Модель подходит для семантического поиска, кластеризации и вычисления сходства между текстами. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Её обучали с функцией потерь CosineSimilarityLoss; название и карточка указывают на обучение с использованием SNLI, MultiNLI и STS-B. Лицензия в предоставленных данных не указана.

semanlink_all_mpnet_base_v2 — модель Sentence Transformers на архитектуре MPNet, дообученная разработчиком raphaelsty на графе знаний Semanlink с помощью библиотеки MKB для задачи предсказания связей. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации терминов. Модель ориентирована на техническую и общую терминологию в машинном обучении, NLP и новостях; поддерживает английский и французский языки и принимает текст. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Контекст модели — до 514 токенов.

yunyu/sentence-transformers-e5-small-v2 — модель эмбеддингов на архитектуре BERT, опубликованная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Лицензия в доступных данных не указана.

embaas разработала модель эмбеддингов на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель можно использовать в сценариях семантического поиска и группировки текстовых фрагментов. Модель поставляется в формате PyTorch и рассчитана на входные последовательности длиной до 514 токенов. Лицензионные условия в предоставленных данных не описаны.

Multilingual-E5-small — многоязычная модель эмбеддингов текста семейства E5, представленная в техническом отчёте Liang Wang и соавторов. Это плотная BERT-модель на 12 слоёв с размерностью эмбеддинга 384 и 124,3 млн параметров; она создана на основе microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных данных. Модель преобразует запросы и тексты в векторы для семантического поиска, извлечения фрагментов, оценки сходства предложений и поиска перефразировок. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и кластеризации используется «query: ». Заявлена поддержка 100 языков; низкоресурсные языки могут работать хуже. Контекст ограничен 512 токенами, длинные тексты обрезаются. Репозиторий содержит веса safetensors и лицензирован по MIT.

Карточка модели mah18/sent_similarity на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

sam-babayev/sf_model_e5 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем sam-babayev. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, кластеризации и других задач сравнения текстов. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; её контекст ограничен 512 токенами. Модель принимает текст и выдаёт векторные представления. В карточке не названы поддерживаемые естественные языки и конкретная предметная область. Вес репозитория опубликован в формате safetensors; лицензия в предоставленных данных не указана.

vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.

George2002/sledopyt_embedder_v4 — модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-large для представления предложений и абзацев в виде плотных текстовых эмбеддингов. Архитектура основана на XLM-RoBERTa-large с усреднением токенов и нормализацией; размер эмбеддинга — 1024 измерения, максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель обучалась на парах запросов и фрагментов текста, а также на парах похожих запросов с отрицательными примерами. Она подходит для семантического поиска по фрагментам документов, поиска похожих запросов, выявления перефразировок, кластеризации и классификации текста. Примеры обучающих данных на русском языке, а базовая модель многоязычная. Для использования нужны текстовые запросы или документы; результатом служат эмбеддинги, которые можно сравнивать или использовать в поисковых и аналитических системах. Модель опубликована в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

Swift-Qwen3.8-27B-FP8 — независимая общественная FP8-квантизация модели ukisai/Swift-Qwen3.8-27b, не являющаяся официальным релизом UkisAI. Модель предназначена для диалоговых, reasoning- и мультимодальных сценариев, а также высокопроизводительного инференса через SGLang с поддержкой speculative decoding. Указанный pipeline относится к задачам image-text-to-text, однако мультимодальная работа именно этой квантизированной версии отдельно не тестировалась. Модель использует архитектуру Qwen3_5ForConditionalGeneration, формат compressed-tensors и схему FP8_BLOCK с блоками весов 128×128 и динамическим FP8 для активаций. Размер исходного чекпойнта составляет около 29 ГБ, заявленная длина контекста — 262 144 токена. Сохранены native MTP-компоненты; поддерживаются нативный NEXTN/MTP и внешняя модель-черновик DFlash2. Квантизация выполнена из BF16-версии с помощью llmcompressor 0.13.0, при этом несовместимые с блочной схемой компоненты, включая часть embedding- и normalization-модулей, сохранены без принудительной квантизации. Сильная сторона модели — снижение требований к видеопамяти при сохранении высокой производительности. В локальном тесте на NVIDIA RTX PRO 6000 Blackwell 96 GB скорость составила 50,45 токена в секунду без speculative decoding, 103,38 с native NEXTN/MTP и 132,62 с DFlash2 на фиксированной генерации. Эти результаты относятся к конкретной конфигурации и не являются стандартизированным бенчмарком; качество, языки и универсальная мультимодальная производительность отдельно не раскрыты. Для запуска проверены CUDA Linux, SGLang и одиночный GPU с TP=1. Модель распространяется по лицензии swift-open-license-1.0.

mlx-community/tasksource-ModernBERT-base-embed-8bit — 8-битная версия модели эмбеддингов, преобразованная сообществом mlx-community из tasksource/ModernBERT-base-embed в формат MLX с помощью mlx-lm 0.0.3. Она построена на ModernBERT-base и предназначена для получения векторных представлений предложений и оценки их семантического сходства. Модель подходит для поиска по смыслу, сопоставления запросов с документами и ранжирования текстовых кандидатов; обучающие данные включают наборы для поиска ответов, семантического сходства и распознавания текстовых отношений. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Метаданные указывают английский язык. Квантованное представление рассчитано на запуск в экосистеме MLX; README рекомендует библиотеку mlx-embeddings. Лицензия в предоставленных данных не указана.

alicekwak/TN-final-multi-qa-mpnet-base-dot-v1 — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель можно применять для поиска текстов по смыслу и группировки похожих фрагментов. Для сравнения векторов используется dot product, что отражено в названии модели. Карточка описывает обучение с SoftmaxLoss, но не приводит подробностей о данных обучения или результатах оценки. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

BaoLocTown/tuned_KaLM-embedding-multilingual-mini-instruct-v2.5_combined_v4_200k_2048_len_lr_2e-5_lasttoken — текстовая модель Sentence Transformer на архитектуре Qwen2 с 494 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 896; сходство между векторами оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. В архитектуре используется pooling по последнему токену. README указывает максимальную длину последовательности 32 768 токенов, а метаданные каталога — нативный контекст 131 072 токена. Модель ориентирована на многоязычные текстовые эмбеддинги, но конкретные языки в предоставленных данных не перечислены. Репозиторий содержит веса в формате safetensors; лицензия в источниках не указана.

prashpathak/xlscout_standigger_2_aug — модель Sentence Transformers на архитектуре BERT, представленная пользователем prashpathak. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализованные для сравнения по косинусному сходству; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Её можно применять для поиска похожих фрагментов в корпусе, группировки документов по смыслу и подготовки векторных представлений для последующей классификации. В метаданных указаны 136,7 млн параметров и формат safetensors. Лицензия в предоставленных сведениях не указана.

Карточка модели avsolatorio/30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-best на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

Карточка модели avsolatorio/30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-latest на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

jamiehudson/579-setfit-v2 — модель эмбеддингов предложений на базе MPNet, опубликованная пользователем jamiehudson в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Обучение использовало CosineSimilarityLoss. Модель предназначена для задач семантического поиска и группировки похожих текстов. Контекст составляет 514 токенов, размер модели — 136,7 млн параметров. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. В метаданных нет сведений о лицензии и языках, поэтому эти характеристики не описываются.

abbasgolestani/ag-nli-bert-mpnet-base-uncased-sentence-similarity-v1 — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория abbasgolestani. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в формате PyTorch. В README указано обучение с CosineSimilarityLoss и точность 82% на локальном наборе из 1000 пар предложений. Модель подходит для получения текстовых эмбеддингов и оценки смыслового сходства; сведения о лицензии и языковой специализации в предоставленных данных отсутствуют.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.