II.1Анализ требований и архитектура ПО

BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

Карточка модели katanemo/bge-large-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

Карточка модели hamza62be/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели rjfrjf/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели danyl-ke444a/bge-m3-custom на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели rhantj/bge-m3-workflow-query-robust на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

bge-micro — компактная модель эмбеддингов предложений на базе архитектуры BERT, опубликованная TaylorAI. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 18,8 млн параметров, использует контекст длиной до 512 токенов и доступна в форматах PyTorch, safetensors и ONNX. Модель дистиллирована из TaylorAI/bge-small-en-v1.5 и предназначена для сценариев, где важны небольшие вычислительные затраты при сохранении качества эмбеддингов, близкого к all-MiniLM-L6-v2. Она ориентирована на английский язык. Лицензия в предоставленных данных не указана.

Карточка модели harsh-cisco/bge-small-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

raul-delarosa99/bge-small-en-v1.5-RIRAG_ObliQA — англоязычная Sentence Transformer модель, дообученная разработчиком на базе BAAI/bge-small-en-v1.5 для поиска и сопоставления текстов в сценариях вопросов и ответов. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 512; архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов. Для сравнения используется косинусное сходство. Модель содержит 40 млн параметров и обрабатывает до 512 токенов на входе. Модель подходит для семантического поиска релевантных фрагментов по вопросу, оценки сходства предложений и абзацев, поиска перефразировок, кластеризации и классификации текстов. В приведённой оценке на qa_eval дообученная версия показала более высокие значения точности и полноты поиска на первых десяти результатах, чем базовая модель. Обучающий набор содержит 29 547 пар anchor-positive с примерами вопросов и фрагментов ответов, в том числе юридического содержания. Для практического использования модель формирует векторные представления текста; она не генерирует ответы сама по себе. Лицензия в предоставленных данных не указана.

teven/bi_all_bs160_allneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная как Sentence Transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска и кластеризации текстов, а также для оценки сходства предложений. Модель содержит 136,7 млн параметров и принимает текстовые входы длиной до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017; название репозитория также указывает на пакетный размер 160 и обучение с негативными примерами. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

Luong23/bmg-m3-finetune-embedding — дообученная модель Sentence Transformer на базе BAAI/bge-m3, предназначенная для получения плотных текстовых эмбеддингов. Она преобразует предложения и абзацы в векторы размерности 1024; архитектура включает XLM-RoBERTa, CLS-пулинг и нормализацию, а сходство оценивается косинусной мерой. В метаданных указана длина контекста 8194 токена, однако карточка модели задаёт максимальную длину последовательности 256 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации. В примерах обучающих данных есть короткие запросы и подробные описания товаров на вьетнамском языке, но это не подтверждает, что модель рассчитана только на него. Модель принимает текст и выдаёт векторы; опубликована в формате safetensors. Условия лицензии в предоставленных данных не указаны.

aisquared/bolt-embedding-small — компактная модель эмбеддингов Sentence Transformer от AI Squared, дообученная на базе IBM Granite для корпоративного поиска и RAG. Она кодирует запросы, предложения и документы в плотные векторы размерностью 384, используя архитектуру ModernBERT с CLS pooling; близость векторов предназначена для оценки косинусным сходством. Для обработки длинных текстов заявлена длина последовательности до 4096 токенов. Модель подходит для семантического поиска по корпоративным документам и базам знаний, извлечения релевантных фрагментов для RAG, сопоставления запросов с документами, поиска дубликатов и оценки сходства. Её дообучали контрастивным обучением на 500 000 примерах RAG-подобных данных, включая пары запрос–документ и примеры семантического сходства. Доступна библиотекой Sentence Transformers; лицензия указана как other, поэтому конкретные условия использования следует сверить с карточкой модели.

nayan06/buy-others1 — модель Sentence-Transformers на базе MPNet, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Полученные представления можно применять для семантического поиска и кластеризации текстов. В README указано обучение с функцией потерь CosineSimilarityLoss; репозиторий содержит веса PyTorch, объём модели — 136,7 млн параметров, контекст — до 514 токенов. Модель подходит для задач сравнения смысловой близости текстов и построения эмбеддингов. В README не названы разработчик исходной архитектуры, обучающие данные, поддерживаемые языки и лицензия, поэтому эти характеристики нельзя уточнить по доступным сведениям.

Camel-Doc-OCR-080125 — дообученная PrithivMLmods мультимодальная модель на базе Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров. Она принимает текст и изображения, а её контекст составляет до 128 000 токенов. Модель предназначена для анализа документов: распознаёт и извлекает текст и структурированные данные, находит нужные сведения, связывает элементы документа и отвечает на вопросы по его содержимому. Модель также рассчитана на разбор таблиц, графиков и математических выражений, включая преобразование формул в LaTeX. В карточке заявлены анализ видео и визуально управляемое взаимодействие с устройствами; основной тег задачи в метаданных — image-text-to-text. Языковые теги карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся снижение точности на изображениях низкого качества или с помехами, вариативность результатов для редких языков и скриптов, возможные галлюцинации и высокие требования к вычислительным ресурсам. Обработка длинных видео может требовать много памяти; для потоковой работы модель не оптимизирована.

AbstractPhil/captionbert-8192-v2 — автономный компактный текстовый энкодер предложений, созданный AbstractPhil и дистиллированный из геометрического консенсуса пяти моделей семейства BERT. Модель содержит 66 млн параметров по метаданным, использует 12 слоёв, скрытое представление размерности 512 и контекст до 8192 токенов; на выходе формирует L2-нормализованные векторы размерности 768. Для работы не требуются модели-эксперты; README показывает загрузку через Transformers и токенизатор bert-base-uncased. Модель предназначена для получения векторных представлений предложений и сравнения их семантической близости, включая поиск похожих формулировок и задачи семантического сходства. В README приведены результаты на STS-B, SICK-R и других наборах семантического сходства; авторы отмечают, что базовый энкодер эффективен относительно учителей, но обычное mean pooling у BERT-подобных моделей уступает специализированным энкодерам, обученным на большом количестве пар сходства. Для дополнительной адаптации в репозитории описаны AMOE-адаптеры. Модель ориентирована на английский язык. Лицензия — MIT. Указанная в README загрузка использует trust_remote_code=True; перед применением следует учитывать необходимость доверять коду репозитория. Показатели бенчмарков приведены авторами модели и могут не отражать качество на пользовательских данных.

anaghaj111/codebert-base-code-embed-mrl-langchain-langgraph — англоязычная модель Sentence Transformers, дообученная на базе shubharuidas/codebert-embed-base-dense-retriever. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства и поиска по смыслу. Архитектура основана на RoBERTa с усреднением токенных представлений; сходство оценивается косинусной мерой. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Обучение с Matryoshka Loss позволяет использовать усечённые векторы меньшей размерности; в README приведены результаты поиска для размерностей от 64 до 768 на небольшом наборе из 180 обучающих примеров. Лицензия — Apache-2.0. Результаты на малом наборе не гарантируют качество на других данных; заявленная поддержка языка — английский.

CodeLlama-13B-Instruct-fp16 — версия весов Code Llama 13B-Instruct от Meta в формате Transformers/Hugging Face, подготовленная TheBloke конвертацией исходных весов Meta в формат HF. Это авторегрессионная плотная трансформерная языковая модель семейства Llama с 12,9 млрд параметров, обученная следовать инструкциям и предназначенная для более безопасного использования в помощниках по программированию и генерации кода. Модель принимает и выдаёт текст. Она подходит для генерации и объяснения кода, ответов на вопросы о программировании и выполнения инструкций на английском языке и языках программирования. Для этой версии в метаданных указан контекст 16 384 токена; README отмечает, что варианты Code Llama обучались на последовательностях до 16K токенов и допускают более длинный контекст при инференсе. Для корректной работы этих весов fp16 README требует загрузки с trust_remote_code=True. Модель может выдавать неточный или нежелательный код и ответы, поэтому результаты требуют проверки и настройки под конкретное применение. Лицензия — специальная лицензия Llama 2; коммерческое использование регулируется её условиями.

Code Llama 70B Instruct — генеративная языковая модель Meta для написания и понимания кода, настроенная следовать инструкциям и вести диалог. Репозиторий содержит вариант на 70 млрд параметров в форматах PyTorch и Safetensors; архитектура — авторегрессионный трансформер. Модель принимает и генерирует текст, включая запросы на естественном языке и код. Модель предназначена для генерации кода, его дополнения и ответов на вопросы по программированию. Она рассчитана на английский язык и распространённые языки программирования; карточка отмечает поддержку диалогового режима и работы с инструкциями. Настройка проводилась с контекстом до 16 тысяч токенов; этот вариант не поддерживает контекст до 100 тысяч токенов. Модель разработана Meta и выпущена по пользовательской лицензии Meta Llama 2; условия использования определяются этой лицензией. Качество ответов и корректность сгенерированного кода могут различаться, поэтому результаты следует проверять.

CodeQwen1.5-7B-GGUF — набор GGUF-квантизаций модели CodeQwen1.5-7B, разработанный Qwen и подготовленный для llama.cpp пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, а также для локального текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными, пользовательскими и ассистентскими сообщениями через специальные токены ChatML. Модель содержит около 7 миллиардов параметров, представлена в многочисленных вариантах квантизации от Q8_0 до IQ1_M и имеет размеры файлов примерно от 2,36 до 7,70 ГБ. Более высокие варианты, такие как Q6_K и Q5_K_M, обеспечивают лучшее качество, тогда как низкобитные версии требуют меньше оперативной или видеопамяти, но заметно теряют в качестве. Конкретные сведения об архитектуре, размере контекста и дополнительных модальностях в README не указаны; по описанию это текстовая, а не мультимодальная модель. Преимущество набора — возможность запуска локально на различном оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, а также с тем, что README не приводит результаты тестирования и подробные характеристики исходной модели. Указана лицензия Tongyi Qianwen Research License; исходная модель доступна в репозитории Qwen.

Codestral-22B-v0.1 — плотная авторегрессионная модель семейства Mistral на 22 млрд параметров, разработанная командой Mistral AI и обученная на разнообразном наборе данных, включающем более 80 языков программирования. Она предназначена для генерации и анализа кода: модель отвечает на вопросы о фрагментах программ, пишет документацию, объясняет и рефакторит код, а также создаёт программы по инструкциям. Режим Fill in the Middle позволяет дополнять код между заданными префиксом и суффиксом, в том числе в инструментах разработки. Поддерживается контекст длиной до 32 768 токенов. Модель принимает текстовые запросы и выдаёт текст, включая программный код. README приводит Python, Java, C, C++, JavaScript и Bash как примеры языков обучения; полный перечень заявлен в сопутствующей публикации. Контроль модерации в модели отсутствует, поэтому её ответы могут требовать проверки и внешних ограничений. Репозиторий использует формат safetensors; лицензия в метаданных указана как other, конкретные условия следует сверять с карточкой модели.

Codestral-22B-v0.1-GGUF — набор GGUF-квантизаций модели Codestral-22B-v0.1, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода; формат GGUF и совместимость с llama.cpp позволяют запускать её локально с использованием CPU и/или GPU. В README указан шаблон диалога в формате инструкций с системным промптом и пользовательским запросом. Модель имеет размер 22B параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3 и Q2 с размером файлов примерно от 6,64 до 23,64 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкоразрядные варианты предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Ключевые характеристики исходной архитектуры, поддерживаемые естественные языки и размер контекста в README не указаны. Лицензия обозначена как MNPL-0.1; условия следует уточнять по документу Mistral AI. README не содержит данных о мультимодальности, результатах бенчмарков или ограничениях исходной модели, поэтому её сильные стороны можно уверенно связывать только с ориентацией на задачи программирования и возможностью локального запуска в разных вариантах квантизации.

Kyleiwaniec/COS_TAPT_n_RoBERTa-sts-e3_CosineSimilarityLoss_2023-10-16 — модель на базе RoBERTa, обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 1024 и подходит для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Для работы доступны Sentence-Transformers и Hugging Face Transformers; заявленная длина контекста — 514 токенов, размер модели — 454,1 млн параметров. В карточке указано обучение с CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления; сведения о поддерживаемых естественных языках и специализированных прикладных областях отсутствуют. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Kyleiwaniec/COS_TAPT_n_RoBERTa-sts-e3_OnlineContrastiveLoss_2023-10-16 — модель Sentence-Transformers на архитектуре RoBERTa, обученная представлять предложения и абзацы в виде плотных векторов размерности 1024. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Модель принимает текст и выдаёт эмбеддинги; карточка указывает контекст длиной 514 токенов. Она обучалась с OnlineContrastiveLoss и распространяется в формате PyTorch. Доступна для использования через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о лицензии и целевых языках не приведены в использованных источниках.

teven/cross_all_bs192_hardneg_finetuned_WebNLG2020_metric_average — текстовая модель на базе MPNet, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и предназначена для поиска семантически близких фрагментов, кластеризации и оценки сходства. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска, группировки похожих текстов и сравнения предложений по смыслу. Для корректного использования в Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов; README также описывает применение через Sentence-Transformers. Лицензия и поддерживаемые естественные языки в предоставленных данных не установлены.

semaj83/ctmatch-retriever-v2 — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L6-v2, разработанная semaj83. Это текстовый BERT-энкодер для поиска релевантных предложений и абзацев: он преобразует текст в плотные векторы размерностью 384 и подходит для семантического retrieval и сравнения текстов по косинусному сходству. В модели используются mean pooling и нормализация векторов. Модель обучена на 4 830 парах текстов с MultipleNegativesRankingLoss. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; в README заявлен максимум 256 токенов, поэтому для практического использования следует учитывать лимит 256 из карточки модели. Поддерживается текстовый ввод, выходом служат векторы для поиска и ранжирования по близости. Лицензия в предоставленных данных не указана.

Это англоязычная модель Sentence Transformer, дообученная Komalverma на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерности 768 и предназначена для поиска и сравнения текстов по семантическому сходству. Сходство между векторами можно оценивать косинусной мерой. Модель построена на архитектуре BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Обучение выполнено на 47 056 парах предложений, а в метаданных указан DenoisingAutoEncoderLoss. Модель подходит для семантического поиска и извлечения релевантных документов, в том числе как компонент RAG. Лицензия в предоставленных данных не указана.

bobox разработал Sentence Transformer на базе bobox/DeBERTa-small-ST-v1-test-step2, дообученный на наборах пар и триплетов предложений, включая VitaminC, SciTail, SciQ, MS MARCO, Natural Questions, TriviaQA, GooAQ и PAWS. Модель кодирует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов; сходство можно оценивать косинусной мерой. Архитектура состоит из DebertaV2Model и среднего pooling по токенам. Максимальная длина входа — 512 токенов. Модель рассчитана на английский язык и подходит для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и подготовки признаков для классификации текста. В README приведены результаты оценки сходства на sts-test и бинарной классификации на VitaminC, однако качество на других данных может отличаться. Лицензия в предоставленных данных не указана.

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

DeepSeek-V4-Pro-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Pro, разработанной DeepSeek и опубликованный командой teamblobfish. Модель предназначена для генерации текста и локального запуска через специализированную ветку llama.cpp с поддержкой архитектуры V4. Формат подходит для сценариев локального инференса, включая серверное использование и обработку tool calls. Модель использует архитектуру Mixture of Experts: 61 слой и 384 маршрутизируемых эксперта. В реализации применяются специфичные для V4 механизмы, включая compressor decode, hyperconnection, lightning indexer, FP8-эмуляцию KV и NextN heads. Доступны варианты Q8_0, Q4_K_M-XL и Q2_K-XL; размер файлов составляет примерно от 498 ГиБ до 1,46 ТиБ. README демонстрирует запуск с контекстом 65 536 токенов, но максимальный размер контекста модели явно не указан. Поддерживается текстовая модальность; список языков не приведён. Сильной стороной является возможность запуска крупной модели в GGUF с поддержкой Apple Silicon, NVIDIA CUDA и CPU, а также проверенная работа Q2_K-XL с tool calls. Основные ограничения — чрезвычайно большой объём памяти, низкая скорость на CPU и необходимость использовать V4-совместимый fork llama.cpp; стандартная upstream-версия llama.cpp не поддерживается. ROCm, Vulkan и Metal на AMD не имеют необходимых ядер. Для практического запуска часто требуются несколько GPU или частичная выгрузка на CPU. Модель распространяется по лицензии MIT.

m3hrdadfi/distilbert-zwnj-wnli-mean-tokens — модель на базе DistilBERT для получения векторных представлений предложений и оценки их сходства. Карточка рекомендует использовать её с библиотекой Sentence-Transformers либо применять pooling к контекстным представлениям токенов при работе через Transformers. Модель подходит для сравнения предложений и поиска текстов, близких по смыслу. Она принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. Лицензия и языки модели в предоставленных данных не указаны.