I.3Извлечение и структурирование данных

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

InternVL3-2B-Instruct-GGUF — мультимодальная модель семейства InternVL3, разработанная OpenGVLab и представленная в формате GGUF сообществом Unsloth. Это SFT-версия InternVL3-2B: она прошла предварительное мультимодальное обучение и supervised fine-tuning, но не проходила MPO. Модель предназначена для обработки текста и изображений, мультимодального восприятия и рассуждений, а также сценариев, связанных с использованием инструментов, GUI-агентами, промышленным анализом изображений и восприятием 3D-сцен.

Jade-Software разработала Jade-ModernBert-FT — англоязычную модель Sentence Transformers, дообученную на наборе jade_embeddings_train_25.04.04 от базовой модели nomic-ai/modernbert-embed-base. Архитектура ModernBERT преобразует предложения и абзацы в плотные эмбеддинги размерности 768, нормализованные для сравнения по косинусному сходству; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска по текстам, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Обучающие примеры связывают короткие вопросы с более длинными релевантными фрагментами, что подходит для поиска ответов и документов по запросу. Лицензия — Apache-2.0. Модель обучена на английском языке; данных о поддержке других языков нет. Она возвращает векторы, а не готовые ответы, поэтому для поиска, классификации или кластеризации нужны соответствующие downstream-компоненты. Качество за пределами английского языка и предметной области обучающих данных не подтверждено.

KaLM-embedding-multilingual-mini-v1 — мультиязычная модель эмбеддингов из серии KaLM-Embedding, разработанной командой HITsz-TMG. Она основана на Qwen/Qwen2-0.5B и обучена на больших объёмах слабой разметки с последующим контролируемым дообучением. Модель имеет плотную архитектуру Qwen2, содержит 494 млн параметров и поддерживает контекст до 131072 токенов. Модель предназначена для преобразования текста в векторы, поиска семантически похожих фраз и других задач, где требуется сравнивать смысл текстов. Подходит для многоязычного семантического поиска, ранжирования кандидатов по релевантности и построения векторного поиска. В карточке приведены оценки на наборах MTEB и C-MTEB; для работы с Qwen2 рекомендуется Transformers версии 4.37.0 или новее. Модель распространяется по лицензии MIT. В README не описаны конкретный перечень поддерживаемых языков и ограничения качества, поэтому область языковой поддержки и применимость к отдельным доменам следует оценивать на собственных данных.

Kanana-2-3B-Instruct — компактная языковая модель Kakao, предназначенная для диалогов и выполнения инструкций. Она основана на плотной архитектуре Qwen3 с 2,9 млрд параметров и создана на базе kakaocorp/kanana-2-3b-base. Модель прошла дообучение с учителем и обучение с подкреплением; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, рассуждений и других текстовых задач. Kakao отмечает улучшенную эффективность токенизации корейского языка по сравнению с предыдущим поколением Kanana. Модель также предназначена для сценариев вызова инструментов, хотя фактическое качество зависит от задачи и способа развертывания. Для запуска в README рекомендованы Transformers версии 4.57.0 или новее; приведены варианты развертывания через vLLM и SGLang. Лицензия указана как other, поэтому конкретные условия использования следует уточнить в карточке модели. В README указано, что пользовательские данные Kakao не использовались при обучении.

KRONOS-8B-V2 — объединённая языковая модель, созданная T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B и включающая KRONOS-8B-V1-P1, KRONOS-8B-V1-P2, KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое использование; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по предметной области или подтверждённый набор языков. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также сценариев с длинным контекстом. В README указана лицензия модели Llama 3.1. Представленные результаты бенчмарков ограничены частью таблицы, поэтому по ним нельзя судить о качестве во всех задачах; сведения о языковом покрытии и ограничениях применения в карточке не приведены.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

TheBloke опубликовал fp16-модель Llama 30B SuperCOT в формате PyTorch. В её основе — объединение huggyllama/llama-30b и kaiokendev/SuperCOT-LoRA; поверх него объединена LoRA Kaio Ken SuperHOT, расширяющая контекст до 8192 токенов. Модель относится к плотной архитектуре LlamaForCausalLM и содержит 32,3 млрд параметров. Модель предназначена для генерации текста и ответов на вопросы с использованием шаблона запросов в стиле Alpaca и LangChain. Увеличенное окно контекста позволяет передавать более длинные запросы и материалы. README сообщает, что в тестах модель использовала расширенный контекст, но качество ответов чувствительно к формулировкам и структуре промпта; результаты могут заметно меняться при перефразировании. Репозиторий содержит веса PyTorch fp16 для GPU-инференса и дальнейшей конвертации. Для работы с контекстом 8K требуется поддержка соответствующего масштабирования RoPE; README рекомендует `trust_remote_code=True` или monkey patch. Лицензия указана как `other`, поэтому условия использования следует сверить с карточкой и лицензиями исходных компонентов.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Llama 3.1 Tulu 2 DPO 8B — англоязычная диалоговая модель-помощник, разработанная Ai2 и дообученная на базе allenai/llama-3.1-tulu-2-8b. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и выполнения разнообразных инструкций: она прошла дополнительное выравнивание методом DPO на данных UltraFeedback после дообучения на смеси открытых, синтетических и созданных людьми данных Tulu. Её можно применять для ответов на вопросы, написания текстов и решения задач по инструкциям на английском языке. Модель не проходила этап RLHF, ориентированный на безопасные ответы, и не использует фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; в карточке также указана лицензия Meta Llama 3.1 Community License для базовой модели.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Llama-3.2-3B-Instruct-GGUF — квантованная версия инструкционной языковой модели Llama-3.2-3B-Instruct, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и вызов инструментов с формированием JSON-запросов функций. Модель содержит около 3 миллиардов параметров, работает с текстом и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0 и F16 с размером файлов примерно от 581 МБ до 1,32 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как компромисс между размером и качеством; более агрессивное квантование уменьшает размер, но может заметно ухудшать качество ответов. Модель подходит для локального запуска на устройствах с ограниченными ресурсами и интеграции через LlamaEdge, включая сервисный и командный режимы. Для работы требуется совместимая версия LlamaEdge; в README указана версия v0.16.5 или новее. Ограничения включают снижение качества в младших вариантах квантования, а также отсутствие сведений о мультимодальности и подробных результатах оценки. Модель распространяется по лицензии Llama 3.2.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

Loxa-4B — языковая модель на 4 млрд параметров, опубликованная frameai. Она построена на плотной архитектуре семейства Llama и предназначена для генерации текста; в карточке также описаны сценарии классификации, ответов на вопросы, перевода и суммаризации. Модель поддерживает контекст до 131 072 токенов и работает через библиотеку Transformers; доступны веса в формате safetensors и интерфейсы чата и вызова инструментов. Модель рассчитана на исследовательскую и разработческую работу с текстом и кодом. Автор заявляет о работе на CPU и видеокартах GTX, однако не приводит проверяемых бенчмарков или подробностей обучения; заявленные 96% точности нельзя однозначно интерпретировать. Возможны предвзятые или фактически неверные ответы, поэтому результаты следует проверять, особенно в критически важных сценариях. Лицензия в предоставленных данных не указана.

Meno-Tiny-0.1 — компактная языковая модель на 1,5 млрд параметров, разработанная как дообученная версия Qwen/Qwen2.5-1.5B-Instruct на специальном русскоязычном наборе инструкций. Это декодерная Transformer-модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; для работы используется библиотека Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и ориентирована прежде всего на русский язык. Модель предназначена для диалогов и генерации текста, в частности для ответов на вопросы по документам в RAG-сценариях. Среди описанных задач — суммаризация, разрешение анафоры, оценка токсичности и детоксикация текста, а также исправление ошибок распознавания речи. Компактный размер рассчитан на сценарии с ограничениями по памяти и вычислениям или требованиями к низкой задержке. Модель выпущена под лицензией Apache-2.0. Карточка предупреждает о возможных неточностях, предвзятости и небезопасных или оскорбительных ответах; качество на языках, отличных от русского, может быть ниже. Для старых версий Transformers до 4.37.0 указана несовместимость с архитектурой qwen2.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

ajaysdhillon14/minbert-sts-nli-meanpool — кодировщик предложений на основе bert-base-uncased, дообученный в два этапа для оценки семантического сходства. Сначала модель обучалась на задаче распознавания текстового следования на парах SNLI и MultiNLI, затем дообучалась на STS. Архитектура — BERT, около 99,1 млн параметров; модель хранит только кодировщик, без отдельной головы классификации. Для каждого предложения модель строит вектор с помощью masked mean pooling скрытых состояний, включая позиции [CLS] и [SEP]. Сходство двух предложений вычисляется как косинусная близость векторов, линейно преобразованная из диапазона [-1, 1] в оценку [0, 5]. На dev-наборе STS-B для трёх запусков указаны значения Pearson 0,7432–0,7436 и Spearman 0,7411–0,7460. Модель предназначена для английских текстов. Лицензия — Apache-2.0.

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

UMCU опубликовал Sentence Transformer на основе UMCU/mirrorbert_medroberta.nl_meantoken, дообученный для преобразования предложений и абзацев в плотные векторы размерности 768. Модель использует архитектуру RoBERTa с усреднением токенных эмбеддингов и сравнивает векторы по косинусному сходству; в метаданных указано 153,2 млн параметров и библиотека sentence-transformers. Модель подходит для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 30 токенов, тогда как метаданные каталога сообщают контекст 514 токенов; для практического использования следует учитывать лимит 30 токенов из карточки модели. Лицензия в предоставленных данных не указана.

miscii-14b-1225 — диалоговая языковая модель серии miscii, созданная sthenno-com как слияние моделей с помощью mergekit. В основе указаны Qwen/Qwen2.5-14B-Instruct и sthenno-com/miscii-14b-1028. Модель с архитектурой Qwen2 и 14 млрд параметров предназначена для генерации текста и диалогов; заявленный контекст составляет 131 072 токена. Карточка приводит результаты оценок Open LLM Leaderboard: средний балл 40,08 в исходной таблице и 42,35 в таблице, обновлённой 15 февраля 2025 года. Указаны языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0. За подробностями об использовании карточка отсылает к miscii-14b-1028.

Mistral-7B-Erebus-v3-Instruct-32k — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная с помощью mergekit методом DARE TIES. В качестве основы использована alpindale/Mistral-7B-v0.2-hf, объединённая с mistralai/Mistral-7B-Instruct-v0.2 и KoboldAI/Mistral-7B-Erebus-v3. Модель предназначена для генерации текста и ответов на инструкции; поддерживает контекст до 32 768 токенов. Модель работает с текстом и использует библиотеку Transformers; веса доступны в формате safetensors. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Объединение включает Erebus-v3, однако карточка не описывает его влияние на поведение итоговой модели. Лицензия в предоставленных данных не указана.

Mistral-7B-golden-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и liuda1/Mistral-7B-golden методом SLERP; веса представлены в формате Safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0. Модель принимает текст и выдаёт текст. README и метаданные не уточняют языковой охват или специализированные предметные области, поэтому их нельзя уверенно указать.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Mistral-Small-24B-Instruct-2501-4bit — это 4-битная версия модели Mistral-Small-24B-Instruct-2501, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.0. Исходная модель опубликована под пространством имён mistralai и предназначена для выполнения инструкций и диалогового взаимодействия с пользователем. Модель рассчитана на задачи генерации текста, ответов на вопросы и других сценариев, где требуется инструктивное или чат-взаимодействие. Заявлены английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Размер исходной модели составляет 24 миллиарда параметров; версия использует 4-битное квантование и формат MLX, что ориентировано на запуск в совместимой MLX-среде. Сведения о длине контекста, точной архитектуре и мультимодальных возможностях в README не указаны. К сильным сторонам относятся поддержка нескольких языков, инструктивный формат и адаптация для использования с MLX через библиотеку mlx-lm. Ограничения включают отсутствие в предоставленных данных подробных результатов оценки, сведений о качестве на отдельных языках и характеристик производительности. Модель распространяется по лицензии Apache 2.0.

Карточка модели unsloth/ModernBERT-base на Hugging Face совпадает с карточкой answerdotai/ModernBERT-base, поэтому описание составлено по ней. ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

ModernBERT-embed-large-unsupervised — англоязычная модель LightOn AI для построения эмбеддингов текста. Это плотный двунаправленный энкодер ModernBERT-large с 394,7 млн параметров и контекстом до 8192 токенов, дообученный Contrastors в течение одной эпохи на 235 млн слабонаблюдаемых контрастивных пар из набора Nomic Embed. Модель предназначена для поиска и сравнения текстов; в README приведены результаты на задачах классификации, кластеризации, поиска, переранжирования и семантического сходства. Репозиторий содержит веса в формате Safetensors и поддерживает извлечение признаков и оценку сходства предложений. Модель рассчитана прежде всего на английский язык. Для использования эмбеддингов в поисковых системах или других приложениях обычно требуется отдельная система индексации и поиска. Лицензия — Apache-2.0.