I.3Извлечение и структурирование данных

Это 4-битная версия Hermes 3 на базе Llama 3.1 8B, преобразованная сообществом mlx-community из NousResearch/Hermes-3-Llama-3.1-8B в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с примерно 7,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалоговой генерации текста и следования инструкциям; в метаданных также отмечены чат и function calling. Репозиторий ориентирован на запуск через mlx-lm. Карточка указывает английский язык и лицензию Llama 3. Использование 4-битного представления уменьшает требования к памяти, но может влиять на точность по сравнению с исходными весами.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

Карточка модели juhyun76/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

LaBSE — перенос многоязычной модели LaBSE в PyTorch, опубликованный командой sentence-transformers. Модель на архитектуре BERT содержит 498,1 млн параметров и отображает предложения на общем векторном пространстве, чтобы сопоставлять их смысл на разных языках. Поддерживает 109 языков; максимальная длина контекста — 512 токенов. Модель подходит для поиска семантически близких предложений, сопоставления текстов на разных языках и построения многоязычных эмбеддингов для семантического поиска и кластеризации. Доступна через библиотеку sentence-transformers и в форматах PyTorch, TensorFlow, Flax и ONNX. Лицензия — Apache-2.0. README указывает на публикацию LaBSE, но не приводит подробностей обучения или сравнительных результатов.

Карточка модели Sing0402/legal-embed-gte-dense на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

maux-gte-persian-v3-fp16 — модель эмбеддингов предложений на базе Alibaba-NLP/gte-multilingual-base, дообученная для персидского языка и опубликованная в формате fp16. Она преобразует предложения и абзацы в векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации; сходство оценивается косинусной мерой. Модель построена как энкодер Sentence Transformers с пулингом CLS-токена и нормализацией, поддерживает последовательности до 8192 токенов и принимает текст, выдавая векторные представления. Дообучение выполнено на 80 000 персидских пар предложений с функцией потерь MultipleNegativesRankingLoss. Половинная точность fp16 предназначена для более эффективного инференса, особенно на современных GPU. По данным карточки, модель показывает высокие результаты в задачах семантического сходства, поиска и кластеризации на персидском языке. Для загрузки требуются файлы пользовательского кода из репозитория. Лицензия в предоставленных данных не указана.

JetBrains/Mellum2-12B-A2.5B-Thinking-GGUF-Q4_K_M — это квантизированная GGUF-версия рассуждающей языковой модели Mellum2, разработанной JetBrains. Модель предназначена для генерации текста и решения задач, требующих пошагового рассуждения, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявленный контекст составляет 131 072 токена. Модель поддерживает английский язык и выводит цепочку рассуждений в блоках <think>...</think> перед финальным ответом. Вариант Q4_K_M использует 4-битное k-квантизирование, занимает около 8,1 ГБ и обеспечивает сбалансированное соотношение качества и размера: совпадение наиболее вероятного токена с BF16-версией составляет около 89,8% на указанном тесте. Основные преимущества — возможность локального запуска, большой контекст, MoE-архитектура и заметное уменьшение размера по сравнению с BF16-версией. Ограничения связаны с потерями точности из-за 4-битного квантизирования, необходимостью совместимого рантайма и тем, что README не содержит подробных результатов оценки исходной модели. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Meta-Llama-3.1-8B-FP8 — квантизированная версия базовой текстовой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования, включая многоязычные сценарии. В README указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение на использование в языках, отличных от английского. Модель использует архитектуру Meta-Llama-3.1 и формат FP8 для квантизации весов и активаций линейных операторов в трансформерных блоках. Применяется симметричная поканальная для всего тензора квантизация с фиксированным масштабированием; выходной слой lm_head не квантизируется. Размер модели — 8 миллиардов параметров. Оптимизация уменьшает число бит на параметр с 16 до 8, а также примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Модель подготовлена для инференса с vLLM. К сильным сторонам относятся снижение требований к памяти и более эффективное развертывание при сохранении характеристик исходной модели: средний результат на OpenLLM benchmark v1 составил 65,90 против 66,47 у неквантизированной версии. К ограничениям относятся возможная потеря качества из-за квантизации, отсутствие заявленной информации о размере контекста и необходимость совместимого окружения vLLM. Модель распространяется по лицензии llama3.1.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.

MixEmbed-base-20240113172018-best — компактная модель эмбеддингов на основе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации. Модель содержит 18,8 млн параметров и рассчитана на контекст до 512 токенов. Согласно README, модель дистиллирована из bge-small-en-v1.5 и имеет вчетверо меньше параметров без эмбеддингов, чем исходная модель. README также сообщает, что у неё вдвое меньше параметров, чем у all-MiniLM-L6-v2, при сопоставимом качестве. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется корректное pooling contextualized word embeddings. В метаданных указаны safetensors и задачи извлечения признаков и сходства предложений. Модель предназначена для поиска и группировки текстов по смыслу. README указывает на английскую базовую модель bge-small-en-v1.5; поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.

Модель tanbinh2210/mlm_finetuned_3_phobert — дообученный разработчиком Sentence Transformer на базе tanbinh2210/mlm_finetuned_2_phobert. Она использует RoBERTa и среднее объединение токенных представлений, чтобы кодировать предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов и сравнения предложений по косинусному сходству; также её можно применять для поиска парафразов, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе json из 357 018 примеров с запросами, положительными и отрицательными текстами. Максимальная длина последовательности — 258 токенов по метаданным. Модель принимает текст и выдаёт векторы, её можно использовать через библиотеку Sentence Transformers. Язык в доступных данных явно не указан, хотя название базовой модели содержит PhoBERT. Лицензия в предоставленных данных не указана. Модель представляет собой дообученную версию указанной базовой модели; качество и применимость зависят от соответствия входных текстов обучающим данным.

Модель jfarray/Model_bert-base-multilingual-uncased_1_Epochs — модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные эмбеддинги размерностью 256. Её можно применять для семантического поиска, сравнения текстов и кластеризации. По метаданным, модель содержит 194,6 млн параметров, принимает текст длиной до 512 токенов и опубликована в формате PyTorch. Модель обучена с помощью Sentence-Transformers и функции потерь CosineSimilarityLoss. README не раскрывает обучающие данные и результаты оценки, поэтому качество для конкретных языков и задач по предоставленным сведениям оценить нельзя. Лицензия в доступных данных не приведена.

nickprock/ModernBERT-base-sts — англоязычная модель Sentence Transformer, дообученная автором на answerdotai/ModernBERT-base с использованием датасета STSB и функции потерь CoSENTLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768, а сходство между ними оценивается косинусной мерой. Модель построена на ModernBERT и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для оценки семантического сходства предложений; её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты на STS-dev и STS-test: Spearman по косинусному сходству составляет 0,8877 и 0,8684 соответственно. Обучение и оценка описаны для английского языка, поэтому качество на других языках не подтверждено. Лицензия в предоставленных данных не указана.

tomaarsen/mpnet-base-nq — англоязычная Sentence Transformer-модель, дообученная автором на парах запросов и ответов из набора Natural Questions. Она основана на microsoft/mpnet-base и кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель содержит 136,7 млн параметров, использует архитектуру MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов по README и 514 токенов в метаданных. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. Обучение на Natural Questions ориентирует её на сопоставление вопросов и ответов на английском языке. Для использования в Sentence Transformers предусмотрены готовые средства загрузки и кодирования текстов. Модель распространяется по лицензии Apache-2.0. Её назначение — получение текстовых эмбеддингов; она не генерирует ответы. Качество зависит от соответствия текстов и предметной области обучающим данным, а поддержка языков помимо английского не заявлена.

Карточка модели Tool-COLT/msmarco-bert-co-condensor-v1-ToolBenchG2 на Hugging Face совпадает с карточкой MassTool/contriever-base-msmarco-v1-ToolBenchG2, поэтому описание составлено по ней. MassTool/contriever-base-msmarco-v1-ToolBenchG2 — модель Sentence-Transformers на базе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; в README также описано обучение с MultipleNegativesRankingLoss и косинусным сходством. Данных о целевых языках и специализации на конкретной предметной области нет.

flax-sentence-embeddings/multi-qa_v1-MiniLM-L6-cls_dot — модель SentenceTransformers для преобразования предложений и коротких текстов в векторы, пригодные для поиска и сравнения смысла. Её разработали в рамках Hugging Face Community Week для проекта по обучению моделей эмбеддингов; модель основана на предварительно обученной nreimers/MiniLM-L6-H384-uncased и дообучена контрастивным обучением на парах вопрос–ответ, включая данные StackExchange, MSMARCO и NQ. Это плотная BERT-модель с 25,9 млн параметров. Для представления предложения используется выход CLS, а близость векторов оценивается скалярным произведением. Модель предназначена для семантического поиска, оценки сходства предложений и кластеризации; её можно использовать для поиска подходящих ответов по запросу или группировки похожих вопросов. Максимальная длина контекста — 512 токенов. Модель выдаёт текстовые эмбеддинги, а не готовые ответы. Качество особенно ориентировано на сопоставление вопросов и ответов; доступные сведения не подтверждают поддержку русского языка или оценку качества на других языках и задачах. В карточке не указана лицензия.

next-12b-i1-GGUF — квантизированная версия модели next-12b от thelamapi, подготовленная mradermacher в формате GGUF. Это плотная causal transformer-модель примерно на 12 миллиардов параметров, предназначенная для локального запуска и генерации текста. В README она обозначена как vision model, поэтому может поддерживать мультимодальные сценарии при наличии соответствующего mmproj-файла, однако конкретные возможности обработки изображений не описаны подробно. Модель ориентирована на диалог, ответы на вопросы, суммаризацию, творческое письмо, рассуждения, программирование и работу с текстами в специализированных областях, включая химию, биологию, финансы и право. Для дообучения использовались наборы данных с инструкциями, математическими задачами, рассуждениями, диалогами и письменными запросами. Заявлена поддержка множества языков, включая английский, турецкий, русский, немецкий, французский, испанский, китайский, японский, корейский и другие. Репозиторий содержит варианты квантизации от i1-IQ1_S до i1-Q5_K_M и более качественные или компактные сборки с разным размером примерно от 3 до 8,5 ГБ. Квантизация снижает требования к памяти и позволяет запускать модель локально, но может ухудшать качество по сравнению с исходной версией; наиболее сбалансированными в README названы i1-Q4_K_S и i1-Q4_K_M. Размер контекста и точные показатели качества не указаны. Лицензия модели — MIT.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.

OLMo-2-1124-7B-SFT Preview — плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это версия с supervised fine-tuning базовой OLMo 2 7B November 2024 на адаптации набора Tülu 3; обучающая смесь включает публичные, синтетические и созданные людьми данные. Модель содержит 6,9 млрд параметров, работает с текстом и поддерживает контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов, а также для широкого круга инструктивных задач. Карточка отмечает обучение на задачах, связанных с математикой, включая MATH и GSM8K, и следованием инструкциям, включая IFEval. Основной язык — английский. Для запуска предусмотрена библиотека Transformers, формат весов — PyTorch. Модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно в ответ на соответствующие запросы; автоматическая фильтрация ответов не включена. Лицензия — Apache 2.0.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

CrazyDave53/OpenCVModelDemo — многоязычная модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для семантического сравнения текстов, поиска и сопоставления перефразировок; сходство оценивается косинусной мерой. Метаданные указывают 305,2 млн параметров и контекст до 514 токенов; в карточке модели заявлена максимальная длина последовательности 128 токенов. Модель можно применять для семантического поиска, кластеризации, классификации текста и поиска похожих предложений или документов. Она принимает текст и выдаёт векторные представления, а обучение выполнено на наборе из 500 примеров с MarginDistillationLoss. В метаданных указана лицензия? Нет сведений о лицензии в предоставленных данных.

Opti-27B — сжатая мультимодальная версия Qwen3.8-27B с 27 млрд параметров. Модель поддерживает работу с текстом и изображениями: визуальный ввод обрабатывается через отдельный vision projector размером около 0,9 ГБ. В README разработчик Opti-27B явно не указан; базовой моделью названа Qwen/Qwen3.8-27B. Формат GGUF рассчитан на использование через llama.cpp и запуск на одной потребительской GPU с 16 ГБ памяти, включая место для контекста. Основное назначение модели — текстовая генерация, программирование, автономные агентные сценарии и задачи с анализом изображений. Файл модели занимает около 11,8 ГБ и использует в среднем 3,47 бита на параметр, что примерно в 4,6 раза меньше исходной 16-битной версии. На тесте wikitext-2 заявлена близкая к оригиналу perplexity: 6,487 против 6,456 у 16-битной модели; по этому показателю Opti также сопоставима с llama.cpp Q4_K_M при меньшем размере. Главное преимущество — сочетание компактности, поддержки vision и сохранения средней языковой способности при запуске на 16-ГБ GPU. Однако качество сжатия зависит от типа данных: на веб-тексте отклонение от 16-битной версии составляет около 4,2%, на исходном коде — 21,8%, а на тексте романа — 58,9%. Распределение вероятностей токенов также заметно отличается от оригинала, поэтому модель может хуже воспроизводить запомненные фрагменты и точный код; для таких задач в README рекомендуется Q4_K_M. Модель распространяется по лицензии opti-model-license, обозначенной как other; подробные условия находятся в файле LICENSE.

Orukeet — модель распознавания речи от Oruk AI, созданная на основе NVIDIA Parakeet TDT 0.6B v3. Это мультиязычная модель на 25 языков для транскрибирования аудиозаписей, медиаматериалов и потоков пакетной обработки, а также для серверных и интерактивных приложений. Модель сохраняет 627 млн параметров, 24-слойный энкодер FastConformer и transducer-архитектуру Parakeet. В половине временных depthwise-фильтров энкодера используются 12 288 обученных и зафиксированных Gabor-ядер. В описанных тестах Orukeet показала меньший WER, чем исходная Parakeet, на 61 из 74 тестовых срезов; например, объединённый WER по 25 языкам FLEURS составил 9,85% против 11,01%. Доступны варианты для NeMo, ONNX INT8, GGUF Q8 и F16, а также экспорт Transformers. Карточка описывает обучение и выбор контрольной точки на записях LibriSpeech test-other, поэтому результаты оценки следует учитывать с этой оговоркой. Модель распространяется по лицензии CC-BY-SA-4.0.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.

mainbrains поддерживает форк Phi-3-Mini-4K-Instruct — компактной плотной языковой модели семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, логики и программирования; она дообучена следовать инструкциям и выдавать структурированные ответы. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и требований к низкой задержке, в том числе как локальный узел для генерации текста и работы с инструментами. README заявляет запуск на компактном оборудовании, но фактическая скорость зависит от аппаратуры и способа инференса. Карточка описывает преимущественно англоязычное обучение и предупреждает о снижении качества на других языках, а также о возможных неточностях, предвзятости и оскорбительных ответах. Лицензия — MIT.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

Карточка модели filippovg199/Qwen2.5-7B-Instruct-abliterated-v2 на Hugging Face совпадает с карточкой huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, поэтому описание составлено по ней. Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.