I.3Извлечение и структурирование данных

F2LLM-0.6B — модель эмбеддингов от CodeFuse AI, представленная в техническом отчёте F2LLM. Это дообученная на базе Qwen3-0.6B плотная архитектура Qwen3 с 507,9 млн параметров; она кодирует текст в векторные представления для поиска и сопоставления. Обучение проводилось на 6 млн открытых пар «запрос — документ» из задач поиска, классификации и кластеризации, без синтетических данных и многоэтапного конвейера. Модель предназначена для векторного поиска, сравнения предложений, классификации и кластеризации текста. Контекст составляет до 40 960 токенов. Использовать модель можно через Sentence Transformers или Transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0.

adityasajja6/fine_tuned_mpnet_model — модель Sentence Transformers, дообученная автором на базе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768; архитектура включает MPNet, усредняющий токены pooling и нормализацию. Модель предназначена для семантического сходства и поиска, поиска перефразировок, классификации текстов и кластеризации. Для сравнения векторов используется косинусное сходство. В README указана максимальная длина последовательности 384 токена, а метаданные каталога — нативный контекст 514 токенов. Модель принимает текст и выдаёт эмбеддинги; сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют. В README указан обучающий набор из 10 примеров, поэтому качество дообучения может быть ограниченным и требует проверки на целевых данных.

DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL_FULL-notrescaled_50000 — модель на базе RoBERTa, разработанная как sentence-transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и других задач сравнения текстовых представлений. В метаданных указаны 151,8 млн параметров, контекст до 514 токенов и формат весов safetensors. Модель принимает текст и выдаёт векторные представления; для использования доступны Sentence-Transformers и Transformers с соответствующей операцией pooling. В README указано обучение с MarginDistillationLoss. Сведений о поддерживаемых языках, лицензии и ограничениях качества в предоставленных источниках нет.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

Gevva e2b Multimodal — мультимодальная модель-классификатор, созданная Дэйвом Бёрхансом и дообученная на основе google/gemma-4-E2B-it. Она предназначена для быстрых решений по тексту и изображениям: проверки утверждений по источникам, выявления галлюцинаций, маршрутизации запросов к инструментам и проверки того, подтверждают ли диаграммы, таблицы или документы заданное утверждение. В README заявлена обработка контекста до 128 000 токенов, задержка около 15 мс на GPU и около 147 мс на обычном CPU; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель поддерживает английский, французский, испанский, немецкий, китайский, арабский, хинди, русский, суахили и вьетнамский языки. README также описывает применение для проверки ответов учащихся по эталону. Заявления о лидерстве на JevBench, скорости и точности приведены авторами модели и зависят от условий измерений. Лицензия — Apache 2.0.

Giraffe-13b-32k-v3 — авторегрессионная языковая модель на архитектуре Transformer/Llama, разработанная Abacus.AI. Она дообучена на базе Llama 2 13B для работы с контекстом до 32 768 токенов: длинный контекст получен с помощью интерполяции, затем модель дополнительно настроена на выполнение инструкций с использованием ShareGPT и Orca-Chat. В метаданных указано 12,9 млрд параметров. Модель предназначена для генерации текста и диалоговых задач по инструкциям. Длинное окно контекста подходит, например, для ответов на вопросы по объёмным документам и предоставленным результатам поиска; разработчик также сообщает об улучшении рассуждений и математических способностей на бенчмарках. Поддерживаемый язык в карточке явно не перечислен. Модель распространяется по лицензии Llama 2 Community License. Разработчик предупреждает, что безопасность модели не оценивалась, и позиционирует её для исследований и экспериментов; результаты могут содержать ошибки.

GIST Embedding v0 — модель векторных представлений текста, созданная Av Solatorio. Она дообучена на базе sentence-transformers/all-MiniLM-L6-v2 с методом GISTEmbed: обучающие негативные примеры отбираются из MEDI и дополненных триплетами обучающих данных классификации MTEB. Модель имеет архитектуру BERT, содержит 25,9 млн параметров и принимает текст с контекстом до 512 токенов. Модель предназначена для получения эмбеддингов предложений и оценки их сходства, в том числе для семантического поиска и retrieval. Для кодирования запросов не требуются специальные инструкции. Модель оценивали на бенчмарке MTEB; дообучение улучшило некоторые задачи, но ухудшило результаты на других, включая поиск по TRECCOVID. Поддерживается английский язык. Лицензия — MIT.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

CombinHorizon/huihui-ai-abliterated-Qwen2.5-32B-Inst-BaseMerge-TIES — объединённая модель генерации текста на архитектуре Qwen2.5, созданная с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-32B, объединённая с huihui-ai/Qwen2.5-32B-Instruct-abliterated. Модель содержит 32 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и задач, решаемых языковой моделью, включая ответы на запросы и работу с длинным контекстом. В метаданных также отмечен интерфейс вызова инструментов. Для оценки приведены результаты Open LLM Leaderboard, в том числе IFEval 82,06 и BBH 56,04; это не заменяет проверку на целевых задачах. Поддерживаемый язык карточки — английский. Лицензия — Apache-2.0.

Iris-mini APEX-I-MiniPlus-V2.1 GGUF — квантизированная версия модели AllSpark-Research/Iris-mini, подготовленная IsValorum для запуска через llama.cpp и совместимые инструменты. Это текстовая генеративная модель со sparse Mixture-of-Experts: заявлены 40 слоёв и 256 микроэкспертов. Модель поддерживает контекст до 256K токенов и предназначена для локального запуска на рабочих станциях с ограниченной видеопамятью, включая частичный или полный offload в системную RAM. Квантизация использует смешанную схему APEX-I-MiniPlus V2.1: маршрутизаторы gate_inp сохранены в F32, выходная матрица — в Q6_K, attention-компоненты используют Q4_K и Q6_K, attention gates — Q8_0, а основные эксперты — IQ3_XXS; общий размер заявлен примерно 13,74 GiB. Это ориентировано на сохранение качества рассуждений, синтаксической стабильности и устойчивости при длинном контексте при меньшем размере, чем у менее агрессивных квантизаций. В README приведён показатель WikiText-2 perplexity 5,3735 ± 0,1214, но независимые условия тестирования не описаны. Модель предназначена для генерации текста, рассуждений и задач, где важны большие контекстные окна; заявлена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Сильными сторонами являются компактный размер, сохранение маршрутизации MoE и возможность использовать системную RAM для KV-кэша и вычислений. Ограничениями остаются зависимость скорости от видеопамяти, пропускной способности RAM и архитектуры процессора, а также возможная потеря качества, характерная для квантизированных моделей. Распространяется по лицензии Apache-2.0.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

German Semantic V3 BMF — англоязычная модель Sentence Transformer, дообученная akot на базе jinaai/jina-embeddings-v2-base-de. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и использует косинусное сходство для сравнения текстов. В архитектуре — BERT-трансформер, усредняющий токенные представления с последующей нормализацией; в README указана максимальная длина последовательности 1024 токена, а метаданные задают контекст до 8192 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Обучение выполнено на 4 957 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss; заявлена поддержка английского языка. Репозиторий содержит веса Safetensors, модель насчитывает 160,1 млн параметров и распространяется по лицензии Apache-2.0. Представленные в карточке значения точности поиска очень низкие, поэтому качество следует проверить на целевых данных; длина последовательности в README отличается от контекста в метаданных.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

LFM2.5-8B-A1B-Q4_K_M-dequant-bf16 — вариант модели LFM2.5-8B-A1B от Liquid AI, основанный на LiquidAI/LFM2.5-8B-A1B-Base. Это текстовая MoE-модель для генерации ответов и работы в роли локального помощника. Карточка указывает 8,3 млрд параметров всего и около 1,5 млрд активных; метаданные репозитория указывают 1,6 млрд параметров. Модель использует гибридную архитектуру с 24 слоями и поддерживает контекст до 128 000 токенов. Модель предназначена для следования сложным инструкциям, агентных сценариев, вызова инструментов, структурированных ответов и многоязычных помощников, в том числе на устройствах с локальным инференсом. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский и итальянский. Карточка не рекомендует её для интенсивного программирования и фактологических ответов без поиска по источникам. Указана лицензия other; конкретные условия следует проверять в файлах репозитория. Имя модели указывает на вариант Q4_K_M, деквантизированный в bf16, но метаданные форматов перечисляют safetensors.

Saxo/Linkbricks-Horizon-AI-Korean-Pro-8B — корейская разговорная языковая модель от Linkbricks, основанная на архитектуре Llama и содержащая 7,5 млрд параметров. По карточке, она дообучена на базе Saxo/Linkbricks-Horizon-AI-Korean-Advanced-8B-COT-boost; в цепочке обучения базовой модели использовались NousResearch/Hermes-3-Llama-3.1-8B, продолженное предобучение, SFT и DPO. Модель рассчитана прежде всего на корейский язык, также поддерживает английский, японский и китайский. Модель предназначена для диалога, генерации и написания текстов, перевода между корейским, китайским, английским и японским, суммаризации, анализа отзывов и публикаций, программирования, математических и логических задач. Указанное контекстное окно — 131 072 токена; доступны веса в формате safetensors, лицензия Apache-2.0. Карточка заявляет усиленную обработку многоязычных задач и сложных рассуждений; независимые показатели качества не приведены.

llama-3.1-70B-lumitron — объединённая авторами модели nonetrix языковая модель на основе архитектуры Llama 3.1. Она создана методом task arithmetic с помощью mergekit: в объединение вошли nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и NeverSleep/Lumimaid-v0.2-70B. Модель содержит 69,5 млрд параметров, использует формат safetensors и доступна через библиотеку Transformers; заявленная длина контекста — 131072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и инструкции. Метаданные также отмечают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или отдельных гарантий работы этих возможностей. Лицензия в предоставленных данных не указана.

Llama-3.1-Tulu-3-70B-DPO — англоязычная инструкционная модель Allen Institute for AI, дообученная методом DPO на базе allenai/Llama-3.1-Tulu-3-70B-SFT. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 131 072 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений и решения разнообразных задач, включая математические задачи и оценку следования инструкциям. В карточке приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного сценария. Модель имеет ограниченную настройку безопасности и может выдавать проблемный контент, особенно по соответствующему запросу. Для использования доступны веса в форматах PyTorch и Safetensors через Transformers. Лицензия — Llama 3.1 Community License Agreement; перед применением следует учитывать её условия.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

LLM2Vec-Meta-Llama-3-8B-Instruct-mntp — текстовый энкодер на основе decoder-only LLM Meta Llama 3 Instruct с 8 млрд параметров, разработанный исследовательской группой McGill-NLP. Модель создана по методике LLM2Vec, которая преобразует авторегрессионные языковые модели в двунаправленные энкодеры: включает двунаправленное внимание и обучение с маскированием следующего токена (MNTP). Репозиторий проекта и описание метода опубликованы McGill-NLP. Модель предназначена для получения векторных представлений текстов и их семантического сравнения. Основные сценарии включают поиск и извлечение релевантных документов, reranking, классификацию, кластеризацию, оценку семантического сходства и задачи text embedding. Запросы можно кодировать с инструкциями, а для документов инструкции не требуются; сходство представлений можно вычислять, например, по косинусной близости. В README явно указан английский язык. В примере используется усредняющее pooling и максимальная длина 512 токенов. Сильной стороной модели является адаптация мощной инструкционной LLM к задачам универсального текстового кодирования без перехода на отдельную encoder-архитектуру; методика также допускает дальнейшее fine-tuning. Ограничения связаны с указанной языковой специализацией на английском, зависимостью от custom code и PEFT-компонентов при загрузке, а также с вычислительными требованиями модели размером 8B. README не приводит подробных результатов бенчмарков или полного описания поддерживаемого контекста. Лицензия модели — MIT.

llm-jp-4-8b-instruct — японская и англоязычная языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, а затем дообучение методом SFT; вариант instruct не проходил DPO. Шаблон чата совместим с форматом ответов OpenAI Harmony, но для корректной токенизации требуется токенизатор из репозитория. Разработчики предупреждают, что модели находятся на раннем этапе исследований и разработок и не были настроены для надёжного соответствия человеческим намерениям и требованиям безопасности. Модель распространяется по лицензии Apache-2.0.

Lore-Qwen3-embedding-0.6B — плотная модель эмбеддингов на основе Qwen3, дообученная методом LORE (Logic-ORiented Retriever Enhancement). Она предназначена для поиска по тексту, особенно для запросов со сложными логическими выражениями, и для различения релевантных документов и отвлекающих фрагментов. В обучении использовалось контрастивное разделение примеров на положительные, близкие отвлекающие и отрицательные; применялась архитектура с замороженным энкодером документов и обучаемым энкодером запросов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Лицензия — Apache-2.0. Модель рассчитана на создание векторных представлений текста для семантического поиска и retrieval-систем. По карточке, LORE улучшает обработку логически сложных запросов и сохраняет вычислительную эффективность базовой модели. В основе указан Qwen/Qwen3-0.6B-Base; README при этом называет Qwen/Qwen3-Embedding-0.6B исходной моделью для дообучения.

Magnum-Picaro-0.7-V3-12b — объединённая чат-модель на 12,1 млрд параметров, созданная Trappu с помощью LazyMergekit из Trappu/Nemo-Picaro-V2-12B и anthracite-org/magnum-v2-12b. В основе лежит плотная архитектура Mistral с моделью MistralForCausalLM; слияние выполнено методом TIES, веса сохранены в формате safetensors. Модель предназначена для диалогов и генерации текста по запросу. Каталог указывает контекст до 1 024 000 токенов. Метаданные описывают базовую модель как предназначенную для следования инструкциям и связной генерации на нескольких языках, но отдельные языки для этой версии не перечислены. Модель распространяется под лицензией, указанной в карточке Hugging Face; доступные сведения её не содержат.

marianodo/MegaBatchMarginLoss-10 — модель на базе MPNet, подготовленная в формате Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. При обучении использовалась функция потерь MegaBatchMarginLoss. Модель подходит для получения векторных представлений отдельных текстов, которые можно сравнивать или использовать в поисковых и кластеризационных системах. README не сообщает, на каких языках и данных она обучалась, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Merino-Pro — модель извлечения информации от baa.ai (Black Sheep AI), объединяющая в одном пакете биэнкодер для эмбеддингов и кросс-энкодер для переранжирования. Обе части основаны на xlm-roberta-large и совместно обучены с общей матрицей словесных эмбеддингов. Модель содержит около 872 млн параметров в fp16 и формирует 1024-мерные L2-нормализованные векторы; кросс-энкодер выдаёт оценку релевантности пары запроса и документа. Модель предназначена для поиска и ранжирования документов в retrieval- и RAG-системах. В README заявлена поддержка нескольких языков, но конкретные языки не перечислены. Для биэнкодера рекомендуется добавлять к запросам префикс «query: ». Разработчик сообщает о сертифицированной 4-битной квантизации без потери качества в описанном тесте с отвлекающими документами; рекомендует разбивать тексты на атомарные фрагменты и ставить ключевую сущность в начало. Для документов с несколькими разнородными фактами качество поиска может быть ниже; README советует использовать атомарное разбиение. Лицензия указана как other, конкретные условия в доступных данных не приведены.

Карточка модели Crystalcareai/meta-llama-3.1-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.