I.3Извлечение и структурирование данных

daekeun-ml выпустил KoSimCSE-supervised-roberta-base — корейскую модель эмбеддингов предложений на архитектуре RoBERTa-base, обученную методом SimCSE с контрастивным обучением на размеченных данных NLI. Она преобразует корейский текст в векторные представления для поиска семантически близких предложений и сравнения их смыслового сходства. Модель предназначена для семантического поиска, ранжирования похожих текстов и оценки сходства предложений. В README приведены результаты на корейских наборах KLUE-STS и Kor-STS; авторы сообщают, что supervised-версия превосходит unsupervised-вариант base на этих тестах. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Результаты и описание ориентированы на корейский язык. В README отмечено, что качество зависит от обучающих данных NLI и что увеличение максимальной длины последовательности само по себе не гарантирует улучшения; указанная при обучении максимальная длина — 32 токена.

Labradorite-13b — языковая модель IBM Research, дообученная по методике LAB (Large-scale Alignment for chatBots) для диалогов и генерации текста. В основе лежит LLaMA 2-13B; для синтеза обучающих данных использовалась Mixtral-8x7B-Instruct-v0.1. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 12,9 млрд параметров и поддерживает контекст до 4096 токенов. Модель рассчитана прежде всего на английский язык. Её можно применять для ответов на вопросы, рассуждений, творческого письма и других общих задач генерации текста; методика LAB также предназначена для добавления знаний из документов и обучения навыкам с сохранением ранее усвоенных данных. Модель распространяется по лицензии Llama 2 Community License. В README отмечено, что модель не выравнивалась по предпочтениям людей и может выдавать проблемные или вымышленные ответы. Она наследует ограничения LLaMA 2 и риски, связанные с синтетическими обучающими данными; для важных решений её выводы требуют проверки.

bartowski/lemon07r_VellumMini-0.1-Qwen3-14B-GGUF — это набор квантизированных версий языковой модели VellumMini-0.1-Qwen3-14B, разработанной lemon07r и преобразованной bartowski в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В основе используется модель класса Qwen3 с заявленным размером 14 млрд параметров. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью работы. Для квантизации применялась imatrix с калибровочными наборами данных; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены авторами как рекомендуемые, а Q4_K_M описан как подходящий вариант по умолчанию для большинства сценариев. Сильной стороной набора является широкий выбор размеров и форматов для локального инференса, включая варианты, оптимизированные для ограниченного объёма оперативной памяти и некоторых CPU-платформ. При этом README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, специализированных сценариях обучения или системном формате подсказок; prompt format не найден. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять на странице исходной модели lemon07r/VellumMini-0.1-Qwen3-14B.

bartowski/LiquidAI_LFM2.5-VL-3B-GGUF — набор GGUF-квантизаций модели LFM2.5-VL-3B, разработанной LiquidAI и преобразованной bartowski с использованием llama.cpp. Это мультимодальная модель для задач преобразования изображения и текста в текст: она принимает текст, а также изображения при наличии файла mmproj. Модель поддерживает арабский, китайский, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. Модель содержит около 3 млрд параметров, не поддерживает MTP и использует imatrix-квантизацию. Репозиторий предлагает варианты от BF16 и Q8_0 до компактных Q2–Q6 и IQ-квантизаций. Вариант Q4_K_M размером около 1,68 ГБ обозначен как сбалансированный по размеру и качеству; более высокие варианты Q5 и Q6 обеспечивают лучшее качество, а варианты Q3 и ниже рассчитаны на устройства с ограниченной оперативной памятью, но могут заметно уступать по качеству. Модель ориентирована на локальный запуск через совместимые инструменты экосистемы llama.cpp, включая сценарии на периферийных устройствах. К сильным сторонам относятся сравнительно небольшой размер, поддержка изображений и широкий набор языков. Ограничения включают зависимость мультимодального ввода от отдельного mmproj-файла, снижение качества при агрессивной квантизации и отсутствие сведений о размере контекста и результатах бенчмарков в предоставленной карточке. Лицензия указана как lfm1.0; подробные условия находятся в файле LICENSE.

Модель artificialguybr/LLAMA3.2-1B-Synthia-I-Redmond — дообученная версия NousResearch/Llama-3.2-1B, созданная автором artificialguybr на наборе инструкций Synthia-v1.5-I из 20,7 тыс. примеров. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, примерно 1,2 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для выполнения инструкций и разговорных приложений, а также для исследований и разработки в области NLP. Базовая Llama 3.2 — мультиязычная модель Meta; в карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дообучение ориентировано на следование инструкциям. Модель распространяется в форматах PyTorch и Safetensors по лицензии Llama 3.2. Карточка не приводит сравнительных оценок качества или отдельных ограничений; результаты могут зависеть от формулировки запроса и сценария применения.

LLaMa-3.2-Instruct-JankMixBread-v0.1-3B — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Meta Llama 3.2. В состав слияния вошли meta-llama/Llama-3.2-3B-Instruct и PJMixers-Dev/LLaMa-3.2-Instruct-JankMix-v0.1-SFT-3B; использован метод breadcrumbs_ties. Модель имеет плотную архитектуру LlamaForCausalLM и около 3,2 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и следование инструкциям. Заявленный размер контекста — 131 072 токена; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на мультиязычную основу, но конкретный перечень языков для этой модели не приведён. Модель распространяется по лицензии Llama 3.2. В README приведены результаты Open LLM Leaderboard, включая IFEval 50,41 и BBH 22,76; подробные результаты в доступной карточке отсутствуют. Слияние моделей не гарантирует улучшения качества относительно исходных чекпойнтов.

mkurman/llama-3.2-MEDIT-3B-o1 — компактная языковая модель, созданная дообучением MedIT Solutions Llama 3.2 3B Instruct, основанной на Meta Llama 3.2 3B Instruct. Она использует плотную архитектуру LlamaForCausalLM и содержит 3,2 млрд параметров. Модель предназначена для генерации текста в формате инструкций, ответов на вопросы и задач рассуждения в стиле o1; в README описаны специальные теги для отделения рассуждений от итогового ответа. Модель поддерживает текстовый ввод и генерацию текста, а её контекстное окно составляет 131 072 токена. В метаданных указан английский язык. Доступны веса в форматах Safetensors и GGUF; лицензия — llama3.2. Для более стабильного точного совпадения автор рекомендует отключать сэмплирование или использовать температуру 0.0. При генерации следует настроить стоп-последовательности, иначе модель может продолжать вывод служебных тегов. Ответы могут содержать фактические ошибки и предвзятости; медицинские выводы требуют проверки специалистом.

Модель tokinasin/llm-jp-4-8b-instruct-uncensored-ara — японско-английская чат-модель, созданная на основе llm-jp/llm-jp-4-8b-instruct с применением метода Arbitrary-Rank Ablation (ARA) для уменьшения числа отказов на запросы. Исходную серию LLM-jp-4 разработал Центр исследований и разработок больших языковых моделей Национального института информатики Японии; эту модификацию опубликовал пользователь tokinasin. Модель предназначена для диалогов и генерации текста по инструкциям на японском и английском языках. Это плотная трансформерная модель семейства Llama примерно на 7,8 млрд параметров с контекстом до 65 536 токенов и форматом safetensors. В README указано, что на тесте из 100 вопросов модифицированная версия отказала в 5 случаях, тогда как исходная — в 99; эти результаты относятся к указанной автором оценке. Снижение числа отказов означает, что модель может отвечать на большее число запросов, но также требует осторожности при использовании и проверки результатов. Лицензия — Apache-2.0.

LongAlign-7B-64k-base — базовая языковая модель семейства Llama, подготовленная командой проекта LongAlign на основе Llama-2-7B с расширенным контекстным окном до 64 тысяч токенов. Она предназначена для генерации текста и служит основой для выравнивания LLM под инструкции на длинном контексте. Проект LongAlign предлагает набор LongAlign-10k из 10 000 инструкций длиной 8–64 тысячи токенов, стратегии обучения с упаковкой примеров и сортировкой по длине, а также оценку LongBench-Chat для запросов длиной 10–100 тысяч токенов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и доступна в формате PyTorch для Transformers. В карточке указана поддержка английского и китайского языков. Лицензия — Apache-2.0. Это базовая модель с расширенным контекстом; README не утверждает, что именно этот вариант уже дообучен для диалогового следования инструкциям. Практическая длина контекста при использовании и качество на длинных запросах могут зависеть от конфигурации и сценария запуска.

Lumina-5.5-Instruct — диалоговая модель семейства Mixtral, созданная Ppoyaa с помощью LazyMergekit. Она предназначена для генерации текста в чате и использует архитектуру Mixture of Experts (MoE). В README заявлено 32 млрд параметров и контекст до 32 тыс. токенов; метаданные Hugging Face указывают 12,3 млрд параметров. Размер поэтому указан противоречиво. Модель основана на Ppoyaa/Lumina-5-Instruct и классифицирована в метаданных как дообучение этой модели. Опубликована в формате Safetensors; доступны отдельные варианты GGUF от mradermacher. Лицензия — Apache-2.0. Оценки Open LLM Leaderboard в README обозначены как ожидаемые.

LuminariX-8B — языковая модель для диалогов и генерации текста, созданная объединением моделей Llama 3 с помощью mergekit. В состав слияния вошли Orenguteng/Llama-3-8B-Lexi-Uncensored, Weyaxi/Einstein-v6.1-Llama3-8B и cognitivecomputations/dolphin-2.9-llama3-8b-256k; метод слияния — model_stock. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Модель предназначена для общения и генерации текста; базовая модель ориентирована на английский язык и включает научные и общие инструкционные данные с акцентом на задачи STEM. Заявленная длина контекста составляет 524 288 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Слияние включает модель с пометкой uncensored, однако README не описывает конкретные меры безопасности или результаты оценки качества. Практические результаты могут зависеть от промпта и используемого окружения.

magnum-12b-v2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели magnum-12b-v2, разработанной anthracite-org и квантованной bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для чат-взаимодействия и генерации текста; запуск возможен, в частности, через LM Studio. Для общения рекомендуется формат промпта ChatML с ролями system, user и assistant. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Известен размер базовой модели — 12B параметров; архитектура и размер контекстного окна в README не указаны. Доступны варианты от F32 размером 49 ГБ до низкобитных IQ2/Q2-квантизаций размером около 4,4–5,5 ГБ. Варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а Q4 — как компромисс между качеством и требованиями к памяти; более сильное сжатие снижает качество. Основные преимущества — широкий набор языков, выбор уровней квантизации и возможность локального запуска в формате GGUF. Ограничения включают неизбежную потерю качества у низкобитных вариантов и отсутствие в предоставленных данных сведений о результатах тестирования, мультимодальности и точном контекстном окне. Распространение указано по лицензии Apache-2.0.

Mahou-1.5-mistral-nemo-12B-lorablated — объединённая языковая модель на базе Mistral, созданная с помощью mergekit из flammenai/Mahou-1.5-mistral-nemo-12B и nbeerbower/Mistral-Nemo-12B-abliterated-LORA. Модель содержит 12,1 млрд параметров и использует архитектуру MistralForCausalLM; веса опубликованы в формате safetensors и представлены в библиотеке Transformers. Модель предназначена для генерации текста, диалогов и ролевого общения. В метаданных заявлено контекстное окно до 1 024 000 токенов. Слияние выполнено методом task arithmetic с типом данных bfloat16. Модель распространяется по лицензии Apache-2.0. Карточка приводит результаты оценки на IFEval и BBH, но не описывает подробно условия тестирования или ограничения качества.

Moritz Laurer разработал эту многоязычную модель на базе mDeBERTa-v3-base от Microsoft для вывода на естественном языке (NLI) и классификации текстов без обучения на заданных пользователем категориях. Модель сопоставляет текст-предпосылку с гипотезой и оценивает их отношение; для классификации гипотезы формулируют как категории-кандидаты. Она относится к архитектуре DeBERTa-v2, содержит 306 млн параметров и принимает пары текстов с контекстом до 512 токенов. Модель обучена на XNLI и многоязычном наборе NLI из 2,73 млн пар; README также указывает общий обучающий набор размером 3 287 280 пар. Она предназначена для многоязычного zero-shot-классифицирования и NLI. Предобучение базовой модели охватывает 100 языков, а NLI-дообучение — 27 языков, включая русский; перенос на остальные языки возможен, но его качество может быть ниже. В карточке приведены результаты оценки на XNLI и нескольких англоязычных наборах. К ограничениям относятся возможные смещения наборов NLI и ошибки машинного перевода в обучающих данных, способные ухудшать вывод на сложных примерах. Модель распространяется по лицензии MIT; для запуска нужны совместимые версии Transformers, поскольку старые версии могут иметь проблемы с токенизатором.

BEE-spoke-data разработала MEGA-энкодер mega-encoder-small-16k-v1 для маскированного языкового моделирования и последующего дообучения под задачи, совместимые с энкодерами. Модель имеет 8 слоёв, размер скрытого состояния 768 и около 122 млн параметров по README; метаданные указывают 100 млн параметров. Архитектура MEGA использует чанки длиной 1024 токена и поддерживает контекст до 16 384 токенов. Для токенизации используется словарь BART, совпадающий со словарём RoBERTa. Модель обучалась преимущественно предсказывать замаскированные токены, с дополнительными этапами обучения для ряда задач. Её можно дообучать для классификации, сопоставления предложений и других задач на последовательностях; README приводит результаты на GLUE. Указана лицензия Artistic-2.0. При длинном контексте обучение требует значительной видеопамяти; README отмечает рост её использования с длиной последовательности и рекомендует gradient checkpointing для дообучения на 16k токенах.

Mending-Hearts-12B — объединённая языковая модель, созданная автором Sorihon из предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована djuna/MN-Chinofun-12B-4; также в объединение вошли Vortex5/Nether-Moon-12B и MarinaraSpaghetti/NemoMix-Unleashed-12B. Модель семейства Mistral имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров. Она предназначена для генерации текста и диалогового общения; заявленная длина контекста — 131 072 токена. Данные о поддерживаемых естественных языках и специализированных предметных областях в карточке не приведены. Карточка не содержит сведений о качестве на конкретных тестах или об известных ограничениях. Лицензия в предоставленных данных не указана.

Это конверсия MetaCLIP 2 Worldwide B32 384 в формате Keras 3, подготовленная zeromodels на основе facebook/metaclip-2-worldwide-b32-384. Модель использует архитектуру CLIP с двумя энкодерами для изображений и текста и предназначена для классификации изображений по текстовым описаниям без дообучения: она сопоставляет изображение с заданными пользователем текстовыми классами и оценивает их соответствие. Worldwide-вариант обучен на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов, поэтому поддерживает текстовые запросы на разных языках, включая английский, французский, испанский и немецкий. Версия B32 384 принимает изображения и текстовые метки; реализация Keras 3 может запускаться с TensorFlow, Torch или JAX. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

Metask-Jev-4B — мультиязычная модель Wayfind для классификации и типизированных решений. Она принимает описание состояния, например текст, обращение, политику или JSON, и вопрос с вариантами выбора, ответом «да/нет» или шкалой оценки. Модель за один проход выдаёт вероятности для вариантов, не генерируя текст; в README указаны 4,54 млрд параметров, архитектура Qwen3.5-4B с объединённым LoRA и нативный контекст 262 144 токена. README сообщает о поддержке 16 языков, включая русский. Модель предназначена для маршрутизации запросов, сортировки обращений, модерации, проверки утверждений по свидетельствам и оценивания по рубрикам, когда нужны вероятностные метки вместо объяснений. В README приведены результаты на нескольких наборах и замеры производительности, но часть сравнений и рейтинга обозначена как собственная оценка автора; заявленная точность заметно ниже на сложных случаях, а оценка релевантности SummEval имеет систематическое смещение между соседними баллами. Температурная калибровка улучшает калибровку вероятностей. Лицензия — Apache-2.0.

MFANN3bv0.6 — языковая модель семейства Phi с 3,5 млрд параметров, дообученная netcat420 на наборе данных MFANN в состоянии на 2 мая 2024 года. Репозиторий создан 2 мая 2024 года; модель рассчитана на текстовые задачи и представлена в формате Safetensors. В метаданных основным тегом указана классификация текста, а карточка также заявляет генерацию текста; каталог отмечает расхождение и поддерживает оба сценария. Карточка приводит результаты бенчмарков ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, но не описывает методику оценки. Контекст модели составляет 2048 токенов. Лицензия — Apache-2.0. README заявляет 2,78 млрд параметров, что расходится с метаданными, где указано 3,5 млрд; поэтому размер следует трактовать с осторожностью.

Mini_DPO_test02-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и Mini_DPO_test02 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате чата; поддерживает контекст до 32 768 токенов. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В карточке не приведены сведения о специальных предметных областях или сравнительных оценках качества.

Ministral-3-14B-Reasoning-2512-Uncensored-GGUF — квантизированная GGUF-версия модели Ministral-3-14B-Reasoning-2512-Uncensored, разработанной ccharnkij и подготовленной к квантизации mradermacher. Модель предназначена для генерации текста и задач, требующих рассуждений; заявлена поддержка мультимодальных сценариев image-text-to-text, включая обработку изображений через дополнительный multimodal projector. Указан английский язык. Модель относится к семейству Ministral и имеет размер 14 млрд параметров. Доступны варианты квантизации от Q2_K до Q8_0, а также IQ4_XS, с размером файлов примерно от 5,3 до 14,5 ГБ; варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий наилучшее качество среди представленных. README не содержит сведений о размере контекста, точной архитектуре, результатах тестирования или практических ограничениях качества. Это uncensored-модификация, поэтому поведение модели с точки зрения безопасности и отказов следует дополнительно проверять перед применением. Модель распространяется по лицензии Apache-2.0. Для мультимодального использования требуются отдельные файлы mmproj в форматах Q8_0 или F16. README не уточняет системные требования, совместимые приложения и подробные инструкции по применению.

DevQuasar/mistralai.Magistral-Small-2509-GGUF — это квантизированная версия модели Magistral-Small-2509 от Mistral AI, подготовленная сообществом или организацией DevQuasar. Модель предназначена для генерации текста и совместима с форматом GGUF, который обычно используется для локального запуска языковых моделей, однако конкретный вариант квантования в README не указан. Из доступных данных известно только, что модель относится к задачам text-generation. Сведения о размере, архитектуре, количестве параметров, поддерживаемых языках, длине контекста и мультимодальных возможностях отсутствуют, поэтому их нельзя достоверно описать. Вероятным преимуществом является возможность более компактного локального размещения по сравнению с полной версией, но квантизация может влиять на качество и точность генерации. Лицензия и условия использования в README не указаны. Перед применением модели в коммерческих или публичных системах необходимо отдельно проверить лицензию исходной модели Magistral-Small-2509 и условия распространения квантизированной версии.

unsloth/Mistral-Nemo-Base-2407-bnb-4bit — это 4-битная версия базовой языковой модели Mistral Nemo, подготовленная Unsloth и предназначенная для работы с библиотекой Transformers. В README также упоминается вариант Mistral Nemo на 12 миллиардов параметров, однако точный размер именно этой сборки явно не подтверждён. Модель предназначена для дальнейшего дообучения и выполнения задач генерации и продолжения текста, включая настройку на собственных наборах данных. Unsloth предоставляет сценарии дообучения через Google Colab и заявляет снижение потребления памяти и ускорение процесса; модель также можно экспортировать в форматы GGUF и vLLM. Указан английский язык, но другие языки и мультимодальные возможности не описаны. Ключевая особенность сборки — 4-битное квантование в формате bnb, что снижает требования к памяти по сравнению с полноразмерной моделью, но может повлиять на точность. Архитектурные параметры, размер контекста, результаты оценки и ограничения применения в README не приведены. Модель распространяется по лицензии Apache-2.0.

AMD разработала эту квантованную версию Mixtral-8x7B-Instruct-v0.1 компании Mistral AI для эффективного вывода на CPU AMD EPYC. Модель предназначена для генерации текста и обработки инструкций в сценариях, где требуется запуск Mixtral на совместимой Linux-инфраструктуре с использованием vLLM и оптимизаций ZenDNN. Архитектура модели — MixtralForCausalLM; она принимает текст и генерирует текст. Применена динамическая 8-битная квантизация весов и активаций W8A8: веса представлены симметричными целыми INT8, активации квантуются динамически. В README не указаны размер контекста и полный список поддерживаемых языков; заявлен английский язык. Совместимый стек включает ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0 и vLLM 0.25.1. Сильная сторона модели — оптимизация для CPU-инференса на AMD EPYC и потенциальное снижение требований к памяти благодаря INT8-квантизации. Результаты сравнительной оценки с базовой BF16-моделью пока отсутствуют. Модель имеет жёсткую зависимость от указанных версий программного стека и не предназначена для GPU-инференса. Лицензия указана как Apache-2.0; модель распространяется на тех же условиях, что и исходная модель.

Xenova/mobileclip_s2 — экспорт модели MobileCLIP S2 в формате ONNX, подготовленный Xenova для совместимости с библиотекой Transformers.js. Модель семейства CLIP сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений по произвольным текстовым категориям без отдельного обучения классификатора; её можно использовать в JavaScript-приложениях, поддерживающих Transformers.js. Модель принимает изображения и текстовые варианты категорий и выдаёт оценки соответствия, на основе которых выбирается наиболее подходящая категория. В карточке подтверждены формат ONNX и задача zero-shot image classification. Лицензия указана как other, поэтому конкретные условия использования по имеющимся сведениям определить нельзя.

MS-Meadowlark-22B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели MS-Meadowlark-22B, разработанной allura-org. Модель относится к семейству моделей, созданных с использованием mergekit, и предназначена для генерации текста. Квантизацию выполнил bartowski с помощью llama.cpp и imatrix, что позволяет запускать модель локально, в том числе через LM Studio. Для взаимодействия в README указан шаблон prompt: <s> [INST] запрос [/INST]. Модель имеет размер 22B параметров; доступны варианты от полноразмерных F16 до более компактных Q2, Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 8,47 до 44,50 ГБ. Более качественные варианты Q5 и Q6 рекомендованы для сохранения исходных возможностей, тогда как Q3 и Q2 предназначены для систем с ограниченным объёмом оперативной памяти и обеспечивают более низкое качество. Отдельные варианты оптимизированы для ARM и требуют поддержки SVE или i8mm; они не рекомендуются для Mac и Windows. Данные о поддерживаемых языках, длине контекста, архитектуре базовой модели, мультимодальности и результатах тестирования не указаны. Распространение выполняется по лицензии MRL-0.1 от Mistral AI.

Muse-Glimmer-30B-FP8-block — мультимодальная модель условной генерации, разработанная RedHatAI на основе meta-models/Muse-Glimmer-30B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для задач мультимодального анализа и вывода, включая сценарии, поддерживаемые базовой моделью и совместимые с vLLM. Модель использует архитектуру MuseGlimmerForConditionalGeneration и посттренировочное квантование весов и активаций в формате FP8 W8A8 block. Квантованы линейные операторы внутри transformer-блоков, а vision-компоненты, lm_head и embedding-слои исключены из квантования. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти. README не указывает число параметров базовой модели, поддерживаемые языки и размер контекста. Модель оптимизирована для инференса с vLLM и поставляется в формате compressed-tensors; заявлена поддержка мультимодального инференса, tensor parallelism, tool calling и reasoning parser в vLLM. Квантование выполнено с помощью LLM Compressor по схеме FP8_BLOCK без калибровочных данных, что упрощает подготовку модели, но может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

Neural-4-QA-7b — объединённая модель Mistral, созданная автором репозитория с помощью LazyMergekit на основе пяти моделей: yam-peleg/Experiment21-7B, CultriX/NeuralTrix-bf16, louisgrc/Montebello_7B_SLERP, CorticalStack/pastiche-crown-clown-7b-dare-dpo и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и может применяться для диалоговых ответов и задач вопросно-ответного характера. По карточке нельзя определить, какие именно возможности исходных моделей сохранены или насколько хорошо модель справляется с отдельными задачами. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Nexim-7b — объединённая языковая модель, опубликованная пользователем gate369. Она создана методом SLERP с помощью mergekit из liminerity/m3 и liminerity/M7-7b; базовая модель в конфигурации — liminerity/m3. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и решения языковых задач общего назначения. Её можно применять для диалогов, написания черновиков и ответов на вопросы. Контекстное окно составляет 32 768 токенов. Карточка приводит результаты Open LLM Leaderboard, включая оценки по AI2 Reasoning Challenge и HellaSwag. Весы опубликованы в формате safetensors, лицензия — Apache-2.0. Данных о языковой специализации и ограничениях качества в карточке нет; результаты бенчмарков сами по себе не гарантируют качество в конкретном сценарии.

orca_mini_13b — языковая модель Pankaj Mathur, созданная на базе OpenLLaMA-13B дообучением на наборах инструкций WizardLM, Alpaca и Dolly-V2. При подготовке данных применялся подход из исследовательской работы Orca: примеры дополнялись системными инструкциями и пояснениями, призванными передать ход рассуждений модели-учителя GPT-3.5-turbo-0301. Модель предназначена для генерации текста по инструкциям, диалоговых ответов и выполнения общих языковых задач на английском языке. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, доступная в форматах PyTorch и Safetensors через Transformers. Контекст составляет 2048 токенов. Модель обучена на синтетических и пользовательских наборах инструкций; качество может различаться в зависимости от запроса, а ответы могут быть неточными или содержать ошибки. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не допускает коммерческого использования.