II.10Разработка и эксплуатация AI/ML-систем

bofenghuang/whisper-large-v2-french — дообученная версия Whisper large-v2 для распознавания французской речи. Модель разработана bofenghuang на основе openai/whisper-large-v2 и обучена на составном наборе из более чем 2200 часов аудио, включавшем Common Voice 11.0, Multilingual LibriSpeech, VoxPopuli, Fleurs, Multilingual TEDx, MediaSpeech и African Accented French. В метаданных указаны архитектура WhisperForConditionalGeneration, 905,2 млн параметров и библиотека Transformers. Модель преобразует французскую речь в текст и подходит для транскрибации записей и аудио из разных источников, в том числе речи с африканскими акцентами. Для распознавания входное аудио следует подавать с частотой дискретизации 16 кГц. Модель не предсказывает регистр букв и пунктуацию; приведённые в карточке показатели WER относятся к отфильтрованным и предобработанным тестовым наборам и не описывают все условия использования. Распространяется по лицензии Apache-2.0.

Whisper Medium Russian — модель распознавания речи, созданная дообучением openai/whisper-medium на русскоязычной части набора Mozilla Common Voice 11.0. Она принимает аудио и преобразует русскую речь в текст; архитектура основана на Whisper и содержит около 455,8 млн параметров. Модель подходит для транскрибирования записей и голосовых сообщений на русском языке. В карточке указаны результаты на оценочном наборе: loss 0,2253 и WER 7,5624. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

WizardLM-2-7B-abliterated-GGUF — это квантизированная версия языковой модели WizardLM-2-7B-abliterated, опубликованная и подготовленная bartowski на основе оригинальной модели fearlessdots. Модель предназначена для генерации текста и запуска локально через llama.cpp; в README указан формат запросов с системным сообщением, ролями USER и ASSISTANT. Модель содержит 7 млрд параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Доступны сборки размером примерно от 1,61 до 7,69 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. В README не указаны поддерживаемые языки, размер контекстного окна, архитектура исходной модели или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона семейства — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для высокого качества рекомендуются Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4. Более агрессивная квантизация экономит память, но снижает качество, особенно у вариантов IQ1. Модель распространяется по лицензии Apache-2.0.

YamshadowInex12_NeuralsirkrishnaInex12 — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

YamshadowStrangemerges_32_YamshadowT3q — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/YamshadowStrangemerges_32-7B и automerger/YamshadowT3q-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; максимальный контекст составляет 32 768 токенов. Она предназначена для генерации текста и ответов на математические запросы. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией Apache-2.0.

AI21-Jamba-Reasoning-3B-GGUF — набор GGUF-квантизованных версий языковой модели AI21-Jamba-Reasoning-3B, разработанной AI21 Labs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, где требуется рассуждение; запуск возможен локально через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты от исходных BF16-весов размером 6,40 ГБ до компактных квантов IQ3 и Q3 размером примерно 1,47–1,76 ГБ, а также более качественные варианты Q4–Q8. Рекомендуемые сборки включают Q4_K_M, Q5, Q6 и другие варианты; выбор позволяет балансировать качество, скорость и требования к оперативной памяти. Формат приглашений предусматривает системное и пользовательское сообщения, а также блок <think> для рассуждений перед ответом. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках и модальностях, поэтому эти характеристики неизвестны. Более сильные квантизации обеспечивают качество, близкое к исходным весам, тогда как компактные варианты экономят память ценой снижения качества. Лицензия в представленном описании не указана.

bartowski/allura-org_Qwen3.6-35B-A3B-Anko-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3.6-35B-A3B-Anko, разработанной allura-org. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может использоваться локально в llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и других совместимых инструментах. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 16,2 до 69,4 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлены английский и китайский языки. В README не указаны размер контекста, точная архитектура, дополнительные модальности или результаты бенчмарков, поэтому эти характеристики нельзя достоверно оценить по предоставленным данным. Сильной стороной модели является широкий выбор квантизаций, включая варианты, ориентированные на высокое качество или экономию памяти, а также совместимость с популярными средствами локального запуска. Ограничения связаны с потерями качества, возможными при использовании низкобитных вариантов, значительными требованиями к диску и оперативной или видеопамяти, а также с необходимостью поддержки этой модели конкретным программным обеспечением. Модель распространяется по лицензии Apache-2.0.

Модель dsvv-cair/alpaca-cleaned-llama-30b-bf16 — языковая модель семейства LLaMA, дообученная методом QLoRA на наборе yahma/alpaca-cleaned. Она предназначена для генерации текста по запросам и инструкциям, включая ответы на вопросы и выполнение текстовых поручений. Модель содержит 32,3 млрд параметров, использует архитектуру LlamaForCausalLM и формат PyTorch; заявленная длина контекста — 2048 токенов. В README приведены результаты оценки на тестах ARC и HellaSwag. Для работы нужны совместимые средства запуска моделей PyTorch и подходящие вычислительные ресурсы для модели такого размера. Базовая модель — huggyllama/llama-30b. Лицензия в доступных данных не указана.

Apodex-1.1-mini-GGUF — это квантизированная GGUF-версия модели Apodex-1.1-mini, подготовленная bartowski на основе оригинальной модели apodex с использованием llama.cpp. Модель содержит около 36 млрд параметров и предназначена для агентских сценариев и задач генерации текста с поддержкой изображений при наличии файла mmproj. Заявлена поддержка английского и китайского языков, а также спекулятивного декодирования MTP и imatrix-квантизации. Модель доступна в вариантах от BF16 и Q8_0 до более компактных Q3 и IQ3/IQ4-квантизаций. Рекомендуемым компромиссом между качеством и размером указан Q4_K_M объёмом 21,86 ГБ; варианты Q5 и Q6 обеспечивают более высокое качество, но требуют больше памяти, а варианты Q3 экономят ресурсы за счёт заметного снижения качества. Поддерживаются текстовый и визуальный ввод, однако сведения о точной архитектуре, размере контекста, возможностях вывода изображений и прикладных ограничениях отсутствуют. Распространяется по лицензии Apache-2.0.

Cadence-Fast — компактная модель AI4Bharat для восстановления пунктуации в тексте на английском и 22 индийских языках. Это дообученная на базе google/gemma-3-270m модель с плотной архитектурой Gemma3ForTokenClassification, предназначенная для токенной классификации и предсказания знаков препинания. Модель подходит для расстановки пунктуации в неразмеченном тексте и транскриптах речи. Она предсказывает точки, запятые, вопросительные и восклицательные знаки, кавычки, скобки и другие знаки; для длинных текстов пакет cadence-punctuation поддерживает обработку скользящими окнами. По данным карточки, Cadence-Fast достигает более 93,8% качества Cadence при значительно большей скорости. Контекст модели — до 32 768 токенов. Поддерживаются английский, ассамский, бенгальский, бодо, догри, гуджарати, хинди, каннада, кашмири, конкани, майтхили, малаялам, манипури, маратхи, непали, одиа, пенджаби, санскрит, сантали, синдхи, тамильский, телугу и урду. Для письма мейтей токенизатор работает недостаточно хорошо; карточка предлагает транслитерацию в бенгальское письмо. Для других языков качество не гарантируется. Модель распространяется по лицензии MIT.

CyberNeurova-DeepSeek-V4-Flash-abliterated-GGUF — экспериментальная исследовательская версия DeepSeek-V4-Flash, разработанная CyberNeurova. Это permanently-abliterated модель, в которой изменения, снижающие склонность к отказам, встроены непосредственно в веса во время конвертации. Модель упакована в формат GGUF для запуска через специализированную экспериментальную ветку llama.cpp, поддерживающую DeepSeek-V4-Flash. Модель предназначена для генерации текста, программирования, рассуждений, поиска ошибок, кибербезопасностных исследований и сценариев с вызовом инструментов. По заявлению автора, версия v2 показывает 99,2% соответствия формату tool calling, 85,0% эффективности в поиске ошибок, 90,0% соответствия в задачах hacking и cyber-weapons compliance, а также низкий уровень отказов на указанных тестах. Архитектура основана на 284-миллиардной FP8 MoE-модели DeepSeek-V4-Flash; поддерживаемая модальность — текст, язык README указывает английский. Размер контекста в карточке не указан. Доступны варианты Q2_K размером около 98,8 ГБ и Q8_0 размером около 282 ГБ. Для Q2_K рекомендуется не менее 128 ГБ RAM, для Q8_0 — около 320 ГБ; GPU необязателен. Q2_K практичнее для рабочих станций, а Q8_0 ориентирован на максимальное качество и исследования. Ограничения включают экспериментальный статус, зависимость от специальной ветки llama.cpp, необходимость корректной stop-последовательности и высокие требования к памяти. Модель распространяется по лицензии MIT.

DeepSeek-OCR-Latest-BF16.I64 — оптимизированная версия DeepSeek-OCR, представленная в карточке как открытая мультимодальная vision-language модель для OCR. Она извлекает печатный и рукописный текст из изображений и сканов документов, формируя обычный текст или Markdown. Модель может сохранять структуру документа, включая заголовки, таблицы и списки, и учитывать расположение элементов страницы. Для обработки изображений документов она использует визуально-языковой подход; README описывает 3B VLM backbone, а метаданные указывают 559,7 млн параметров и контекст 8192 токена. Модель рассчитана на Transformers и поддерживает настройки реализации attention, включая Flash Attention и SDPA. В карточке указана лицензия MIT. README сообщает о тестировании BF16-варианта на NVIDIA H200 MIG; практическое качество и совместимость с другими конфигурациями могут отличаться.

DeepSeek-R1-0528-Qwen3-8B-MLX-8bit — это 8-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и библиотеки MLX, созданной командой Apple Machine Learning Research. Модель предназначена для генерации текста и оптимизирована для работы на устройствах с Apple Silicon. Ключевая характеристика модели — 8-битное представление весов в формате MLX, что делает её адаптированной для локального запуска в экосистеме Apple. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, результатах тестирования или специализированных сценариях применения. К ограничениям относятся возможные неточности, вредное или неуместное содержание, характерные для генерирующих моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-RAZOR-230B-A13B-E192of256 — производная версия DeepSeek-V4-Flash-0731, созданная методом RAZOR без дообучения. Разработчик удалил четверть маршрутизируемых экспертов: в каждом из 43 MoE-слоёв оставлено 192 из 256 экспертов, включая слои multi-token prediction. Модель содержит около 230 млрд параметров, из них примерно 13 млрд активны на токен; внимание, общие эксперты, эмбеддинги и LM-head не изменялись. Эксперты хранятся в MXFP4, общие эксперты — в FP8. Модель предназначена для генерации текста и сценариев, где требуется использовать возможности DeepSeek-V4-Flash при сокращённом наборе экспертов. Заявлены контекст до 1 048 576 токенов и лицензия MIT. Для кодирования сообщений в README предлагается официальная реализация encoding_dsv4.py, поскольку Jinja chat template не поставляется. Удаление экспертов является потерей информации: хотя точность задач может в значительной степени сохраняться, разнообразие, форматирование и поведение при завершении ответа могут меняться. Калибровка проводилась на конечном многодоменном наборе данных, поэтому поведение на удалённых от него областях не охарактеризовано; перед применением модель следует оценить на целевых запросах.

DocLayout-YOLO Docstructbench — модель компьютерного зрения для обнаружения элементов структуры документов, основанная на семействе DocLayout-YOLO и представленная в формате ONNX. Она предназначена для поиска и классификации десяти типов областей: заголовков, обычного текста, иллюстраций и подписей к ним, таблиц и их подписей и сносок, а также формул и подписей к ним. Модель можно применять в конвейерах анализа документов и подготовки их структурированного представления. Модель рассчитана на входные изображения документов и выдаёт обнаруженные области с метками классов. Репозиторий указывает Apache-2.0 в качестве лицензии. Карточка не сообщает сведения о размере модели, контексте или языковой поддержке; применимость может зависеть от качества и разметки входного документа.

EXAONE-3.5-7.8B-Instruct-GGUF — набор GGUF-квантизаций инструкционной языковой модели EXAONE-3.5-7.8B-Instruct, разработанной LGAI. Репозиторий подготовлен ThomasBaruzier с использованием llama.cpp и imatrix-квантизации; представлены варианты с разными уровнями сжатия и размерами файлов. Модель предназначена для генерации текста и выполнения инструкций в текстовых сценариях. В README указаны английский и корейский языки. Размер исходной модели составляет 7,8 млрд параметров, однако архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации IQ и Q, примерно от 1,8 до 5,6 ГБ; выбор варианта позволяет балансировать между требованиями к памяти и сохранением качества. К сильным сторонам относятся возможность локального запуска через совместимый стек llama.cpp, широкий выбор квантизаций и опубликованные показатели perplexity и accuracy для сравнения вариантов. Более агрессивное сжатие уменьшает размер модели, но может заметнее снижать качество. Модель текстовая и не поддерживает заявленные мультимодальные сценарии. Лицензия обозначена как EXAONE; подробные условия следует уточнять в файле LICENSE.

Dzluck публикует Gemma 4 E2B JANG4M CRACK — изменённую версию Google Gemma 4 E2B Instruct с удалёнными отказами. Модель предназначена для диалогов, рассуждений, ответов на вопросы и генерации кода; принимает текст и изображения, а автор также заявляет о сохранении аудиовхода. Каталог Hugging Face относит её к мультимодальной задаче image-text-to-text и указывает архитектуру Gemma4ForConditionalGeneration с плотной архитектурой. Модель использует смешанную квантизацию JANG_4M: 8-битные веса внимания и 4-битные веса MLP, в среднем около 4,3 бита. По данным автора, MMLU снизился на 1,7 процентного пункта относительно исходной модели; в тестах HarmBench автор сообщает о полном выполнении запросов вредных категорий. Для запуска нужны Mac на Apple Silicon и vMLX с поддержкой Gemma 4; стандартные mlx_lm и mlx_vlm поддерживаются не полностью. Лицензия — Gemma; карточка также обозначает модель как предназначенную для исследований.

Granite Vision 3.3 2B — компактная мультимодальная модель IBM для понимания изображений, особенно документов. Она предназначена для извлечения и структурирования сведений из таблиц, графиков, инфографики, диаграмм и других визуальных материалов, а также для ответов на вопросы по изображениям. Модель построена на архитектуре LLaVA: использует визуальный энкодер SigLIP2, двухслойный MLP-коннектор и языковую модель Granite 3.1 2B Instruct с контекстом 128 тыс. токенов. В карточке описаны экспериментальные возможности сегментации изображений, генерации doctags и анализа последовательностей до восьми страниц документа. Для многостраничной обработки рекомендуется уменьшать длинную сторону изображения до 768 пикселей. Модель подходит для извлечения данных из документов и визуального поиска с использованием MM-RAG. Возможны неточные, предвзятые или нежелательные ответы; авторы рекомендуют применять её прежде всего для понимания документов, поскольку более общие задачи по изображениям могут давать нежелательные результаты. Лицензия — Apache-2.0.

GRM-2.6-Air-Opus — компактная текстовая модель OrionLLM, дообученная на базе LiquidAI/LFM2.5-1.2B-Thinking на трассах рассуждений в стиле Claude Opus. Она предназначена для генерации ответов с более структурированным рассуждением и решения сложных задач при ограниченных ресурсах, включая локальное и встроенное развёртывание. Модель относится к семейству LFM2, использует плотную архитектуру Lfm2ForCausalLM и содержит около 1,5 млрд параметров; нативная длина контекста — 128 000 токенов. Поддерживается диалоговый режим. README сообщает об обновлении шаблона чата для совместимости с вызовом инструментов. Модель рассчитана на лёгкое развёртывание и предлагает компактный вариант рассуждающей модели. Заявления об улучшении решения сложных задач приведены разработчиком; численные результаты бенчмарков в доступной карточке отсутствуют. Информация о лицензии в предоставленных данных отсутствует.

mlx-community/Hermes-3-Llama-3.1-8B-8bit — 8-битная версия Hermes 3 на базе Llama 3.1 8B, подготовленная сообществом mlx-community для формата MLX. Модель была преобразована из NousResearch/Hermes-3-Llama-3.1-8B с помощью mlx-lm 0.16.1; метаданные указывают на дообучение исходной Llama 3.1 8B и архитектуру LlamaForCausalLM с 7,5 млрд параметров. Модель предназначена для диалогов и следования инструкциям, включая генерацию текста, ролевые сценарии и вызов функций. Заявленный контекст составляет 131 072 токена; в карточке указаны английский язык, chat template ChatML, режим JSON и function calling. Формат MLX рассчитан на запуск через mlx-lm. Для модели указана лицензия llama3. Карточка не приводит отдельных результатов оценки качества; фактическая скорость и потребление памяти зависят от устройства и сценария запуска.

silence09 опубликовал преобразованную версию InternLM3-8B-Instruct, представленную в формате архитектуры Qwen2 для совместимости с некоторыми сценариями инференса и классом Qwen2ForCausalLM. Модель содержит 8,3 млрд параметров, использует плотную архитектуру и сохраняет точность исходных весов. Контекст — до 32 768 токенов; поддерживается диалоговое использование и генерация текста. Модель предназначена для запуска запросов к исходной InternLM3-8B-Instruct в окружениях, рассчитанных на Qwen2. Базовая модель ориентирована на общие запросы, работу со знаниями и сложные рассуждения. Репозиторий распространяется по лицензии Apache-2.0.

unsloth/InternVL3-8B-GGUF — квантованная в формате GGUF версия мультимодальной модели InternVL3-8B, разработанной командой OpenGVLab и опубликованной Unsloth. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; её применение охватывает мультимодальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, использование инструментов и восприятие 3D-сцен. Архитектура построена по схеме ViT-MLP-LLM: визуальная часть InternViT-300M-448px-V2_5 соединена с языковой моделью Qwen2.5-7B через MLP-проектор. Модель относится к семейству размером 8B параметров, поддерживает мультиязычную обработку, а её заявленный конвейер — image-text-to-text. В качестве обучающего набора указан OpenGVLab/MMPR-v1.2. README не содержит точного значения контекстного окна и подробностей о конкретном варианте квантования. К сильным сторонам относятся сочетание визуального анализа и языкового рассуждения, расширенные мультимодальные сценарии и возможность использования GGUF-версии в совместимых локальных средах. Ограничения связаны с необходимостью поддерживаемого рантайма для GGUF, возможными компромиссами квантования и отсутствием в карточке детальных количественных характеристик производительности. Указана лицензия Apache-2.0; при этом в метаданных также приведена ссылка на лицензию Qwen.

ramdane/jurimodel — модель семейства XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Она выдаёт текстовые эмбеддинги, которые можно использовать для поиска близких по смыслу фрагментов и группировки документов. Название предполагает юридическую направленность, однако README не подтверждает специализацию на правовых текстах, поэтому её не следует считать установленной. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

K2-Horizon-7B-Uno MLX 6-bit — языковая модель для генерации текста, подготовленная hermitdave на основе IFM/K2-Horizon-7B-Uno от Institute of Foundation Models. Это плотная авторегрессионная модель семейства K2-Horizon с 8 млрд параметров; исходная модель описана как дополненная диффузией, а LoRA-адаптер объединён с базовыми весами. Репозиторий содержит равномерно квантованную до 6 бит версию в формате MLX для запуска на Apple Silicon. Модель предназначена для генерации ответов и рассуждений по текстовым запросам. Заявлено контекстное окно до 524 288 токенов; для запуска автор рекомендует высокий уровень усилия рассуждения. Для работы с K2-Horizon в oMLX требуется версия 0.6.4 или новее с патчем поддержки этой архитектуры. Модель распространяется по лицензии Apache 2.0. Квантование до 6 бит может влиять на качество относительно исходных весов; README также указывает на требование к поддерживаемой версии oMLX при использовании этого способа запуска.

Krutrim-2-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Krutrim-2-instruct, разработанной krutrim-ai-labs и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от полноточных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4 и Q3, размером примерно от 5,7 до 49 ГБ. Доступны языки English, Hindi, Bengali, Marathi, Telugu, Tamil, Kannada, Malayalam, Gujarati, Assamese и Punjabi. Архитектура, число параметров, размер контекста, поддержка дополнительных модальностей и точные сценарии обучения в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. Основное преимущество набора — широкий выбор уровней квантизации для подбора баланса между качеством, скоростью и требованиями к памяти. В README варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые, однако низкоразрядные версии могут заметно уступать полноточным по качеству. Модель распространяется по Krutrim Community License Agreement версии 1.0; подробные условия следует уточнять в файле лицензии.

LiquidAI/LFM2.5-8B-A1B-MLX-bf16 — версия модели Liquid AI, преобразованная из LiquidAI/LFM2.5-8B-A1B в формат MLX с помощью mlx-lm 0.31.3. Это языковая модель с архитектурой MoE для генерации текста и диалогов; веса представлены в bf16 без квантизации. В модели 1,6 млрд параметров, контекстное окно — до 128 000 токенов. Модель рассчитана на многоязычные диалоги и поддерживает вызов функций. В метаданных указаны английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Формат MLX предназначен для запуска в экосистеме MLX; README рекомендует использовать библиотеку mlx-lm и оригинальную карточку для сведений о настройках генерации. Лицензия обозначена как other; конкретные условия следует проверять в карточке репозитория.

duyntnet/Llama-3.2-1B-Instruct-imatrix-GGUF — набор imatrix-квантизаций модели Llama 3.2 1B Instruct в формате GGUF, разработанный на основе модели Meta Llama 3.2 1B Instruct. Автор исходной модели — Meta; сведения об отдельном разработчике квантизаций в README не указаны. Модель предназначена для генерации текста и диалоговых сценариев, включая многоязычное общение, агентский поиск с извлечением данных и суммаризацию. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer, дообученная с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Размер — 1 млрд параметров, модальности — текст на входе и выходе. В README указан язык en, при этом исходная коллекция описывается как мультиязычная; точный перечень поддерживаемых языков и размер контекстного окна не приведены. К ключевым преимуществам относятся компактный размер, возможность локального запуска и поддержка экосистемы llama.cpp, KoboldCPP, text-generation-webui и Ollama. Ограничения связаны с меньшей ёмкостью по сравнению с более крупными моделями, возможными потерями качества из-за квантизации и отсутствием подробных данных о конкретных вариантах квантования и их производительности. Лицензия обозначена как other; её точные условия в README не раскрыты.

Llama-3-Perky-Pat-Instruct-8B-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3-Perky-Pat-Instruct-8B. В качестве базовых моделей указаны Meta-Llama-3-8B-Instruct от Meta и Llama-3-8B-Instruct-MopeyMule от failspy; исходная модель опубликована grimjim. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям. Она поддерживает текстовый ввод и вывод, использует формат промптов Llama 3 с ролями system, user и assistant. Размер базовой модели — 8 миллиардов параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Репозиторий содержит множество вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q5–Q6 и Q4 описаны как обеспечивающие высокое или хорошее качество, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Лицензия указана как llama3; конкретные условия её применения следует проверять в документации лицензии Llama 3.

M7Yamshadowexperiment28_Strangemerges_32Alloyingotneoy — объединённая модель на архитектуре Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Alloyingotneoy-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель с контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров, а её веса опубликованы в формате Safetensors. Карточка не описывает специальные области применения, языки или результаты оценки качества. Лицензия — Apache-2.0.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_32Experiment28 — объединённая текстовая модель семейства Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Experiment28-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В репозитории используются веса Safetensors. Модель распространяется по лицензии Apache-2.0.