II.10Разработка и эксплуатация AI/ML-систем

Chandra OCR 2 — модель оптического распознавания документов от Datalab на архитектуре Qwen 3.5. Она принимает изображения и PDF и преобразует их в Markdown, HTML или JSON с сохранением структуры и расположения элементов страницы. Модель рассчитана на извлечение текста, в том числе рукописного, разбор таблиц, математических выражений, форм и документов со сложной или многоколоночной вёрсткой; также она извлекает изображения и диаграммы и формирует подписи и структурированные данные. В карточке заявлена поддержка более 90 языков. Среди сильных сторон — распознавание таблиц, мелкого текста, рукописного ввода и сложных макетов; опубликованы результаты собственных оценок на olmOCR Bench и многоязычных тестах. Модель распространяется в формате safetensors для Transformers. Код проекта лицензирован Apache 2.0, но веса — по изменённой лицензии OpenRAIL-M: бесплатное использование ограничено исследовательскими и личными целями, а также стартапами с финансированием или выручкой менее 2 млн долларов; конкурентное использование относительно API запрещено, для более широкого коммерческого применения требуется отдельная лицензия.

Falcon3-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Falcon3-7B-Instruct, разработанной Technology Innovation Institute (TII) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp и совместимые приложения, например LM Studio. Для общения используется шаблон с ролями system, user и assistant. Модель поддерживает английский, французский, испанский и португальский языки. Базовый размер составляет 7 млрд параметров; доступны варианты от F16 до Q2_K, поэтому можно выбирать баланс между качеством, скоростью и требованиями к памяти. Квантизация выполнена с использованием imatrix, а в README отдельно отмечено исправление tokenizer. Варианты Q5 и Q6 характеризуются как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а более компактные Q3 и Q2 имеют заметно более низкое качество. Основные ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием в README данных о размере контекста, архитектурных деталях, производительности и специализированных возможностях. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке модели.

Модель ermiaazarkhalili/FastContext-4B-SFT_base-SFT-Claude-Opus-Reasoning-Unsloth — дообученная версия microsoft/FastContext-1.0-4B-SFT, разработанная ermiaazarkhalili. Это плотная авторегрессионная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и контекстом до 262 144 токенов. Модель предназначена для генерации текста в диалогах и выполнения инструкций; дообучение проведено методом SFT на данных дистилляции рассуждений Claude. Она поддерживает интерфейс вызова инструментов. Карточка приводит только наблюдения обучающей потери и сообщает, что оценка на прикладных бенчмарках не проводилась. Поведение вне распределения единственного набора инструкций не проверено; модель наследует смещения и ограничения базовой модели. LoRA-адаптеры слиты с весами, поэтому отделить результат дообучения нельзя. Лицензия в предоставленных данных не указана.

Aldaris/gemma-3-4b-it-Q4_K_M-GGUF — это GGUF-конверсия модели google/gemma-3-4b-it, разработанной Google. Модель предназначена для запуска и инференса через llama.cpp, в том числе в режиме командной строки или локального сервера. Метаданные классифицируют её как модель image-text-to-text, однако подробные сведения о поддерживаемых языках и работе с изображениями в README не приведены. Модель основана на Gemma 3 с размером около 4 миллиардов параметров и ориентирована на instruction-tuned сценарии: генерацию ответов по инструкциям и работу в прикладных диалоговых задачах. Формат Q4_K_M — 4-битная квантизация GGUF, которая обычно снижает требования к памяти и делает модель удобнее для локального запуска, но может уступать исходной версии по точности. В качестве примера использования указан контекст длиной 2048 токенов; другие характеристики контекстного окна не уточняются. Конверсию в GGUF выполнили с помощью llama.cpp через пространство GGUF-my-repo. Для доступа к модели требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии необходимо проверять в оригинальной карточке модели. README не содержит результатов тестирования, подробного описания архитектуры, перечня языков, требований к оборудованию или известных ограничений качества.

gemma-3n-E4B-it-GGUF — GGUF-квантизированная версия инструкционной модели gemma-3n-E4B-it, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и задач преобразования изображений и текста в текст; в README она обозначена как мультимодальная модель image-text-to-text. Данные о поддерживаемых языках и точной архитектуре не указаны. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 2,76 до 13,7 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Для запуска через LlamaEdge требуется версия 0.23.1 или новее; указан размер контекста 32 000 токенов и шаблон запросов gemma-3. Более низкая точность квантизации уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель распространяется по лицензии Gemma. README не содержит подробностей о бенчмарках, производительности, системных требованиях, поддерживаемых языках и ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

Gemma-4-12B-GGUF — мультимодальная vision-language модель на базе google/gemma-4-12B, разработанной Google. Данная версия представляет собой набор квантизированных GGUF-сборок, подготовленных пользователем Dhptl с помощью quant-kit 19 июня 2026 года. Модель принимает текст и изображения и предназначена для локального запуска через llama.cpp, LM Studio, Jan или Ollama. Архитектура состоит из текстовой основы и отдельного vision encoder в формате mmproj. Для работы обязательно нужны один файл текстовой модели и файл gemma-4-12B-mmproj-f16.gguf; vision encoder хранится в формате F16 и не квантизирован. Доступны варианты квантизации от Q2_K до Q8_0, размер текстовой основы составляет примерно от 4,5 до 11,8 ГБ, а рекомендуемый вариант Q4_K_M занимает около 6,87 ГБ и требует примерно 8,4 ГБ RAM. Указан английский язык. Максимальный размер контекста в README не приведён; в примере запуска используется контекст 4096 токенов. Модель подходит для диалога, генерации и анализа текста, а также для обработки изображений: например, описания содержимого изображений и ответов на вопросы по ним. Основные преимущества — мультимодальность, поддержка популярных инструментов локального запуска и возможность выбрать компромисс между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, необходимостью загружать два файла и заметными требованиями к RAM; заявленные скоростные бенчмарки в README не представлены. Лицензия — Apache-2.0.

Это смешанно-квантованная версия Gemma 4 12B IT, подготовленная автором репозитория на основе google/gemma-4-12b-it для локального инференса. Модель использует плотную унифицированную мультимодальную архитектуру Gemma4Unified: 48 слоёв с гибридным скользящим и полным вниманием. Матрицы проекций MLP квантованы до 8 бит с размером группы 64, а внимание, башни зрения и аудио, эмбеддинги и другие компоненты оставлены в BF16. По данным README, контекст составляет 262 144 токена. Модель предназначена для диалогов и работы с текстом и изображениями; в README также заявлена поддержка аудио и видео через общий процессор. Сохранение мультимодальных компонентов в BF16 призвано поддержать качество обработки соответствующих входов, а частичная квантовка уменьшает требования к памяти при локальном запуске. Модель доступна под лицензией Apache-2.0. Ограничения: квантование может немного снизить качество на отдельных примерах; README отмечает возможные ограничения понимания сложного аудио из-за простой линейной аудиопроекции. Для ускоренного спекулятивного декодирования MTP нужна дополнительная модель-помощник; совместимость некоторых полей конфигурации со стабильными версиями Transformers может быть ограничена.

gpt-oss-120b-Derestricted — модифицированная Arli AI версия открытой модели openai/gpt-oss-120b. Это языковая модель с архитектурой MoE для генерации текста и диалогов; каталог указывает 2,1 млрд параметров и контекст до 131 072 токенов. Модель распространяется в формате safetensors и рассчитана на работу с шаблоном сообщений Harmony. Разработчик сообщает, что применил Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив нормы весов и способности к рассуждению исходной модели. Предполагаемые сценарии — диалоги, рассуждения и агентные задачи. Заявления README о сохранении или улучшении качества основаны на оценках разработчика и не подтверждают качество для конкретных задач. Модель может чаще отвечать на запросы, от которых исходная версия отказалась бы; это ограничивает её пригодность для сценариев, где необходимы встроенные защитные отказы. Лицензия — Apache-2.0. Для корректной работы следует использовать формат Harmony; README также отмечает, что модель иногда всё же подавляет ответы.

granite-4.0-h-small-MLX-8bit — 8-битная квантованная версия модели granite-4.0-h-small, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а сама модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Модель предназначена для задач генерации и обработки текста, однако README не содержит подробностей о конкретных сценариях применения, поддерживаемых языках, размере модели, архитектуре и длине контекста. Ключевая характеристика этой версии — 8-битное представление, которое может снизить требования к памяти и ускорить локальный запуск на совместимом оборудовании, но потенциально сопровождается некоторой потерей точности по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем или владельцем модели и не гарантирует её точность, безопасность или пригодность для конкретных задач; результаты могут быть ошибочными, вредными или непредсказуемыми.

Pantheon-Reasoning-26B-A4B-1.1-GGUF — это квантизированная версия текстовой генеративной модели Pantheon-Reasoning-26B-A4B-1.1, разработанной Gryphe и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, работы в режиме instruction-following, рассуждений, творческого письма и ролевых сценариев. Указан английский язык и текстовая модальность. Модель содержит 26B параметров и использует конфигурацию A4B; дополнительные сведения об архитектуре, размере контекста и точном значении этой конфигурации в README не приведены. Квантизация выполнена с использованием llama.cpp и метода imatrix, доступны варианты от BF16 до различных уровней Q3–Q8 и IQ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут сильнее терять в качестве. Для работы необходимы совместимые инструменты, включая llama.cpp, LM Studio, KoboldCpp и другие приложения, поддерживающие GGUF; для недавно поддержанных архитектур может потребоваться обновление ПО. Модель распространяется по лицензии Apache-2.0.

Это преобразованная в формат архитектуры Llama версия InternLM2 Chat 7B SFT, размещённая пользователем bartowski. Модель предназначена для генерации текста в диалоговом формате и может использоваться для ответов на запросы и ведения беседы. Модель содержит 7,4 млрд параметров и поддерживает контекст длиной до 32 768 токенов. README сообщает о конвертации из InternLM в формат Llama; в репозитории указан формат safetensors. Лицензия обозначена как other, поэтому условия её использования следует проверять в исходной карточке модели и у базовой модели.

InternVL3.5-241B-A28B — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab. Она сочетает зрительный модуль с языковой моделью и предназначена для диалогов по изображениям и тексту, мультимодальных рассуждений и агентных сценариев, включая взаимодействие с графическим интерфейсом. В метаданных указаны 241B параметров в названии модели и архитектура InternVLChatModel; модель работает через Transformers и хранится в формате safetensors. Семейство InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной настройки разрешения визуальных токенов. В README описано разделение зрительной и языковой частей при развёртывании, чтобы повысить эффективность вывода. Модель заявлена как мультиязычная; конкретный список языков и длина контекста в предоставленных данных не приведены. Модель подходит для вопросов по изображениям, визуального и текстового рассуждения, OCR-подобных задач, понимания видео и агентного взаимодействия. Для развёртывания варианта на 235B параметров README указывает необходимость восьми GPU A100, поэтому для этой версии требуются значительные вычислительные ресурсы. Лицензия — Apache 2.0; в метаданных базовой моделью указана OpenGVLab/InternVL3_5-241B-A28B-MPO.

LiquidAI/LFM2.5-1.2B-Instruct-MLX-8bit — это 8-битная версия языковой модели LFM2.5-1.2B-Instruct, экспортированная в формат MLX компанией Liquid AI для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих библиотеку mlx-lm, включая диалоговые и общие текстовые сценарии. Модель содержит 1,2 млрд параметров, использует 8-битную точность и group size 64, занимает около 1,2 ГБ и поддерживает контекст длиной до 128K токенов. Заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. К сильным сторонам относятся компактный размер, возможность локального инференса на Apple Silicon и большой контекст, однако README не содержит подробных результатов оценки качества и сравнений с другими моделями. Модель распространяется по лицензии LFM 1.0.

LlamaThink-8B-instruct — инструкционно дообученная языковая модель David Browne на архитектуре Llama 3.1. Она предназначена для диалогов и генерации структурированных ответов в формате из двух разделов; для соблюдения формата карточка рекомендует задавать соответствующую системную инструкцию. Модель содержит около 7,5 млрд параметров, принимает текст и выдаёт текст. В метаданных указан контекст до 131 072 токенов, а поддерживаемые сценарии включают чат и интерфейс вызова инструментов. Модель основана на meta-llama/Llama-3.1-8B-Instruct и распространяется под лицензией Apache 2.0. Карточка не приводит количественной оценки качества или подробностей обучения. Формат ответа зависит от системной инструкции; для использования интерфейса вызова инструментов требуется совместимая интеграция.

KKHYA/llavaqwen2.5-32b-finetune-nm-mask-moe-4e-2k-2of4-imp-h200_20260815_093205 — языковая модель на архитектуре LlavaQwen2ForCausalLM с 32 млрд параметров. В метаданных указаны библиотека Transformers, форматы PyTorch и Safetensors, а также контекст длиной до 131072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. README сообщает, что модель обучена с нуля, но не содержит сведений о датасете, оценке качества или предполагаемых сценариях применения. Лицензия в предоставленных данных не указана.

M7Yamshadowexperiment28_Multi_verse_modelYam — объединённая модель на основе Mistral, опубликованная MaziyarPanahi. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель объединяет automerger/M7Yamshadowexperiment28-7B и automerger/Multi_verse_modelYam-7B. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. README не сообщает о специализированной области применения или известных ограничениях качества.

MaziyarPanahi/M7Yamshadowexperiment28_OgnoShadow — объединённая модель семейства Mistral с 7,1 млрд параметров, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/OgnoShadow-7B. Она предназначена для генерации текста и диалоговых ответов, включая сценарии с контекстом до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README и метаданные не уточняют её языковой охват и специальные ограничения.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_30Pastiche — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_30Pastiche-7B. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста и диалогов; контекст — до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не приводит сведений о специальной предметной области или языковом профиле, поэтому модель описывается как универсальная. Практические ограничения и оценка качества в карточке не раскрыты.

MeliodasPercival_01_YamshadowInex12 — объединённая языковая модель, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/YamshadowInex12-7B. Она предназначена для генерации текста и диалогов. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Доступна в формате Safetensors по лицензии Apache-2.0. README и метаданные не приводят сведений о поддерживаемых языках или специальных ограничениях.

evolveon/Mistral-7B-Instruct-v0.3-abliterated — версия Mistral-7B-Instruct-v0.3, обработанная методом abliteration, который, согласно карточке, предназначен для создания менее ограниченной версии модели. В основе лежит инструктивная языковая модель Mistral AI; автор карточки благодарит FailSpy за исходный код и методику. Модель предназначена для диалогов и генерации текста по инструкциям. Она построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и использует контекст до 32 768 токенов. В метаданных указан английский язык; также заявлен интерфейс вызова инструментов. Карточка характеризует модель как uncensored, однако не приводит оценок качества или подробностей проверки. Лицензия в предоставленных данных не указана.

Moondream 3 (Preview) — мультимодальная модель Moondream для анализа изображений и работы с текстом. Она принимает изображение и текстовый запрос, а также может использоваться как универсальная текстовая модель. Архитектура — Mixture of Experts: 9 млрд параметров всего, из них 2 млрд активны; визуальный энкодер основан на SigLIP. Модель имеет 24 слоя и контекстное окно до 32 тысяч токенов. Модель предназначена для ответов на вопросы об изображениях, создания подписей, поиска точек объектов и обнаружения объектов с ограничивающими рамками. Режим рассуждений включён по умолчанию; его можно отключить для простых запросов. Для локального запуска предлагается Transformers с FlexAttention, а также доступен облачный API. Moondream 3 выпущена как Preview, поэтому качество и поведение могут измениться. Веса распространяются по Business Source License 1.1 с Additional Use Grant: разрешены личное и исследовательское применение, внутреннее производственное использование и большинство коммерческих сценариев, но платные сервисы, конкурирующие с предложениями M87 Labs, требуют отдельного соглашения.

Moonlight-16B-A3B-Instruct-MXFP4_MOE-GGUF — квантованная в формате GGUF модель Moonlight-16B-A3B-Instruct, опубликованная пользователем noctrex. Это чат-модель для генерации текста и выполнения инструкций на основе архитектуры Mixture-of-Experts; она имеет 16 млрд общих и около 3 млрд активных параметров. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Вариант MXFP4_MOE использует квантование MXFP4 и распространяется в формате GGUF. Сведения о поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

DeUnCaser — модель pere для восстановления пунктуации и капитализации в тексте, например в расшифровках автоматического распознавания речи. Это последовательностная модель на базе mT5, дообученная на корпусах OSCAR: обучение длилось 130 000 шагов, использовалось до миллиона примеров на каждый из 42 языков с латинским алфавитом. Модель добавляет знаки препинания, заглавные буквы в начале предложений и именах собственных, а также может расставлять дефисы и скобки, если это помогает прояснить смысл. Модель содержит около 608,4 млн параметров; в репозитории представлены форматы Flax и PyTorch. Она предназначена прежде всего для постобработки неотформатированных речевых транскрипций. Карточка не приводит оценок качества или подробностей ограничений. Лицензия — CC BY 4.0.

NameLess-12B-prob — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из моделей D:\VICIOUS_MESH-12B-OMEGA и D:\jetreessence. Разработчик репозитория — bamec66557; модель предназначена для генерации текста и диалогового взаимодействия. Модель содержит 12,1 млрд параметров, принимает текст и выдаёт текст. Заявленная длина контекста — 131 072 токена. В метаданных указаны возможности чата и интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval 66,02 и BBH 31,36. Модель распространяется по лицензии Apache-2.0. README не сообщает, на каких языках она обучена или проверена, поэтому языковую поддержку нельзя уточнить по доступным сведениям.

OsaurusAI публикует JANG_6M — мультимодальную квантизированную сборку NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning для запуска на Apple Silicon через MLX. Это гибридная архитектура Mamba-2, attention и MoE: в README указаны 31 млрд параметров всего и около 3 млрд активных, тогда как метаданные каталога сообщают 1,9 млрд параметров. Контекст составляет 262 144 токена. Модель принимает текст, изображения и видео; базовая модель также поддерживает аудио, но README этой сборки не подтверждает работу аудиовхода. Сборка рассчитана на диалог, рассуждения и анализ мультимодальных входных данных, включая изображения и видео. Квантизация смешанная: экспертные слои занимают 6 бит, а часть других компонентов — 8 бит; башни зрения и речи оставлены в fp16. README указывает поддержку изображений через RADIO и видео через выборку кадров и EVS. Лицензия — NVIDIA Open Model License; сведения о дополнительных условиях лицензии в карточке не приведены.

Neuron-V1-14B-Instruct-i1-GGUF — квантизированная версия инструкционной языковой модели Neuron-V1-14B-Instruct, разработанной Neura-Tech-AI и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих GGUF, включая сценарии с ограниченными ресурсами и различными уровнями квантования. Модель содержит 14 миллиардов параметров, относится к текстовым моделям и, судя по указанным тегам, использует архитектуру Qwen2. Заявлена поддержка английского и хинди. Длина контекста и дополнительные модальности не указаны. Репозиторий предлагает варианты квантования от сверхкомпактных IQ1 до более качественного Q6_K; наиболее сбалансированным автор считает i1-Q4_K_S, а i1-Q4_K_M отмечен как быстрый и рекомендуемый. Более сильная квантовка требует больше памяти, тогда как низкие уровни могут заметно снижать качество. Преимущество модели — широкий выбор GGUF-вариантов для подбора компромисса между размером, скоростью и качеством, а также наличие imatrix-файла для создания собственных квантов. Ограничения — отсутствие в README результатов тестирования, данных о длине контекста и подробностей обучения, поэтому качество в конкретных задачах оценить нельзя. Указана лицензия Apache-2.0.

OLMo-2-1124-13B-SFT-Preview — англоязычная чат-модель Allen Institute for AI (Ai2), созданная на основе OLMo 2 13B версии ноября 2024 года. Это плотная авторегрессионная модель с 13,2 млрд параметров, предназначенная для генерации текста и диалогов. Она дообучена методом supervised fine-tuning на варианте набора Tülu 3, включающем публичные, синтетические и созданные людьми данные. Модель рассчитана на разнообразные задачи общения и следования инструкциям, включая математические задачи из MATH и GSM8K и оценивание соблюдения инструкций IFEval. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст. Основной язык — английский. Для загрузки используется Transformers; веса представлены в формате PyTorch. Модель выпущена под лицензией Apache 2.0. В README отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно по соответствующему запросу; автоматической фильтрации ответов нет.

Openbuddy Mistral 7B v13 — языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Представленная версия распространяется в формате GGUF и квантизирована TheBloke, что позволяет запускать её локально с использованием llama.cpp и совместимых приложений и библиотек. Модель предназначена для ответов на вопросы, ведения многоязычных диалогов и других сценариев текстовой генерации. В README заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Размер модели — 7B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. К сильным сторонам относятся компактный размер по сравнению с крупными моделями, возможность локального запуска на CPU и GPU, а также доступность нескольких вариантов квантизации — от 2 до 8 бит. Ограничения включают неизвестную длину контекста и отсутствие в README подробных сведений о качестве, датасете обучения и результатах оценки. Модель следует использовать с учетом возможных ошибок и устаревания знаний; в шаблоне указана граница знаний 2021 года. Лицензия модели указана как Apache-2.0. Репозиторий содержит именно GGUF-версии исходной модели OpenBuddy; конкретный уровень квантизации следует выбирать отдельно в зависимости от доступной памяти и требований к качеству.

Poro-34B-chat — это чат-модель LumiOpen, созданная в сотрудничестве SiloGen (Silo AI), группы TurkuNLP Университета Турку и проекта High Performance Language Technologies. Она получена дообучением с учителем базовой Poro-34B на наборах инструкций на финском и английском языках; около 40% примеров англоязычные, 40% финноязычные и 20% межъязыковые. Модель основана на плотной архитектуре BLOOM, содержит 45,3 млрд параметров и использует библиотеку Transformers и формат safetensors. Модель предназначена для диалогов и выполнения инструкций на финском и английском. Она также способна писать код и выполнять базовый перевод между этими языками. Для диалога используется шаблон ChatML. В карточке приведены оценки MTBench на английском и финском языках; они показывают неодинаковое качество по категориям, в частности более низкие результаты в математике и программировании. Модель выпущена под лицензией Apache-2.0. Среди ограничений — ограниченный объём финноязычных данных для настройки инструкций; часть финских обучающих примеров получена машинным переводом англоязычных наборов. Количественные результаты бенчмарков не гарантируют качество в конкретных прикладных задачах.

bunnycore создала эту объединённую модель на основе нескольких предварительно обученных языковых моделей с помощью метода Model Stock и инструмента mergekit. В состав вошли Bespoke-Stratos-7B, модели семейств Qwen и DeepSeek, а также другие модели на 7B; архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров. Модель доступна в формате safetensors для Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. Включённые модели указывают на ориентацию среди прочего на рассуждения, но README не описывает отдельные специализации или гарантии качества; приведённые результаты Open LLM Leaderboard ограничены несколькими метриками. Лицензия в предоставленных данных не указана.