II.8Инженерия данных и аналитика

Swicked86/phi4-mm-gguf — набор GGUF-квантизаций мультимодальной модели Phi-4-multimodal-instruct, разработанной Microsoft. Модель содержит 5,6 млрд параметров и принимает текст, изображения и аудио; репозиторий подготовлен с помощью llama.cpp build b8347 для локального запуска на CPU и GPU. Модель предназначена для диалогов, ответов на вопросы по изображениям, визуального анализа, распознавания и объяснения содержимого графиков и документов, а также для обычных текстовых задач. Заявлен английский язык. Доступны варианты F16 размером 7,17 ГБ, Q8_0 размером 3,90 ГБ и Q4_K_M размером 2,37 ГБ. Для обработки изображений требуется отдельный файл vision encoder mmproj-phi4-mm-f16.gguf размером 825 МБ, совместимый со всеми текстовыми вариантами. В текстовом режиме README указывает поддержку контекста до 65 536 токенов, а в примерах мультимодального запуска используется контекст 8 192 токена. Q8_0 обеспечивает качество, близкое к F16, тогда как Q4_K_M требует меньше памяти и подходит для CPU или систем с ограниченной VRAM, но уступает по показателю perplexity. Ориентировочные требования VRAM при полной выгрузке на GPU составляют около 10 ГБ для F16, 5,4 ГБ для Q8_0 и 3,5 ГБ для Q4_K_M. Для работы с изображениями необходимо скачивать основной GGUF-файл вместе с mmproj; без него модель работает только с текстом. Мультимодальные оценки в README на момент публикации не завершены. Распространение заявлено по лицензии MIT, как и у исходной модели Microsoft.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Opus-Distill-v2 — плотная мультимодальная модель семейства Qwen, созданная barozp дообучением Qwen/Qwen3.8-27B методом LoRA с последующим объединением адаптера с базовыми весами. Дообучение выполнено на 11 716 примерах с проверенными трассами рассуждений Claude Opus; по данным карточки, набор очищен от строк с проблемным шаблоном и непроверенных источников. Модель предназначена для диалогов, анализа изображений и решения многошаговых задач с рассуждением. В README приведены результаты тестирования на логических и научных заданиях, а также проверка исправления ошибки зацикливания при совместном задании ограничений формата. Возможности зрения и MTP унаследованы от базовой модели и в этом дообучении не менялись. Модель принимает текст и изображения и генерирует текст; контекстная длина и поддерживаемые естественные языки в предоставленных данных не описаны. Модель распространяется под лицензией Apache-2.0. Карточка сообщает об исправлении конкретного случая зацикливания, но это не гарантирует его отсутствия во всех сценариях; приведённые бенчмарки ограничены режимом 0-shot, loglikelihood и QUICK с лимитом 500 примеров.

Qwen3.8-27B-OrcaRouter-GSQ-RCO-IQ3_XXS-Uncensored — это 3-битная GGUF-квантизация базовой модели Qwen3.8-27B, подготовленная RentedNoodle на основе uncensored-чекпойнта orcarouter/Qwen3.8-27B-Uncensored. Это не новая дообученная модель: снижение отказов унаследовано от OrcaRouter, а квантизация выполнена с использованием методологии GSQ/RCO, разработанной ISTA-DASLab. Модель распространяется под лицензией Apache-2.0. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с изображениями. Поддерживаются английский и китайский языки. Архитектурное окно контекста составляет 262 тысячи токенов, однако поставляемый профиль рассчитан на 32 тысячи токенов. Модель имеет размер около 9,75 GiB, использует квантизацию IQ3_XXS примерно на 3,06 бит на вес, а MTP draft head сохранён в формате Q6_K для speculative decoding. Для работы с изображениями требуются отдельные projector-файлы. Сильные стороны модели — возможность запуска на одной видеокарте с 16 ГБ VRAM, сохранённая поддержка MTP, хорошие результаты на извлечении данных из длинного контекста, GPQA-Diamond и TruthfulQA, а также отсутствие избыточных отказов в тесте XSTest. Ограничения включают потери качества, типичные для сильной 3-битной квантизации, неполную надёжность вызова инструментов и зависимость intended tool-use и reasoning-поведения от специального шаблона froggeric-qwen3.8-tool-use.jinja. Результаты тестов зависят от конфигурации llama.cpp, параметров запуска и используемого шаблона; заявленная «uncensored» направленность не гарантирует универсальное выполнение любых запросов.

Qwen3.8-27B-TURBO-Fable-Coder-GGUF — это многоз этапно дообученная и объединённая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README модель представлена как разработка для потребительского оборудования с использованием Unsloth, методов COLD FUSION и Fable Fusion 711. Доступны GGUF-квантизации, включая обычные и MTP-варианты, с заявленной поддержкой режимов reasoning и thinking. Модель предназначена для широкого круга задач: программирования, решения задач, рассуждений, творческого письма, создания художественных текстов, ролевых сценариев и работы с различными жанрами. В метаданных указаны английский и китайский языки. Размер базовой модели — 27B параметров. Репозиторий также помечен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах в README отсутствуют; максимальная длина контекста не указана. К заявленным сильным сторонам относятся сокращение объёма внутреннего рассуждения и ускорение генерации при сохранении детализации, а также высокие результаты на ARC-C и ARC-E. Автор утверждает, что модель превосходит базовые версии Qwen по ряду benchmarks, но эти показатели приведены без независимой методологии проверки. Ограничениями являются отсутствие подробных данных о контекстном окне, требованиях к памяти, совместимости MTP и качестве мультимодальной обработки. Модель описана как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля безопасности. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MLX-mixed-4_8bit — сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Это текстовая модель генерации, основанная на гибридной архитектуре Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts на 125 млрд параметров, из которых около 6 млрд активируются на токен. В исходной архитектуре также используется хешированное n-граммное embedding-пространство на 51 млрд параметров. Мультитокенный prediction head на 4 млрд параметров исключён, а vision tower присутствует в файлах, но не используется данным текстовым runtime. Модель предназначена для локальной генерации текста и решения задач вроде программирования, продолжения текста и других сценариев text-generation. Она рассчитана на работу через библиотеку MLX и требует специального runtime qwen4_exp, поставляемого вместе с репозиторием; для загрузки может потребоваться trust_remote_code. Размер сборки составляет 106,2 ГБ. Маршрутизируемые эксперты и n-граммные таблицы квантизированы в 4 бита, большинство остальных весов — в 8 бит, отдельные компоненты и vision tower сохранены в bfloat16. Заявленная конфигурация заметно лучше равномерной 4-битной версии по качеству: perplexity на wikitext-2 составляет 4,5286 против 5,3914 у полной 4-битной сборки и 4,4708 у исходной bfloat16-модели. Сильная сторона сборки — существенное уменьшение размера при небольшом ухудшении качества относительно bfloat16; по приведённому тесту она является предпочтительным вариантом среди сборок такого размера. Ограничения включают большой объём файлов, зависимость от Apple Silicon и нестандартного runtime, отсутствие поддержки vision в текущем режиме, а также возможные потери качества из-за квантизации. Лицензия указана как qwen-community-1.0 с типом other; конкретные условия следует проверить в файле LICENSE.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.

Rombos-2.5-T.E-8.1 — объединённая модель генерации текста, собранная с помощью mergekit из rombodawg/Rombos-LLM-V2.5-Qwen-7b и Cran-May/T.E-8.1. Она построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста; поддерживает формат ChatML и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Слияние выполнено методом SLERP с настройками весов для слоёв внимания и MLP; веса сохранены в формате safetensors. Карточка приводит результаты оценивания на IFEval и BBH. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных работ, но запрещает коммерческое использование. Данных о поддерживаемых естественных языках и отдельных ограничениях качества карточка не приводит.

Rombos-LLM-V2.5-Qwen-32b — текстовая генеративная модель, созданная Rombodawg на основе Qwen2.5-32B-Instruct. Автор описывает её как результат непрерывного дообучения и слияния инструктивной и базовой моделей методом TIES; метаданные также связывают модель с Qwen/Qwen2.5-32B-Instruct. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров. Модель предназначена для диалога и генерации текста, включая сценарии с вызовом инструментов через соответствующий интерфейс. Она принимает текст, выдаёт текст и рассчитана на контекст до 32 768 токенов. Карточка заявляет более высокую производительность по сравнению с исходными instruct- и base-моделями, но не приводит бенчмарков или подробностей проверки этого заявления. Поддерживаемые языки отдельно не перечислены. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README сообщает, что квантизованные версии и бенчмарки пока готовятся.

Seed 1.6 — универсальная мультимодальная модель команды ByteDance Seed. Она поддерживает адаптивное углублённое рассуждение и контекст длиной 256K токенов. Модель предназначена для задач, в которых требуется обрабатывать мультимодальные данные и формировать ответы с учётом длинного контекста. Данных о конкретных модальностях, размерах модели, языках и лицензии в доступных источниках нет.

Spark-X2.5-4B MLX 8-bit — 8-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная для MLX. Модель предназначена для задач общего назначения, включая рассуждения, программирование, использование инструментов и агентские рабочие процессы. Идентификатор модели — abenzerps/Spark-X2.5-4B-MLX-8bit. Модель имеет архитектуру spark2_5, содержит около 4 миллиардов параметров и работает с текстом. Заявлен нативный контекст до 1 048 576 токенов, что подходит для обработки очень больших документов и длинных последовательностей. Веса представлены в формате MLX 8-bit и занимают около 4,37 ГБ; языки обучения или поддержки в README не указаны. Для работы требуется Spark-MLX-LLM: модель пока не поддерживается oMLX и стандартным MLX-LM. README не приводит подробных результатов тестирования, поэтому качество в конкретных задачах нельзя оценить по представленным данным. Модель распространяется по лицензии Apache-2.0.

StrangeMerges_11-7B-slerp — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Модель объединяет Gille/StrangeMerges_10-7B-slerp и mlabonne/NeuralBeagle14-7B методом SLERP; конфигурация использует слои 0–31 обеих моделей и тип данных bfloat16. Модель предназначена для генерации текста, включая диалоговые ответы, следование инструкциям, рассуждения и творческое письмо. Она содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В README приведены результаты отдельных тестов Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не указывает языковой охват или дополнительные ограничения модели.

TriFusionNexus-7b — объединённая языковая модель, созданная EryriLabs с помощью mergekit и метода TIES на основе CultriX/NeuralTrix-7B-dpo; в объединение также вошли bardsai/jaskier-7b-dpo-v5.6 и mlabonne/AlphaMonarch-7B. Модель построена на архитектуре Mistral с плотной причинно-языковой сетью, содержит 7,1 млрд параметров и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям и рассуждений. В README приведены результаты Open LLM Leaderboard, включая средний балл 76,32, 72,78 в AI2 Reasoning Challenge и 89,17 в HellaSwag; это результаты указанных оценок, а не гарантия качества в пользовательских задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC-BY-NC-2.0 ограничивает коммерческое использование.

VICIOUS_MESH-12B-NEMO — текстовая генеративная модель на 12,1 млрд параметров, созданная автором репозитория методом слияния TIES с помощью mergekit. В качестве основы использована mistralai/Mistral-Nemo-Instruct-2407, а в слияние также вошла bamec66557/VICIOUS_MESH-12B-BETA. Модель построена на архитектуре MistralForCausalLM и предназначена для диалога и генерации текста по запросу; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество на пользовательских задачах. Репозиторий распространяется по лицензии Apache-2.0. Языки отдельно не перечислены; языковые возможности унаследованы от базовой модели Mistral Nemo Instruct.

WeDLM-8B-Instruct — инструкционная языковая модель Tencent на 7,6 млрд параметров с плотной архитектурой WeDLMForCausalLM. Это дообученная версия WeDLM-8B; модель использует диффузионный подход к генерации с параллельным декодированием при стандартном причинном внимании. Она предназначена для диалогов, следования инструкциям и задач рассуждения, включая математику. В карточке приведены результаты бенчмарков, где модель превосходит Qwen3-8B-Instruct в некоторых задачах и уступает в других. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Метаданные указывают контекстное окно 16 384 токена; в README заявлено 32 768 токенов. Для оптимизированного инференса авторы рекомендуют движок wedlm; совместимость с KV-кэшем позволяет использовать FlashAttention, PagedAttention и CUDA Graphs. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

ZEUS-8B-V23 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-3.1-Tulu-3-8B, Llama-3.1-Storm-8B, SuperNova-Lite, SauerkrautLM, Lexi-Uncensored-V2 и HuatuoGPT-o1-8B. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации текста; поддерживает диалоги и интерфейс вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации ответов и следования инструкциям. В README приведены результаты Open LLM Leaderboard, включая 76,21% на IFEval и 31,47% на BBH; эти показатели относятся к указанным оценочным настройкам и не гарантируют качество в конкретном приложении. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять в репозитории и у моделей-источников.

CausalLM 14B — разработанная авторами репозитория разговорная языковая модель на архитектуре LLaMA с 13,4 млрд параметров. Авторы сообщают, что при обучении использовали веса Qwen, а LLaMA 2 — для расчёта начальных весов; модель загружается через Transformers как LLaMA-совместимый причинный языковой моделировщик. Контекст составляет 8192 токена, основной формат весов — PyTorch. Модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и решения задач, включая математику. Для обучения применялась выборка синтетических инструкционных данных объёмом 1,3 млрд токенов, собранных и подготовленных авторами на основе открытых наборов. В карточке приведены результаты тестов на английском, китайском и японском языках; метаданные также указывают английский и китайский. Авторы заявляют о высоких результатах в сравнительных тестах, однако модель может галлюцинировать и выдавать ненадёжные ответы. В карточке отмечено, что данные не были отфильтрованы от нежелательного содержимого, а RLHF и специальное обучение отказам не проводились; поэтому ответы требуют проверки и фильтрации. Указана лицензия WTFPL, но авторы также предупреждают, что в зависимости от применения могут действовать ограничения коммерческого использования базовых Qwen и LLaMA 2.

Cohere Labs Aya Vision 32B — мультимодальная модель с открытыми весами на 32 млрд параметров для работы с изображениями и текстом. Она принимает изображения и текст, а в ответ генерирует текст. Модель предназначена для распознавания текста на изображениях, создания подписей, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает сценарии с текстовым вводом и генерацией кода. Архитектура сочетает языковую модель Aya Expanse 32B с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Контекст составляет 16K токенов. Для обработки изображения используется до 12 фрагментов и миниатюра; разрешение фрагмента — 364×364 пикселя. Модель обучена работать с 23 языками, включая русский, английский, китайский, японский, арабский и хинди. Модель разработана Cohere Labs и опубликована как исследовательский релиз с открытыми весами. Для её запуска используется библиотека Transformers. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать Acceptable Use Policy Cohere Labs.

BlueLM-7B-Chat-4bits — 4-битная квантованная версия диалоговой языковой модели BlueLM, разработанной vivo AI Lab. Модель с плотной архитектурой BlueLM и примерно 6,9 млрд параметров предназначена для генерации текста в диалоге и ответов на запросы пользователя. В карточке указана длина контекста 2048 токенов. Модель обучалась преимущественно на китайских и английских данных; корпус также содержал небольшую долю японских и корейских текстов. В README заявлены результаты на тестах общих знаний, математики и программирования, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия обозначена как other; README сообщает, что веса BlueLM открыты для академических исследований и коммерческого использования.

Shuu12121 выпустил модель Sentence Transformers на основе ModernBERT, дообученную на парных текстовых примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 512 для сравнения косинусным сходством, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель рассчитана на задачи поиска и сопоставления текстов, в том числе фрагментов кода; обучающий набор содержит 58 800 пар, а функция потерь — MultipleNegativesRankingLoss. Модель содержит 40,5 млн параметров. В README указана максимальная длина последовательности 1024 токена, тогда как метаданные каталога сообщают о 8192 токенах нативного контекста; фактическая длина зависит от используемой конфигурации. Веса опубликованы в формате safetensors, для работы используется библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731 REAP K160 — экспериментальный производный чекпойнт модели DeepSeek-V4-Flash-0731 от DeepSeek, созданный пользователем 0xSero с применением метода REAP. Модель предназначена для исследовательского использования и инференса в условиях ограниченной памяти, включая генерацию текста, программирование, рассуждения, вызов инструментов и агентские сценарии. Это неофициальный релиз DeepSeek. Модель использует архитектуру Mixture-of-Experts: в каждом MoE-уровне сохранено 160 из 256 маршрутизируемых экспертов, то есть удалено 37,5% экспертов, при этом маршрутизация top-6, общие эксперты, attention, embeddings, output head, mHC, compressor и indexer tensors сохранены. В backbone предусмотрено 43 MoE-слоя, а также 3 DSpark MTP-блока. Заявлены английский и китайский языки. Контекст проверен на конфигурации 8192 токенов, однако полные характеристики контекста в README не указаны. Чекпойнт содержит 48 шардов Safetensors и около 107,8 млрд байт данных. К сильным сторонам относятся существенное сокращение числа экспертов и требований к памяти, структурная валидация всех тензоров и успешная базовая проверка генерации и программирования. Ограничения включают экспериментальный статус, возможное снижение качества из-за агрессивного pruning, отсутствие свежего наблюдения для весов версии 0731, отсутствие подтверждения паритета с исходной моделью по бенчмаркам и отдельную необходимость проверки совместимости DSpark MTP. Для запуска требуется DeepSeek-V4-совместимый runtime; generic Transformers может не поддерживать необходимые MXFP4, sparse-attention, tokenizer и DSpark MTP-компоненты. Производная распространяется по лицензии MIT.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она построена на архитектуре DeepSeek-V4-Flash, дополненной визуальными модулями и дообученной для понимания изображений. Модель предназначена для мультимодальных агентских сценариев, анализа визуальной информации, работы с диаграммами и задач, где требуется сочетать текстовые и графические входные данные. Для текстовых агентских задач она сохраняет сопоставимую с DeepSeek-V4-Flash-0731 производительность. В репозитории заявлена поддержка OpenAI-style сообщений с блоками изображений и компактного TXT-формата с тегами <image>. Доступны tokenizer, средства кодирования запросов и минимальная реализация инференса на PyTorch, включающая vision encoder и aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark forward path. Точные размер модели, длина контекста, перечень поддерживаемых языков и характеристики визуального входа в представленном README не указаны. Сильная сторона модели — улучшенные мультимодальные агентские возможности по сравнению с DeepSeek-V4-Flash-0731; в README приведены результаты на ApexBench, Agents' Last Exam, Chartography и ZeroBench, а также набор текстовых агентских бенчмарков. Ограничения включают экспериментальный статус и отсутствие подробных сведений о масштабах, языках и требованиях к аппаратному обеспечению. Репозиторий распространяется по лицензии MIT.

Это объединённая методом SLERP языковая модель MaziyarPanahi, созданная на основе Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения инструкций; максимальная длина контекста составляет 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий распространяется в формате safetensors, а лицензия — Apache-2.0. Доступные сведения не уточняют языковой охват и конкретные ограничения качества; поведение унаследовано от объединённых моделей.

Excalibur-7b — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная InferenceIllusionist с помощью слияния нескольких моделей через mergekit и метод SLERP. В состав слияния вошли merlinite-7b, Magic-Dolphin-7b, Kunoichi-DPO-v2-7B, Monarch-7B и jaskier-7b-dpo-v6.1. Модель предназначена для генерации текста, диалогов и ответов на вопросы; автор особо настраивал процесс слияния с прицелом на результаты MMLU. Контекст модели составляет 32 768 токенов. В README приведены результаты на наборах Open LLM Leaderboard: средний балл 73,6, включая MMLU 65,66 и GSM8K 68,61. Для обработки изображений автор указывает необходимость дополнительного файла mistral-7b-mmproj-v1.5-Q4_1.gguf; это отдельная настройка для совместимого GGUF-запуска, а не основная текстовая модальность указанной модели. Репозиторий распространяется под лицензией Apache-2.0.

unsloth/gemma-3-270m-it-unsloth-bnb-4bit — квантованная 4-битная версия instruction-tuned модели google/gemma-3-270m-it, подготовленная проектом Unsloth. Исходная модель разработана Google DeepMind как часть семейства Gemma — открытых моделей, созданных на основе исследований и технологий Gemini. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и работы с программным кодом. Для версии с размером 270M заявлен контекст до 32K токенов на запрос. Обучение проводилось на данных более чем из 140 языков, включавших веб-тексты, код, математические материалы и изображения; дата отсечения знаний — август 2024 года. В данном репозитории модель представлена как text-generation-модель для Transformers, а 4-битное представление снижает требования к памяти и упрощает локальный запуск. К сильным сторонам относятся небольшой размер, экономичность и пригодность для развёртывания на устройствах с ограниченными ресурсами. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными вариантами Gemma, возможные потери качества из-за квантования и отсутствие в README отдельных результатов оценки именно этой квантованной версии. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать соответствующие условия Google.

Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

CombinHorizon/huihui-ai-abliteratedV2-Qwen2.5-14B-Inst-BaseMerge-TIES — объединённая текстовая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-14B и huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0.

InternLM2-Base-7B — базовая плотная авторегрессионная языковая модель семейства InternLM2, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации и продолжения текста, а также служит отправной точкой для дообучения под конкретные области и задачи. Модель принимает текст и поддерживает контекст до 32 768 токенов. Разработчики сообщают об улучшениях в рассуждениях, математике и программировании относительно предыдущего поколения, а также о результатах на длинных текстах; заявленная в README способность обрабатывать до 200 000 символов не совпадает с контекстным пределом из метаданных. Карточка приводит результаты оценок OpenCompass и предупреждает, что ответы могут содержать предвзятые или вредоносные сведения. Код распространяется по Apache-2.0. Для весов указано открытое использование в академических исследованиях; для коммерческого применения требуется получить бесплатное разрешение.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.