II.10Разработка и эксплуатация AI/ML-систем

bartowski/p-e-w_Llama-3.1-8B-Instruct-heretic-GGUF — это квантизированная версия инструкционной модели Llama 3.1 с примерно 8 млрд параметров, опубликованная в формате GGUF. Базовая модель разработана Meta, а квантизацию выполнил bartowski; обозначение heretic указывает на вариант модели, но README не содержит подробностей о внесённых изменениях. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Поддерживается только текстовая модальность. Сведения о конкретном методе и уровне квантизации, длине контекста, требованиях к памяти и результатах тестирования в README отсутствуют. Ключевое преимущество модели — сочетание инструкционного обучения, относительно компактного размера и формата GGUF, удобного для локального запуска совместимыми средствами. Ограничения включают возможное снижение качества из-за квантизации, отсутствие подтверждённых характеристик варианта heretic и неполную информацию о производительности. Использование регулируется Llama 3.1 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными условиями для распространения; перед применением необходимо проверить полный текст лицензии.

p-e-w_Qwen3-4B-Instruct-2507-heretic-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-4B-Instruct-2507-heretic. Исходную модель разработал p-e-w, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций при локальном запуске через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 2,24 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README не указаны поддерживаемые языки, длина контекста, точная архитектура или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются компактный размер, возможность локального запуска и широкий выбор квантизаций; варианты Q4–Q6 позиционируются как обеспечивающие хорошее или очень высокое качество при сниженных требованиях к памяти. Ограничения включают возможную потерю качества при использовании низких уровней квантизации и отсутствие указанного в README chat template, из-за чего форматирование запросов может потребовать проверки по карточке исходной модели. Распространение заявлено по лицензии Apache-2.0.

PhoneLM-1.5B-Instruct — англоязычная авторегрессионная языковая модель на 1,6 млрд параметров, разработанная командой mllmTeam. Это дообученная для следования инструкциям версия PhoneLM-1.5B, предназначенная для генерации текста и диалоговых ответов. Модель использует декодерный трансформер с 19 слоями, скрытым размером 2560, 16 головами внимания и контекстом до 2048 токенов. Архитектура включает Rotary Position Embeddings для первой четверти размерности голов внимания, LayerNorm с обучаемыми смещениями и ReLU в полносвязных слоях; токенизатор основан на токенизаторе SmolLM с размером словаря 49 152. В обучении использовались наборы инструкций, диалогов, математических заданий и кода. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык; сведений о поддержке других языков нет.

Qwen1.5-1.8B-Chat-GGUF — чатовая версия языковой модели Qwen1.5, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer, дообученная с использованием supervised fine-tuning и direct preference optimization для более качественного взаимодействия с пользователем. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, поддержание беседы и другие задачи text generation. Заявлена поддержка нескольких естественных языков и программного кода; базовая карточка модели указывает английский язык. Модель поддерживает контекст длиной до 32K токенов. Репозиторий содержит GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, рассчитанные на запуск с llama.cpp. Размер 1.8B параметров делает модель относительно компактной и удобной для локального запуска, однако по возможностям и качеству она уступает более крупным моделям семейства. Квантизация снижает требования к ресурсам, но при более низкой точности может ухудшать качество генерации. Модель работает только с текстом; поддержка изображений и других модальностей не указана. Лицензия обозначена как Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUF — это квантизированная версия текстовой инструкционной модели EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0, подготовленная mradermacher в формате GGUF. Модель основана на Qwen3, имеет около 4 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Модель подходит для локального запуска в сценариях, где требуется компактная causal language model: ответы на запросы, генерация и преобразование текста, простые ассистентские задачи и эксперименты с LLM. В README указана поддержка английского языка. Мультимодальные возможности и размер контекстного окна не заявлены, поэтому модель следует рассматривать как текстовую. Доступно множество вариантов квантизации GGUF с размерами примерно от 1,2 до 2,7 ГБ. Это облегчает запуск на устройствах с ограниченными ресурсами, однако степень квантизации влияет на качество: наиболее компактные варианты могут заметно уступать по качеству, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Модель распространяется под лицензией Apache-2.0.

Qwen3-4B-Instruct-2507-4bit-DWQ-2510 — это квантизированная 4-битная версия языковой модели Qwen3-4B-Instruct-2507 в формате MLX. Модель разработана сообществом mlx-community на основе исходной модели Qwen, созданной командой Qwen, и преобразована в формат MLX с использованием mlx-lm версии 0.28.2. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкционного режима. Она подходит для использования через библиотеку mlx-lm, включая обработку сообщений в формате чата и генерацию ответов по текстовым подсказкам. Известны размер исходной модели — 4 миллиарда параметров — и 4-битное квантование DWQ, позволяющее уменьшить требования к хранению и вычислительным ресурсам по сравнению с полноразмерными вариантами. Модель работает с текстом; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Для использования требуется библиотека mlx-lm и среда, совместимая с MLX. Модель распространяется по лицензии Apache 2.0.

Aimin12/Qwen3-4B-Thinking-2507-Distill-Claude-Opus-4.6-Reasoning-Abliterated — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров для генерации текста и диалоговых ответов. Модель дообучена на наборе Opus-4.6-Reasoning-3000x-filtered; в README указаны LLaMA-Factory и Unsloth как использованные инструменты обучения. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 262 144 токена. Карточка связывает её с базовой Huihui-Qwen3-4B-Thinking-2507-abliterated, описанной в каталоге как Qwen3 с уменьшенной склонностью к отказам. Репозиторий распространяется под лицензией Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это экспериментальная instruction-модель на базе Qwen3.5-9B, опубликованная пользователем W00ds1. В README указано, что она создана в результате многоэтапного fine-tuning и объединения нескольких моделей на локальном оборудовании при участии Nightmedia; базовая модель связана с DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на общий диалог, следование инструкциям, reasoning, программирование, творческое письмо и roleplaying, а также заявлена как uncensored и heretic-модель с уменьшенным количеством отказов. Модель поставляется в формате GGUF в обычных и MTP-вариантах, включая квантизации с использованием NEO IMATRIX. MTP предназначен для ускорения генерации за счёт multi-token prediction, но его эффективность зависит от оборудования, температуры и acceptance rate; при низком acceptance rate обычный вариант может работать быстрее. Заявлено контекстное окно 256k токенов. Поддерживаются английский и китайский языки. Vision активирован, однако для обработки изображений требуется отдельный файл mmproj. Указана совместимость со стандартными приложениями, поддерживающими GGUF. В README приведены результаты на ARC-C, ARC-E, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель сравнивается с рядом более крупных моделей; эти результаты следует считать заявленными авторами и не распространять автоматически на все задачи. Ограничения включают зависимость производительности от выбранной квантизации, режима thinking или instruct, параметров генерации и аппаратного обеспечения, а также отсутствие гарантии превосходства над моделями большего размера во всех сценариях. Лицензия указана как Apache-2.0.

Qwen3.6-27B-V1.1-FF711-Darker-Hero-GAIN-H2.0 — дообученная Дэвидом AU мультимодальная модель семейства Qwen3.5 с плотной архитектурой на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B. Карточка описывает метод GAIN, также называемый COLD FUSION: динамическая настройка обучения на уровне отдельных примеров. Модель предназначена для диалогов, рассуждений, программирования, творческого письма и работы с изображениями; метаданные указывают поддержку vision и интерфейс вызова инструментов. Автор заявляет о сокращённых блоках рассуждений, следовании инструкциям и сохранении производительности при низкой точности, однако приведённые в README сравнения и показатели являются заявлениями автора. В примерах упоминается режим без фильтрации и контент NSFW; модель может выдавать ненормативную лексику и материалы для взрослой аудитории. Карточка также сообщает о снижении частоты отказов. Указана лицензия Apache-2.0. В метаданных перечислены английский и китайский языки; других языков карточка не подтверждает.

DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью. Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности. Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH — экспериментальная слитая модель от независимой лаборатории NightmediaAI. Она объединяет Qwen3.8-27B-Brainwaves, Wichtel-Qwen3.6-27B и Qwen3.8-27B-Fable-Distill-Heretic-ara; каталог также указывает merge с этими моделями. Это плотная мультимодальная архитектура семейства Qwen3.5 с 27 млрд параметров по названию репозитория, предназначенная для диалогов и следования инструкциям, включая работу с изображениями. Карточка приводит результаты тестов рассуждений и производительности для нескольких форматов точности, но не описывает конкретный протокол тестирования. Модель ориентирована на широкие сценарии генерации текста: рассуждения, математику, STEM, программирование и творческое письмо, в том числе создание сюжетов и ролевые диалоги. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Для работы доступны веса Safetensors и библиотека Transformers. Карточка не сообщает размер контекста, а теги одновременно упоминают 256k и 1M, поэтому длину контекста нельзя определить надёжно. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная akopytko. Модель предназначена для задач генерации текста и работы с изображениями, включая сценарии image-text-to-text. Она представлена в формате GGUF и использует специализированное 4-битное числовое представление NVFP4 с оптимизацией масштаба по среднеквадратичной ошибке реконструкции. В модель также встроена квантизированная MTP draft head для speculative decoding. Ключевое преимущество — высокая скорость предварительной обработки на GPU с архитектурой NVIDIA Blackwell: заявлено преимущество около 50% над обычными 4-битными вариантами при сопоставимом размере, а сама реализация NVFP4 работает ещё на 4–7% быстрее альтернативных NVFP4-квантов. Поддерживается ввод изображений; при загрузке не через -hf может потребоваться отдельный vision-проектор mmproj-BF16.gguf. Основное ограничение — необходимость совместимого NVIDIA Blackwell GPU, например RTX 50, DGX Spark, B200 или B300. По приведённым тестам, качество NVFP4 уступает вариантам Q4_0 и особенно Q6_K, хотя превосходит сравниваемый NVFP4-квант Unsloth по некоторым метрикам. Лицензия — Apache-2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель, опубликованная bielquants и основанная на базовой модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Это многоэтапная fine-tune-модель с использованием Unsloth, методов Cold Fusion и Fable Fusion, представленная в форматах GGUF с обычными и MTP-квантами. В README заявлена поддержка английского и китайского языков; карточка также указывает сценарий image-text-to-text, однако подробности о фактических визуальных возможностях не приведены. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной заявленный акцент — высокая детализация ответов при сокращении объёма внутренних рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно повышать скорость генерации. Указан размер базовой модели 27B, а также поддержка трёх режимов мышления, но максимальный размер контекста в карточке не указан. Автор README заявляет превосходство над рядом базовых моделей по внутренним бенчмаркам ARC и высокую производительность на потребительском оборудовании, включая tool calling; эти результаты представлены как утверждения создателя и требуют независимой проверки. Возможные ограничения — отсутствие подробных данных о контексте, точной архитектуре модальности, системных требованиях и качестве на разных языках, а также потенциально нестандартное поведение из-за uncensored/abliterated-настройки. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

Qwen3-VL-8B-Interleave-Thinking-i1-GGUF — квантованная GGUF-версия мультимодальной модели hxssgaa/Qwen3-VL-8B-Interleave-Thinking, подготовленная mradermacher. Модель предназначена для обработки текста и изображений, включая ответы на вопросы по изображениям, визуальный анализ, агентские сценарии, function calling и задачи с пошаговым рассуждением. В карточке также указана обучающая выборка xlam-interleave-thinking-40k. Модель относится к семейству Qwen3-VL и содержит 8 миллиардов параметров. Она поддерживает мультимодальный режим image-text-to-text; заявленный язык — английский. Контекстное окно, точная архитектура визуального компонента и дополнительные языковые возможности в README не указаны. Репозиторий предоставляет набор вариантов квантования с разным размером и компромиссом между скоростью, качеством и требованиями к памяти; среди рекомендуемых отмечены i1-Q4_K_M и i1-Q4_K_S. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами являются сочетание визуального понимания, рассуждений и поддержки агентских функций, а также возможность локального запуска через GGUF. Ограничения связаны с потерями качества, зависящими от выбранного уровня квантования, и отсутствием в карточке подробных результатов тестирования, данных о контекстном окне и инструкций по конкретным рантаймам. Распространение указано по лицензии Apache-2.0.

Reflection-Llama-3.1-70B-GGUF — набор GGUF-квантизованных версий модели, опубликованный leafspark и основанный на mattshumer/ref_70_e3. Модель дообучена с применением LoRA ранга 256 на Llama-3.1-70B-Instruct и предназначена для генерации текста, диалогов и задач, требующих рассуждений. Заявленная особенность — Reflection-Tuning: модель должна выявлять ошибки в рассуждении и корректировать ход решения с использованием секций <thinking>, <reflection> и <output>. Это текстовая авторегрессионная модель семейства Llama с примерно 70 млрд параметров. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует стандартный формат чата Llama 3.1 и доступна в вариантах от FP16 размером около 141 ГБ до сильно квантизованных сборок; приведённые размеры отдельных вариантов находятся примерно в диапазоне от 14,6 до 57,9 ГБ. Для некоторых вариантов применялась калибровка iMatrix. Сильной стороной заявляется способность к явному самопроверяемому рассуждению, однако авторы README предупреждают, что опубликованные результаты бенчмарков, вероятно, недостоверны и не воспроизводятся. Также отмечается неопределённость исходного обучения и возможная фиктивность связанной версии модели, поэтому характеристики качества следует проверять самостоятельно. Для запуска рекомендуется системный промпт из README, температура 0,7 и Top P 0,95. Модель распространяется по лицензии llama3.

Feudor2/rumodernbert-nli — русскоязычная модель классификации текстовых пар для распознавания логического следования, противоречия и нейтрального отношения. Она создана дообучением энкодера deepvk/RuModernBERT-base на наборе cointegrated/nli-rus-translated-v2021 и использует архитектуру ModernBERT с классификационной головой. Модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель подходит для проверки согласованности утверждений с предпосылками, анализа противоречий и сортировки текстовых пар по отношению между ними. В README приведены результаты на оценочном наборе: accuracy 0,8143, macro F1 0,8045 и mean ROC AUC 0,9351. Лицензия — Apache-2.0.

JetLM/SDAR-8B-Chat — разговорная языковая модель семейства SDAR, разработанная авторами проекта SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая поддерживает эффективное обучение, а диффузионная позволяет выполнять параллельный вывод. Модель предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель имеет плотную архитектуру SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Карточка сообщает о сопоставимой с сильными авторегрессионными моделями общей производительности и о преимуществах на сложных задачах научного рассуждения для SDAR в целом; эти утверждения не следует считать отдельной оценкой именно версии 8B-Chat. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

SuperQwen3.8-27b-abliterated-MLX-4bit — мультимодальная версия модели, разработанная Jiunsong для локального запуска на компьютерах Apple Silicon. Она основана на SuperQwen3.8-27b-abliterated и представляет собой встроенную MLX-квантизацию с 4-битными аффинными весами. Модель поддерживает текстовые и визуальные входы, заявлена для английского и корейского языков, а также рассчитана на рассуждения и вызов инструментов. Модель содержит 27 млрд параметров и занимает около 15 ГиБ; веса распределены по трём safetensors-файлам, размер группы квантизации — 64. Изменения abliteration встроены непосредственно в MLX-веса, поэтому отдельный адаптер при запуске не требуется. На Apple M5 Max заявлена скорость около 27 токенов в секунду при обычной авторегрессионной генерации и около 33 токенов в секунду с DFlash 2. В тестах также подтверждены мультимодальный инференс и сохранение ограниченного режима рассуждений. Сильные стороны модели — возможность локального запуска 27B-модели на Mac без серверного GPU, компактное 4-битное представление, поддержка изображений, рассуждений и инструментов, а также проверенная совместимость с MLX. При этом показатели производительности зависят от оборудования и приведены для однопоточного сценария; размер контекста в README не указан. Abliteration существенно меняет поведение отказов модели: в заявленных тестах родительские отказы на вредоносные запросы снизились с 30/32 до 0/32, поэтому модель не следует рассматривать как вариант с исходными ограничениями безопасности. Лицензия — Apache-2.0.

Tele-FLM-1T (также FLM-2-1T) — мультиязычная большая языковая модель, разработанная BAAI и TeleAI. Это авторегрессионный декодерный трансформер семейства TeleFLM с 1,1 трлн параметров, обученный примерно на 2,3 трлн токенов. В архитектуре используются RoPE, RMSNorm и SwiGLU; длина контекста составляет 4096 токенов. Модель рассчитана на генерацию текста и сложные языковые задачи, а разработчики отдельно отмечают улучшенные возможности фактического суждения. Модель поддерживает английский, китайский и другие языки. Разработчики публикуют веса, описание архитектурных решений и сведения об обучении для академического и промышленного сообщества. На момент описания модель ещё проходит оценку из-за ограниченных вычислительных ресурсов, поэтому её возможности не следует считать окончательно подтверждёнными. Лицензия — Apache 2.0. Несмотря на очистку обучающего корпуса, модель может воспроизводить предвзятые, дискриминационные или оскорбительные примеры и генерировать небезопасный контент.

Thespis-Krangled-7b-v2 — разговорная языковая модель на архитектуре Mistral, опубликованная cgato. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; карточка указывает контекст длиной до 32 768 токенов. Для диалога предлагается шаблон с репликами пользователя и бота, совместимый с форматами Oobabooga и SillyTavern. Модель обучалась на смесях наборов Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder Evol Instruct, Yahoo Answers, OpenOrca и Airoboros 3.1. Её можно использовать для диалогов, ответов на вопросы и генерации кода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не сообщает, на какой базовой модели выполнено дообучение, и не приводит оценки качества или подробных сведений о поддерживаемых языках. Результаты могут зависеть от промпта и выбранного шаблона диалога.

UTC-DeBERTa-small — универсальный классификатор токенов от Knowledgator на базе DeBERTaV3-small. Модель дообучена на нескольких задачах разметки токенов и задачах, которые можно представить в таком виде; карточка описывает её как prompt-tuned. В репозитории указаны архитектура DeBERTa-v2, 155 млн параметров и контекст до 512 токенов. Модель предназначена для извлечения сущностей и другой информации из текста. Она поддерживает zero-shot распознавание именованных сущностей и может применяться к ответам на вопросы, извлечению отношений, разрешению кореференции, очистке и суммаризации текста. В бенчмарке CrossNER приведены результаты на нескольких предметных категориях, включая ИИ, литературу, музыку, политику и науку. Модель принимает английский текст и выдаёт разметку токенов. Для запуска рекомендуется Transformers pipeline `ner`. Доступна по лицензии Apache-2.0; результаты могут зависеть от формулировки запроса и типа текста.

v1olet_marcoroni-go-bruins-merge-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная слиянием моделей Mistral-7B-Instruct-v0.2 и v1olet_marcoroni-go-bruins-merge-7B методом SLERP. Она использует плотную архитектуру MistralForCausalLM и предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст модели составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает отдельные специализации или гарантии качества, поэтому её следует рассматривать как модель общего назначения; характеристики унаследованных навыков слияния отдельно не приведены.

johnpaulbin/voice-begging-detection — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768; контекст составляет до 514 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. В карточке указано обучение с CosineSimilarityLoss. Для работы доступны веса PyTorch; модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Карточка не сообщает о специализированной области применения или целевых языках, поэтому модель следует считать общей текстовой моделью. Лицензия в предоставленных данных не указана.

WestOrcaNeural-V2-DARETIES-7B — языковая модель для генерации текста, созданная объединением моделей с помощью mergekit. В основе лежит Mistral-7B-v0.1; в слияние также вошли kellemar-DPO-Orca-Distilled-7B-SLERP, WestLake-7B-v2 и NeuralBeagle14-7B. Использован метод DARE-TIES, итоговые веса имеют точность float16. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст длиной до 32 768 токенов. Карточка приводит результаты оценок на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0.

Это версия модели распознавания речи Whisper Base, преобразованная сообществом mlx-community из openai/whisper-base в формат MLX с точностью FP16. Она предназначена для автоматической транскрипции аудио в текст и работает с библиотекой mlx-audio. Модель содержит около 51,7 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель подходит для преобразования записей, интервью и разговоров в текст. Репозиторий распространяется по лицензии Apache-2.0. Качество распознавания зависит от языка, чистоты аудио и условий записи; карточка рекомендует обращаться к исходной модели для подробностей.

Это вариант Zephyr-7B-Beta, опубликованный arnavgrg: модель MistralForCausalLM с плотной архитектурой и примерно 7,1 млрд параметров. Это разговорная модель для генерации текста, которую можно загружать через Transformers в формате fp16; заявленная длина контекста — 32 768 токенов. Модель создана из HuggingFaceH4/zephyr-7b-beta: исходные веса линейных слоёв были квантованы до NF4 с помощью bitsandbytes, после чего слои Linear4bit были преобразованы обратно в fp16. Такой вариант рассчитан на инференс без затрат на квантование и обратное преобразование при каждом проходе. Квантование с потерями ухудшает качество относительно официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

bhenrym14 создал экспериментальную модификацию Airoboros 33B GPT-4 1.4.1 на архитектуре Llama. Это плотная авторегрессионная языковая модель примерно на 32,3 млрд параметров, дообученная с помощью QLoRA и RoPE scaling; веса опубликованы в формате safetensors. README описывает обучение на синтетическом наборе airoboros-gpt4-1.4.1 и расширение контекстного окна до 8192 токенов, однако метаданные указывают native context в 2048 токенов, поэтому фактическую поддержку длинного контекста следует считать экспериментальной. Модель предназначена для диалоговых ответов, следования инструкциям, ответов по предоставленному контексту, ролевых сценариев, загадок и задач на программирование. Обучающие данные включают примеры кода на десяти языках программирования; естественные языки в карточке явно не перечислены. Автор сообщает о хороших впечатлениях от отдельных экспериментов, но отмечает, что влияние на задачи вне оценки perplexity не установлено. README не сообщает лицензию.

Badger/δ Llama 3 Instruct 32k — чат-модель семейства Llama 3, созданная автором maldv путём рекурсивной интерполяции и объединения нескольких моделей. В репозитории указано, что для неё настроен масштаб RoPE 4; автор сообщает, что ответы сохраняют связность при контексте 16–32 тыс. токенов. Метаданные указывают 7,5 млрд параметров, архитектуру LlamaForCausalLM, формат safetensors и нативный контекст 8192 токена. Модель предназначена для диалоговой генерации текста и инструктивных запросов. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 69,49, но этих результатов недостаточно, чтобы судить о качестве во всех задачах. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия.