II.10Разработка и эксплуатация AI/ML-систем

Mixtral-8x7B-Instruct-v0.1-GGUF — квантизированная GGUF-версия инструкционной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу через LlamaEdge. Поддерживаются английский, французский, итальянский, немецкий и испанский языки; заявленный размер контекста составляет 4096 токенов. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 17,3 до 49,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как сбалансированные или рекомендуемые, тогда как Q2_K и некоторые другие варианты имеют существенное снижение качества. Модель ориентирована на текстовые задачи и не поддерживает мультимодальные входы согласно представленным данным. Используется по лицензии Apache 2.0.

OpenHermes 2 Mistral 7B — разговорная языковая модель, созданная Teknium на основе Mistral-7B-v0.1. Она дообучена на наборе примерно из 900 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых датасетов; данные преобразованы в формат ShareGPT, а затем в ChatML. Модель предназначена для многоходового диалога и следования инструкциям, включая ответы на вопросы, помощь с программированием и создание рецептов. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; ChatML-шаблон подходит для диалогов с системными инструкциями. Модель распространяется по лицензии Apache-2.0. Заявления карточки о сравнительных результатах приводятся без числовых данных, поэтому их нельзя считать независимой оценкой качества; ответы могут быть неточными, как у других генеративных языковых моделей.

Open-Instruct Stanford Alpaca 13B — языковая модель семейства LLaMA с плотной архитектурой, дообученная Allen Institute for AI на наборе инструкций Stanford Alpaca в рамках исследования по instruction tuning на открытых ресурсах. Модель предназначена для генерации ответов на инструкции и запросы на английском языке; для работы с ней следует использовать описанный в карточке формат входного запроса. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст. Её контекст составляет 2048 токенов. В карточке приведены результаты на наборах тестов по общим знаниям, математике, рассуждениям, вопросам и ответам, программированию и следованию инструкциям. Это diff весов, для использования которого требуется модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Qwen2.5-0.5B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это компактная версия для генерации текста и диалоговых сценариев, включая чат-ботов, следование инструкциям, работу с кодом и математическими задачами, обработку структурированных данных и генерацию структурированных ответов, в том числе JSON. Модель является каузальной трансформерной языковой моделью с архитектурой на основе RoPE, SwiGLU и RMSNorm, с GQA: 14 головами для Q и 2 для KV. Она содержит около 0,49 млрд параметров, 24 слоя и поддерживает контекст до 32 768 токенов с генерацией до 8192 токенов. Доступна в GGUF-вариантах квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и корейский; модальность — текстовая. Сильными сторонами являются малый размер, возможность локального запуска, улучшенное следование инструкциям, поддержка длинного контекста, многоязычность и работа со структурированным выводом. Ограничения связаны с компактным масштабом: по возможностям и качеству ответов модель может уступать более крупным моделям, а квантование способно снижать точность по сравнению с исходной версией. Модель распространяется по лицензии Apache-2.0.

CultriX/Qwen2.5-14B-Wernicke — объединённая плотная авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом Model Stock. В основу слияния взята Qwen/Qwen2.5-14B; в объединение также вошли EVA-Qwen2.5-14B-v0.0, Qwen2.5-14B-Instruct, SuperNova-Medius, Rombos-LLM-V2.6-Qwen-14b и Qwen2.5-Lumen-14B. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоги. Модель подходит для ответов на запросы, свободного продолжения текста и формирования структурированных ответов; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык, а заявленная длина контекста составляет 131 072 токена. Для оценки приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но данных недостаточно, чтобы определить практическое качество в конкретных сценариях. Распространяется по лицензии Apache-2.0.

Это GGUF-версия модели insraq/Qwen3.5-4B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated-MTP-GGUF, созданная на базе Qwen/Qwen3.5-4B. Модель разработана Empero и insraq: исходная Qwen3.8-4B представляет собой полноразмерную дистилляцию модели Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, а данная версия дополнительно декензурирована с использованием Heretic v1.4.0 и объединена с MTP-drafter из unsloth/Qwen3.5-4B-MTP-GGUF. Это причинная языковая модель для генерации текста, рассуждений, следования инструкциям и нативного function calling; заявлена поддержка английского языка. Модель содержит около 4 млрд параметров и обучалась методом SFT на примерно 45 000 отфильтрованных трасс рассуждений учителя. Она поддерживает контекст до 262 144 токенов, а исходная архитектура относится к текстовому пути vision-language базы Qwen3.5. К сильным сторонам относятся компактный размер, пригодность для запуска на потребительском оборудовании, улучшенные по сравнению с базовой моделью результаты на MMLU и сниженное число отказов: 6 из 100 против 99 из 100 у исходной Qwen3.8-4B. При этом на GSM8K модель уступает базовой версии Qwen3.5-4B, а декензурирование может снижать встроенные защитные ограничения. Для работы требуется совместимый runtime с поддержкой архитектуры Qwen3.5; лицензия — Apache-2.0.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP — мультимодальная модель с 27 млрд параметров на архитектуре Qwen3.5, дообученная DavidAU совместно с участниками проекта на базе Qwen/Qwen3.6-27B. Она предназначена для диалогов общего назначения, следования инструкциям, решения задач, рассуждений, программирования и работы с изображениями. В карточке также заявлены возможности творческого письма и ролевого общения. Модель принимает текст и изображения и генерирует текст; в метаданных отмечены интерфейс вызова инструментов и поддержка зрения. Обучение включало несколько этапов дообучения и слияния, а также данные для рассуждений и письма. Указаны английский и китайский языки. Репозиторий использует Transformers и формат safetensors; лицензия — Apache 2.0. Автор сообщает об улучшениях следования инструкциям и рассуждений, однако приведённые сравнительные результаты являются заявлениями карточки и не гарантируют качество на конкретных задачах. Упомянуты также варианты GGUF-квантования с отдельными рекомендациями по настройкам MTP, но в текущих метаданных форматом репозитория указан safetensors.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

AleaiactaEst1/Qwen3.8-27B-Unleashed-GGUF — это квантизированная GGUF-версия uncensored-модели Qwen3.8-27B, основанная на JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, диалогов, написания кода и других задач, поддерживаемых text-generation-моделями. Указанные языки — английский и китайский. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов. Используется динамическая покомпонентная квантизация Unsloth Dynamic 3.0: чувствительные тензоры сохраняют больше точности, а менее чувствительные сжимаются сильнее. Доступны девять уровней квантизации, включая UD-IQ4_XS, UD-Q3_K_XL и UD-IQ3_XXS. Для UD-Q3_K_XL заявлены размер 13,2 ГБ, скорость 112,8 токена в секунду в специализированном тесте на RTX 4090 и успешное извлечение данных из контекста длиной 250 806 токенов. К сильным сторонам относятся uncensored-поведение, длинный контекст, хорошее соотношение качества и размера, а также преимущество динамической квантизации над протестированными равномерными вариантами. Ограничения включают зависимость скорости от длины генерации и оборудования: для коротких ответов на RTX 4090 измерялось около 24,9 токена в секунду, а приведённые показатели получены на одной конфигурации и не универсальны. Самые низкие уровни квантизации могут заметно снижать качество; в README уровень Q2 назван практическим нижним пределом. Модель распространяется по лицензии Apache 2.0. Карта квантизации заимствована из unsloth/Qwen3.8-27B-GGUF, а веса и матрица важности — из JonathanColetti/Qwen3.8-27B-Uncensored; автор README отдельно указывает, что рецепт разработан Unsloth.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

trohrbaugh/Qwen3.8-Flash-Next-heretic-2 — производная версия Qwen3.8-Flash-Next, представленная как разговорная модель с открытыми весами. Это причинная языковая модель с визуальным энкодером и поддержкой обработки изображений вместе с текстом; метаданные относят её к архитектуре Qwen4Exp. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. В README указаны гибридное внимание с Qwen Sparse Attention и Gated DeltaNet, MoE с 512 экспертами и нативный контекст 262 144 токена с расширением до 1 млн. Модель предназначена для диалогов, визуально-языковых запросов и агентных сценариев с длинным контекстом, включая работу с изображениями, документами и программными задачами. README описывает базовую Qwen3.8-Flash-Next и её тестирование в агентных и визуальных бенчмарках, но не приводит отдельной оценки именно этой производной версии. Теги heretic, uncensored, decensored и abliterated указывают на модификацию ограничений поведения, однако конкретная методика изменений не описана. В репозитории указаны веса Safetensors и библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой и лицензией базовой модели перед применением.

QwenQwen2.5-7B-IT-Dare — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES на основе Qwen/Qwen2.5-7B-Instruct. В карточке перечислена только эта базовая модель, поэтому объединение фактически описано как слияние её весов с коэффициентами 1 и плотностью 1. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Она подходит для диалогов и генерации текста, а интерфейс также поддерживает вызов инструментов. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Как и у базовой модели, качество ответов может зависеть от запроса; карточка не приводит результатов оценки или специальных ограничений применения.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

Zybg выпустил дообученную модель Sentence Transformer на базе dunzhang/stella_en_1.5B_v5. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения текстов по косинусному сходству. Модель построена на архитектуре Qwen2, содержит 1,5 млрд параметров и распространяется в формате safetensors; в метаданных указан контекст до 131 072 токенов, а в README — максимальная длина последовательности 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, включая оценку сходства, поиск перефразировок, кластеризацию и классификацию. README указывает на дообучение на 1 040 парах anchor-positive с использованием MultipleNegativesRankingLoss. Несмотря на название репозитория, описание данных не подтверждает медицинскую специализацию. Лицензия в предоставленных источниках не указана.

witty-works/test_false_positive_2 — модель на базе архитектуры MPNet, разработанная командой witty-works. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, сравнения предложений и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и возвращает эмбеддинги; заявленная длина контекста — 514 токенов. Для использования доступны веса PyTorch и интеграция с Sentence-Transformers или Transformers. Модель подходит для семантического поиска и группировки текстов по смыслу. Она обучалась с функцией потерь CosineSimilarityLoss. В карточке не указаны языковая специализация и условия лицензии, поэтому их нельзя определить по предоставленным данным.

Thalassic-Delta-LLaMa-70B — слитая разговорная языковая модель от TareksGraveyard на архитектуре Llama. Она создана методом SCE с помощью mergekit на основе SicariusSicariiStuff/Negative_LLAMA_70B и объединяет веса Anubis-70B-v1, EVA-LLaMA-3.33-70B-v0.1, 70B-L3.3-Cirrus-x1, L3.1-70B-Hanami-x1 и DeepSeek-R1-Distill-Llama-70B. Модель предназначена для генерации текста и диалогов; базовая модель DeepSeek-R1-Distill-Llama-70B ориентирована также на математические рассуждения, программирование и сложные вопросы. Размер составляет 69,5 млрд параметров, заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует лицензию llama3.3. Автор описывает её как лучший вариант серии Thalassic по своему мнению, однако README не приводит сравнительных оценок или результатов бенчмарков.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

nabil-tazi/autotrain-yr729-mb8s3 — модель семейства BERT, созданная дообучением sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 с помощью AutoTrain. Она преобразует текстовые предложения и абзацы в эмбеддинги для вычисления семантического сходства. Модель содержит 124,3 млн параметров, использует библиотеку Sentence Transformers и принимает последовательности длиной до 512 токенов. Базовая модель многоязычная, поэтому эмбеддинги подходят для сравнения текстов на разных языках. Модель можно применять для семантического поиска, сопоставления похожих фраз и кластеризации текстов. В README приведена метрика loss 0,124 на валидации, но без описания датасета и протокола оценки её трудно интерпретировать. Модель распространяется на Hugging Face в формате safetensors; лицензия в предоставленных данных не указана.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.

HyperLlama-3.1-8B — языковая модель для генерации текста и диалогов, созданная объединением моделей Replete-AI, Dampfinchen и Orenguteng с помощью mergekit. Она основана на плотной архитектуре Llama и содержит 7,5 млрд параметров; для объединения использован метод model_stock, веса представлены в формате safetensors. Модель подходит для ответов на инструкции и ведения диалога, а метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. В README приведены результаты Open LLM Leaderboard: средний балл 28,07, IFEval — 78,83 и BBH — 29,81. В состав объединения входит вариант Lexi Uncensored V2, поэтому ответы могут быть менее ограниченными по содержанию. Модель распространяется по лицензии Apache-2.0.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

mlx-community/LFM2.5-1.2B-Thinking-bf16 — конверсия модели LiquidAI/LFM2.5-1.2B-Thinking в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.30.4. Это плотная авторегрессионная языковая модель семейства LFM2 с 1,5 млрд параметров, предназначенная для генерации текста в диалоговом режиме и рассуждений. Она рассчитана на контекст до 128 000 токенов и локальный запуск на устройствах Apple Silicon через MLX. Модель подходит для диалогов и генерации ответов на английском, арабском, китайском, французском, немецком, японском, корейском и испанском языках. Базовая карточка описывает семейство как пригодное для рассуждений, агентных задач, извлечения данных и RAG. В репозитории указана лицензия other; конкретные условия следует сверять с лицензией базовой модели и карточкой автора.

Dingdust выпустил Dingdust/LFM2.5-350M-heretic — производную текстовую модель Liquid AI LFM2.5-350M-Base с архитектурой LFM2 и 444,6 млн параметров. По карточке это версия с abliteration: в приведённом сравнении частота отказов снизилась с 89 до 7 на 100 запросов; модель рассчитана на диалоговую генерацию текста и локальный запуск. Для базовой модели в README описаны извлечение данных, выдача структурированных результатов и вызов инструментов. Указаны 16 слоёв, гибридные сверточные блоки и блоки GQA, а также поддержка девяти языков: английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского. Метаданные указывают контекст 128 000 токенов; README базовой модели приводит 32 768 токенов, поэтому фактическая длина контекста именно этой производной версии по источникам неясна. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.