I.14Автоматизация процессов и AI-агенты

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и локального использования в инструментах, совместимых с форматом GGUF. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на рассуждения и генерацию цепочек рассуждений. Заявлена поддержка контекста до 128k токенов. В основе используется архитектура Llama с размером 8B параметров; модель относится к текстовой модальности. Другие характеристики, включая перечень поддерживаемых языков и конкретный тип квантизации, в README не указаны. Лицензия и точные условия использования в README не указаны. Модель может быть полезна для локального запуска и задач, где важны рассуждения, однако, как и другие генеративные модели, способна выдавать неточные, вредные или неподходящие ответы; надёжность результатов требует проверки.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

EXAONE-3.5-32B-Instruct-AWQ — двуязычная генеративная языковая модель с инструкционным дообучением, разработанная LG AI Research. Она предназначена для диалоговых приложений, генерации и обработки текста на английском и корейском языках, а также для сценариев, требующих понимания длинного контекста до 32 768 токенов. Модель относится к семейству EXAONE 3.5 и поставляется в формате AWQ-квантованных весов. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов. Применяется 4-битное групп-wise квантование весов без квантования активаций по схеме W4A16g128, что снижает требования к памяти и подходит для развёртывания с поддержкой Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Сильными сторонами модели являются поддержка английского и корейского языков, длинного контекста и широкий выбор сред инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически ошибочного или синтаксически некорректного текста; модель также может не отражать актуальную информацию. Для работы рекомендуется использовать системный промпт, на котором модель обучалась. Лицензия EXAONE AI Model License Agreement 1.1 - NC предусматривает некоммерческое использование.

Falcon3-Mamba-7B-Base — базовая предварительно обученная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотный авторегрессионный декодер на основе Mamba1: 64 блока, ширина 4096, размер состояния 16 и словарь на 65 тысяч токенов. Модель продолжает предварительное обучение Falcon-Mamba-7B на дополнительных данных из веба, кода, STEM и других высококачественных источников. Модель предназначена для генерации текста и служит основой для сценариев рассуждения, понимания языка, следования инструкциям, работы с кодом и математикой. Контекстное окно достигает 32 тысяч токенов; обучение велось преимущественно на английских данных. В репозитории представлены веса Safetensors для Transformers. Разработчик сообщает о сильных результатах на задачах рассуждения, понимания языка, кода и математики по сравнению с моделями SSM схожего размера на момент выпуска. Это базовая модель, поэтому качество следования инструкциям в прикладном чате может уступать специализированным instruct-версиям. Лицензия — TII Falcon-LLM License 2.0.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

Карточка модели imtoolonley/Gemma-4-12B-it-qat-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-JANG_4M-CRACK, поэтому описание составлено по ней. Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

HauhauCS/Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced — модифицированная версия Google Gemma 4 26B A4B IT, разработанная HauhauCS. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, задач эмоционального интеллекта, программирования и агентных рабочих процессов с использованием инструментов. Она позиционируется как uncensored-вариант с минимальным количеством отказов; при этом в отдельных пограничных случаях может сначала добавить краткое предупреждение или отклонить запрос, но обычно отвечает после повторного запроса. Модель имеет MoE-архитектуру: около 25,2 млрд общих параметров и 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, top-8 и один общий эксперт. Используются 30 слоёв с гибридным вниманием, включающим пять оконных слоёв на 1024 токена и один слой полного внимания, а также Proportional RoPE. Нативный контекст составляет 256 тысяч токенов. Модель мультимодальная, поддерживает текст и изображения, поставляется с визуальным проектором mmproj и переменным бюджетом визуальных токенов. В README явно указан английский язык. Сильными сторонами заявлены стабильная работа при повторной генерации, сохранение связности в длинных контекстах, высокая пропускная способность благодаря малому числу активных параметров и пригодность для локального запуска через GGUF-совместимые среды, включая llama.cpp и LM Studio. Для сложных агентных задач автор README отмечает превосходство Qwen3.6. Доступны различные варианты квантования размером примерно от 10 до 27 ГБ; рекомендуемый вариант для программирования — Q4_K_P. Модель распространяется по лицензии Apache-2.0.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.

INF-34B-Base — базовая плотная языковая модель с 34 млрд параметров, разработанная командой INF и построенная на архитектуре LLaMA. Для стабилизации обучения вместо RMSNorm используется LayerNorm с gamma, центрированной относительно нуля. Модель предварительно обучена примерно на 3,5 трлн очищенных токенов из англо-китайского корпуса. README сообщает о контексте до 32K токенов, тогда как метаданные Hugging Face указывают native context в 4096 токенов. Модель предназначена для генерации текста и служит основой для последующей адаптации под диалоговые и прикладные сценарии. В обучении уделялось внимание общим знаниям, математике и программированию, а разработчики также отмечают потенциал в финансах и здравоохранении. В README приведены результаты базовой модели на академических тестах, включая MMLU, CMMLU и GSM8K. Модель опубликована в формате safetensors. В метаданных указана лицензия other; README допускает коммерческое применение на условиях раздела лицензии, но сам текст условий здесь не приведён. Заявление о работе квантованной версии на видеокартах с 24 ГБ видеопамяти относится к отдельной квантованной версии, а не непосредственно к этому базовому репозиторию.

KONI-Llama3-8B-20240630 — языковая модель, разработанная Donghun Yang из KISTI. Это продолженное предварительное обучение Llama 3 с 8 млрд параметров на корпусе объёмом 200 ГБ на корейском и английском языках, включающем научно-технические материалы. Модель использует авторегрессионную архитектуру Transformer и принимает текст, генерируя текст и код; контекст составляет 8192 токена. Модель предназначена для генерации текста и кода, а также для адаптации к разным задачам генерации естественного языка. В карточке указана предварительная версия от 30 июня 2024 года. Ограничения лицензии: CC-BY-NC-SA-4.0 и лицензия Llama 3; перед использованием следует соблюдать условия обеих лицензий и применимые правила использования Llama 3.

QuantFactory/Llama-3.1-8B-Instruct-Fei-v1-Uncensored-GGUF — это квантизированная версия модели Llama-3.1-8B-Instruct-Fei-v1-Uncensored, созданная с использованием llama.cpp. Базовая модель разработана на основе Llama 3.1 от Meta, а исходную модификацию подготовил пользователь aifeifei799. Модель предназначена для генерации текста, диалоговых помощников и других задач обработки естественного языка, включая работу с кодом. Это текстовая авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), содержащая 8B параметров. Она поддерживает ввод текста и генерирует текст или код, имеет контекст до 128k токенов и рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантизация в формате GGUF предназначена для более эффективного запуска, в том числе через llama.cpp, однако README не указывает конкретный тип квантизации, требования к памяти или характеристики производительности. Версия обозначена как uncensored, поэтому её поведение в части отказов и защитных ограничений может отличаться от стандартной instruction-tuned модели Meta; ответы по-прежнему могут быть неточными или небезопасными. Использование регулируется кастомной коммерческой лицензией Llama 3.1 Community License и связанными ограничениями Acceptable Use Policy.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

Llama 3 Tulu V2+DPO 70B — языковая модель-инструкция от Allen Institute for AI (AI2), созданная дообучением Llama 3 Tulu 2 70B на предпочтениях UltraFeedback методом DPO. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций; принимает текст и генерирует текст. Основной язык — английский, а длина контекста составляет 2048 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. В опубликованных оценках показаны результаты на тестах знаний, математики, программирования, следования инструкциям и предпочтений. Модель не проходила этап RLHF для безопасных ответов и не имеет встроенной фильтрации, поэтому может генерировать проблемный контент, особенно по прямому запросу. Выпущена под лицензией Apache 2.0; в карточке также отмечено наличие лицензии сообщества Meta Llama 3.

Manticore 13B — языковая модель OpenAccess AI Collective, полученная дообучением Llama 13B на наборах диалогов, инструкций, задач на рассуждение и краткое изложение. Это плотная авторегрессионная архитектура LLaMA с 12,9 млрд параметров; модель использует Transformers и принимает текст, генерируя текст. Указанный контекст — 2048 токенов, основной язык карточки — английский. Модель предназначена для диалогов с ассистентом, выполнения инструкций, ответов на вопросы и генерации подробных или кратких ответов. Данные обучения включают ShareGPT, WizardLM, Wizard-Vicuna, Alpaca-CoT, GPT4-LLM-Cleaned, GPTeacher, ScienceQA, HellaSwag, MMLU и набор для суммаризации отзывов. Модель не проходила выравнивание предпочтений с помощью RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Лицензия в предоставленных данных не указана.

Meta-Llama-3-8B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF сообществом bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В README указаны английский язык и категория text-generation. Из доступных данных известно, что модель основана на Llama 3 и имеет размер 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск совместимыми средствами инференса, однако конкретная схема квантования, максимальная длина контекста, требования к оборудованию и дополнительные возможности в README не указаны. Сильными сторонами являются компактный для крупной языковой модели размер и специализация на следовании инструкциям; ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, точности и производительности в различных сценариях. Модель распространяется по лицензии Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению надписи «Built with Meta Llama 3», соблюдение Acceptable Use Policy и ограничения, связанные с крупными коммерческими сервисами.

MiniMax-M1 — крупная модель рассуждений с открытыми весами, разработанная MiniMax. Она предназначена для генерации ответов и решения задач, требующих многошагового рассуждения и обработки длинного контекста. Модель использует гибридную архитектуру Mixture-of-Experts (MoE) и механизм lightning attention. В доступных сведениях не приведены размер модели, длина контекста, поддерживаемые языки и лицензия, поэтому эти характеристики нельзя уточнить.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

moco-sentencebertV2.0 — двуязычная модель эмбеддингов предложений от bongsoo. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Архитектура основана на BERT; размер модели — 230,4 млн параметров, контекст — до 512 токенов. Для получения эмбеддинга используется mean pooling над контекстными векторами токенов. Модель обучена на базе bongsoo/mbertV2.0: после обучения Sentence-BERT её дополнительно дистиллировали с учителем paraphrase-multilingual-mpnet-base-v2 и дообучили на задачах семантического сходства. В README приведены корейские и английские оценочные наборы и результаты сравнения, однако полная строка результатов этой модели в карточке отсутствует. Поддерживаются корейский и английский языки; словарь содержит 152 537 токенов. Лицензия в предоставленных данных не указана.

Nous-Hermes-2-DPO_into_Dolphin_Mistral_2.8_v02 — объединённая диалоговая модель, созданная с помощью LazyMergekit из cognitivecomputations/dolphin-2.8-mistral-7b-v02 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом slerp. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста по запросам и ведения диалога; контекст — до 32 768 токенов. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Nemotron-H-8B-Reasoning-128K, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель относится к классу reasoning-моделей, имеет около 8 миллиардов параметров и заявленный контекст до 128K токенов. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Более высокие варианты, включая Q6_K_L и Q6_K, обеспечивают качество, близкое к исходному, а Q4-варианты предлагают более компактный запуск. Сильными сторонами являются большой контекст, возможность локального использования и широкий выбор квантизаций для разного оборудования. Ограничения связаны с потерями качества при более агрессивной квантизации; точный формат промптов, поддерживаемые языки, архитектурные детали и официальная лицензия в представленном README не указаны.

Olmo Hybrid Instruct DPO 7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель на 6,3 млрд параметров, дообученная методом supervised fine-tuning и оптимизации предпочтений DPO на запросах по математике, программированию, диалогам и общим знаниям. Она предназначена для диалоговых ответов и генерации текста; поддерживает контекст до 32 768 токенов и запускается через Transformers 5.3.0 или выше. В карточке приведены результаты оценки на математических бенчмарках, включая MATH и AIME. Модель выпускается в формате safetensors и распространяется по лицензии Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии с рекомендациями Responsible Use. Без дополнительной фильтрации она может генерировать вредный или предвзятый контент, а ответы могут содержать фактические ошибки.

orca_mini_v2_7b — языковая модель семейства LLaMA, разработанная Pankaj Mathur совместно с Eric Hartford. Это дообученная плотная авторегрессионная модель примерно с 6,6 млрд параметров для генерации текста по инструкциям и диалоговым запросам. При обучении использовались подходы к построению данных из исследования Orca и наборы WizardLM, Alpaca и Dolly-V2; автор отмечает улучшенные возможности генерации кода по сравнению с предыдущей версией orca_mini_7b. Модель предназначена для ответов на вопросы, выполнения инструкций, диалога и генерации кода на английском языке. Она принимает текст и генерирует текст; родной контекст составляет 2048 токенов. В README приведены результаты оценки на наборах ARC Challenge и HellaSwag. Модель описана как uncensored, поэтому её ответы могут требовать дополнительной фильтрации. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и распространением производных на тех же условиях, но запрещает коммерческое использование.

PathummaLLM-text-1.0.0-7B — мультиязычная текстовая большая языковая модель, разработанная командой NECTEC и дообученная на базе nectec/OpenThaiLLM-Prebuilt-7B. Модель рассчитана на выполнение инструкций и поддерживает тайский, китайский и английский языки. Модель предназначена для генерации текста, диалоговых ассистентов, задач Retrieval-Augmented Generation (RAG), управляемой генерации и рассуждений. В README также указана применимость к сценариям в химии, биологии, финансах, праве, программировании и медицине. Архитектурные детали, кроме принадлежности к семейству Qwen2 и поддержки загрузки через Transformers, не раскрыты; заявлен размер около 7 миллиардов параметров. Для GGUF-применения приведён контекст 8192 токена, однако это значение может относиться к конкретному примеру запуска. Среди сильных сторон заявлены конкурентоспособные результаты по сравнению с Openthaigpt1.5-7b-instruct и оптимизация для прикладных сценариев. Ограничения включают отсутствие подробных сведений о составе и методике подготовки датасета, точных характеристиках архитектуры и гарантированной эффективности в отдельных прикладных областях. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе microsoft/Phi-3.5-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в локальных приложениях и интерфейсах, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. В репозитории представлены квантизованные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером модели, требованиями к памяти и качеством генерации. README не содержит сведений о точном размере модели, архитектуре, длине контекста, поддерживаемых языках, модальностях и лицензии. Формат GGUF ориентирован на эффективный локальный запуск, включая сценарии с GPU-ускорением, однако конкретные требования к оборудованию зависят от выбранного варианта квантизации и программного обеспечения.