I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейЭто GGUF-квантизация модели Nohobby/L3.3-Prikol-70B-v0.5, подготовленная пользователем bartowski с использованием llama.cpp версии b4585 и imatrix. Исходная модель имеет 70 миллиардов параметров; по представленным данным её точная архитектура, языки и поддерживаемые модальности не указаны. Модель относится к классу text-generation и предназначена для генерации текста в локальных приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_1, Q4_K_M, Q4_K_S, Q4_0, IQ4_NL, Q3_K_XL, IQ4_XS, Q3_K_L, Q3_K_M, IQ3_M, Q3_K_S, IQ3_XXS, Q2_K_L, Q2_K, IQ2_M и IQ2_S. Размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые. Низкобитные варианты экономят память, но могут заметно уступать по качеству. В README не указаны лицензия, размер контекста, точный набор языков, результаты оценки и дополнительные ограничения использования. Формат промпта соответствует шаблону Llama 3.3 с датой отсечения знаний декабрь 2023 года.
NuTag — модель распознавания именованных сущностей, основанная на NuNER-BERT-v1.0 от NuMind и представленная в формате GGUF F16. Это encoder-only архитектура BERT с токенизацией WordPiece; модель принимает текст и размечает его токены, выделяя сущности, например людей, организации и географические места. Модель предназначена для извлечения сущностей из текстов в новостях, юридических документах и медицинских материалах, а также для локального запуска через llama.cpp, LM Studio, Ollama или Jan. Она дообучена на размеченных корпусах NER разных областей и ориентирована преимущественно на английский язык. Это не генеративная модель; точность на редких сущностях может снижаться при использовании низкобитных вариантов квантования, а составные сущности могут разбиваться токенизацией. В репозитории указан формат GGUF F16; лицензия в предоставленных данных не указана.
OpenLLaMA 13B — авторегрессионная языковая модель семейства LLaMA, разработанная OpenLM Research как открытая репликация LLaMA. Модель содержит 12,9 млрд параметров и обучена с нуля на корпусе RedPajama объёмом около 1,2 трлн токенов; архитектура и параметры обучения следуют работе LLaMA. Доступны веса PyTorch, контекст составляет 2048 токенов. Модель предназначена для продолжения текста и генерации ответов по текстовому запросу, а также для оценки языковых моделей и экспериментов с few-shot-примерами. В опубликованных оценках она показывает сопоставимые с исходной LLaMA 13B и GPT-J результаты по большинству задач, хотя эти результаты зависят от протокола оценки. README предупреждает, что fast tokenizer может выполнять токенизацию некорректно; рекомендуется использовать LlamaTokenizer или AutoTokenizer с use_fast=False. Для few-shot-оценки рекомендуется добавлять BOS-токен. Лицензия Apache-2.0.
mlabonne/OrcaGemma-2B — плотная языковая модель Gemma с 2,5 млрд параметров, созданная дообучением google/gemma-2b на наборе Open-Orca/SlimOrca-Dedup с использованием Axolotl. Она предназначена для генерации текста и ответов на запросы, в том числе в диалогах и задачах суммаризации. Контекст модели составляет 8192 токена. В README приведено сравнение на наборе бенчмарков Nous: модель показывает средний результат 35,63, уступая Gemmalpaca-2B и gemma-2b-it в среднем по указанной таблице. Карточка указывает лицензию other; конкретные условия использования следует сверять с лицензией базовой модели и условиями репозитория.
palmer-002-32k — языковая модель семейства Llama от appvoid, созданная на основе palmer-002-2401 путём слияния и дообучения с TinyLlama-1.1B-32k-Instruct от Doctor-Shotgun. Модель предназначена для генерации текста и работы с длинным контекстом; заявленная длина контекста — 32 768 токенов, размер — 1 млрд параметров. В README приведено сравнение результатов zero-shot оценки на ARC-C, OBQA, HellaSwag, PIQA и Winogrande. Для длинного контекста и генерации текста модель может применяться в диалоговых сценариях и для ответов на вопросы по объёмным материалам. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Оценки в карточке ограничены указанными бенчмарками и настройкой zero-shot; README не приводит результатов отдельной оценки качества на контекстах длиной 32k.
Qwark-4B — языковая модель на архитектуре Qwen2, опубликованная пользователем qingy2024 и основанная на дообучении Qwen/Qwen2.5-3B. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс модели также поддерживает вызов инструментов. Модель содержит 4,5 млрд параметров и рассчитана на контекст до 32 768 токенов. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Модель размещена в формате safetensors и использует библиотеку Transformers. README не приводит сведений о специальных целевых областях или результатах оценки качества. Условия лицензии в предоставленных данных не указаны.
KnutJaegersberg/Qwen-14B-Llamafied — преобразованная версия Qwen-14B, созданная для совместимости с программной экосистемой Llama. По карточке модели, автор применил скрипт преобразования и использовал исходный токенизатор CausalLM. Модель предназначена для генерации текста и запуска в инструментах, рассчитанных на архитектуру Llama. В метаданных указаны 13,4 млрд параметров, архитектура LlamaForCausalLM, формат PyTorch и контекст длиной до 8192 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 63,09, включая 55,20 на AI2 Reasoning Challenge и 82,31 на HellaSwag. Лицензия обозначена как other; конкретные условия использования следует проверять у автора.
qwen2-1 — объединённая модель на архитектуре Qwen2, созданная с помощью LazyMergekit из Weyaxi/Einstein-v7-Qwen2-7B и jeiku/dontusethis. Она предназначена для генерации текста и диалоговых сценариев. Слияние выполнено методом SLERP; модель содержит 7,1 млрд параметров, использует формат safetensors и имеет контекстное окно до 131 072 токенов. Базовая модель Einstein-v7-Qwen2-7B описана как диалоговая модель для генерации текста и ответов на вопросы, особенно по естественным наукам и математике. Лицензия в предоставленных данных не указана.
Qwen2-Mix-7B — разговорная языковая модель на архитектуре Qwen2, созданная bunnycore путём объединения нескольких моделей с помощью mergekit. Репозиторий содержит веса в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Объединение включает bunnycore/Qwen-Mix-7B, maywell/Qwen2-7B-Multilingual-RP и cognitivecomputations/dolphin-2.9.2-qwen2-7b; в конфигурации mergekit указаны метод model_stock и формат bfloat16. Лицензия — Apache-2.0. Модель унаследовала мультиязычную направленность одной из базовых моделей и ориентирована на чат, однако README не приводит результаты оценки качества или подробный перечень языков и специальных навыков. Как и другие генеративные языковые модели, она может выдавать неточные или выдуманные сведения.
Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.5-35B-A3B, подготовленный независимым разработчиком llmfan46. Это модифицированная, «decensored» версия исходной модели Qwen, созданная с использованием Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation (MPOA) и Self-Organizing Map Abliteration (SOMA). В README также указана исходная модель Qwen/Qwen3.5-35B-A3B, однако подробности о разработчике базовой модели и её полной архитектуре не приведены. Модель предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других инструментах, совместимых с GGUF. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к VRAM. Указанное обозначение 35B-A3B отражает заявленный класс и конфигурацию модели, но точные сведения о числе активируемых параметров, размере контекста и языковой поддержке в представленном README отсутствуют. Модель поддерживает мультимодальные сценарии image-text-to-text. Для работы с изображениями требуется отдельный vision projector в формате F32 или BF16; его следует использовать вместе с любой квантизацией основной модели. Ключевая особенность модификации — существенное снижение числа отказов: в приведённом тесте 4 из 100 против 91 из 100 у оригинала, при KL divergence 0,0411, что указывает на относительно небольшое отклонение от исходного поведения. При этом снятие ограничений может повышать риски небезопасных или нежелательных ответов, а квантизация способна влиять на качество, связность и рассуждения. Лицензия — Apache 2.0.
Qwen3.8-27B-Uncensored-Aggressive-i1-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B-Uncensored-Aggressive, разработанной philbert440 и подготовленной квантизацией mradermacher. Модель относится к семейству Qwen3, имеет около 27 млрд параметров и предназначена для генерации и обработки текста; README также обозначает её как vision-модель, поддерживающую работу с изображениями при наличии соответствующих mmproj-файлов. Заявленный язык — английский. Доступны варианты квантизации i1 с размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3_K, IQ3, Q4, Q5 и Q6. Они позволяют выбирать компромисс между требованиями к памяти, скоростью и качеством; для повседневного использования рекомендован i1-Q4_K_M, а i1-Q4_0 отмечен как быстрый, но обладающий более низким качеством. Контекстное окно, точная архитектура и результаты тестирования в README не указаны. Модель описана как uncensored и abliterated, поэтому её поведение и защитные ограничения могут отличаться от исходной модели. Распространяется по лицензии Apache-2.0.
Qwen3.8-9B-Distill-uncensored-heretic-Q4_K_M-GGUF — текстовая генеративная модель, преобразованная в формат GGUF из базовой модели petruhonk/Qwen3.8-9B-Distill-uncensored-heretic. В README не указано, кто разработал исходную модель; преобразование в GGUF выполнено для репозитория ge525. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp, включая работу через CLI или сервер. Известно, что модель относится к семейству Qwen, имеет размер 9B и создана методом дистилляции. Заявлены сценарии рассуждений и function calling, однако подробные сведения об архитектуре, длине контекста, мультимодальности и качестве отсутствуют. Указан английский язык. Квантованный вариант Q4_K_M рассчитан на более экономичное использование памяти, но README не содержит точных требований к оборудованию и данных о производительности. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется llama.cpp; в README приведены примеры запуска с контекстом 2048 токенов, но это значение может быть лишь параметром конкретной команды, а не максимальным контекстом модели. Ограничения, связанные с безопасностью и поведением uncensored-версии, отдельно не описаны.
VladShash/qwen3-8b-classic-no-repair — плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, разработанная на основе formalmathatepfl/qwen3-cpt. Модель дообучена методом SFT на наборе данных sft; в карточке она представлена как диалоговая модель для генерации текста. Модель принимает текст и выдаёт текст. Её можно использовать для диалогов и генерации ответов в сценариях, где подходит Qwen3. Контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированных областях применения или языках. Лицензия указана как other, поэтому конкретные условия использования по карточке определить нельзя.
Qwen3-step32k-1e5 — диалоговая модель генерации текста на базе Qwen3 с 7,6 млрд параметров, дообученная Etienne Bamas на датасете SFT от formalmathatepfl/qwen3-cpt. Она предназначена для текстовых запросов и диалоговых сценариев; использует плотную архитектуру Qwen3 и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Карточка не описывает конкретные специализации, результаты оценки или известные ограничения качества. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории модели и базовой модели.
lmstudio-community/QwQ-32B-MLX-8bit — 8-битная MLX-квантизация модели QwQ-32B, разработанной Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Apple Silicon и использования в LM Studio. Это текстовая генеративная reasoning-модель с размером 32B, ориентированная на чат и задачи, требующие рассуждений. В карточке указана поддержка контекста до 128K токенов и английского языка. Модель подходит для локальной генерации текста и диалоговых сценариев, однако README не содержит подробностей о специализированных задачах, точности или результатах бенчмарков. К сильным сторонам относятся большой контекст, возможность локального запуска на Apple Silicon и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полной точностью. Ограничения включают зависимость от совместимого оборудования и возможные неточные, вредные или нежелательные ответы, характерные для генеративных моделей. Лицензия — Apache-2.0.
RuadaptQwen2.5-1.5B-instruct — русскоязычная инструктивная модель, разработанная командой RefalMachine на основе Qwen2.5-1.5B-Instruct. Она предназначена для диалогов и генерации текстовых ответов на инструкции. Модель использует плотную архитектуру Qwen2 и содержит 1,5 млрд параметров; максимальная длина контекста — 32 768 токенов. Авторы заменили токенизатор, продолжили предобучение на русскоязычном корпусе и применили LEP (Learned Embedding Propagation). По заявлению авторов, новый токенизатор увеличил скорость генерации русскоязычного текста до 60% относительно исходной модели на одинаковых последовательностях. В карточке упомянуты оценки на Ru-Arena-General, MERA и llmtf_open, но опубликованные результаты отсутствуют. Модель поддерживает русский язык, чат и интерфейс вызова инструментов. Доступна в формате safetensors по лицензии Apache-2.0. Авторы предупреждают, что ответы могут отражать сведения и взгляды из данных обучения; показатели качества в карточке не приведены.
SauerkrautLM-Mixtral-8x7B — многоязычная языковая модель компании VAGO solutions на архитектуре Mixture of Experts, дообученная на базе mistralai/Mixtral-8x7B-v0.1. Модель содержит 7,1 млрд параметров и принимает текстовые запросы; заявленный контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на английском, немецком, французском, итальянском и испанском языках. Она прошла supervised fine-tuning (SFT) на OpenOrca/SlimOrca и выравнивание предпочтений методом DPO. Для обучения использовались немецкие аугментированные и переведённые данные, а также части наборов distilabel-math-preference-dpo и UltraFeedback. Карточка указывает лицензию Apache 2.0, допускающую коммерческое использование. Разработчики предупреждают, что модель может выдавать неподходящий или некорректный контент; качество немецких формулировок улучшали аугментацией, но стабильность поведения не гарантируется.
chargoddard/servile-harpsichord-cdpo — языковая модель семейства Mistral, разработанная Chargoddard. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста; она обучена на другой случайной выборке тех же наборов данных, что и loyal-piano-m7, а затем дообучена методом cDPO на смеси датасетов RLHF. Модель использует формат запросов Alpaca и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации и следования инструкциям. В обучении использованы наборы данных Orca, суммаризации отзывов, ролевого диалога и предпочтений, включая PKU-SafeRLHF и UltraFeedback. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Это объединённая модель генерации текста, опубликованная пользователем yuhengtu-bytedance. Она создана методом Linear merge в mergekit из контрольных точек предварительно обученной языковой модели на шагах обучения 4000, 5000, 6000, 7000 и 8000; контрольная точка шага 8000 использовалась как базовая. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; заявленная длина контекста — 16 384 токена. Данные не уточняют целевые языки и специализированные области применения, поэтому модель можно описать только как универсальную языковую модель. Файлы весов представлены в формате Safetensors, а для работы указана библиотека Transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны; результаты могут зависеть от используемого промпта и сценария применения.
Sirius-10B — объединённая языковая модель на архитектуре Mistral, созданная Felix Chao путём слияния частей leveldevai/TurdusBeagle-7B и FelixChao/Severus-7B. В конфигурации указаны метод passthrough и точность float16; репозиторий содержит веса Safetensors. Модель насчитывает 10,6 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы на запросы, диалог или продолжение текста. Карточка не уточняет специализацию, языки обучения или отдельные возможности модели. Лицензия — Apache-2.0.
mlx-community/SmolVLM-Instruct-4bit — конверсия модели HuggingFaceTB/SmolVLM-Instruct в формат MLX с 4-битным представлением, выполненная сообществом mlx-community. Это компактная мультимодальная модель семейства Idefics3 для диалога по изображениям и текстовым запросам: она принимает изображение и текст, чтобы отвечать на вопросы о визуальном содержимом и помогать разбирать документы. Модель подходит для сценариев визуальных вопросов и ответов, описания изображений и извлечения сведений из документов. Карточка рекомендует запуск через mlx-vlm; исходная модель обучалась на наборах The Cauldron и Docmatix. Поддерживаемый язык, указанный в метаданных, — английский. Лицензия Apache-2.0.
jaspionjader/sof-7 — объединённая модель семейства Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована jaspionjader/Kosmos-EVAA-Franken-stock-v43-8B; также в слияние вошли jaspionjader/ek-6, jaspionjader/sof-5 и jaspionjader/sof-6. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах. Она принимает текстовые запросы, выдаёт текст и поддерживает контекст до 131 072 токенов. Модель распространяется в формате safetensors; для её загрузки указана библиотека Transformers. Языки и специализированные предметные области в карточке не заявлены. Карточка не описывает отдельные ограничения качества или условия лицензии, поэтому их нельзя надёжно уточнить по доступным сведениям.
Strawberry-1-i1-GGUF — это набор квантованных GGUF-файлов модели strawberry-1, разработанной artindnr и квантизированной mradermacher. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, поддерживающих формат GGUF. В репозитории представлены варианты с разными уровнями квантования, размером примерно от 12,1 до 22,3 ГБ, а также imatrix-файл для создания собственных квантовок. Модель относится к архитектуре Mixture-of-Experts; в метаданных также указаны совместимость с PyTorch, JAX и TensorFlow, а также поддержка языков fa, en и multilingual. Точный размер исходной модели, максимальная длина контекста, количество экспертов и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным модель является текстовой и не поддерживает заявленные мультимодальные входы. Основное преимущество репозитория — широкий выбор квантовок с различным компромиссом между размером, скоростью и качеством. Для повседневного использования автор рекомендует i1-Q4_K_M, а i1-Q4_K_S отмечает как оптимальный вариант по соотношению размера, скорости и качества. Более низкие уровни квантования требуют меньше ресурсов, но могут заметно снижать качество. Лицензия модели — Apache-2.0.
StructLM-34B — языковая модель TIGER-Lab для задач grounding по структурированным знаниям. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров, дообученная на инструкционном наборе TIGER-Lab/SKGInstruct, который объединяет 19 задач со структурированными знаниями и SlimOrca. Модель принимает линеаризованные структурированные данные и инструкции, а ответ формирует в текстовом виде; для версии 34B в README приведён специальный формат промпта. Контекст — до 16 384 токенов. Модель предназначена для вопросов и рассуждений по таблицам, графам знаний и другим структурированным входам, включая генерацию SQL, ответы по графам знаний и проверку утверждений по таблицам. В приведённых авторами оценках StructLM-34B показала результаты на наборах ToTTo, GrailQA, CompWebQ, MMQA, Feverous, Spider, TabFact, DART, BIRD, InfoTabs, FinQA и SQA. README предупреждает, что качество в этой области остаётся сложной задачей и модель может быть недостаточно надёжной для непосредственного использования в чате и других приложениях. Лицензия — MIT.
Это GGUF-квантизированная версия языковой модели TildeOpen-30b, разработанной TildeAI. Репозиторий подготовлен пользователем bartowski с использованием llama.cpp версии b6317 и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит около 30 миллиардов параметров и представлена в форматах от BF16 до различных вариантов квантования Q8, Q6, Q5, Q4, Q3 и Q2. Размер файлов варьируется примерно от 12 до 61 ГБ. Более высокие варианты квантования обеспечивают лучшее качество при больших требованиях к памяти, а низкие позволяют запускать модель на системах с ограниченными ресурсами, но с заметным снижением качества. Для версии не указан шаблон промпта; README также не содержит данных о поддерживаемых языках, длине контекста, архитектуре, мультимодальности или лицензии. Основные сильные стороны — широкий выбор уровней квантования, возможность локального использования и оптимизация imatrix, направленная на сохранение качества при уменьшении размера. Ограничения связаны с высокими требованиями к памяти для крупных вариантов, возможным ухудшением качества у низкобитных версий и отсутствием в README информации о лицензии и характеристиках исходной модели.
Babel-83B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Babel-83B-Chat, разработанной Tower-Babel и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, в том числе на множестве языков: английском, китайском, хинди, испанском, французском, арабском, бенгальском, русском, португальском, индонезийском, урду, немецком, японском, суахили, тамильском, турецком, корейском, вьетнамском, яванском, итальянском, хауса, тайском, персидском, тагальском и бирманском. Архитектура и размер исходной модели указаны как 83B; модальность — текстовая. README не содержит сведений о длине контекста и внутренней архитектуре. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантизаций, размер файлов составляет примерно от 33,5 до 88,5 ГБ. Более качественные варианты требуют больше памяти, а низкобитные позволяют экономить ресурсы ценой качества. Для работы используется формат prompt с ролями system, user и assistant. Основные сильные стороны — большой размер модели, многоязычная направленность, поддержка локального запуска и широкий выбор вариантов квантизации. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для высококачественных вариантов, а также возможное снижение качества у низкобитных квантизаций. Указана лицензия SeaLLM; подробные условия доступны по ссылке на лицензию SeaLLMs/SeaLLM-13B-Chat.
Vigogne 2 13B Instruct — это большая языковая модель для генерации текста и выполнения инструкций, разработанная bofenghuang. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели Vigogne 2 13B Instruct. Модель предназначена для диалоговых сценариев, ответов на инструкции и других задач генерации текста, преимущественно на французском языке. Она построена на архитектуре Llama и имеет размер 13 млрд параметров. В README не указаны поддерживаемые модальности, размер контекстного окна и полный набор языков. Для работы используется шаблон запросов Alpaca. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом сторонних графических интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Квантизация позволяет запускать модель с использованием CPU и GPU, однако конкретные требования к ресурсам зависят от выбранного варианта квантизации. Лицензия указана как Llama 2; дополнительные ограничения или сильные стороны модели в README не описаны.
WizardLM-13B-1.0-fp16 — языковая модель семейства LLaMA, опубликованная TheBloke в формате PyTorch с точностью fp16. Это 12,9-миллиардная модель для генерации текста и следования сложным инструкциям; README описывает исходную WizardLM-13B как дообученную на инструкциях Evol-Instruct и сообщает, что версия поддерживает диалог с несколькими ходами. Контекст составляет 2048 токенов. Модель подходит для ответов на вопросы, выполнения инструкций, диалогов и генерации развернутых текстов на английском языке. README рекомендует английский для работы с демонстрационной версией и отмечает, что для результатов, совпадающих с демо, следует соблюдать указанную там схему промпта и вызова модели. В репозитории размещена объединённая fp16-версия delta-весов WizardLM; указано, что для получения WizardLM применяются дельты к исходным весам LLaMA. Метаданные указывают лицензию other, а README связывает выпуск delta-весов с условиями лицензии LLaMA. Это крупная модель, требующая соответствующих вычислительных ресурсов; карточка также призывает оценивать её ответы и сообщать о слабых местах.
Yiet-9B — объединённая языковая чат-модель от nbeerbower, созданная методом Model Stock с помощью mergekit на базе nbeerbower/yi-gutenberg-9B. В слияние вошли девять моделей семейства Yi-9B, включая варианты для диалога, следования инструкциям и предпочтений. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 8,6 млрд параметров; репозиторий предоставляет веса в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, выполнения текстовых инструкций и создания связных текстов. Метаданные описывают базовое семейство как двуязычное, ориентированное на английский и китайский языки; контекст составляет 4096 токенов. README не приводит оценок качества или результатов сравнительных испытаний, поэтому пригодность для конкретных задач следует проверять отдельно. Модель опубликована на Hugging Face; сведения о лицензии в предоставленных данных отсутствуют.
AgentLM-70B — языковая модель команды Z.ai, дообученная на траекториях взаимодействия с агентами и диалогах. Она предназначена для генерации текста в формате беседы и выполнения инструкций, включая задачи агентного взаимодействия. Модель основана на Llama 2 Chat и обучена на смеси AgentInstruct и ShareGPT; использует плотную архитектуру LlamaForCausalLM и содержит 68,7 млрд параметров. Контекст составляет 4096 токенов. Модель ориентирована на обобщение на незнакомые агентные задачи при сохранении общих языковых возможностей. Она принимает текст и генерирует текст, следуя формату диалога Llama 2 Chat с фиксированным системным промптом. В карточке приведён формат весов safetensors. Сведения о лицензии в доступных данных отсутствуют.