Модели

Получение метаданных кодирования видео- и аудиофайлов через FFmpeg API.

Единая базовая модель SAM 3 для сегментации изображений и видео по подсказкам. Обнаруживает, сегментирует и отслеживает объекты по тексту или визуальным подсказкам: точкам, рамкам и маскам.

Интерактивные миры, которые можно исследовать в реальном времени с управлением движением и камерой.

Оценивает вероятность того, что изображение относится к NSFW.

Определяет, относится ли изображение к NSFW или SFW.

Модель для анализа видео: по запросу пользователя разбирает содержание ролика и отвечает на вопросы о происходящем в кадре.

Moondream 3 — визуально-языковая модель с передовым уровнем визуальных рассуждений, встроенными возможностями обнаружения объектов, указания на объекты и OCR. Подходит для реальных задач, где нужен быстрый и недорогой инференс в больших масштабах.

Нормализация громкости аудиофайлов по стандарту EBU R128 через FFmpeg API.

Moondream 3 — модель, объединяющая зрение и язык. Обеспечивает передовой уровень визуальных рассуждений со встроенными обнаружением объектов, указанием на объекты и OCR для реальных задач, где нужен быстрый и недорогой инференс в большом масштабе.

Продвинутая базовая модель компьютерного зрения Florence-2 решает широкий спектр задач зрения и задач на стыке зрения и языка, работая по промптам.

Moondream2 — очень эффективная визуально-языковая модель с открытым исходным кодом: хорошо понимает изображения и при этом остаётся удивительно компактной.

Очень эффективная визуально-языковая модель с открытым исходным кодом: хорошо понимает изображения и при этом остаётся удивительно компактной.

Превращает изображения или видео в детальную 3D-сцену с глубиной, позициями камеры и цветным облаком точек.

Florence-2 — продвинутая базовая модель компьютерного зрения, которая с помощью промптов решает широкий круг задач зрения и задач на стыке зрения и языка.

Вариант Nemotron 3 Nano Omni от NVIDIA с рассуждениями по изображениям. Гибридная архитектура MoE на основе Transformer и Mamba, 30B параметров, из них 3B активных. Принимает изображение и промпт, возвращает текст.

Превращает любое плоское рекламное изображение в полностью редактируемые слои: фон, вырезанные продукт и логотип, живой текст с типографикой и векторные фигуры. Безопасно для коммерческого использования, результат выдаётся в структурированном JSON.

Визуально-языковая модель Moondream 3 с передовым уровнем визуальных рассуждений, встроенными обнаружением объектов, указанием на объекты и OCR. Подходит для реальных задач, где нужен быстрый и недорогой инференс в больших масштабах.

Визуально-языковая модель Moondream 3 с передовым уровнем визуальных рассуждений, встроенными обнаружением объектов, указанием на объекты и OCR. Подходит для реальных задач, где нужен быстрый и недорогой инференс в больших масштабах.

MoonDreamNext — мультимодальная модель, объединяющая зрение и язык: создаёт подписи к изображениям, определяет направление взгляда, находит объекты в виде bbox и точек и решает другие задачи.

Вариант Nemotron 3 Nano Omni от NVIDIA для рассуждений по видео. Гибридная архитектура MoE на основе Transformer и Mamba, 30B параметров, из них 3B активных. Принимает видео и запрос, возвращает текст.

Получение данных волновой формы из аудиофайлов через FFmpeg API.

Florence-2 — передовая базовая модель компьютерного зрения, которая работает по промптам и решает широкий круг задач зрения и задач на стыке зрения и языка.

Moondream2 — очень эффективная визуально-языковая модель с открытым исходным кодом: сильное понимание изображений при удивительно малом размере.

Продвинутая базовая модель компьютерного зрения Florence-2. С помощью промптов решает широкий круг задач зрения и задач на стыке зрения и языка.

Выбор N-го изображения из списка URL изображений для использования в рабочих процессах.

Мультимодальная визуально-языковая модель Isaac-01 от Perceptron для разных задач на стыке зрения и языка.

Marlin — видео-VLM на 2B параметров, настроенная на два вопроса, которые разработчики чаще всего задают своим видео: что происходит и когда?

Зрение

Вопросы по изображению для NVIDIA Nemotron 3.5 Super: модель описывает сцены, читает текст и диаграммы и рассуждает о увиденном.

GOT-OCR2 справляется с широким кругом задач: OCR обычных документов, текста на сцене и форматированных документов, а также таблиц, диаграмм, математических формул, геометрических фигур, молекулярных формул и нот.

Задавайте NVIDIA Nemotron 3.5 Super вопросы о видеоклипе: модель перескажет происходящее, найдёт нужные моменты и выполнит рассуждения по кадрам.

Отвечает на вопросы по изображениям.

Moondream2 — очень эффективная визуально-языковая модель с открытым исходным кодом: мощное понимание изображений при совсем небольшом размере.

Sa2VA — мультимодальная языковая модель (MLLM), которая умеет отвечать на вопросы, понимать визуальные промпты и выполнять плотную сегментацию объектов как на изображениях, так и на видео.

Пишет текст песни и название по текстовому промпту с темой или идеей песни.

Мультимодальная модель Bagel от Bytedance-Seed на 7B параметров, умеет генерировать и текст, и изображения.