Обработка фильма нейросетью
- Topaz Video Enhance AI - апскейл видео. требования видеокарта 4Гб
Каково минимальное аппаратное требование для видео Enhance AI?
Мы предлагаем вам запустить Video Enhance AI на графических картах Nvidia высокого класса. Минимальное требование-GTX 1050 с 4 ГБ VRAM. Любая графическая карта позже / лучше, чем GTX 1080 (в комплекте) будет делать довольно быструю работу.
Если у вас нет видеокарты Nvidia на вашем устройстве, программное обеспечение может работать на вашем Intel iGPU. Как правило, это будет в 5 раз медленнее. Если у вас нет Intel iGPU, программное обеспечение, наконец, вернется к вашему процессору, который может быть в 10 раз медленнее, чем версия NVIDIA GPU.
Обработка фильма нейросетью.
Свой эксперимент я решил провести под впечатлением от поста https://pikabu.ru/story/vpervyie_alisa_v_kachestve_fhd_1080_6618045
Сразу загорелся идеей прогнать через нейросеть весь фильм целиком. Конечно, мысль замахнуться на "Гостью из будущего" была отметена сразу, т.к. 5 серий это очень много для моего старенького компа. Поэтому, покопавшись в детских воспоминаниях, сначала выбор пал на "Отроки во вселенной". Попустив через нейросеть первые 5 минут фильма и посмотрев результат заметил, что на темных участках экрана появились какие-то разводы. Сначала я решил, что это глюки нейросети, поэтому решил выбрать другой фильм. На этот раз вспомнил фильм-сказку "Финист - Ясный сокол".
Какой софт я использовал:
VirtualDub - для разложения фильма на кадры.
Topaz A.I. Gigapixel - собственно сама нейросеть для апскейла полученных в VirtualDub кадров.
VideoMach - для обратной сборки обработанных кадров в видеофайл.
Закинув в Topaz A.I. первые кадры фильма, выяснилось, что проблема с разводами никуда не делась. Поэкспериментировав с настройками решил эту проблему установив значение "Suppress Noise = None". Сам процесс обработки кадров проводил исключительно по ночам, чтобы никому не мешать. На все про всё ушло более двух месяцев.
Теперь о результате. На моё, субъективное, мнение - стало заметно лучше, но назвать полученное видео Full HD язык не поворачивается. Конечно, если одновременно смотреть вариант без обработки и с обработкой, то разница более чем заметна. Topaz A.I. Gigapixel хорошо справился с водой, облаками и металлом. Неплохо получились лица крупным планом. Кольчуга у богатырей приобрела подобие текстуры, а не просто серая масса как было. Про кадры с природой трудно сделать однозначный вывод, т.к. качество исходного материала очень плохое.
Будем ждать дальнейшего развития нейросетей, пробовать, экспериментировать.
Результат можно посмотреть тут:
https://www.youtube.com/watch?v=3HVxXsbPIE8
Можно только дорисовать, но это уже будет Ваше творчество, а не автора фильма.
Единственная надежда, ждать ремастеринга от киностудии. Когда они заново покадрово оцифровывают пленку, реставрируют изображение и звук.
Имеющиеся исходники можно аккуратно пытаться улучшить (убирать шум, мерцание, ореолы на контурах и т.д.) лучше это делать с помощью программы
XviD4PSP 5.
Программа содержит фильтры и уже готовые скрипты-пресеты для обработки под те, или иные задачи, исходники и т.д.
Фильтры и пресеты постоянно обновляются авторами.
Программа бесплатная, можно скачать в том числе и на рутрекере.
Найти на рутрекере её можно так:
Главная » Кино, Видео и ТВ » Кино, Видео и TV - помощь по разделу » Обработка видео + аудио » XviD4PSP 5 — универсальный медиаконвертер.
В этом же разделе авторы пресетов и просто опытные пользователи могут дать совет по обработке конкретного исходника.
Сайт для улучшения изображений. waifu2x. Относительно недавно нашел сайт для улучшения качества картинок. Вдруг кому пригодится. Сам изредка пользуюсь им, бывает полезен. К посту приложил картинки найденных на просторах интернета, с примером того что было до и стало после.
Сам сайт: