Обработка фильма нейросетью — различия между версиями

Материал из ТХАБ.РФ
Перейти к: навигация, поиск
(Новая страница: «Обработка фильма нейросетью. Добрый день! Свой эксперимент я решил провести под впечатл…»)
(нет различий)

Версия 00:56, 14 февраля 2020

Обработка фильма нейросетью. Добрый день!

Свой эксперимент я решил провести под впечатлением от поста https://pikabu.ru/story/vpervyie_alisa_v_kachestve_fhd_1080_6618045

Сразу загорелся идеей прогнать через нейросеть весь фильм целиком. Конечно, мысль замахнуться на "Гостью из будущего" была отметена сразу, т.к. 5 серий это очень много для моего старенького компа. Поэтому, покопавшись в детских воспоминаниях, сначала выбор пал на "Отроки во вселенной". Попустив через нейросеть первые 5 минут фильма и посмотрев результат заметил, что на темных участках экрана появились какие-то разводы. Сначала я решил, что это глюки нейросети, поэтому решил выбрать другой фильм. На этот раз вспомнил фильм-сказку "Финист - Ясный сокол".

Какой софт я использовал:

VirtualDub - для разложения фильма на кадры.

Topaz A.I. Gigapixel - собственно сама нейросеть для апскейла полученных в VirtualDub кадров.

VideoMach - для обратной сборки обработанных кадров в видеофайл.

Закинув в Topaz A.I. первые кадры фильма, выяснилось, что проблема с разводами никуда не делась. Поэкспериментировав с настройками решил эту проблему установив значение "Suppress Noise = None". Сам процесс обработки кадров проводил исключительно по ночам, чтобы никому не мешать. На все про всё ушло более двух месяцев.

Теперь о результате. На моё, субъективное, мнение - стало заметно лучше, но назвать полученное видео Full HD язык не поворачивается. Конечно, если одновременно смотреть вариант без обработки и с обработкой, то разница более чем заметна. Topaz A.I. Gigapixel хорошо справился с водой, облаками и металлом. Неплохо получились лица крупным планом. Кольчуга у богатырей приобрела подобие текстуры, а не просто серая масса как было. Про кадры с природой трудно сделать однозначный вывод, т.к. качество исходного материала очень плохое.

Будем ждать дальнейшего развития нейросетей, пробовать, экспериментировать.

Результат можно посмотреть тут:

https://www.youtube.com/watch?v=3HVxXsbPIE8