Искусственный интеллект научился озвучивать видеоряд

Искусственный интеллект – давняя мечта всех футуристов. С другой же стороны – его боятся, достаточно вспомнить фильм Терминатор и Skynet, фигурировавший там. Но пока ИИ используется в мирных целях – нам ничего не грозит. Сотрудники CSAIL из MIT совместно со спецами из Google Research спроектировали нейросеть, способную определять звук по видеоряду и синхронизировать его с видео.

Ремінець для смарт-годинника BeCover Milanese Style for Samsung Galaxy Watch 4 Classic 42 (22mm)/46mm/Watch 46mm/Watch 3 45mm/Gear S3 Classic/Gear S3 Frontier R (707789)

399 грн

Купити

Захисна плівка для смарт-годинника DEVIA Apple Watch 8 45mm 2 шт. (DV-IPHW8-45)

89 грн

Купити

Кейс для екшн камери Insta360 Ace Pro Dive Case (CINSBAJF)

4799 грн

Купити

Тест Тьюринга (или его адаптация под этот конкретный) был пройден довольно неплохо – 40% испытуемых считают звук, определённый и «подставленный» ИИ более реалистичным, чем настоящий.

Учёные собрали 977 видеозаписей, содержащих 46577 действий: шелест, стук, царапанье и тому подобное — ИИ точно опознал около 67% звуков.

В дальнейшем разработка может использоваться для озвучивания фоновых эффектов фильмов а также в робототехнике.