Metal Gear Solid 2: il leggendario trailer dell'E3 2000 aggiornato da una Intelligenza Artificiale
Si può rimasterizzare uno dei migliori trailer di tutti tempi in 4K utilizzando il deep learning?
È una bizzarra coincidenza, naturalmente, ma il giorno in cui il creatore di Metal Gear Solid, Hideo Kojima parla su Twitter di come l'Intelligenza Artificiale potrebbe sostituire i normali processi di rimasterizzazione dei vecchi giochi, Digital Foundry ha pubblicato un video che utilizza il machine learning per aggiornare il classico trailer di Metal Gear Solid 2 dell'E3 2000. Dal nostro punto di vista, l'originale è uno dei migliori trailer di tutti i tempi e, per una serie di ragioni, l' opportunità di vedere questo video in una versione upscalata tramite IA è stata irresistibile.
Il trailer, di per sé, è semplicemente incredibile ancora oggi, principalmente perché era un vero e proprio showcase in tempo reale: la PlayStation 2 produceva immagini di qualità mai vista prima, vera roba "next-gen" per l'epoca. In secondo luogo, la tecnologia in mostra non riguardava solo la grafica, ma anche i sistemi. Per tutti i nove minuti di intensa azione, abbiamo avuto modo di vedere sistemi di distruzione ambientale, nuovi pattern di Intelligenza Artificiale, lo stealth, i danni specifici per le singole parti del corpo e molto altro. E per finire, c'era la regia, con telecamere cinematografiche gestite sapientemente per catturare al meglio l'azione: il trailer di MGS2 aveva sfumature di James Cameron e Michael Bay nella sua presentazione e probabilmente molte altre delle influenze di Kojima. Sì, c'erano anche accenni alla storia, ma oltre a questo, Kojima non ha avuto paura di inserire anche dell'umorismo. Il trailer faceva emozionare con il suo contenuto, per poi lasciarci con un sorriso sul volto, alla fine.
Ovviamente, il fatto che il trailer sia stato rilasciato nell'estate del 2000 significa che la distribuzione di una versione di qualità decente era problematica, soprattutto online. Internet non aveva alcun tipo di piattaforma di riproduzione video decente all'inizio del secolo (su YouTube si possono trovare solo orribili riproduzioni a bassa risoluzione e basso frame-rate del materiale originale). Per ovviare al problema, all'epoca, Konami ha inviato alle maggiori testate giornalistiche una versione Beta-SP del trailer per i lettori DVD, in modo da consentire una fruizione più aderente a quella voluta dagli sviluppatori
Tuttavia, fortunatamente, una versione di buona qualità del trailer esiste, anche se in quantità molto limitata. La stessa Konami si è resa conto di avere qualcosa di speciale con questo trailer e l'ha pubblicato su DVD in Giappone, così finalmente abbiamo potuto apprezzarlo nei 60fps originali. John Linneman del Digital Foundry ha elaborato con amore quel video e l'ha condiviso su YouTube nel 2017. Quel DVD è stato la base per la versione upscalata tramite IA.
Topaz Video Enhance AI è lo strumento che abbiamo usato per portare a termine il lavoro ma il compito che doveva affrontare era quantomeno scoraggiante. Abbiamo una sorgente a 480i, il che significa che per creare una versione 4K60, il modello di deep learning ha dovuto lavorare con solo 240 linee di immagine sorgente per fotogramma. Recenti versioni dello strumento hanno incluso modelli di elaborazione progettati per fonti interlacciate. Uno è progettato per il materiale interlacciato da fonti di bassa qualità come le cassette VHS, mentre l'altro è rivolto ai DVD e ai nastri a 1080i.
I risultati sono certamente intriganti: il testo è facilmente scalabile, così come gli elementi dell'HUD che si vedono quando Snake usa la sua pistola tranquillante. L'aspetto più drammatico di tutti è stato il trattamento del modello dell'iconico artwork di Yoji Shinkawa, mostrato più avanti nel trailer. Altrove, i risultati sono misti ma sempre interessanti. Le aree interne mostrate nel trailer sono state gestite abilmente ed è davvero notevole vedere come le inquadrature esterne nella tempesta vedano i dettagli aumentati drasticamente (forse anche troppo, al punto di essere troppo nitide in alcuni punti). Elementi come le tute dei soldati guadagnano in nitidezza e definizione e sono facili da elaborare ma il modo in cui il modello dell'IA trova i dettagli all'interno della tempesta è davvero incredibile. La più grande limitazione deriva dal fatto che il cuore di MGS2, all'epoca, utilizzava un rendering di solo 240 linee per fotogramma. Il modello dell'IA non è addestrato a smussare le scalettature più evidenti e in alcune scene, non c'è alcun miglioramento, solo un po' di nitidezza in più.
Tuttavia, come dice Kojima, il futuro è l'IA e strumenti come Topaz Video Enhance AI sono già impiegati in tutta l'industria, in particolare nelle operazioni di remaster dei vecchi giochi. Le texture vengono 'rimasterizzate' grazie all'uso della IA, mentre le sequenze video in full-motion renderizzate a una risoluzione inferiore guadagnano sostanzialmente dal processo di upscaling. Più pulita è la fonte originale, più un'IA è in grado di fare grandi cose. C'è da dire, comunque, che l'IA conferisce un look decisamente particolare al materiale. Anche l'obiettivo in termini di output può essere raggiunto con successo o mancato: nel corso dei nostri esperimenti ciò che abbiamo trovato più limitante è che l'effettivo ritocco dell'immagine in uscita è limitato o inesistente e i modelli stessi sono come "scatole nere". Come utenti non abbiamo alcuna comprensione di come l'IA gestisca questo tipo di operazioni e quindi non sappiamo come migliorare i suoi risultati quando sbaglia qualcosa. In questo caso specifico, non possiamo fare a meno di chiederci quanto sarebbero migliori i risultati se i dati di allenamento provenissero interamente dai videogiochi.
In definitiva, la tecnologia è enormemente entusiasmante ma siamo ancora agli inizi e ci sono ancora ampi margini di miglioramento. Il deep learning ha ancora molta strada da fare, non solo in termini di intelligenza ma anche di velocità: il trailer completo è lungo circa nove minuti ma ha richiesto oltre tre ore per essere elaborato (con un'IA che studia semplicemente il materiale senza alcun aiuto aggiuntivo). Nvidia DLSS ha dimostrato che un'applicazione più mirata legata direttamente a un motore di gioco produce risultati che sono parecchio più veloci e migliori. Nel breve e medio termine, è lì che probabilmente vedremo gli esempi più interessanti e notevoli di come il deep learning possa migliorare radicalmente la qualità dei nostri giochi preferiti.