Sony e il futuro della realtà virtuale - intervista

Per il Digital Foundry la GDC 2015 è finita come è cominciata, ossia in compagnia del presidente di Sony Worldwide Studios, Shuhei Yoshida, e con le demo in realtà di Project Morpheus. Sono passati alcuni giorni dalla nostra prova dell'esperienza London Heist, durante i quali ci siamo divertiti con le demo Return to Dinosaur Island di Crytek e Thief in the Dark di WETA Digital su Oculus Rift, oltre ovviamente all'immensa 'grotta' in realtà virtuale di Valve su Vive. Abbiamo sperimentato la migliore realtà virtuale s PC di fascia altissima ma è chiaro che grazie a Project Morpheus i giocatori console non resteranno tagliati fuori.

Ciò che è accaduto nel corso di questa GDC è che la realtà virtuale non è solo una corsa tecnologica agli armamenti in cui l'hardware è il fattore che definisce la qualità dell'esperienza. Anche prima di discutere le sfide sulla strada futura del gameplay in realtà virtuale, l'ostacolo più grande sarà far provare i visori agli utenti e ottenere istantaneamente l'effetto desiderato, che indossino o meno degli occhiali, e preferibilmente senza nausea. A livello di ergonomia, Sony sembra molto avanti rispetto alla concorrenza: il prototipo originale di Morpheus era buono e il visore di seconda generazione è decisamente la cosa più vicina a un hardware favorevole al consumatore che abbiamo visto quest'anno alla GDC.

"Eravamo contenti del modello dell'anno scorso ma agli eventi abbiamo visto che le persone non capivano come indossarlo, quindi i designer si sono concentrati molto sul renderlo facile”, dice Shuhei Yoshida. “Vogliamo veramente che le persone siano in grado di comprarlo, aprire la scatola e usarlo senza l'aiuto di nessuno, quindi ora abbiamo questa soluzione a banda unificata. Ora siamo abbastanza contenti”.

"Credo che il nostro primo prototipo avesse troppa persistenza sullo schermo e c'era un effetto di blur durante le rotazioni, oltre a troppa latenza”, aggiunge Richard Marks, direttore del reparto Ricerca & Sviluppo di Sony. “E la frequenza di update anche: alcune persone possono avvertire lo sfarfallio se l'aggiornamento non è abbastanza veloce”.

Ed è qui che il prototipo di seconda generazione di Morpheus impressiona veramente. Sony ha preso decisioni coraggiose per assicurarsi che il suo visore sia non solo competitivo con sistemi come Oculus Rift e HTC Vive, ma anche capace di funzionare efficacemente per l'intero ciclo di vita di PlayStation 4.

of

Caption

Attribution

"Perché siamo una console, giusto?" dice Yoshida. "È una console, non un PC, e dobbiamo fare bene al primo tentativo in modo che le persone possano usarlo per molti anni… la nostra idea è produrre ottimo hardware che duri per anni e del quale possiamo ridurre il costo nel corso del tempo”.

Ciò implica optare per un display a 120Hz, caratteristica che porta Morpheus oltre i 90Hz di HTC Vive che abbiamo visto dimostrati in maniera spettacolare durante questa settimana. È una mossa ambiziosa se si tengono presenti i limiti hardware di PS4, e fatta per le ragioni migliori.

"120Hz è una conversione molto facile da 60Hz, che è il valore su cui si attesta la maggior parte dei giochi tradizionali, ed è meglio avere l'esperienza più fluida possibile quando si ruota la testa. È è veramente importante avere una bassa latenza”, spiega Marks.

"Crediamo che i 120Hz ci diano tutto questo e c'è un pannello OLED che ci piace molto che può farlo, per questo lo abbiamo scelto: si combina molto bene con PS4. Al momento è una sfida: la maggior parte dei giochi andrà a 60 e verrà riproiettata a 120 ma speriamo che gli sviluppatori siano in grado di andare oltre e raggiungere i 120 nativi”.

La riproiezione è un elemento cruciale nel rendere la realtà virtuale fluida e reattiva. In ambito PC è chiamata time warp asincrono ma la tecnologia è praticamente la stessa su Morpheus. La coerenza di movimento e aggiornamento è necessaria per eliminare gli scatti e la nausea che essi causano. La riproiezione garantisce un nuovo fotogramma a ogni aggiornamento anche se l'ultimo fotogramma nella coda di rendering non è ancora completo: l'ultimo viene semplicemente rimappato in base alle ultime coordinate di movimento inviate dal visore, dando l'impressione di un movimento più fluido. Ma c'è di più oltre al riempire i vuoti causati dai fotogrammi perduti: il sistema è fondamentale per permettere a contenuti complessi a 60Hz di operare a 120Hz e rende anche migliore l'aspetto del gaming a 120Hz.

"Ci sono due utilizzi per essa. Una è per generare i fotogrammi nel caso si passi da 60 a 120fps: c'è bisogno di riempire i fotogrammi intermedi”, spiega Richard Marks. "E l'altro… beh, anche se si renderizza a 120, è possibile prendere i dati più recenti e utilizzarli sull'ultimo fotogramma".

"Sì, la nostra demo nativa a 120fps di Japan Studio gira in quel modo”, aggiunge Shuhei Yoshida. "Il programmatore che l'ha realizzata mi ha spiegato che è bene avere sempre la riproiezione attiva, anche se si gira a 120 nativi. A volte un fotogramma viene perduto ma usando la riproiezione il tutto è comunque molto fluido e utilizza sempre i dati più recenti”.

Ma quante risorse di sistema richiede la tecnologia di riproiezione in sé? Il bisogno di puntare ai 120Hz ha un impatto sulle risorse di sistema disponibili?

"È molto breve. Viene eseguita nel software di sistema che abbiamo, gira proprio alla fine appena prima della visualizzazione del fotogramma. Interrompe la GPU e fa questo piccolo lavoro. Non conosco l'intervallo di tempo esatto ma è molto piccolo. L'impatto che ha la sua aggiunta non è qualcosa che preoccupa la nostra gente”.

"Il programmatore che ha realizzato il gioco di Japan Studio ha detto che questo sistema non assorbe molta potenza dal gioco. Ha detto che è facile”, dice Yoshida. "A proposito, avete contato fotogrammi per molti anni. Avete notato differenze tra la demo a 120fps nativi e le altre?".

Rispondo che il contenuto a 60Hz ha un effetto di ghosting molto leggero che non ho rilevato nella demo a 120Hz. Spiego che è un compromesso che sono felice di accettare se significa titoli in realtà virtuale visivamente ricchi come London Heist.

"Inoltre è facile andare da 120 a 60 per la televisione che visualizza la schermata social", dice Marks.

Questa è una differenza cruciale tra Morpheus e i sistemi di realtà virtuale per PC. In questo caso è una soluzione creata per un pubblico console con il salotto di casa in mente. La tecnologia di Sony punta ad attirare un pubblico e coinvolgerlo nel gameplay. Come spiegato da Shuhei Yoshida, è una caratteristica importante scaturita da una collaborazione tra hardware, ricerca e sviluppo e sviluppatori interni, un vantaggio importante che Sony ha sulla concorrenza.

"Come probabilmente sapete, abbiamo un team internazionale: i ragazzi dell'hardware in Giappone, i team R&D e gli studi di videogiochi a livello globale… l'idea di quell'immagine regolare e non distorta è venuta dai nostri team di videogiochi. Gli studi volevano creare un social game non dissimile da ciò che sta facendo Nintendo con Wii U. Quindi una persona potrebbe indossare il visore e un'altra partecipare guardando sulla TV. L'idea è stata poi implementata dal team dell'hardware”.

In effetti la spinta di Sony nel mondo della realtà virtuale è un risultato diretto delle idee nate in seno ai team di ricerca e sviluppo, e videogiochi. L'ascesa di Oculus e della realtà virtuale su PC è avvenuta in parallelo alla creazione di demo e discussioni interne a Sony.

"Alla presentazione dello scorso anno mi sono mostrato con un dispositivo fatto a mano nel 2010”, spiega Yoshida. “È stato l'anno in cui abbiamo lanciato PS Move e i nostri team di sviluppo lo hanno usato con un headset e creato realtà virtuale con PS3. I team dicevano 'vogliamo fare questa cosa, dobbiamo fare quest'altra'. I team R&D stavano facendo la stessa cosa… la compagnia ha capito che PS3 non aveva la potenza per farcela ma che era qualcosa che avremmo potuto fare con PS4”.

L'esperienza accumulata su più discipline potrebbe essere il vantaggio di Sony rispetto alla concorrenza, con un ampio staff in tutto il mondo con esperienza nel produrre grandi giochi e hardware di qualità. Durante il suo intervento alla GDC questa settimana, John Carmack ha ammesso che Oculus non ha fatto pienamente i conti con la spinosa questione del tipo di controller che dovrebbe essere usato per la realtà virtuale. Valve e HTC hanno sviluppato il loro sistema che sotto molti punti di vista ricorda i controller PS Move di Sony, quest'anno al loro quinto compleanno.

"Sì, precorreva un po' i tempi”, sorride Marks. “Un po'. Forse”.

Sony ha creato un controller con pieno tracciamento posizionale 3D ma le invidiabili capacità del Move sono rimaste ampiamente inesplorate. Era un controller 3D in un mondo in due dimensioni. Finora.

"I nostri team di sviluppo hanno veramente faticato a utilizzare l'accurato tracciamento della posizione in un gioco convenzionale per TV”, dice Shuhei Yoshida. “A volte ha reso più difficile giocare perché abbiamo ideato, ad esempio, un gioco di bowling in cui ci si può muovere così [si muove sulla sedia] per lanciare la palla, come su una pista da bowling. Eravamo veramente eccitati all'idea di poterlo fare ma le persone non lo sapevano. Alla fine si può usare ad esempio il movimento per farlo, e le persone creano nella loro mente l'immagine di se stesse che lanciano la palla perfettamente. È veramente difficile utilizzare il tracciamento posizionale 3D”.

"Già. Voglio dire, c'è il movimento 3D ma viene mostrato su una TV in due dimensioni”, aggiunge Marks. “Bisogna avere una conoscenza molto buona della mappatura da 3D a 2D per usarlo efficacemente ed è difficile da capire per molte persone. Ma in realtà virtuale non è affatto difficile, è molto naturale”.

Quindi qual è il controller definitivo per la realtà virtuale? Mi chiedo se possa essere il guanto di Minority Report. Dopotutto, come Marks stesso ha detto molti anni fa, la teoria di Isaac Asimov è che mani e dita offrono il livello più alto di controllo disponibile.

"Se Kinect 2 può gestire le dita e la latenza può essere ridotta di molto, la cosa potrebbe funzionare, a meno che non ci sia una motivazione tecnica...", riflette Yoshida.

"Beh, hanno anche problemi di occlusione. Possono rilevare le dita quando sono facili da vedere ma in caso contrario non ottengono l'informazione”, replica Marks. “Credo che sembri bello poter vedere la propria mano in realtà virtuale ma quando si raccoglie qualcosa non è nel nostro palmo… se ci si abbassa per toccare una scrivania ed essa non c'è, la cosa è bizzarra”.

Ciò rende la demo a 120Hz nativi di Japan Studio ancora più intrigante. È, in parte, un'affascinante combinazione di realtà virtuale e aumentata, due tecnologie simili integrate in un'unica, avvincente esperienza. I controlli sono affidati al DualShock 4, accuratamente mappato, tracciato e renderizzato all'interno del mondo in realtà virtuale, abbellito con funzioni di realtà aumentata come un'antenna a scomparsa e annotazioni dei tasti, mentre il touchpad si apre per fare uscire i mini-robot nel mondo virtuale. Una cosa che si impugna, dotata di un suo peso e cruciale per l'esperienza interattiva, viene rappresentata nel mondo in realtà virtuale e aumenta l'immersione in un modo che le demo di HTC Vive e quelle con Move non possono eguagliare.

Ciò che è però veramente eccitante della realtà virtuale è che ora che i problemi tecnologici in termini di tracciamento a bassa latenza e aggiornamento del display sono stati risolti, le sfide si sono spostate nel campo del gameplay. È importante notare che le nuove demo di Oculus e Sony ci piazzano essenzialmente in uno spazio virtuale statico, con spostamenti limitati. L'ambiente 'VR cave' di Valve è eccitante, eppure liberatorio e costrittivo al tempo stesso: avrete lo spazio fisico per usarlo a casa? Cosa accadrebbe se il gameplay richiedesse di spostarsi in spazi occupati dalle mura?

"È decisamente un problema. Crei il tuo gioco e le persone vanno in giro e colpiscono la TV o qualcos'altro!”, sorride Yoshida.

"Il game design dovrà essere studiato molto bene. La sfida più grossa per un futuro gioco in realtà virtuale è risolvere il problema che io chiamo dello stick analogico destro, ossia la rotazione dell'inquadratura. Voglio un grande shooter, un tipo di esperienza action-adventure e funziona se lo rendi una specie di tiro a segno, come la demo Heist.

"Ma se tenti di far camminare le persone e ruotare la telecamera in 3D, questo crea un serio problema”, continua. “Hai provato Alien: Isolation? Hanno semplicemente convertito lo stesso gioco, uno shooter in prima persona, per Oculus. Atmosfera e suspense sono ottime ma quando si comincia a ruotare la telecamera con uno stick analogico destro, sopraggiunge la nausea. Non abbiamo ancora una soluzione per questo. Quindi ho chiesto la stessa cosa a John Carmack. È venuto a provare le nostre demo e ha detto che è 'un problema complicato' [ride]”.

"L'idea di cui stiamo parlando è folle ma un passo avanti può essere traslato in un teletrasporto in avanti. Si può teletrasportare la rotazione, in modo da girare istantaneamente di 90° o 180°”, aggiunge Marks. “È disorientante ma credo che i giocatori possano abituarvisi. Ci si potrebbe voltare di 180° con la pressione di un tasto e ritrovarsi a guardare indietro. Un giro istantaneo di 180° non provoca nausea”.

"John ha detto che la bellezza del GearVR standalone [la soluzione di realtà virtuale di Samsung, sviluppata insieme a Oculus] è che non ci sono cavi, giusto? Ha detto che si può usare una sedia girevole in modo che le persone possano ruotare senza doversi alzare e camminare [ride]”.

Dalla nostra prospettiva, questa è la parte più eccitante dell'arrivo della realtà virtuale. I paradigmi esistenti dei videogiochi possono essere tradotti solo in parte in un mondo virtuale, e ciò richiede soluzioni innovative e forse, se saremo fortunati, tipologie interamente nuove di giochi. Valve, Oculus e Sony hanno tutte la possibilità di creare mondi virtuali immensi ma il modo in cui interagiremo con essi è un problema.

Alla fine dello scorso anno abbiamo discusso di come le console next-gen abbiano alzato gli standard grafici, mentre il gameplay sia rimasto ancorato agli stessi principi. Conversioni elementari dei giochi alla realtà virtuale porteranno risultati interessanti ma fondamentalmente i nuovi mondi in 3D richiederanno un certo livello di immaginazione e innovazione. C'è la sensazione genuina di un passaggio a una nuova era pionieristica: c'è il potenziale, la necessità addirittura, per un'inondazione di idee fresche nello spazio virtuale, mentre i publisher dovranno necessariamente andare sul sicuro nel mercato a tripla A.

Che si tratti di Oculus, Valve o Sony, siamo di fronte a qualcosa di speciale che sta portando a uno spirito collaborativo che riassume l'ethos della GDC: un raduno di professionisti dell'industria disposti a condividere conoscenze per il bene comune.

"Oculus ha creato eccitazione tra gli sviluppatori e molti degli esperimenti realizzati dagli sviluppatori PC con Oculus sono quasi un aiuto per sviluppare giochi per Morpheus”, dice Shuhei Yoshida.

"Siamo molto amici con i ragazzi di Oculus, condividiamo opinioni e ci invitiamo tra di noi per mostrarci le ultime demo… Loro fanno alcune cose tecniche prima di noi, noi ne facciamo altre prima di loro. Per entrambe le compagnie, da un punto di vista gestionale, ci stiamo aiutando spingendo gli ingegneri a lavorare più duramente a causa di una sana competizione. Gli ingegneri sono persone molto oneste: quando vedono qualcuno che realizza qualcosa, dicono 'ok, dovremmo fare di meglio'".