Onlangs verscheen er een benchmark voor de pc-versie van Final Fantasy 15, bedoeld om gamers te laten testen of hun pc voldoet aan de eisen om de game te spelen op de gewenste grafische instellingen. De tech-site (en afkortingsgenoot van GamersNET) Gamers Nexus nam deze tool uitgebreid onder de loep om alvast data te verzamelen voor de prestaties van de pc-port van de nieuwe Final Fantasy. Tijdens het onderzoek van onder meer Steve Burke is echter gebleken dat de benchmark geen volledig betrouwbare indicatie is van hoe de game op jouw pc zal draaien.
De grootste fout zit hem in de GameWorks-functionaliteit: Gamers Nexus besloot om deze NVIDIA-technologie apart van de rest te testen, zodat er een eerlijke vergelijking gemaakt kon worden tussen videokaarten van AMD en NVIDIA. De website besloot dan ook om een deel van de benchmark te testen waarin geen GameWorks-technieken werden gebruikt. Echter, tijdens het testen bleek dat er tóch verschil zat tussen tests met en zonder GameWorks, met HairWorks in het bijzonder.
Met behulp van NVIDIA’s Ansel-technologie wist Burke uiteindelijk te achterhalen dat bepaalde buffel-achtige wezens (die mooier worden gemaakt middels HairWorks) tijdens de benchmark te allen tijde werden gerenderd. Dit zorgt voor een prestatievermindering als gevolg van GameWorks, zelfs als er in de zichtbare elementen op het scherm geen enkel teken van deze technologieën (laat staan HairWorks) te bekennen is.
Dit is natuurlijk eenvoudig aan te zien voor een fout in de culling: objecten die niet zichtbaar zijn, worden blijkbaar tóch gerenderd. Echter, in andere delen van de benchmark toont Square Enix dat het wel degelijk in staat is tot goeie culling. Het lijkt er dan ook op dat de HairWorks-buffels geen deel uitmaken van de lijst met objecten die niet gerenderd dienen te worden als ze niet zichtbaar zijn. Gedurende de gehele benchmark worden deze dieren gerenderd, ook al zijn de minutenlang niet zichtbaar en zijn ze behoorlijk intensief voor de videokaart.
Daarnaast is NVIDIA’s GameWorks-technologie überhaupt nauwelijks zichtbaar in de benchmark, terwijl deze in de uiteindelijke game waarschijnlijk wél flink worden gebruikt. Overigens ligt het probleem niet alleen in de GameWorks-feature. Ook normale objecten worden tijdens de benchmark in vol detail gerenderd als ze niet zichtbaar zijn, bijvoorbeeld het interieur van afgesloten kamers.
Kortom: de benchmark voor Final Fantasy 15 is hoogstwaarschijnlijk niet representatief voor de uiteindelijke game, aangezien Square Enix wel degelijk in staat is tot grafische optimalisatie middels culling en andere technieken, terwijl deze optimalisatie ontbreekt in de benchmark. Gamers Nexus waarschuwt echter tegen het beschuldigen van bepaalde partijen: NVIDIA heeft wellicht de GameWorks-technologie ontwikkeld, maar niet de benchmark-tool.
Ook worden zelfs de prestaties van videokaarten van het groene team aangetast, aangezien GameWorks niet bedoeld is voor prestatieverbeteringen, maar voor mooiere grafische beelden. Daarnaast hangt het label van NVIDIA aan Final Fantasy 15, dus ook de reputatie van de videokaartgigant staat op het spel. AMD wordt cijfermatig wellicht harder getroffen door GameWorks, maar ook NVIDIA komt bepaald niet zonder schrammen uit deze affaire.
Hoe dan ook, de kern van het probleem is dat de benchmark niet betrouwbaar is als je de prestaties van je eigen videokaart wilt bepalen: de tool van Square Enix impliceert dat de game zwaarder is dan hij uiteindelijk is. Hoewel dit voor gamers natuurlijk een meevaller kán zijn, zullen er ook mensen zijn die hun videokaart upgraden omdat hun huidige GPU niet meer aan hun wensen voldoet, op basis van deze misleidende benchmark, die waarschijnlijk het resultaat is van haastige uitwerking door Square Enix.
Gamers Nexus staat in contact met NVIDIA en weet daarom dat het bedrijf nauw samenwerkt met de ontwikkelaar om de problemen te verhelpen. Voorlopig blijft het advies echter om geen gebruik te maken van de benchmark en al helemaal om geen upgrade-beslissingen te maken op basis daarvan.
Lees het volledige artikel op de site van Gamers Nexus als je wilt lezen over de volledige testmethodologie, maar bekijk vooral ook de video die de site heeft gemaakt over dit onderwerp, aangezien de beelden enorm helpen bij het begrijpen van het probleem.
