Mafia II speelt zich af in het fictieve Empire City, dat gebaseerd is op New York en San Francisco. In deze sequel begin je helemaal opnieuw; Mafia II is in-game niet verbonden met zijn voorganger. Je speelt dan ook met een nieuw hoofdpersoon, Vito. Vito is, om een tijdje brommen te vermijden, naar het front geweest van de Tweede Wereldoorlog. Nu is hij terug en samen met Joe, zijn partner in crime, kan de misdaad beginnen. Gaandeweg zal Vito zich aansluiten bij een Mafia-familie en zo beginnen met het klimmen op de criminele ladder.
