Mafia is een third-person actiegame die zich afspeelt in de jaren '30 van de vorige eeuw. De stad Lost Heaven is losjes gebaseerd op bekende steden als New York, Chicago en Boston en je bent geheel vrij om te gaan en staan in stad. Hoofdpersoon is de taxichauffeur Thomas (Tommy) Angelo, die bij toeval in aanraking komt met de georganiseerde misdaad en vervolgens klusjes gaat opknappen voor de beruchte Salieri-familie. Al snel begin je te klimmen op de criminele ladder en neem je het op tegen rivaliserende families. Tommy krijgt echter toch last van z'n geweten en moet zijn verhaal kwijt. Daarom spreekt hij in een restaurant af met Detective Norman en de game beleef je zodoende vanuit het perspectief van Tommy die vertelt over wat er allemaal in zijn leven gebeurd is de afgelopen tijd.