Віто Скалетта - італійський іммігрант у США. Народившись у бідній родині з Сицилії, він росте в місті Емпайр-Бей і незабаром стає найкращим другом Джо Барбаро, який переконує його, що злочин - це лише спосіб отримати легкі гроші. Після спроби пограбування Віто заарештований і влада пропонує йому вибір: піти до в'язниці або вступити в армію. Вибравши останнього, його призивають і відправляють до Італії для боротьби з Муссоліні та його послідовниками. Після поранення та звільнення він повертається до Емпайр-Бей і дізнається, що його померлий батько заборгував велику суму грошей. Бажаючи захистити свою сім'ю від стягувачів боргів, Віто зв'язується з Джо, і вони поступово починають спрямовувати своє життя на організовану злочинність, не підозрюючи про ціну, яку їм доведеться заплатити за це.
Mafia II ділиться темою та основною концепцією ігрового процесу з Mafia. Хоча це відбувається пізніше і слідує життєвій історії іншого героя, сюжет гри має кілька зв’язків із сюжетом попередника. Історія гри розпочинається в 1940-х і тягнеться до 1950-х. Історія йде лінійним шляхом і розділена на глави, кожна розповідає окремий епізод із життя Віто та його випробувань та труднощів після взаємодії з мафією.
Як і його попередник, гра поєднує водіння у вільному роумінгу з етапами зйомки від третьої особи, орієнтуючись на останні. Хоча гравець може вільно досліджувати місто (керуючи машиною або пішки), більша частина водіння гри обмежується місіями, що передбачає дістатися до пункту призначення, зупинитися, щоб купити речі, викрасти різні машини тощо. Є помітні менше погоні або жорстоких зіткнень під час водіння секцій, ніж у попередній грі. Поліція може заарештувати Віто за перевищення швидкості або жорстоку поведінку. Гравець має можливість підкупити офіцерів в обмін на свободу.