Mafia II ділиться темою та основною концепцією ігрового процесу з Mafia. Хоча це відбувається пізніше і слідує за історією життя іншого головного героя, сюжет гри має кілька зв’язків із сюжетом попередника. Історія гри розпочинається в 1940-х і тягнеться до 1950-х. Історія йде лінійним шляхом і розділена на глави, кожна розповідає окремий епізод із життя Віто та його випробувань та труднощів після взаємодії з мафією.
Як і його попередник, гра поєднує водіння у вільному роумінгу з етапами зйомки від третьої особи, орієнтуючись на останні. Хоча гравець може вільно досліджувати місто (за кермом автомобіля або пішки), більша частина водіння гри обмежується місіями, що передбачає дістатися до пункту призначення, зупинитися, щоб купити предмети, викрасти різні машини тощо. Є помітні менше погоні або жорстоких зіткнень під час водіння секцій, ніж у попередній грі. Поліція може заарештувати Віто за перевищення швидкості або жорстоку поведінку, гравець має можливість підкупити офіцерів в обмін на свободу.