Mafia II разделяет тему и основную концепцию игрового процесса с Mafia. Хотя действие происходит в более позднее время и следует за историей жизни другого главного героя, сюжет игры имеет несколько связей с сюжетом предшественника. История игры начинается в 1940-х и продолжается до 1950-х годов. История следует линейному пути и разделена на главы, в каждой из которых рассказывается отдельный эпизод из жизни Вито, а также его испытания и невзгоды после связи с мафией.
Как и его предшественник, игра сочетает в себе вождение в свободном режиме с этапами стрельбы от третьего лица, уделяя особое внимание последнему. Хотя игрок может свободно исследовать город (за рулем автомобиля или пешком), большая часть игрового процесса ограничивается миссиями, которые включают в себя добраться до места назначения, остановиться, чтобы купить предметы, угонять разные автомобили и т. д. Меньше погонь или столкновений с насилием во время вождения, чем в предыдущей игре. Полиция может арестовать Вито за превышение скорости или агрессивное поведение, у игрока есть возможность подкупить офицеров в обмен на свободу.