Com a morte de Bonfácio II, houve a venda de objetos sacros e praticamente tudo que havia de valioso. O senado romano e o filho de Teodoro, o rei Atalarico, proibiu a simonia.

João II era um sacerdote romano que servia na Basílica de São Clemente quando foi eleito. Filho de Projectus e levando o nome de um deus pagão, Mercurius, João II foi o primeiro Papa, que se tem registro, a mudar de nome.

Com a desordem que havia, sua eleição foi acolhida alegremente. O Imperador Justiniano fez sua profissão de fé e enviou muitos presentes valiosos. Atalarico, apesar de ser ariano, alegrou-se com a possibilidade de paz em sua maior cidade.

João II resolveu conflitos jurisdicionais na Gália e impasses entre o imperador e uma disputa no Oriente.

O acontecimento mais notável de seu pontificado, foi a invasão de Justiniano da África. O general imperial logo derrotou os vândalos. A administração foi restaurada e a Igreja livrou-se das perseguições na África. Todo esse evento exigiu uma grande reorganização dentro da Igreja.

Os bispos africanos que haviam se tornado arianos durante a perseguição, enviaram uma carta perguntando se eles poderiam ser reintegrados à Igreja. Porém, quando a carta chegou, o Papa João II já havia falecido e seu sucessor, Papa Agapito I, é quem enfrentaria esta questão.