A militância estudantil foi a porta de entrada de João Gonçalves na política. De 1987 a 1992 trabalhou como assessor do então deputado estadual Pedro Adelson Guedes dos Santos. Posteriormente, candidatou-se a vereador de João Pessoa, venceu e foi reeleito por mais dois mandatos. Deixou a Câmara Municipal ao ser eleito deputado estadual. Atualmente, João Gonçalves está em seu quarto mandato no Poder Legislativo, tendo sido reeleito em 2018 com 35.655 votos.