Nacido el 12 de julio de 1967, Petrucci se crió en un ambiente familiar de músicos en Long Island, New York. Aunque sus padres no son músicos, su hermana mayor tocaba el piano y órgano eléctrico, su hermano toca el bajo y su hermana menor toca el clarinete. Aunque su hermana influyó en sus intereses musicales hasta cierto punto, John dice que empezó a tocar la guitarra porque todos los muchachos del vecindario tocaban y le parecía algo divertido.

John empezó a tomar clases de guitarra a los 12 años y de ahí ha surgido como uno de los guitarristas más importantes del mundo, en el marco del éxito de su banda Dream Theater. Actualmente John contribuye a la revista Guitar World Magazine con una columna mensual y también contribuyó con la escritura de las partituras para los libros de "Images and Words" y "Awake" (dos discos de Dream Theater). Tiene también un video actualmente a la venta. Los guitarristas que más han influido en el estilo de John (llamados todos casualmente Steve ó Al) han sido Steve Vai, Al DiMeola, Alex Lifeson (del grupo Rush), Steve Howe (del grupo Yes), Alan Holdsworth y el difunto Stevie Ray Vaughan.