Ya de niño mostró su talento, siendo admitido a los nueve años en el Conservatorio de Música de Nápoles como alumno de piano y composición. A los dieciocho años, Leoncavallo empezó a escribir su primera ópera, Chatterton. Organizó su estreno en Bolonia, pero un empresario sin escrúpulos abandonó al joven compositor justo antes del estreno. Desanimado y sin dinero, Leoncavallo hubo de ganarse la vida dando clases de piano y voz, y actuando en cafés-concierto.

El siguiente proyecto operístico de Leoncavallo fue I Medici, primera parte de una ambiciosa trilogía basada en el Renacimiento italiano, pero el trabajo no interesó a Ricordi y la trilogía quedaría incompleta.  

Leoncavallo compuso Pagliacci y escribió él mismo el libreto, emulando el vívido realismo de Cavalleria Rusticana (1890) de Mascagni, que había tenido un enorme éxito. 

Pagliacci fue un éxito que hizo famoso a Leoncavallo prácticamente de la noche a la mañana. Por desgracia, al igual que Mascagni, nunca logró otro éxito igual. Cuando I Medici por fin se estrenó en 1893, la acogida fue fría. Su ópera La Bohème (1897) fue eclipsada por la versión de Puccini de la misma historia, que se había producido el año anterior con gran éxito. Tan sólo Zazà, la historia de un cantante de music-hall parisino, tuvo cierto eco digno de mención: su estreno en Milán en 1900 contó con Toscanini dirigiendo a un reparto cuajado de estrellas.

Leoncavallo compuso varias óperas más en los años anteriores a su muerte (Der Roland von Berlín, Maia, Zingari y un incompleto Edipo Re) pero hoy en día sólo Pagliacci se representa con regularidad.