Hijo de músicos, debutó en Buenos Aires a los siete años y fue posteriormente invitado por el Mozarteum de Salzburgo a continuar sus estudios en esa ciudad, en cuyo festival participó tres años después. Luego estudió con Nadia Boulanger, Igor Markevitch y en la Academia de Santa Cecilia de Roma. Barenboim comenzó sus estudios de piano a la edad de cinco años con su madre y continuó con su padre, quien quedó como su único profesor. En agosto de 1950 interpretó su primer concierto en Buenos Aires. Realizó sus estudios primarios en el Instituto Pestalozzi de Belgrano R.​

En 1952 la familia Barenboim se mudó a Israel. Dos años más tarde, sus padres lo enviaron a Salzburgo para que tomara clases de dirección con Igor Markevitch. Allí conoció a Wilhelm Furtwängler, para quien tocó el piano. En 1955 estudió armonía y composición con Nadia Boulanger en París.

Barenboim debutó como pianista en el Mozarteum de Salzburgo2​ en 1952, en París ese mismo año, en Londres en 1956 y en Nueva York en 1957, bajo la dirección de Leopold Stokowski. En los años siguientes realizó regularmente conciertos en Europa, Estados Unidos, Sudamérica y el Lejano Oriente. Realizó su primera grabación en 1954. Más tarde grabó sonatas para piano de Mozart y Beethoven y conciertos de Mozart (interpretando al piano y dirigiendo), Beethoven (con Otto Klemperer), Brahms (con John Barbirolli) y Béla Bartók (con Pierre Boulez).

Tras su debut como director con la Orquesta Filarmónica de Londres en 1967, recibió invitaciones de diversas orquestas sinfónicas europeas y estadounidenses. 

Su debut como director de ópera tuvo lugar en 1973 con la representación de Don Giovanni, de Mozart, en el Festival de Edimburgo. Entre 1975 y 1989 fue director musical de la Orquesta de París, donde dirigió numerosas piezas de música contemporánea.

En 1981 debutó en el festival de Bayreuth, realizado anualmente en homenaje a Wagner. Barenboim dirigió regularmente en esa ciudad hasta 1999, donde hizo una lectura completa de Der Ring des Nibelungen y de Tristán e Isolda, con la mezzosoprano Waltraud Meier y el tenor Siegfried Jerusalem.

Desde 1991 hasta el 17 de junio de 2006, fue director de la Orquesta Sinfónica de Chicago, cargo al que accedió en sustitución de George Solti.

Desde 1980 se presentó con frecuencia en el Palacio de Carlos V, España, con motivo de la celebración del Festival Internacional de Música y Danza de Granada. Por su vinculación con el anterior, le fue entregada la Medalla de Honor del Festival el 9 de julio de 2011.

Es además el director musical general de la Staatsoper Unter den Linden, Berlín, desde 1992.

En 1999 junto al escritor estadounidense de origen palestino Edward Said, al que lo unió una gran amistad, fundó la West-Eastern Divan Orchestra, una iniciativa para reunir cada verano un grupo de jóvenes músicos talentosos tanto de origen israelí como de origen árabe o español. Ambos recibieron el premio Príncipe de Asturias de la Concordia por la iniciativa.