Nace en Kitsee (Hungría) el 28 de junio de 1831. Desde los 2 años de edad estudia violín con Serwarczynski, estando capacitado en 1839 para debutar como solista del instrumento. Ese mismo año es enviado a Viena para ampliar sus estudios de violín y composición con Hauser, Hellmesberger y Joseph Böhm. El impulso definitivo lo obtiene en 1843 cuando estudia con Mendelssohn en el Conservatorio de Leipzig.
En 1850 obtiene el puesto de Konzertmeister en Weimar por mediación de Franz Liszt. Dos años después acepta el cargo de violinista en la corte del Rey Jorge V de Hannover. En 1868 es director del Hozhdchule für Ausübende Tonkunst de Berlín.

      Joseph Joachim moría en 1907 a los 76 años. Sus obras, esencialmente románticas, destacan por el brillo orquestal.