Как говорит ее директор и контрабасист оркестра Петер Ригельбауэр, «это сделано в знак уважения к памяти музыканта, с чьим именем неразрывно связана история учебного заведения».

Герберт фон Караян основал его в 1972 году с целью подготовки будущих кадров для оркестра. В свое время Академия была единственной структурой подобного рода в Германии. С тех пор она не только приобрела вес, но и стала культурным брендом мирового масштаба. Решение о переименовании было принято в оркестре единогласно.