Рихтер родился в семье немецкого пианиста и композитора Теофила Рихтера, преподававшего в Одесской консерватории. Во время Гражданской войны жил в семье тетки, Тамары Павловны, от которой унаследовал любовь к живописи, ставшей первым его творческим увлечением. В 1922 семья переехала в Одессу, где Рихтер начал учиться игре на фортепиано и композиции, будучи в основном самоучкой. В это время он также пишет несколько театральных пьес, интересуется оперным театром и вынашивает планы стать дирижером. С 1930 по 1932 Рихтер работал пианистом-концертмейстером в Одесском Доме моряка, затем — в Одесской филармонии. Первый сольный концерт Рихтера, составленный из сочинений Шопена, состоялся в 1934, вскоре он получает место аккомпаниатора в Одесском оперном театре.