Nacque con il nome di James ma fu noto nelle corse come Dick, diminutivo di Richard. Infatti il fratello minore Richard utilizzò il nome Jim, diminutivo di James, per poter iniziare a correre senza avere ancora raggiunto l'età minima.[1] Quello che doveva essere uno stratagemma temporaneo finì per segnare i fratelli Rathmann per tutta la loro vita.
Corse inizialmente nello AAA nelle stagioni 1949 e 1950. Nel 1951 passò alla serie NASCARGrand National ottenendo molto successo.
Tornò alla Champ Car nel 1956, correndo fino al 1964 e conquistando come miglior risultato un 2º posto a Daytona nel 1959.
Tra il 1950 e il 1960 la 500 Miglia di Indianapolis faceva parte del Campionato Mondiale, per questo motivo Rathmann ha all'attivo anche cinque Gran Premi ed una pole-position in Formula 1.