Robert Downey Jr va néixer a Manhattan (Nova York), com el petit de dos germans. El seu pare, Robert Downey Sr., és un actor, escriptor, productor, director de fotografia i director de cinema; i la seva mare, Elsie —el cognom de soltera era Ford—, també era actriu i va aparèixer en pel·lícules de Downey Sr.

Va debutar com a actor amb cinc anys, interpretant a un cadell malalt en la comèdia absurda Pound el 1970, i després als set anys va aparèixer en la surrealista Greaser’s Palace (1972). Als deu anys vivia a Anglaterra i estudiava ballet clàssic, com a part d’un pla d’estudis més ampli. En la seva adolescència va anar al centre de formació en arts escèniques Stagedoor Manor en el nord de l’estat de Nova York.

Torna amunt