Ilmar Kimm sündis Petrogradis, õppis 1936–39 ülevenemaalise kunstiakadeemia kunstikeskkoolis. Kunstiõpinguid jätkas pärast haavatasaamist 1944, lõpetas 1948. aastal Ilja Repini nimelise kunstiinstituudi Leningradis.

Aastatel 1952–88 töötas Eesti Riiklikus Kunstiinstituudis õppejõuna, 1963–83 oli maalikateedri juhataja. Aastast 1951 kunstnike liidu liige.