Rođen je 26. siječnja 1912. u Otočcu u Lici, Hrvatska. Student.

Ivan Rukavina je prije rata živio u Gračacu i Ogulinu, gdje je pohađao gimnaziju. Završni razred gimnazije i veliku maturu završio je u Zagrebu. Poslije završene gimnazije, upisao je studij medicine na Medicinskom fakultetu Sveučilišta u Zagrebu. Na fakultetu se ubrzo povezao s pripadnicima naprednog studentskog pokreta, a godine 1933. je postao član SKOJ-a. Još kao skojevac, bio je uhapšen kada je rasturao letke, te je od tada živio pod strogom prismotrom policije. Pošto mu je bio otežan revolucionarni rad, Ivan Rukavina je ubrzo, odlukom Partije, emigrirao u inozemstvo. Najprije je, 1934, otišao u Beč, a slijedeće, 1935, u Prag, kada je i primljen u KP. U Pragu radi, tokom 1935. i 1936, godine u Tehnici KPJ, koja je pripremila izdavanje partijskog lista "Proleter".

U vrijeme priprema za partijsku konferenciju u Pragu ponovno je uhapšen, ali je ubrzo pušten iz zatvora. U prosincu 1936. godine odlazi u Španiju i učestvuje u borbama na strani Španske republikanske armije. U španskom građanskom ratu Rukavina se istakao u nizu borbi kao vodnik u bataljonu "Dimitrov". Ubrzo je napredovao do čina kapetana Republikanske armije, a poslije ozdravljenja postao je komandant bataljona "Đuro Đaković". Poslije pada Katalonije, prešao je s ostalim španjolskim dobrovoljcima u Francusku, gdje je interniran u koncentracioni logor. Godine 1939. uspio je da se izvuče iz logora i da se vrati u zemlju. Ivan Rukavina se uključio u rad zagrebačke partijske organizacije, a naročito je aktivan u SKOJ-u, te postaje član PK SKOJ-a za Hrvatsku.

Napad na Jugoslaviju, travnja 1941. godine, zatekao je Rukavinu na odsluženju vojnog roka u Nikšiću. Poslije raspada vojske Kraljevine Jugoslavije, zarobljen je od Talijana. Poslije petnaest dana provedenih u logoru, uspijeva pobjeći i vratiti se u Zagreb, gdje se ponovo uključuje u rad partijske organizacije, U pripremama za podizanje ustanka postavljen je, svibnja 1941. godine, za člana Vojnog komiteta za Hrvatsku. U lipnju 1941. godine odlazi na Baniju, gdje sudjeluje u osnivanju Sisačkog partizanskog odreda. S Banije se Ivan Rukavina ponovno vraća na kratko vrijeme u Zagreb, a početkom kolovoza odlazi na Kordun, gdje radi na formiranju partizanskih odreda. U studenom 1941. godine postavljen je za komandanta Glavnog štaba NOV i PO Hrvatske. Na toj je dužnosti ostao do studenog 1943, kada je postavljen za komandanta IV korpusa NOVJ. Od studenog 1944. do veljače 1945. godine Ivan Rukavina je komandant Vojne uprave za Vojvodinu, a zatim šef Vojne misije u Parizu.

Poslije oslobođenja, Rukavina je bio na dužnosti načelnika III uprave Generalštaba Jugoslovenske armije, na dužnostima u Ministarstvu obrane, načelnik Više vojne akademije i komandant armije. Na VI i VII kongresu SKJ izabran je za člana CK SKJ, a na V kongresu SKH za člana CK SKH. Danas živi u Zagrebu, u činu generala armije.

Nosilac je Partizanske spomenice 1941. i drugih visokih odlikovanja.

Narodnim herojem proglašen je 20. prosinca 1951. godine.