Rođen je 3. ožujka 1916. godine u Zagrebu, Hrvatska. Radnik.

Odrastao je u siromašnoj radničkoj porodici. Stanovao je u radničkoj četvrti, Trešnjevka, na periferiji Zagreba. Želio je u školu, ali mu to nisu dozvolile loše materijalne prilike porodice. Završio je osnovnu školu, dva razreda gimnazije i metalski zanat. Zanat je učio u tvornici lustera ,,Lux", a kasnije je prešao kod privatnog majstora, gdje je 1933. godine položio pomočnićki ispit. Kao šegrt, pristupio je radničkom pokretu, i za kratko vrijeme postao jedan od rukovodilaca sindikalne omladine Ujedinjenog radničkog sindikalnog saveza. Godine 1932. primljen je u SKOJ. Nekoliko puta je hapšen, ali je puštan zbog nedostatka dokaza. Godine 1935. je bio izveden pred Sud za zaštitu države, i osuđen na šest mjeseci zatvora. Ubrzo poslije izlaska iz zatvora, krajem 1935 godine, primljen je u Komunističku partiju, a kratko vrijeme poslije toga postao je Član Mjesnog komiteta SKOJ-a za Zagreb.

U proljeće 1937. odlazi na odsluženje vojnog roka, u Novi Sad. Tamo je našao Rada Končara, pa njih dvojica organiziraju tajne marksističke kružoke. Godine 1938. vraća se s odsluženja vojnog roka, i zapošljava u tvornici "Siemens", gdje je i ranije radio. Kao član Mjesnog komiteta SKOJ-a, veoma je aktivan u političkom radu s omladinom. Taj njegov rad nije bio nezapažen ni od strane policijskih organa, tako da je nekoliko puta uhapšen, ali se uvijek hrabro držao.

Početkom 1939. godine, Joža Vlahović je postao član Pokrajinskog komiteta SKOJ-a za Hrvatsku, a ubrzo zatim i sekretar tog komiteta i član CK KPH. U ime Pokrajinskog komiteta SKOJ-a za Hrvatsku, sudjelovao je na V i VI zemaljskoj konferenciji SKOJ-a.

Prvog maja 1940. godine, Joža Vlahović je organizirao zagrebačku radničku i studentsku omladinu da zajedno demonstriraju protiv tiranije vlasti. Ove demonstracije su uzgibale i radničke mase u Zagrebu, pa je policija počela hapsiti začetnike demonstracija. Tako su policijski agenti došli u tvornicu "Siemens", da uhapse Rada Končara. Vidjevši agente, Joža Vlahović organizira radnike, koji su ih pretukli i izbacili iz tvornice.

Prije okupacije Jugoslavije, poznavali su ga mnogi omladinski rukovodioci Splita, Osijeka, Bjelovara, Varaždina, Slavonskog Broda i ostalih gradova. On je s njima često održavao sastanke u Zagrebu, ili odlazio na razne sastanke SKOJ-a u mnoge gradove u Hrvatskoj. Uputstva i savjeti koje je dijelio ostavljali su duboki dojam i mnogo su koristili ostalim rukovodiocima skojevskih organizacija.

Na VI zemaljskoj konferenciji SKOJ-a, krajem 1940. godine, Joža Vlahović je postao član CK SKOJ-a. Njegovo poznanstvo s Ivom Lolom Ribarom obogatilo ga je dragocjenim iskustvima u radu s omladinom. U to vrijeme SKOJ u Hrvatskoj predstavljao je veliku snagu, oko koje se okupljala omladina.

Okupacija Jugoslavije ga je zatekla u Zagrebu. Odmah se snašao u novim uvjetima, i okuplja napredne, patriotski orijentirane omladince, t formira diverzantske grupe u Zagrebu. Nedugo poslije proglašenja NDH, dobiva poziv za vojsku, i on se, po direktivi Partije, odaziva. Bio je raspoređen za pisara u štabu "topničke vojarne". Odmah poslije dolaska, Joža Vlahović počinje okupljati antifašistički orijentirane domobrane, a također je nabavljao oružje za akcije ilegalaca. Poslije kratkog vremena, Joža Vlahović je dezertirao iz domobrana, i nastavio ilegalni rad. Poslije niza akcija koje je organizirao u ilegalnom Zagrebu, 22. kolovoza 1941. godine prepoznao ga je ustaški doušnik Majerhold, pa su ga agenti uhapsili. Ustaška policija, koja je naslijedila policijska dokumenta stare Jugoslavije, već ga je dugo tražila. Ustaše su znale da imaju jednog od rukovodilaca SKOJ-a i KPH, pa su pristupili oprobanom metodom preslušavanja, lako podvrgnut mukama, Joža Vlahović je ostao dosljedan sebi, ništa nije priznavao. Uvidjevši da ne mogu ništa postići ni zlostavljanjem, ustaše su ga, u rujnu 1941. godine, strijeljale.

Narodnim herojem proglašen je 14. prosinca 1949. godine.