Rođen je 1916. u Nudolu, Grahovo, Nikšić, Crna Gora.

Njegov otac, Nikola Kovačević, jedan je od organizatora i rukovodilaca KPJ u Crnoj Gori, a kasnije istaknuti revolucionar jugoslovenskog i međunarodnog radničkog i komunističkog pokreta (radio u SSSR, Kini, Austriji, SAD i Kanadi). Mujina majka, Ljubica, također je stari komunist. Najviše zahvaljujući tome što su mu roditelji bili komunisti, Mujo Kovačević je još u djetinjstvu, zajedno s prvim saznanjima o životu, počeo da stiče i prve predstave o ljudskom društvu.

Osnovnu školu je završio u Grahovu, a gimnaziju u Podgorici i Trebinju. Kao sin istaknutog revolucionara, 1930. godine isključen iz škole, pa je iste godine pokušao da završi školu privatno, u Beogradu. Godinu kasnije, uhapšen je zbog političke aktivnosti, i poslije dva i po mjeseca provedenog u zatvoru u "Glavnjači", protjeran je u Grahovo. U toku 1934—1935. godine radio je na eksploataciji šume na Durmitoru. U vrijeme poznate provale organizacija KPJ u Crnoj Gori (1936), uhapšen je i protjeran u svoje rodno selo. Početkom 1938. godine vratio se u Beograd, gdje je radio kao privatni namještenik, a godinu kasnije zaposlio se kao činovnik Beogradske općine i na tom mjestu ostaje do kapitulacije Jugoslavije, aprila 1941. godine.

Predratni je član SKOJ-a, a član KPJ od 1941. godine.

U trinaestojulskom ustanku naroda Crne Gore učestvuje kao borac — puškomitraljezac. Poslije jenjavanja ustanka, djeluje u jednom od gerilskih odreda. Septembra 1941. godine, s oko 300 boraca s područja OK Nikšić, odlazi na sektor Gacka (Hercegovina). Oko mjesec dana kao mitraljezac učestvuje u borbama u Hercegovini u napadu na neprijateljski garnizon u Gacku.

Kovačević se na različitim zadacima više puta istakao izvanrednom hrabrošću i požrtvovan] em, pa ga Operativni štab za Hercegovinu, januara 1942. godine, imenuje za komandanta kombinirane crnogorsko-hercegovačke jedinice (jačine polu-bataljona), sa zadatkom da u graničnom pojasu između Crne Gore i Hercegovine razbije četničke grupe, a potom (zajedno s drugim snagama) da učestvuje u napadu na zloglasno ustaško uporište Borac.

Januara 1942. godine ova jedinica je u graničnom pojasu izvela nekoliko uspjelih akcija. Pored ostalog, ona je, uz najneposrednije učešće Muje Kovačevića, dobro smišljenim izuzetno smjelim i energično izvedenim napadom razbila i savladala četnički štab za istočnu Bosnu i Hercegovinu, na čelu s majorom Boškom Todorovićem i njegovom pratnjom.

Poslije ovih uspjeha, Glavni štab za Bosnu i Hercegovinu imenuje ga za komandanta sektora Gacko-Nevesinje. Oko mjesec dana Mujo komandira partizanskim jedinicama koje su izvele više akcija, i zabilježile uspjehe. Pored toga, veoma je aktivan u suzbijanju četničke izdaje. Teško je ranjen u borbi s četnicima, 27. februara 1942. godine, kod sela Gareve (Gacko). U svim borbama u kojima je u ovom periodu učestvovao istakao se i kao borac i kao komandant.

Sve do početka augusta nalazio se na liječenju.

Kao ranjenik, učestvuje u poznatom marš-proboju 5. proleterske brigade i Hercegovačkog NOP odreda od Drine do Prozora (22. jul—2. august 1942). Po dolasku na slobodnu teritoriju, imenovan je za zamjenika komandanta Prozora, a nešto kasnije odlazi na dužnost u Odsjek za vojne vlasti u pozadini pri Vrhovnom štabu. Angažirao se na učvršćivanju komandi mjesta u zapadnoj Bosni i susjednim oblastima Hrvatske. Zajedno sa snagama Glavne operativne grupe učestvuje na Neretvi. Poslije toga, radi na organiziranju pozadinskih vojnih vlasti na slobodnoj teritoriji Hercegovine i Crne Gore.

U borbama u petoj neprijateljskoj ofanzivi teško je ranjen na Vučevu. Uspeo je da se, s dijelovima 3. divizije, probije sa Sutjeske u istočnu Bosnu, gdje u julu i augustu radi na stvaranju komandi mjesta i drugih pozadinskih vojnih organa.

Sredinom leta 1943. godine upućen je u krajiške jedinice, gdje radi na stvaranju obavještajne službe, a potom postaje obavještajni oficir 5. (krajiške) divizije NOVJ. S ovom proslavljenom jedinicom učestvuje u više poduhvata u Bosni, Sandžaku, Srbiji (prodori u Srbiju, limsko-drinska i krivajska operacija, i druge).

U proljeće 1944. godine završava viši partijski kurs u Crnoj gori, a jula iste godine imenovan je za obavještajnog oficira pri Štabu Operativne grupe divizija, a kasnije 1. armijske grupe. Učestvovao je u andrijevičkoj operaciji, u operacijama za oslobođenje zapadne Srbije i Šumadije, i u beogradskoj operaciji.

Oktobra 1944. godine imenovan je za oficira Komande grada Beograda, i na toj dužnosti ostaje do druge polovine 1945. godine. Tada prelazi u OZN-u za Jugoslaviju. U OZN-i i u Upravi Državne sigurnosti vršio je funkcije od načelnika odsjeka do načelnika jedne od uprava.

U čin pukovnika JNA unapređen je 1948. godine.

Od 1959—61. godine na dužnosti je pomoćnika načelnika Savezne uprave carina, a od 1961—66. godine zamjenik generalnog direktora Zajednice PTT Jugoslavije.

Penzioniran je 1966. godine. Nosilac je više odlikovanja. Umro 11. jula 1979. u Beogradu, a sahranjen u rodnom selu Nudolu.

Narodnim herojem proglašen je 27. novembra 1953. godine.