Olimpijski prvak v Tokiu
Zlato olimpijsko kolajno je osvojil v težki kategoriji na igrah leta 1964 v Tokiu, kjer je do svoje prve zlate kolajne prišel tudi slovenski telovadec Miro Cerar. Šest let pozneje je Frazier kot profesionalec postal svetovni prvak v tej kategoriji, ko je s nokautom premagal Jimmyja Ellisa. Naslov je izgubil leta 1973 proti Georgeu Foremanu.

Legendarna trilogija bojev z Alijem
Frazier je leta 1971 zmagal v "boju stoletja" proti Mohamedu Aliju in tako postal sploh prvi boksar, ki mu je uspelo premagati Alija. "Smokin' Joe", kot je bil Frazierjev vzdevek, je Alija v slovitem newyorškem Madison Square Gardnu s slovitim levim krošejem, s katerim je premagal še marsikaterega drugega nasprotnika, ugnal v 15. rundi. Oba boksarja sta po borbi končala v bolnišnici, vsak od njiju pa je prejel po 2,5 milijona dolarjev.

Frazier je nato naslednja dva dvoboja proti Aliju izgubil, vključno s slovito borbo leta 1975 na Filipinih, imenovano "triler v Manili" (video spodaj). V tem brutalnem dvoboju je Frazier izgubil po tehničnem nokavtu, saj mu trener Eddie Futch po 14. rundi zaradi poškodovanega obraza in zaprtega očesa ni več pustil nadaljevati. Tega mu Frazier nikoli ni oprostil.

Alijev poklon največjemu tekmecu
"Svet je izgubil velikega šampiona. Vedno se bom spominjal Joeja s spoštovanjem in občudovanjem. Moje sožalje gre njegovi družini in njegvim ljubljenim," se je nekoč največjemu tekmecu in nato velikemu prijatelju poklonil "največji boksar vseh časov" Mohamed Ali, ki se že od leta 1984 bori s Parkinsonovo boleznijo.

"Vsi smo pretreseni ob smrti legendarnega olimpijskega prvaka," so zapisali pri Olimpijskem komiteju ZDA, trenutni svetovni prvak v velterski kategoriji po verziji WBC Flyod Mayweather Jr. pa je na twitterju zapisal: "Vidiva se v nebesih Smokin Joe Frazer".

V profesionalni karieri je Joe Frazier zbral 32 zmag, od tega 27 s nokavtom, štiri poraze in en neodločen izid. Leta 1990 so ga sprejeli v mednarodni boksarski hram slavnih.