Josef Mengele Karl és Walburga Mengele legidősebb fia volt. Mengele antropológiát és orvostudományi ismereteket tanult Münchenben, Bonnban és Bécsben.

1934-ben csatlakozott az SA-hoz, három évvel később belépett az NSDAP-ba, majd egy évvel később az SS-be. 1941-ben részt vett a Szovjetunió elleni hadműveletekben.

A keleti front után Mengele 1943-ban Berlinbe utazott. Itt azt a parancsot kapta, hogy utazzon el Auschwitz-Birkenauba, mint orvos. Május 30-án érkezett meg a táborba. 1943-ban a cigánytábor (BIIe), 1944 őszétől a kórházszektor (BIIf) főorvosa volt. Különösen érdekelte az ikrek kialakulása, viselkedése. Itt dolgozott 2 éven keresztül.

Röviddel a Vörös hadsereg megérkezése előtt, 1945. január 17-én elmenekült Auschwitzból. Február 6-án a Wehrmacht egyik rejtekhelyén szállt meg. Ekkor más nevet használt, mivel az amerikaiak elfogták őket nem sokkal később, és Mengele körözött személy volt. Az amerikaiak az auschwitzi halálangyal nevet adták neki. Nyáron visszatért szülővárosába, Günzburgba, majd ősszel Fritz Hollmann néven felső-bajorországi Mangoldingbe ment.

1949 áprilisában Helmut Gregor néven Genovába utazott, majd június 20-án a North King nevű gőzössel Buenos Airesbe hajózott. Itt az 1950-es évek végéig élt. A Buenos Aires-i konzulátuson német útlevelet kapott a valódi nevével. Ezután Paraguayba repült. Ott találkozott Adolf Eichmann-nal, majd São Pauloba repült. Mengele fejére tűzték ki a legnagyobb vérdíjat: 7 millió német márkát. A városban hosszú éveket élt a valódi nevén. 1979. február 7-én a tengerben fürdött, szélütést kapott, majd meghalt. São Paulotól délre temették el Embu temetőjében.

1985-ös exhumálásakor sokan megkérdőjelezték, hogy tényleg az övé-e a kiásott csontváz. 1992-ben DNS-tesztet végeztek el rajta, ami igazolta, hogy az tényleg az ő holtteste volt