Nato da una famiglia animista della tribù Ibo, a nove anni si converte al cattolicesimo ricevendo il battesimo da padre Cyprian Michael Iwene Tansi (che diverrà nel 1998 il primo beato nigeriano). La sua famiglia lo avversa, ma si ricrederanno, convertendosi anch’essi al cattolicesimo dopo la sua ordinazione a sacerdote.
Dopo il seminario, studia teologia alla Pontificia Università Urbaniana.
Nel 1958 viene ordinato sacerdote. Frequenta l’Istituto di Pedagogia di Londra.
Tornato in Nigeria, a soli 33 anni viene nominato vescovo il 29 agosto 1965 e a 35 arcivescovo di Onitsha il 26 giugno 1967. Ha modo così di partecipare, seppur brevemente, al Concilio Vaticano II.
Nel 1979 viene eletto Presidente della Conferenza dei Vescovi cattolici della Nigeria. Nel 1984 viene nominato presidente del Pontif
icio Consiglio per il Dialogo Inter-Religioso in Vaticano.
Il 25 maggio 1985 papa Giovanni Paolo II lo ha creato e pubblicato cardinale del titolo di San Giovanni della Pigna, diaconia elevata pro hac vice in titolo presbiterale il 29 gennaio 1996.
Nel 1998 organizza il viaggio apostolico di papa Giovanni Paolo II in Nigeria.
Papa Giovanni Paolo II lo ha nominato membro del Comitato del Grande Giubileo del 2000.
Diviene prefetto della Congregazione per il culto divino e la disciplina dei sacramenti (2002).
Il 25 aprile 2005 è stato eletto cardinale vescovo con il titolo della Chiesa Suburbicaria di Velletri-Segni, succedendo a Joseph Ratzinger diventato da una settimana Papa con il nome di Papa Benedetto XVI.
È un sostenitore della messa in latino, poliglotta (conosce bene anche l’italiano), un ottimo comunicatore. È uno dei cardinali che ha celebrato la Messa tridentina dopo la Riforma liturgica.
Cessa il suo incarico di Prefetto della Congregazione per il Culto Divino e la Disciplina dei Sacramenti il 9 dicembre 2008, per raggiunti limiti d’età. Gli succede in tale carica il cardinale spagnolo Antonio Cañizares Llovera, che era fino a quel giorno arcivescovo di Toledo.
Il cardinal Arinze ha tenuto gli Esercizi Spirituali per la Quaresima 2009 alla Curia Romana alla presenza di Benedetto XVI.
Il 1º novembre 2012, al compimento degli 80 anni d’età, perde il diritto di entrare nel prossimo conclave ma non quello di essere eletto Pontefice.
Il 26 gennaio 2013, presso la "sala della Ragione" del Comune di Anagni, riceve il Premio Internazionale Bonifacio VIII dell’Accademia Bonifaciana, fondata dal giornalista Cav. Dott. Sante De Angelis.