Entrò nella Compagnia di Gesù il 15 settembre 1939, ma dovette sospendere i suoi studi di filosofia nel 1950 in seguito alla soppressione degli ordini religiosi in Cecoslovacchia.
Fu ordinato sacerdote il 1º ottobre 1950 a Rožňava, dove condusse la sua opera pastorale in segreto.
All’inizio degli anni ’60 tutta l’organizzazione della Chiesa Cattolica in Cecoslovacchia era paralizzata: vescovi, sacerdoti, religiosi, suore e seminaristi sono incarcerati o deportati; chiusi monasteri, conventi e seminari. Per volontà di Pio XII, venne ordinato vescovo segretamente a soli 27 anni, il 24 agosto 1951, da Pavol Hnilica, anch’egli vescovo in clandestinità, senza co-consacranti. Era il vescovo più giovane del mondo. Lavorò come operaio, poi come bibliotecario, sempre svolgendo l’attività pastorale.
Nel 1958 in
izia ad interessarsi di lui la polizia politica cecoslovacca.
Fu arrestato e l’11 marzo 1960 condannato a 12 anni di carcere per tradimento, a seguito di un processo svoltosi a porte chiuse. Fu imprigionato a Praga (Pankrác), a Ruzyň, a Valdice, a Leopoldov e a Ilava. In carcere incontrò circa 200 sacerdoti e 6 vescovi. Per due anni non riesce a celebrare la messa, durante l’isolamento sopravvive grazie a un metodo di preghiera basato sullo stile degli esercizi spirituali. Fu liberato nel 1968 sulla scia della Primavera di Praga, gravemente malato. In quell’anno, per la prima volta, celebra la messa in pubblico. Totalmente riabilitato nel 1969, ottenne il passaporto per Roma dove incontrò papa Paolo VI in una visita definita ’commovente’. In quell’occasione riceve ufficialmente le insegne vescovili, 18 anni dopo la sua ordinazione vescovile, ma le potrà indossare pubblicamente solo nel 1989.
Dopo la scarcerazione lavorò come spazzino a Bratislava, poi come operaio in un’industria chimica. La sua riabilitazione fu annullata nel 1974 e venne nuovamente condannato a quattro anni di carcere. Scarcerato ancora per motivi di salute, perse l’impiego di spazzino e restò disoccupato, in seguito riprese il lavoro all’industria chimica fino al 1984.
Ebbe un ruolo di primissimo piano nella Chiesa clandestina cecoslovacca. Come spiegò in un’intervista rilasciata nel 2000, è stato contrario all’Ostpolitik condotta dal cardinale Agostino Casaroli, che richiese la liquidazione della Chiesa clandestina, «che silenziosamente collaborava con i preti nelle parrocchie e che formava dei giovani pronti al sacrificio: professori, ingegneri, medici pronti a diventare preti». Ján Chryzostom Korec ordinò clandstinamente circa 120 sacerdoti. Secondo lui «l’Ostpolitik vendette» la Chiesa clandestina «in cambio delle promesse vaghe e incerte dei comunisti». Descrive questo «abbandono» come «il dolore più grande della sua vita».
È stato vescovo di Nitra dal 6 febbraio 1990 al 9 giugno 2005, quando le sue dimissioni, presentate per i raggiunti limiti d’età, sono state accettate. È stato Presidente della Conferenza Episcopale slovacca dal 1990 al 1993.
Papa Giovanni Paolo II lo ha innalzato alla dignità cardinalizia nel concistoro del 28 giugno 1991, conferendogli il titolo dei Santi Fabiano e Venanzio a Villa Fiorelli.
Il 13 giugno 2012 viene ricoverato d’urgenza per la perforazione e il distaccamento dell’appendice. Dopo l’operazione, entra in stato comatoso dal quale si sveglia il 20 giugno successivo.