Josef Zieleniec se narodil 24. dubna 1946. Vystudoval Střední průmyslovou školu jaderné techniky a poté Vysokou školu ekonomickou v Praze (CSc. – ekonomie)

Josef Zieleniec věnoval většinu své profesionální dráhy práci v oblasti ekonomie. Před rokem 1989 pracoval ve Výzkumném ústavu strojírenské technologie a ekonomiky a později v Ekonomickém ústavu Československé akademie věd. Kromě své práce v oblasti mikroekonomické teorie se zabýval problémy spojenými s transformací z centrálně plánované ekonomiky k tržní ekonomice. Výsledkem výzkumu prováděného pod jeho vedením byla mj. studie Československo na rozcestí, která významně ovlivnila diskuse o ekonomických reformách po roce 1989.

Počátkem roku 1990 Josef Zieleniec založil a stal se prvním ředitelem Centra pro ekonomický výzkum a vzdělávání (CERGE) na Univerzitě Karlově v Praze. CERGE bylo prvním studijním programem amerického standardu Ph.D v ekonomii ve střední a východní Evropě. V té době byl Josef Zieleniec rovněž jmenován docentem ekonomie a byl členem Vědecké rady Fakulty sociálních věd Univerzity Karlovy v Praze.

Je spoluzakladatelem Občanské demokratické strany a pracoval jako místopředseda strany od roku 1991. Po volbách 1992 byl Josef Zieleniec jmenován ministrem mezinárodních vztahů České republiky. Byl jedním z vyjednávačů podmínek rozdělení Československé federace.

Po rozdělení Československa 1. ledna 1993 byl jmenován ministrem zahraničí samostatné České republiky. Po volbách v roce 1996 zastával úřad místopředsedy vlády a ministra zahraničí. Během jeho působení na Ministerstvu zahraničí Josef Zieleniec zahájil a vedl jednání, která vyústila v historické smíření mezi Českou republikou a Německem. Za jeho působení byla také v roce 1997 založena Diplomatická akademie, která zajišťuje vzdělávání špičkových diplomatů.

V říjnu 1997 Josef Zieleniec odmítl přijmout kontroverzní rozhodnutí o financování Občanské demokratické strany a rezignoval na své vládní a stranické funkce.

V současné době je docentem na Fakultě sociálních věd Univerzity Karlovy, přednáší na New York University a je členem řídícího výboru CERGE.

Je zakladatelem a hlavním partnerem firmy JZP, která se zabývá investičním bankovnictvím a problémy evropské integrace.

Na jaře 2000 Josef Zieleniec přijal kandidaturu do Senátu jako nezávislý s podporou Čtyřkoalice. Dne 12. listopadu 2000 byl zvolen senátorem za Prahu 4, a to v prvním kole se ziskem 52,11 % hlasů. V Senátu se stal členem výboru pro zahraniční věci, obranu a bezpečnost.

Ve své práci v Senátu se zaměřuje na problematiku evropské integrace a na boj proti korupci (např. vypracoval, společně s nevládní organizací Transparency international, návrh nového zákona o střetu zájmů). V únoru 2002 se stal delegátem Senátu v Konventu o budoucnosti Evropy. V Konventu pracoval po celou dobu jeho existence až do července 2003 a spolupodílel se tak na přípravě návrhu první ústavy Evropské unie.

Byl poslancem Evropského parlamentu, jako lídr kandidátky Sdružení nezávislých a Evropských demokratů. Fotografii Josefa Zieleniece laskavě poskytla jeho kancelář.