V Zupanovih pesmih močno vlogo igrata motiv in tema spomina, ki sta povezana z naivno, a močno nostalgijo po kraju otroštva. Izdal je pesniške zbirke Sutre, Reka, Odpiranje delte, Nasledstvo, Drevo in vrabec, Nafta, Lokomotive, Jesensko listje, Copati za hojo po Kitajski, Oblika raja ...
Napisal je tudi šest knjig esejev: Svetloba znotraj pomaranče, Pesem ostaja ista, Pešec, Čitanka Panini, Rilke proti Novim fosilom, Visoko poletje na provincialnih bazenih in prevedel knjige poezije hebrejskega pesnika Jehude Amihaja Ura milosti, ameriškega pesnika Billya Collinsa Kidanje snega z Budo ter delno knjigo ameriškega pesnika Johna Ashberya Avtoportret v konveksnem ogledalu in knjigo črnogorskega pesnika Pavleta Goranovića Knjiga prividov.
Za poezijo je od domačih nagrad prejel: Nagrado slovenskega knjižnega sejma za prvenec, Zlato ptico, Nagrado Prešernovega sklada, Jenkovo nagrado, Župančičevo nagrado, Plaketo Tončke Čeč in od tujih nagrad: Majska rukovanja (Jugoslavija), Herman Lenz–Preis (Nemčija) in Premio della VI Edizione del Festival Internazionale di Poesia (Italija). Njegove samostojne knjige so prevedene v več tujih jezikov. Z družino živi v Ljubljani. Preživlja se kot samostojni kulturni delavec.
