Varga Imre 1923. november 1-jén született Siófokon. Édesanyja, Csepeli Margit családja a Balaton-felvidékről, édesapja, Varga Mátyás családja Erdélyből származott. 1928-ban nagyapja vett egy házat Keszthelyen, abban éltek. Apjának testvére, Zoltán, Matild nevű nénje, egy kocsis és egy cselédasszony is velük lakott. Amikor iskolába kezdett járni, akkor került vissza a szüleihez Siófokra. Gyakran járt át a Sió partján Varga nagyapjához Siójutra. Már gyermekként sokat olvasott, válogatás nélkül nehezebb és könnyebb irodalmat, mindent próbált megérteni. Az elemi iskola után egy évig magántanuló volt, és Fehérvárra járt a ciszterekhez vizsgázni. Egy év után Budára került gimnáziumba, majd Szombathelyen tanult. Ez utóbbi városban a premontreieknél érettségizett.
Budapesten bontakozott ki rajztehetsége. 13 évesen, szülei tudta nélkül járt Párizsban. Ebben az évben Budapesten volt egy tárlat, amit a fehérvári rajztanára szervezett. Itt látta meg az egyik képét egy Franciaországban élő festőművész, ő ajánlotta fel neki a párizsi utat. A kiutazásban Teleki Pál segítette, aki egyszer meglátogatta a gimnáziumot, és az ő osztályukban is látogatást tett. Varga Imre lerajzolta Telekit, ő ezt a rajzot elkérte tőle és aláírattatta vele, mert a felesége gyűjtötte a karikatúrákat. Párizsban, a kint készült pasztell rajzaiból volt kiállítása, nem messze a Louvre-tól, és itt több alkotását meg is vették. Három és fél hónapot töltött kint.
Amikor a szülei megtudták, hogy Párizsban van, haza kellett jönnie, és szeptemberben Szombathelyen kezdte el az iskolát, sokkal szigorúbb felügyelet alatt. Eltiltották a rajzolástól, ezért kezdett el repüléssel foglalkozni. Barátaival repülőteret csináltak, és szakember segítségével saját maguk állítottak össze egy Zögling típusú gépet. Egyszer egy Almásy László nevű férfi, aki akkor tért haza Egyiptomból, ott hagyta nekik Lincoln Zefír típusú autóját, hogy azzal csörlőzzék a gépet. Az érettségit követően a műegyetemre jelentkezett, mivel a repülés nagyon érdekelte, és aerodinamikával szeretett volna foglalkozni. Az aerodinamika tanszéken katonai jellegű oktatás folyt, és mivel nem akart szakot váltani, így repülőtiszt képzésbe került. Mire a frontra jutott, rengeteg repült órája volt. A világháború alatt felderítőként szolgált, amerikai hadifogságban érte meg a háború végét Németországban.
1945-ben Siófokon telepedett le, hogy nagyapja birtokát művelje, ám 1948-ban Budapestre ment, és egy ideig a Ganz Villamossági Gyárban dolgozott. A felesége Szabó Ildikó, akivel a háború alatt házasodtak össze, addig visszament a szüleihez Hajdúböszörménybe, és a Pedagógiai Főiskolára járt. Magyar és zene szakon tanult, és egy év után költözött Imréhez Budapestre, ahol a Kodály Zoltán Zenei Általános Iskolában helyezkedett el. 1950-ben Varga Imre felvételt nyert a budapesti Képzőművészeti Főiskolára, tanárai Mikus Sándor és Pátzay Pál voltak. Itt tagja volt még a főiskola kórusának is. Az I. Országos Képzőművészeti Kiállításon szerepelt a Vasmunkás című szobrával, majd az ’50-es évektől kezdve rendszeresen megjelentek szobrai kiállításokon.
1956-ban Magvető című szobrával kitüntetéssel diplomázott a Képzőművészeti Főiskolán, államvizsgáját 1955-ben tette le, egy évvel korábban, mint csoporttársai. A forradalom idején egy barátjával elmentek az Iparművészeti Múzeumhoz, mert az a hír járta, hogy ég a múzeum. A házuk ajtajában fegyvert akasztottak a vállukra, hogy ne legyenek éjszaka védtelenek a városban. Nem használta, de ez elég volt arra, hogy fegyverviselésért 5 évre eltiltsák a művészettől. 1958-ban elkészítette saját ’56-os emlékművét, amit jóval később, csak 1963-ban állítottak fel Tihanyban, Fekvő fiú címmel.
Az eltiltás után a Pénzverde üdülőjébe készített egy aktot, majd hosszú ideig megint nem kapott megbízást. Közben elkészült egy kiállításnyi anyaggal, 1950 és 1967 között több mint 60 szobrot készített, ezekből tárlata is nyílt a Nemzetközi Kapcsolatok Dorottya utcai kiállítótermében 1967-ben. Ezután kapta első komoly feladatát, Radnóti-portrét kellett készítenie. Ekkor készült egész alakos Radnóti-szobra. 1960-ban díjat nyert az első Marx–Engels-emlékműpályázaton. 1962-ben szerepelt alkotásaival a IX. Magyar Képzőművészeti Kiállításon. 1969-ben Munkácsy Mihály-díjat kapott, 1971-ben a III. Országos Kisplasztikai Biennálén Pécsett a Művészeti Alap különdíját nyerte el. 1972-ben kiállítása nyílt a Tihanyi Múzeumban. Ennek alkalmával készítette Az alapító című szobrát, ami azóta is Tihanyban van kiállítva. 1973-ban Kossuth-díjjal tüntették ki, 1975-ben kapta meg az Érdemes művész címet. 1977-ben a Kulturális Minisztérium nívódíját nyerte el
(Pro Arte Budapest). 1979-ben lett Kiváló Művész.
1980-ban kapott megbízást Aczél Györgytől Kádár János mellszobrának elkészítésére. Ettől az évtől a rendszerváltásig országgyűlési képviselő volt. 1982-ben kapott Herder-díjat, egy év múlva nyílt meg állandó kiállítása Óbudán. 1985-ben megkapta a Siófok város díszpolgára címet. 1989-ben Franciaországban és Olaszországban kapott állami kitüntetést, valamint a Lengyel Kultúráért kitüntetést is ekkor nyerte el. 2003-ban az Egyesült Királyságban a Portrészobrászok Társasága kitüntette a társaság legrangosabb emlékérmével, a Jean Masson Davidson-díjjal. Siófokon 20 köztéri alkotása látható, az utolsó itt felállított szabadtéri szobra a Fő téren található Széchenyi István-szobor, amely 2012-ben lett itt elhelyezve. Ezenkívül számos kisplasztikája található a Kálmán Imre Emlékház gyűjteményében. 2019-ben hunyt el Budapesten. Siófokon, a Kele utcai temetőben helyezték örök nyugalomra.
2023-ban a város 55 éves várossá válási jubileumi évében, kiállító terek kialakítására került sor a 111 éves Víztorony a legfelső szintjein.
A panorámalift a Varga Imre állandó kiállításig visz, innen csigalépcsőn közelíthető meg a helytörténeti kiállítás, ha pedig lefelé megyünk néhány lépcsőt, akkor a kilátóteraszról lenyűgöző körpanoráma tárul Siófokra és a Balatonra.
A Varga Imre 100 programsorozat jegyében nyílt kiállítás különlegességét az adja, hogy anyagát, a 2019- elhunyt szobrászművész, Siófok első díszpolgárának fia, a szintén szobrász Varga Tamás válogatta és adományozta a városnak. Varga Imre gipsz szobrai és személyes használati tárgyai láthatók a fotói mellett. A szobrászművész szülővárosa, Siófok különösen gazdag gyűjteményt mutat be alkotásaiból a köztereken, s most már jut belőlük egy állandó kiállításnyi, a Víztoronyba is. Ezek nem a megszokott szobrok, egyediek attól, hogy a gipsz szobrok az alkotói folyamat legértékesebb állapotában jelennek meg. A műtermében érezhetjük magunkat, részesei lehetünk a nagy pillanatnak, mikor a művész megalkotta szobrát.
Varga Imre életének pillanatait felvillantó fotók és az életrajz mellett személyiségét felidézik a falakon olvasható, rá jellemző idézetek is.
Varga Imre Siófok első díszpolgára, a nemzet művésze, Kossuth-díjas szobrászművész számos alkotása díszíti Siófok köztereit, melyekről bővebben a Szobrok, Séták, Emlékek kiadványunkban talál. A kiadvány kalandos városi séta keretében, fejtörőket megoldva mutatja meg Siófok városát.