Varga Imre 1923. november 1-jén született Siófokon.
Már gyermekkorában - a siófoki elemi iskolában - rendkívül jó rajzkészségével tűnt ki. 13 évesen szerepelt egy képével Párizsban. Középiskoláit a budai ciszterciták, majd végül a szombathelyi premontreiek gimnáziumában fejezte be.
1956-ban diplomázott Pátzay Pál és Mikus Sándor növendékeként Képzőművészeti Főiskolán.
Első egyéni kiállítására 1967-ben került sor. 1969-ben Munkácsy-díjjal tüntették ki. 1972-es tihanyi kiállítása egy csapásra ismertté tette nevét. 1973-ban nyerte el a Kossuth-díjat, két évvel később az Érdemes Művész, 1977-ben - fővárosi köztéri alkotásaiért - a Pro Arte kitüntetést, 1979-ben a Kiváló Művész címet, s 1982-ben kitüntették a Herder-díjjal. 1984-ben SZOT-díjat kapott. Számos köztéri szobrát állították fel szerte a hazában és külföldön; legutóbb Tel Avivban Raoul Wallenbergről készült alkotását.
Siófokon látható szobrai: Kopernikusz, II. Rákóczi Ferenc, Vénusz születése, Múló ido, Mártírok szoborcsoport, Kálmán Imre, Golgota, A professzor, Czóbel, Memento a II. magyar hadseregért, Esernyősök, La Charonge, Krúdy, Sarlós madonna, Szent Flórián
A képzőművészet terén elért kimagasló érdemeiért, mellyel Magyarország és Siófok város hírnevét is öregbítette, Siófok Város Tanácsa elsőként ot választotta Siófok Város Díszpolgárává, 1985-ben.
2019. december 09-én városunk díszpolgára elhunyt, Siófok város saját halottjának tekinti.