Lietuvos futbolininkas, sporto veikėjas, futbolo žurnalistas ir statistikas.
Gimė geležinkelininko ir namų šeimininkės šeimoje. 1932 m. išvyko gyventi ir mokytis į Klaipėdą, kur jau gyveno vyresnysis brolis.
1935 m. išvažiavo mokytis į Šiaulių gimnaziją, čia žaidė Šiaulių „Žiežirbos“, o vėliau „Sakalo“ komandose. Vėliau grįžo mokytis į Klaižėdos prekybos institutą ir žaidė KSS komandoje, su kuria du kartus tapo Lietuvos futbolo čempionu, o 1938 m. iškovojo I Lietuvos tautinės olimpiados aukso medalį.
1937 m. liepos 8 d. pirmą kartą pakviestas į Lietuvos vyrų futbolo rinktinę.
1939 m. Klaipėdą aneksavus hitlerinei Vokietijai S. Paberžis persikėlė į Kauną, kur žaidė Kauno LFLS komandoje. 1940 m. Lietuvą užėmus TSRS kariuomenei, žaidė Pabaltijo karinės apygardos rinktinėje.
1947-1951 m. Vilniaus „Dinamo“, vėliau „Spartako“ meistrų komandos žaidėjas, sužaidė 97 rungtynes ir įmušė 5 įvarčius. Devyniolika kartų gynė Lietuvos rinktinės garbę. 1949 m. S. Paberžiui vienam pirmųjų mūsų šalies futbolininkų buvo suteiktas TSRS sporto meistro vardas.
Baigęs aktyviai sportuoti treniravo Vilniaus „Spartako“, „Žalgirio“ ir „Saliuto“ komandas. 1956 m. Lietuvos futbolo rinktinės treneris. Vėliau užėmė atsakingas pareigas Lietuvos futbolo federacijoje (LFF) ir respublikinėje „Žalgirio“ taryboje. 1959 m. Vilniuje įkūrė futbolo mokyklą. Nuo 1965 m. organizuoja geriausio Lietuvos futbolininko rinkimus. 1968 m. suteiktas Lietuvos nusipelniusio trenerio vardas. Laikraščio „Sportas“ priedo „Futbolas: 7 dienos“ kuratorius. 2004 m. už nuopelnus Lietuvos futbolui apdovanotas LFF ordinu.