Orkestret blev dannet i 1962.
Inden da havde Børge Johnsen og Søren Sahlholt sammen med Gert Røner og Erik Bertelsen dannet bandet The Sounders. De 2 sidstnævnte fik dog hurtigt andre interesser, hvorefter Børge og Søren videreførte bandet i en kort tid med skiftende besætning.
Børge og Søren gik herefter sammen Keld Jespersen (bas), Ejvind Hedegaard (guitar) og Gunnar Elming (guitar og sang) sammen om at danne et fælles band under det daværende navn The Back Beats. Først i 1964 skiftede orkestret navn til Swinging Back Beats efter en rettighedssag
Gunnar var kun med i en kort periode og udtrådte for at hellige sig studier. Bandet optog herefter en mere moderne stil efter de nye engelske grupper.
Allerede fra starten havde bandet opnået stor popularitet og ud over de mange jobs på spillesteder i Storkøbenhavn og på Sjælland optrådte bandet i det meste af landet, f.eks. i Aarhus, Odder og Varde.
I en periode i 1965 fik orkestret fast job i Nyhavn 41.
I 1966 blev sangeren Jean Le Fevre tilknyttet orkestret. Børge blev i efteråret 1967 indkaldt til militærtjeneste og udtrådte i den forbindelse af orkestret.
I 1968 ophørte Swinging Back Beats som navn, og de resterende medlemmer fortsatte i et stykke tid under navnet Canaris.
Efter en længere pause blev Swinging Back Beats gendannet i 2005 med den oprindelige besætning. Ejvind og Keld var dog kun med i en kortere periode, og Børge og Søren har i en årrække videreført orkestret sammen med nye musikere. Efter Sørens udtræden i efteråret 2022 er kun Børge tilbage af de oprindelige stiftere.
