Malý Rudolf Antonín, což bylo jeho pravé jméno, se narodil na samém sklonku 19. století ve Dvoře Králové nad Labem. Milovanému rodišti také vzdal později hold svým uměleckým jménem Dvorský. Absolvoval zde obchodní školu a začal pracovat jako účetní v místním pivovaru. Táhlo ho to ale k hudbě, přes zdravotní problémy, které ho sužovaly od mládí, rád zpíval, hrál na klavír a housle, již jako teenager zkoušel tvořit vlastní skladby a založil první kapelu.

Zlom v jeho životním směřování nastal, když se těsně po konci první světové války seznámil s Jiřím Červeným, zakladatelem kabaretu Červená sedma. Tehdy také odešel z rodného Dvora Králové a přesídlil do Prahy. Získal práci jako redaktor v hudebním nakladatelství, ale zároveň začal vystupovat právě v Červené sedmě a s různými tanečními orchestry.

Nepřestával komponovat a jeho skladby začaly mít ohlas v Československu i zahraničí. Dařilo se mu i v soukromém životě, v roce 1920 se oženil s Marií Svobodovou, tři roky poté se manželům narodil syn Miroslav.

V průběhu dvacátých let Dvorský postupně utlumoval svou práci redaktorskou a místo toho se věnoval hudbě. Měl vlastní pořad v Československém rozhlase a v roce 1929 založil kapelu Melody Boys, v jejímž čele stál až do roku 1944. Nesmírně populární orchestr měl velmi široký záběr, dokázal perfektně podat lidovou píseň, jazz, swing i tehdy módní tango. Nebylo divu, že vystupoval v nejlepších nočních klubech metropole, jako byl například Lucerna Bar nebo Barrandovské terasy, nahrával desku za deskou a přímé přenosy z jeho vystoupení byly hitem Československého rozhlasu. Písně Hm, Hm, ach ty jsi úžasná, Jedu nocí, Letí šíp savanou či Děkuji, bylo to krásné znala bez přehánění celá republika.

Dvorský skládal a nahrával i filmovou hudbu a také ve filmech vystupoval, občas jako herec, ale častěji v hudebních scénách se svým orchestrem. Ještě dnes můžeme R. A. Dvorského a jeho Melody Boys vidět a slyšet ve stále populárních pamětnických filmech, jako je například slavný Kristián. Dodnes známá je také jeho interpretace písně Sám já chodívám rád z filmu Těžký život dobrodruha.

R. A. Dvorský se také stal velmi úspěšným podnikatelem v předválečném hudebním průmyslu. Byl významným akcionářem gramofonové společnosti Ultraphon a v roce 1936 si založil vlastní hudební nakladatelství, zaměřené na moderní taneční hudbu, především swing.

Za druhé světové války se však na jeho skvěle nastartované životní dráze začaly objevovat první překážky. V roce 1942, po dvou mimořádně úspěšných turné po českých a moravských městech, se u Dvorského začaly projevovat první známky plicního onemocnění. Po jednom ze zájezdů v roce 1944 navíc onemocněl těžkým zápalem plic, který jeho zdraví oslabil natolik, že tuberkulóza propukla již naplno. Léčení této tehdy smrtelné nemoci si vyžádalo téměř dva roky. Po uzdravení se Dvorský vrhl znovu na hudbu a podnikání, ale přišly další rány. Tou největší byla nečekaná smrt jeho jediného dítěte, nadaného čtyřiadvacetiletého Miroslava, do nějž otec vkládal velké naděje a počítal s ním jako se svým nástupcem. Těžký zásah v podobě smrti potomka nepřežilo ani Dvorského manželství. Jeho skvěle zavedené a úspěšné nakladatelství, s nímž ještě po válce uzavřel dlouhodobou smlouvu s newyorským nakladatelstvím, které mělo zájem šířit hudbu českých autorů v USA, bylo v roce 1949 znárodněno a Dvorskému bylo přiděleno místo řadového referenta ve Státním nakladatelství hudby a umění.

Stal se náhle nežádoucím a nepohodlným, nebylo proto divu, že začal uvažovat o odchodu ze země, ale žádost o oficiální vystěhování mu byla zamítnuta. Díky svému příteli, radiotelegrafistovi Československých aerolinií Pavlu Johnovi, se seznámil se skupinou lidí, která v roce 1950 plánovala útěk na Západ v letadle uneseném při zkušebním letu. Dvorský s ostatními na letadlo čekali na domluveném místě, ale plán nevyšel, protože piloti sice letadlo ovládli, ale odletěli rovnou. Tato nezdařená akce ale byla o pár let později dodatečně vyzrazena, a Dvorský byl odsouzen ke konfiskaci veškerého majetku a pěti letům vězení. Ve vězení se mu opět vrátila tuberkulóza a nakonec byl na základě amnestie v roce 1956 s podlomeným zdravím podmínečně propuštěn.

Oporou se mu stala vdova po jeho příteli Pavlu Johnovi Anna, která se o něj obětavě starala a s níž se Dvorský na sklonku svého života oženil. Na konci 50. let, když se poměry poněkud uvolnily, mu bylo dovoleno vrátit se k estrádní činnosti, začal pracovat pro OSA a vrátil se také ke skládání. Bylo dokladem jeho mimořádného talentu, že i v době zcela odlišné od první republiky dokázal opět složit skladby, které se staly hity, jako například Ráno a večer nebo jeden z prvních českých country hitů Jipi jou. Začal znovu koncertovat a vystupovat v různých vzpomínkových pořadech, často s Hanou Vítovou, další z bývalých hvězd stižených nelehkým osudem. Právě pro ni a sebe složil duet Pohádka o konvalinkách, který potom proslavil Milan Chladil s Yvettou Simonovou.

Svůj comeback si Dvorský ale dlouho neužil, v roce 1966 si tuberkulóza již definitivně vyžádala jeho život. Bylo mu 67 let a se svou druhou ženou Annou je pohřben v rodném Dvoře Králové nad Labem.