Ruský toy vděčí za svou existenci malým anglickým toy teriérům a touze ruské šlechty a elitních rodin vlastnit anglické věci (zejména anglické psy a anglické koně). První malí toy psi společenského typu se v Rusku objevili na počátku 17. století. V Zoologickém muzeu v Petrohradě se nachází exemplář černého toy teriéra s pálením jménem Lizetta.
Lizetta patřila ruskému císaři Petru Velikému a díky tomu se vlastnictví úhledných, drobných plemen toy stalo populárním. V roce 1874 se ruští toyové účastnili výstav a v roce 1907 bylo na petrohradské výstavě uvedeno 11 ruských toyů, kteří však byli stále velmi úzce příbuzní anglickým toy teriérům.
Říjnová revoluce v roce 1917 znamenala pokles popularity ruských toyů, protože vše, co souviselo s aristokracií, bohatstvím a šlechtou, bylo tehdy odmítáno. Nedostatek psů a politická izolace země vedly k vytvoření nového plemene, pro které byl vypracován standard, který se lišil od dřívějšího plemene anglického typu.
Od 50. let 20. století se tento nový, moderní styl ruského toye výrazně lišil od klasického toy teriéra a v roce 1958 se zrodil první vrh dlouhosrstých ruských toyů. Po letech pečlivého vývoje má plemeno nyní dvě varianty, dlouhosrstou a hladkosrstou.
Ruskou kynologickou federací bylo nejprve klasifikováno jako teriéři, po revizi standardu plemene v roce 2003 ve spolupráci s Mezinárodní kynologickou federací bylo nakonec v roce 2006 přesunuto do skupiny společenských a toy psů.