Kapela postupně vznikala počátkem roku 1994. Tehdy kytarista Richard Kruspe, bubeník Christoph Schneider a Oliver Riedel, hrající na basovou kytaru, iniciovali vznik skupiny. Dále se jim podařilo přemluvit zpěváka Tilla Lindemanna, který se díky svému nenapodobitelném hlasu stal neodmyslitelným členem formace. Přišel také klávesista Christian "Flake" Lorenz. Posledním členem skupiny se stal druhý kytarista Paul Landers. Od svého vzniku působí skupina ve stejném složení.
Název skupiny je odvozen od malé vesničky Ramstein-Miesenbach ve německé spolkové zemi Porýní-Falc, kde má americká armáda jednu ze svých leteckých základen (na ní je momentálně umístěna 435. letka USAFE). Základna Ramstein byla 28. srpna 1988 dějištěm letecké přehlídky, při které se dvě letadla typu Aermacchi MB-339 z italské akrobatické skupiny Frecce Tricolori při provádění manévru Cardioide (lze přeložit jako probodnuté srdce) srazila ve vzduchu a následný pád jednoho z nich do diváckého prostoru a požár leteckého paliva způsobil neštěstí, které si vyžádalo bezprostředně po havárii 40 lidských životů. Stovky přihlížejících byly zraněny a konečná bilance katastrofy se později vyšplhala na 72 mrtvých. Po této události byla přijata nová bezpečností opatření pro letecké přehlídky, kdy skupiny létají pouze ve vymezeném prostoru mimo sektor diváků, aby se předešlo opakování tragédie z roku 1988. Například text písně Rammstein z alba Herzeleid na tuto katastrofu odkazuje. Richard (kytarista kapely) však tvrdí, že název vymyslel již před neštěstím. Navíc do názvu přidal druhé „M“, aby se od onoho místa odlišili (přičemž „Rammstein“ v němčině znamená beranidlo).