A labdarúgás Madridba az Institución Libre de Enseñanza egyetem tanárai és diákjai által jutott el, akik közül többen Nagy-Britanniában (Oxford és Cambridge) tanultak, így megismerkedhettek a játék alapjaival. Ők alapították meg 1897-ben az első madridi labdarúgóklubot, a Footbal Club Sky-t. Ez a klub 1900-ban kettévált, a New Foot-Ball de Madrid és a Club Espanyol de Marid léptek a Footbal Club Sky helyébe. Utóbbi klubból 1902. március 30-án jött létre a Madrid Football Club, a Real Madrid közvetlen elődje. Mindössze három évvel alapítása után a Madrid FC megnyerte első rangosabb serlegét, miután legyőzte az Athletic Bilbaót a spanyol kupa döntőjében. Ezután még háromszor egymás után sikerült a kupát elhódítaniuk. 1920-ban, XIII Alfonz király a Real (királyi) jelzőt adományozta a klubnak, így a hivatalos neve Real Madrid CF lett.

1929-ben, a spanyol labdarúgó-bajnokság első szezonjában a Real Madrid egészen a szezon utolsó mérkőzéséig az első helyen állt, ám mivel az utolsó fordulóban vereséget szenvedett az Athletic Bilbao vendégeként, a bajnoki címet végül az FC Barcelona nyerte, a Real pedig a második helyen végzett, mindössze 1 ponttal a katalán csapat mögött. A Real első bajnoki címét az 1931-31-es szezonban szerezte. A következő szezonban ismét az első helyen végeztek, az Athletic Bilbao után a második duplázó csapat lett az országban.