Kétezer-kétszáz éve karthágói csapatok örködtek a kopár gránit dombok között, ahol a hosszú, perzselő nyárban ma is csak az akác és az agavé az üdezöld növény. A rómaiak várost építettek a természetes határokkal védett félszigeten". A Tajo oly szorosan öleli, hogy távolról nézve szinte kihasítja a zöld mezőből. Hispania provincia urai Toletumnak hívták, bár a legenda szerint először a Nabukodonozor uralkodása idején elűzött s itt megtelepedő zsidóság adott nevet ennek a helynek.
A rómaiak castruma a sziklaszirt legmagasabb pontján, a mai Alcázar helyén emelkedett; szabályos négyszög formáját idézi alap rajzában a mai épület is. A kora középkori hidak pilléreinek helyén egykor a rómaiak zömök támívei, hídvédő tornyai magasodtak. A távoli dombok hűs forrásvizét itt is aquaeductus vezette a falak hoz, a meredeken épült házakat földben húzódó vízvezeték látta el. A Tajo partján, ligetes tájban épültek a római paloták, díszes ter meik padozatát szines mozaik borította. A túlparton hatalmas circus maximus épült - igaz, körvonalait ma már nehéz megvonni, hiszen az utókor felhasználta a köveit, belőle épült a katedrális alapozása, talán még az Alcázarba is vittek anyagából. Falai közé a középkorban szegénynegyed települt: nem messze töle temető nyomaira bukkantak.
A vizigót uralkodók közül különösen Wamba király szerette rajongva ezt a festői fekvésű várost, s hogy megóvja ellenséges csapatoktól, falakkal, tornyokkal övezte.