Созданный в 1903 года тремя учившимися в Мадриде баскскими студентами, в первые годы своего существования клуб выступал весьма посредственно. Лишь слияния с командой испанских ВВС «Атлетико Авиасьон», состоявшегося вслед за окончанием гражданской войны, обновленная команда стала играть ярче и успешнее.

С самого начала клубу была уготована участь оставаться в тени своего именитого земляка  - мадридского «Реала». Тем не менее «Атлетике периодически побеждал в национальных турнирах. Более того, «колчоньерос» («матрасники»  -  прозвище, полученное из-за полосатой формы) время от времени весьма достойно показывали себя и на международной, в первую очередь европейской арене. В 1959 году клуб дошел до полуфинала Кубка чемпионов, но по иронии судьбы был выбит своим земляком  -  мадридским «Реалом». Но в 1962 году клубу все же удалось завоевать, победив «Фиорснтипу», европейский Кубок кубков, а в 1974 году даже стать обладателем Межконтинентального кубка.

В конце 80-х годов президентом клуба стал экстравагантный и скандальный Хесус Хиль. За свои первые десять лег в клубе Хиль умудрился нанять и уволить более 25 тренеров! Как бы ТО ни было, его, мягко говоря, своеобразный подход к делу все-таки дал результат в 1996 году, когда «Атлетико» сделал золотой дубль  -  выиграл и национальное первенство, и кубок страны. Это, впрочем, не помешало «Атлетико» в 2000 году вылететь из премьер лиги. Посте возвращения он в 2008 году стал четвертым и попал в Лигу чемпионов.