신라 때부터 조선 시대까지는 절영도(絶影島)라고 불렀다. 과거 영도에는 나라에서 경영하는 국마장이 있었는데, 이곳에서 자란 말은 워낙 빨라 달리면 그림자(影)가 끊어져(絶) 보이기 때문에 붙인 이름이라고 한다.
과거에는 영도가 지금처럼 시가지로 꽉 차있지 않았고 초지가 넓었으며 말 키우는 데 방해되는 맹수도 없고 서라벌에서 가깝기 때문에 말을 키우기 좋은 곳이라고 생각했다고 한다.
삼국사기 열전 김유신 조에는 신라 33대 성덕왕이 삼국통일을 이룬 김유신의 공을 치하해 김유신의 손자 김윤중에게 절영도 명마 한 필을 선물했다는 기록이 있으며, 고려사와 동국여지승람에도 926년에 후백제왕 견훤이 고려 태조 왕건에게 절영도산 명마 한 필을 선물했다는 기록도 있다.