2007년에는 재단이사장직에서 물러나 현역에서 완전히 은퇴하였고, 이후 2008년 1월에 세상을 떠났다. 향년 93세.

2009년 5월 15일 한양대 개교 70주년을 맞아 신본관 건립 개관식을 가졌으며 같은 날 김연준의 동상 제막식을 개최했다. 동상은 신본관 바로 앞에 있다.

2009년 5월 24일 한양대 안산캠퍼스(에리카캠퍼스) 개교 30주년을 맞아 김연준의 동상 제막식을 가졌으며 대학 본관 앞에 있다.

한양대학교 설립자 김연준 박사 동상