康乐园后来,谢灵运犯了多嘴的毛病,挑拨离间大臣关系,被外放永嘉太守。但是他玩忽职守,不务正事,放任自流,尽情玩乐。他的亲友等都劝他改邪归正,但是他置若罔闻。但谢灵运的才气为他挣足了面子,他在这时游玩做的山水诗作,被人们争相传颂,让他名噪一时,轰动京城。
宋文帝还经常把谢灵运带在身边,吃饭也让谢灵运陪着,让谢灵运做应景文章。石雕谢灵运雕塑运受到这种礼遇后,更加狂妄自大。有一次,他一边喝酒一边自夸:这就是成语的由来。康乐园当时,一同陪侍宋文帝的文人们,爵位和官位都在谢灵运之下,因此他觉得屈才,心有不满,谎称有病,不入朝廷。
他整日出去游玩,经常十几天没有消息,也不请假。因辜负了宋文帝的宠幸,于是宋文帝就让谢灵运辞去了官职。