当时有很多人妒忌他，就连楚顷襄王也十分嫉妒他，认为宋玉不合群。
宋玉给楚顷襄王讲一个故事，他说有一个人在郢都唱歌，当他唱《下里》、《巴人》时，都城里能跟着唱得有几百人。
当他唱《阳春》、《白雪》时，都城里能跟着唱得只有几个人。
最后，楚顷襄王知道宋玉说的是曲高和寡的道理后，也就不再追究他了。
楚顷襄王对宋玉劝谏他，以国事为重、少游玩，十分不满，感觉宋玉越来越像屈原了，于是罢免了宋玉的职务，将宋玉赶出朝廷。
宋玉遂写了长篇抒情诗《九辨》，表达了他对楚王的忠贞、对楚国的热爱、对国家前途命运的担忧。
宋玉晚年流落外地，去世这天，他的弟子和乡亲们纷纷来给他送葬。
哪知一会儿狂风大作，电闪雷鸣，雷雨过后，却在他曾经住过的宅子后面出现了一座新坟。
这就是人们传说的“苍天悲悯葬宋玉，神户忠魂回故里”。
如今，宜城人民在腊树园重新修建了宋玉墓，让宋玉和宜城、腊树园的故事代代相传。
据史料记载，全国其实有五处宋玉墓，不过五处具体都在哪，却是众说纷纭，没有一个定论，其中有一说是常德临澧、荆门钟祥、安丘城、巫山以及襄阳宜城。
而最不像的巫山被列在其中，也是因为《高唐赋》以及《神女赋》中传说的神女所在地，才有了这一说。
宋玉当年在《高唐赋》中写道：“楚襄王与宋玉游于云楼之台……玉曰：昔者先王尝游高唐，怠而昼寝，梦见一妇人曰：妾巫山之女也，为高唐之客，闻君游高唐，愿荐枕席。
“王因而幸之。去而辞曰：妾在巫山之阳，高丘之阻，旦为朝云，暮为行雨，朝朝暮暮，阳台之下。”
专家说，巫山神女第一次出现就是这首赋，而“阳台”极有可能就在这块土地上。
据《巫山县志》载：“城西北半里许，山名高都，为阳台故址，旧有古高唐观。”相传楚怀王与巫山神女幽会于此。
古今大量史料都将这个在宋玉笔下如梦如幻的所在，指向了高唐观。
在考古工作者眼中，高唐观是最有可能找到楚阳台遗址的地方，但它究竟在哪里，至今还不得而知。
虽然“阳台”遗址还没找到，但考古工作者还是发现了高唐观残留的遗址。
而且考古工作者还在这里发现了，从商代绵延到明清时期的68座墓葬，而在这些墓葬中，有一座战国墓，根据测算，墓主人的身高在一米八以上。
一米八的身高，在古代是极为少见的，在古代文献中，人们常用“七尺男儿”来形容男子，按照那时一尺23公分左右换算，成年男人也就一米六左右。
而这座战国墓主人身高一米八多，正和美男子宋玉传说的身高八尺接近，于是也就成为了宋玉的疑冢之一。
当然这些宋玉的墓葬地都是人们的猜测，没有谁能够确定宋玉墓到底在哪。
但据考证，可信度较高为鄢郢的宋玉墓，鄢郢也就是如今的宜城，清嘉庆二十一年重修墓碑，碑文有“阳春白雪千人废，暮雨朝云万古疑”等句。
循着直角坐标系的指示，他们并没有进腊树园，而是来到腊树园外围的一块面积不小的土地上。
此时这块土地的中央竟然围了许多人，而且拉起了警戒线，还有一些警察在现场维持秩序。