晏殊一生，没有太大的波折，其间虽然也有过几次贬谪，但都不是那种伤筋动骨的大挫折，像唐代的李德裕、后来的苏轼那样一下子被贬到天涯海角的情况，晏殊从来没有经历过。
《能改斋漫录》记载着这样一段轶事，说晏殊历任朝中要员，就算到地方上去做官，也是靠近都城的大郡，没有远离过京师。有一次，晏殊被外派到陈留（离京师仅四十里）去当官，送行的酒席上，官妓轻唱的词中有“千里伤行客”一句，晏殊听后勃然大怒，忿然喝叱道：“我平生做官，没有远离过京师五百里以外的地方，什么‘千里伤行客’，说谁是‘千里伤行客’啊？”
所以，晏殊的诗词之中，少有浮沉难定、世路艰难的沧桑，罕见关河冷落、乡关何处的凄凉。据说他无日不宴，可谓“座上客常满，樽中酒不空”，每次酒过三巡，菜过五味，晏殊家的美貌歌妓就出来唱词献艺了。而等歌妓们唱罢，晏殊就说，你们献完技艺，该我表现一下了，说罢就让人取来纸笔填词。所以晏殊的词大半为酒宴间的遣兴之作。
很多的人是因晏殊的《珠玉词》而熟悉他，所以印象中，晏殊是位温和闲雅的文士，徘徊踟躇于小园香径之中，看“无可奈何花落去”而伤怀，望“似曾相识燕归来”而慨叹。《碧鸡漫志》中称晏殊的词：“风流韫藉，一时莫及，而温润秀洁，亦无其比”。《珠玉词》的风格确实如此，但晏殊的性格却有所不同。
《四库全书》中这样评点晏殊的集子：“晏同叔赋性刚峻,而词语特婉丽”。确实，晏殊的脾气其实并不好。一个歌妓随口唱的“千里伤行客”一词，就让他大发雷霆。而且晏殊被罢去宰相的职位，有一次就是因为乱发脾气惹得祸。
《宋史.晏殊传》中记载，有一次随皇驾去玉清昭应宫时，晏殊突然发现自己的笏板居然没有带，如此重要的典仪上，没有笏板怎么行？晏殊急得头上直冒汗，当那个丢三拉四的仆人气喘吁吁地送来笏板时，晏殊抡起笏板就是一个嘴巴，打得那个仆人牙都掉了几颗。就因为这事，马上有大臣弹劾晏殊，罢了他的宰相之职。
有人通过此事，感慨道：宋代很重视平等很讲人权啊，晏殊虽是宰相，但打了身份低贱的仆人，竟然也获罪削职。其实并非如此，大臣是这样告状的：“殊身任辅弼，百僚所法，而忿躁亡大臣体……先朝陈恕于中书榜人，即时罢黜。请正典刑，以允公议。”
意思是说，晏殊乃朝廷重臣，百官的榜样，这样暴躁是有失体统的事情，前朝（宋太宗时）有个叫陈恕的大臣，在办公场所用棍子打下人，当场革职，所以对晏殊也要治罪，以免大家议论，心中不平。
看来，宋代并不是尊重人权，而是维护朝廷的礼仪，晏殊要是在自己家里，就算把仆人打得满地找牙也没有什么事，或者不是晏殊自己动手，让别人打，也没事。晏殊就因为这件事，被罢去了宰相，去了应天府（现在的河南商丘）“挂职”。
所以，晏殊的脾气是不怎么好的，所谓“词不可概人”（《蕙风词话》），也就是说不能用词的格调推测人的品性，这是很有道理的。
不过，晏殊这次贬谪为时不长，不久又回到京师，重新担任宰相。晚年的晏殊，虽不再担任宰相，但皇帝特意照顾，仍赐其宰相待遇，随从、仪仗的排场上也一如既往。
晏殊最后病死于京城。晏殊病重期间，皇帝欲亲自前去看望，但晏殊多年为相，熟知内情，知道皇帝看望病危大臣时，往往随驾携带纸钱等祭品。因为多数情况下，不是病情特别严重，哪里能随便惊动皇帝？皇帝来探望时，病重大臣往往就咽气了。皇帝日理万机，哪有闲工夫再重新准备祭品来吊一次丧？所以就形成了这个惯例。晏殊觉得这事很晦气，所以就谢绝了皇帝的探望。然而，六十五岁的晏殊还是没有再从床上下来，就此溘然长逝。
晏殊多年身居要位，门生遍布朝堂，尽是北宋的股肱之臣，其中有著名的“一韩一范”――范仲淹是百代名臣，韩琦是三朝宰相。此外，还有欧阳修、宋祁、富弼、王安石等，都出自其门下。富弼还是晏殊的女婿，和王安石都官拜宰相。所以，晏殊的小儿子晏几道才有资格骄傲地说：“今政事堂中半吾家旧客”。
晏殊生前富贵、死后哀荣。宋仁宗亲自祭奠，谥其号为“元献”。