‘看见世间的众生，互相吞食，心中感到万分难过，所以坐在这里沉思。’
净饭王劝慰了半天，才带他一同回去。净饭王想到了阿私陀仙人的预言，深怕太子厌世出家，便为他纳释种婆罗门摩诃那摩之女耶输陀罗为妃。并为他建筑了冬天用的暖殿。夏天用的凉殿，春秋用的中殿。殿中都用七宝装饰，穷极奢华。复在园里广造池台，栽时花果。并以五百彩女，歌舞随侍。人间的娱乐，可以说应有尽有。但这些声色之娱并不能使太子感到欢乐，相反的他更为‘人命苦短，忧思无量’的问题苦恼。
一天，太子禀明父王，要到城外出游。净饭王便敕令官属前后导从，陪同太子出城。这时途中观者如云，都想看看太子的风采。太子乘车到了东门，于人丛中看见一个老人，发白面皱，骨瘦如柴。手持拐杖，行动极其困难。车经南门，又看见一个病者，身瘦腹大，喘息呻吟。痛苦万状的在道旁挣扎。后来到了西门，遇到一簇人抬著一具尸体。那尸体脓血流溢，恶臭难闻。随行的亲属，痛哭流涕，使睹者心酸。太子看到此等情状，真是感慨万分。想到世人不拘富贵贫贱，都脱不过老病死的大关，乃叹道：
‘日月易过，少年不常，老至如电，身形不支，气力衰虚，坐起苦极，我虽富贵，岂能独免，念及将来，甚可畏怖。’
最后经过北门，看见一个梵行沙门，圆顶法服，威仪有度。一手持钵，一手持杖，严肃安详的走过来。太子肃然起敬的赞叹说：
‘善哉善哉！这才是使人向往的生活啊！’
此后太子就常为如何安身立命，求得解脱的问题沉闷苦恼。到了他十九岁的时候，他下了出家学道的决心，就在二月初八日的夜里，中夜起身，到耶输陀罗的寝宫，对熟睡中的爱妃和娇儿——耶输陀罗所生的罗侯罗——看了最后一眼，断然潜出宫门，唤醒他的仆人车慝，驾上骏马健陟，策马出城。出了北门，回顾巍峨的宫城，他发誓言道：‘我若不能求得正觉，脱度众生于生死海中，誓不再回迦毗罗城。’
说毕他策马疾走，天亮到了拘利国外的阿拏摩河畔停了下来，命车慝带马还宫。车慝哭泣著要求太子一同回去，太子说：‘你代我奏知大王，世人的生死离别，无有定期，我的出家，正是为求这些解脱之道！’
说罢他摘除发中明珠以奉还父王；脱了身上的璎珞以奉还姨母；又脱了身上华美的服饰以与耶输陀罗，然后拔剑断了头发，改扮成沙门模样。车慝看见太子道心坚切，不肯回宫，无奈牵著骏马健陟，怀抱著太子的服饰，大哭而返。