他的少年生活，並不因為安富尊榮而歡娛快樂，卻經常為了尋求解脫人世間的煩惱和痛苦，在禪思寂默中過日子。這使淨飯王記起阿私陀仙的預言，怕他要出家學道而黯然流淚。所以在他十七歲那年，便同時為他娶納第一美人耶輸陀羅(Yasodhara)和瞿毗耶(Gopka)兩位做妃子。而且還為他建三時之殿（中印度無寒冬，年分三季，所以只建三時之殿）。使他在春夏秋的季節里，各有極其舒服的適宜住處。但是他對美麗的妃嬪，和豪華的享受，並不感覺興趣，毫無貪著留戀。據佛典記載，他和二妃原來沒有夫婦之道的行為，所以使宮人都懷疑他是一個虛有其表的大丈夫。他也了解她們的懷疑，在某天熟睡中特別顯示他的丈夫相，使她們相信他非不能也，實不為也的偉大特異之處。
釋迦牟尼為了解決整個人生問題及尋求宇宙間的究竟真理，一心要想出家學道，這使他的父王和家族更加擔憂，因此便下令限制他外出宮門，以免引起他更大的悲世思想。而且特別挑選了一名學問淵博，能言善辯的婆羅門，名優陀夷(Udayin)，終日侍從陪伴，做為他的朋友，希望能夠勸導影響，挽回他的心意，對現實世間和現實人生，增加情趣，但又終于失敗了。他曾經請求過父王，放他一度外出郊游，又一次體會到人生的無常，誰也免不了生、老、病、死的侵奪！準也逃不出生、老、病、死的牢籠！這種人生的無常，究竟有無主宰？究竟有無真我。倘使絕無主宰，那生命的意義基本上是沒有價值和日的的，這就等于後來佛學中稱的“斷見”，是絕對錯誤的。倘使有主宰並有真我的存在，它又是個什麼形態？如果說它是超越于人和萬物，而且能夠加以控制把握的，這也是人們自己心理的臆測或觀念的形成；何況，它既能有控制把握的主宰權力，何必又使這個世界和人生，造成如此悲慘的現象呢？這在後來佛學上，就名為“常見”。實際上，離心以外，觀察世間和超世間，一切都是諸法無常，沒有永恆存在的。
于是他出家求道的意念，愈來愈加迫切了。他正式向他父王提出這個要求，他父王認為他和妃子耶輸陀羅有了身孕，生出孩子，不使其國斷嗣，再談此事。據佛典記載，他就用左手指在耶輸陀羅的腹上，立即使她感覺已經懷孕。這和釋迦牟尼生而能行七步，又能開口說話，同樣神奇異常，同樣使人難以置信。不過釋迦牟尼因為父王憂心缺乏子嗣，而為父王生子出家，這是善盡孝道，也不違背情理。況且正因為他盡了人子之責，然後一心以行超越人天之道，更足以見其崇高偉大和稀有妙勝的特點。那麼神異之辯，只是多余的事，我們可以存而不論了。第二節出家與悟道