在唐代中期政坛上，李泌是一个很有点神秘色彩的人物，他历仕玄宗、肃宗、代宗、德宗四个皇帝。那是一个多灾多难的时代，奸臣当权，藩镇割据，许多大臣不是死于奸佞的谗言，便是死于武夫的刀剑。而他被四个皇帝所信任，虽屡被诬陷、谗毁，却能幸免于难，保全终身，其中的诀窍有两条：一条是避权让位，一条是功成身退。
早在唐玄宗时，他还是一个少年，因其出色的智慧而闻名于朝廷，唐玄宗要任命他为太子李亨的官属，他辞谢了，只愿以布衣的身份与太子来往，李亨称他为先生，对他十分尊重。后来因遭杨国忠的忌妒而遭贬斥，他干脆弃职而去，游于嵩山、颖水之间，避免了一次灾难。
安史乱起，新即位的李亨(肃宗)特意派使臣去请他出山，并要任命他为宰相，他又坚决辞谢了，对肃宗说：“陛下以宾客、朋友的身份对待我，这不是比宰相还要尊贵吗?请别勉强我了!”
肃宗也只好由他，对他的尊宠信赖，可谓非同寻常。出则并驾齐驱，入则联床而卧，朝中事无巨细，全都请教于他，对他言听计从，甚至连元帅、宰相的任免，以至太子的人选，也都要听从他的意见，真是所谓：不在其位，而谋其政。每当朝中议事时，他和皇帝联袂而坐，大臣们在下面便指指点点地说：“穿黄袍的是圣人，穿白袍的是山人。”这样一种高级参谋的身份，使他既可参与决策，又不必承担任何责任，一旦发现有于己不利之事，进退也很自由。
当唐朝的军队收复了失陷的长安，平定安史之乱的斗争取得了巨大胜利之后，他便向肃宗请求还山归隐，他说：“我已经报答了陛下对我的厚恩，如今重新作一个闲散之人，没有比这更快乐的事了。”
这使唐肃宗十分吃惊，“我与先生这几年来，共同历经忧患，如今将要同享欢乐，先生为什么突然要离我而去呢?”
李泌严肃地说：“我有五条不能留下来的理由；恳请陛下任凭我离去，使我免于一死!”
肃宗不明白，问道：“此话怎讲?”
李泌说：“我同陛下相知太早，陛下对我倚托太重，宠信太深，我的功劳又太大，行为又太不一般，这五条，正是我不能久留的理由。”
肃宗没有表态，只是说：“该睡觉了，这事以后再说。”
李泌坚持说：“陛下如今与臣同榻而卧，臣的请求还不能得到批准，更何况将来在朝堂之上，公案之前!陛下不许臣离去，这无异是要置臣于死地!”
肃宗说：“没想到你对我疑惧到这个地步，哪有像我这样对待你而又会干出杀你的事来呢?你简直把我看成是只可共忧患、而不可共安乐的勾践了!”
李泌说：“正因为陛下不会杀臣，臣才请求归隐，若是陛下决定杀臣，臣又怎敢说话?而且杀臣不是陛下，而是‘五不可’，陛下一向待臣如此之好，臣有些事情还不敢说，将来天下安定之后，臣就更不敢说话了!”
李泌对官场的风云，看得可谓透彻，处理得也很得法，就是这样，仍免不了遭到奸佞之辈如宦官李辅国等人的忌妒、陷害，他终于坚决离开朝廷，隐居衡山。肃宗赐他三品官的俸禄，并在衡山为他建了房舍。
李泌曾经当过道士，受道家思想影响很深。道家思想的创始人老子说过：“功成、名遂、身退，天之道。”李泌便是按着这个“天之道”去作的，他功成而不求官，名遂而不恋位；可为则为，不可为则不为；有所为、有所不为；见机而作，适可而止；功成身退，无所羁绊。实在是官场中人生的最佳境界。
