冯唐的祖父是战国时期赵国人。他的父亲移居到了代地，汉朝建立后，又签到安陵。冯唐以孝行著称于世，被举荐做了中郎署长，侍奉汉文帝。由于他正直无私，性格耿直，一直到年龄很大都没有得到升任。

一次文帝乘车经过冯唐任职的官署，问冯唐说：“老人家怎么还在做郎官？家在哪里？”冯唐都如实作答。汉文帝说：“我在代郡时，我的尚食监高祛多次和我谈到赵将李齐的才能，讲述了他在钜鹿城下作战的情况。现在我每次吃饭时，心里总会想起钜鹿之战时的李齐。老人家知道这个人吗？”冯唐回答说：“他还比不上廉颇、李牧的指挥才能。”汉文帝问为什么这样说。冯唐说：“我的祖父在赵国时，曾经统领过士兵，和李牧有很好的交情。我父亲从前做过代相，和赵将李齐也过从甚密，所以能知道他们的为人。”

汉文帝听完后，拍着大腿说：“我偏偏得不到廉颇、李牧这样的人做将领，如果有这样的将领，我难道还担心匈奴吗？”

冯唐却说：“我想陛下即使得到廉颇、李牧，也不会任用他们的。”汉文帝大怒，起身回宫。过了好一阵，才又召见冯唐责备他说：“你为什么当众侮辱我？难道就不能私下告诉我吗？”冯唐谢罪说：“我这个鄙陋之人不懂得忌讳回避。”当时，匈奴人大举侵犯，杀死北地都尉孙卬。汉文帝正为此忧虑，就问冯唐：“您凭什么说我不能任用廉颇、李牧呢？”

冯唐回答说：“我听说古时候君王派遣将军时，跪下来推着车毂说，国内的事由我决断，国门以外的事由将军裁定。这不是虚夸之言。我的祖父说，李牧在赵国边境统率军队时，把征收的税赋自行用来犒赏部下，朝廷从不干预。所以李牧才能够充分发挥才智，派遣精选的兵车一千三百辆，善于骑射的士兵一万三千人，能够建树功勋的士兵十万人，在北面驱逐单于，大破东胡，消灭澹林，在西面抑制强秦，在南面支援韩魏。这期间赵国几乎成了霸主。后来恰逢赵王迁即位，他一即位，就听信郭开的谗言，最终杀了李牧，因此兵败，被秦人俘虏消灭。如今我听说魏尚做云中郡郡守，他把税赋全部用来犒赏士兵，还拿出个人的钱财，五天杀一次牛，宴请宾客、军吏、亲近左右，因此匈奴人远远躲开，不敢靠近云中郡的边关要塞。匈奴曾经入侵一次，魏尚率领部队出击，杀死很多敌军。那些士兵都是一般人家的子弟，从乡野来参军，哪里知道遵守法令律例呢？他们只知道拼力作战，杀敌捕俘，到幕府报功。只要有一句话说的不合适，官吏就用法律制裁他们；应得的奖赏不能兑现，而法官却依法必究。我愚蠢地认为陛下的法令太严明，奖赏太轻，惩罚太重。况且云中郡郡守魏尚只犯了多报杀敌六人的错，陛下就把他交给法官，削夺他的爵位，判处一年的刑。由此说来，陛下即使得到廉颇、李牧，也是不能重用的。我确实愚蠢，触犯了禁忌，该当死罪，该当死罪！”

文帝听了很高兴，当天就让冯唐拿着皇帝的节符前去赦免魏尚，重新让他担任云中郡郡守，而任命冯唐做车骑都尉。

汉文帝后元七年（公元前163年），汉景帝即位，让冯唐去做楚国的丞相，不久被免职。汉武帝即位时，征求贤良之士，大家举荐冯唐。但冯唐这时已九十多岁，不能再做官了，于是任用他的儿子冯遂做了郎官。