丞相张苍是阳武人，他非常喜欢读书、乐律和历法。在秦朝时，他曾担任过御史，掌管宫中的各种文书档案。后来因为犯罪，便逃跑回家。

刘邦攻城掠地经过阳武的时候，张苍就以宾客的身份跟随刘邦攻打南阳。后来张苍因为犯法应该斩首，脱下衣服，伏在刑具上时，身体又高又大，同时还有一身如同葫芦瓜籽一样肥硕白皙的皮肤，凑巧被王陵看见，惊叹张苍长得好。因此，王陵就向刘邦说情，赦免了他的死罪。这样，张苍便跟随刘邦向西进入武关，到达咸阳。

刘邦被立为汉王，进入汉中，不久又还师平定三秦。陈馀打跑常山王张耳，张耳投归汉王，汉王就任命张苍为常山的郡守。又跟随韩信攻打赵国，张苍擒获陈馀。赵地被平定之后，汉王任命张苍为代国相国，防备边境敌寇。不久，又调任赵国相国，辅佐赵王张耳。张耳死后，辅佐赵王张敖。然后又调任代国相国，辅佐代王。燕王臧荼谋反时，高祖带兵前去攻打，张苍以代国相国的身份跟随高祖攻打臧荼有功，在高祖六年（公元前201年）中被封为北平侯，食邑一千二百户。

后来，张苍被升任为管理财政的计相，后改任主计，他担任这个职务达四年之久。此时萧何担任相国，而张苍是从秦时就担任柱下史，非常熟悉天下的图书和各种簿藉，再加上他很精通计算、乐律和历法，因此就命令他以列侯的爵位在相府办公，负责管理各郡国交上来的会计帐薄。黥布谋反未成而逃跑，汉高祖就立他的儿子刘长做淮南王，命令张苍为相国来辅佐他。后张苍调任御史大夫。

张苍这个人非常博学，很有学问。他在历法、算学方面取得了很大的成就，为西汉王朝制定了立法与度量衡。他校正的《九章算术》是对中国及世界数学发展的重大贡献。

张苍和绛侯周勃等人共同尊立代王为孝文皇帝。文帝四年（公元前176年）丞相灌婴去世，张苍继任为丞相。

自从汉朝建立到孝文帝已有二十多年时间，当时正处在天下刚刚平定的时候，朝廷中的文武百官都是军人出身，而唯独张苍从担任计相时起，就致力于探讨、订正音律和历法的工作。因为高祖是在十月里入关灭秦到达霸上的，所以原来秦代以十月为一年开端的旧历法依然沿袭。他又推求金、木、水、火、土五德运转的情形，认为汉朝正值水德旺盛的时期，所以仍然像秦朝那样崇尚黑色。张苍还吹奏律管，调整乐调，使其合于五声八音，以此类推其他，来制定律令。并且由此制定出各种器物的度量标准，以作为天下百工的规范。在他担任丞相一职时期，终于把这一切都完成了。所以整个汉代研究音律历法的学者，都师承张苍。张苍很喜欢读书，什么书都读，什么学问都精通，而尤其擅长音律和历法。

张苍对于曾经救过自己性命的安国侯王陵感恩戴德。等到张苍当了高官之后，经常把王陵当作父亲一般侍奉。王陵死后，张苍已经是丞相了，但是每逢五天一休假的时候，总是先拜见王陵大人，献上美食之后，才敢回家。

张苍担任丞相十几年之后，因事推说年老多病，自行隐退，不再上朝。张苍曾保举的人谋取私利，皇帝以此责备张苍，张苍就告病退职了。张苍总共做了十五年的丞相，在孝景帝前元五年（公元前152年）活到一百零几岁时才去世，谥号为文侯。