张苍，阳武人。仕秦为御史，主柱下方书，掌管四方文书，因获罪，逃归阳武。参加刘邦起义军，从攻南阳，定三秦，因功先后被刘邦任命为常山郡太守、代相、赵相，被封为北平侯，迁为计相，为主计，任命为淮南王相。吕后当政时升迁为御史大夫，吕后死后，张苍等协助周勃立刘恒为皇帝，张苍任丞相。与西汉学者公孙臣争论水德土德失败，由此自绌，后以病辞职，去世，享年百余岁。
张苍，非常喜欢图书、乐律及历法。在秦朝时，他曾担任过御史，掌管宫中的各种文书档案，后来因为犯罪，便逃跑回家了。等到刘邦攻城略地经过阳武的时候，张苍就以宾客的身份跟随刘邦攻打南阳。后来，张苍因为犯法应该斩首，脱下衣服，伏在刑具上时，身体又高又大，同时还有一身如同葫芦籽一样肥硕白皙的皮肤，凑巧被王陵看见，惊叹张苍长得好。因此，王陵就向沛公说情，赦免了他的死罪，张苍便跟随沛公向西进入武关，到达咸阳。
沛公被立为汉王，进入汉中，不久又还师平定三秦，陈余打跑常山王张耳，张耳投归汉王，汉王就任命张苍为常山的郡守。跟随韩信攻打赵国，张苍擒获陈余，赵地被平定之后，王任命张苍为代国相国，防备边境敌寇。不久，又被调任赵国相国，辅佑赵王张耳，张耳死后，辅佐赵王张敖，然后又调任代国相国，辅佑代王。燕王臧荼谋反时，高祖带兵前去攻打，张苍以代国相国的身份跟随高祖攻打臧荼有功，被封为北平侯，食邑一千二百户。
后来，张苍被升任为管理财政的计相，以列侯的爵位改任主计，担任这个职务达四年之久。此时，萧何担任相国，而张苍是从秦时就担任柱下史，非常熟悉天下的图书和各种簿籍，再加上他很精通计算、乐律和历法，因此就命令他以列侯的爵位在相府办公，负责管理各郡国交上来的会计帐簿。黥布谋反未成而逃跑，汉高祖就立他的儿子刘长作淮南王，命令张苍为相国来辅佐他，调任御史大夫。
张苍和绛侯周勃等人共同尊立代王为孝文皇帝，丞相灌婴去世，张苍继任为丞相。
自从汉朝建立到孝文帝已有二十多年时间，正处在天下刚刚平定的时候，朝廷中的文武百官都是军人出身，而唯独张苍从担任计相时起，就致力于探讨、订正音律和历法的工作。因为高祖是在十月里入关，灭秦到达霸上的，所以原来秦代以十月为一年开端的旧历法依然沿袭。他又推求金、木、水、火、土五德运转的情形，认为汉朝正值水德旺盛的时期，所以仍然像秦朝那样崇尚黑色。
张苍，吹奏律管，调整乐调，使其合于五声八音，以此推类其它，来制定律令。并且由此制定出各种器物的度量标准，以作为天下百工的规范，在他担任丞相一职时期，终于把这一切都完成了。所以整个汉代研究音律历法的学者，都师承张苍。而张苍这个人又本来就喜欢图书，再加上他什么书都读，什么学问都精通，而尤其擅长音律和历法。
张苍对于曾经救过自己性命的王陵，感恩戴德。王陵就是安国侯，等到张苍当了高官之后，经常把王陵当作父亲一般侍奉。王陵死后，张苍已经是丞相了，但是每逢五天一休假的时候，总是先拜见王陵夫人，献上美食之后，才敢回家。
张苍，担任丞相十几年之后，鲁国有个人叫公孙臣，他上书给皇帝，说汉朝属于土德旺盛时期，其征兆是不久将要有黄龙出现。皇帝下诏把此议交给张苍审鉴，张苍认为并非这样，把这件事扔在了一边。后来，黄龙果然出现在天水郡的成纪县于是文帝就把公孙臣召到了朝廷，并任命他为博士，让他负责草拟顺应土德的历法制度，改定元年。丞相张苍也就因此贬斥，推说年过多病，不再上朝。
张苍曾保举某人作中候官，但这个人利用不正当手段大搞谋求自己私利的事，皇帝以此责备张苍，张苍就告病退职了。前后算起来，张苍总共做了十五年的丞相才去职，去世时，谥号为文，享年百余岁。