金濂，字宗瀚，山阳人，中进士，被授予御史。他曾说郡县官员贪污，应敕令按察司、巡按御史考察廉洁能干的人，就如洪武年间的做法那样，再派使者去慰劳和奖赏，这样则官员清浊自分，守法而有治绩的官员也受到鼓励，皇上嘉许采纳了他的建议，因受推荐他升为陕西副使。
上书请将各卫的缺官补上，增加宁夏守兵，设汉中镇守都指挥使，这些建议多得讨论实行，升为佥都御史，参赞宁夏军务。金濂有心计，善于筹划，西陲安然，当时皇上下诏令富民输运粮食助边，运送一千石以上的可得玺书褒奖，金濂说边防地区粮食很贵，请对达不到这个数目的人也进行表彰，边粮储备因此得到充实。
福建贼邓茂七等人作乱，都督刘聚、都御史张阶去征讨不胜，朝廷大发兵，命宁阳侯陈懋等人为将军前往征讨，用金濂参赞军务。他们到达时，御史丁蠧已大破贼人，邓茂七死，其余的贼人拥戴他哥哥的儿子邓伯孙占据九龙山，抵抗官军。金濂与众人商议，便用弱兵引诱他们出来，而埋伏的精兵便攻入他们的堡垒，于是擒住了邓伯孙，皇上于是调张阶去讨伐浙江之寇，而留下金濂扫平还没攻下的其余贼人。
正值英宗被俘，军事紧急，金濂被召回，议论者纷纷弹劾金濂无功，景帝不问，加封他为太子宾客，支给二职俸禄，不久他改任户部尚书，进封为太子太保。当时四方用兵，粮饷需要紧迫，金濂全面安排计划，提出十六项节减开支的建议上奏实行，国家用度得以不缺乏。不久，上皇回来了，也先请如先前派遣使者往来，皇上坚决拒绝，金濂一再上疏劝谏，皇上不听。
当初，皇上即位时，下诏免除全国租税的十分之三，金濂传檄有关官员，只减征米麦，其他折收银两和布匹丝帛的照旧征收。学士江渊对皇上谈到此事，皇上命户部调查处理，金濂心中惭愧，抵赖说没有。给事中李侃等人请询问天下有关官员违反诏令的原因，金濂担心事情败露，便说：“银两布匹和丝帛，诏书上没写明，如果一概减免，国家用度怎够开支？”于是，给事中和御史都弹劾金濂失信于民，使人民怨恨国家，并且还揭发了他的阴事，皇上想宽宥他，而李侃和御史王允极力反对，遂把他关进都察院监狱。
过了三天把他放了出来，削去太子太保之衔，改到工部，吏部尚书何文渊说理财非金濂不可，于是又调他回户部，金濂上疏自述，顺便请求退休，皇上安慰挽留他。东宫太子建立后，恢复金濂太子太保之衔，不久他又提出节减军匠和僧道人员过滥的食粮等十项建议上奏。金濂在任上去世，以军功追封为沭阳伯，谥荣襄。
金濂刚毅果断，有才干，但对待属下多暴怒，在刑部时，他执法过严，到他任户部尚书时，正值用兵，国家财物短缺，颇采取厚敛的办法来保证供给。