初，威父在西魏，以国用不足，为征税之法，颇称为重。既而叹曰：“今所为者，正如张弓，非平世法也。后之君子，谁能弛乎？”威闻其言，每以为己任。至是，奏减赋役，务从轻典，上悉从之。渐见亲重，与高颎参掌朝政。威见宫中以银为幔钩，因盛陈节俭之美以谕上。上为之改容，雕饰旧物，悉命除毁。上尝怒一人，将杀之，威入閤进谏，不纳。上怒甚，将自出斩之，威当上前不去。上避之而出，威又遮止。上拂衣而入。良久，乃召威谢曰：“公能若是，吾无忧矣。”于是赐马二匹，钱十余万。寻复兼大理卿、京兆尹、御史大夫，本官悉如故。
治书侍御史梁毗以威领五职，安繁恋剧，无举贤自代之心，抗表劾威。上曰：“苏威朝夕孜孜，志存远大，举贤有阙，何遽迫之！”顾谓威曰：“用之则行，舍之则藏，唯我与尔有是夫！”因谓朝臣曰：“苏威不值我，无以措其言；我不得苏威，何以行其道？杨素才辩无双，至若斟酌古今，助我宣化，非威之匹也。苏威若逢乱世，南山四皓，岂易屈哉！”其见重如此。
未几，拜刑部尚书，解少保、御史大夫之官。后京兆尹废，检校雍州别驾。时高颎与威同心协赞，政刑大小，无不筹之，故革运数年，天下称治。俄转民部尚书，纳言如故。属山东诸州民饥，上令威赈恤之。后二载，迁吏部尚书。岁余，兼领国子祭酒。隋承战争之后，宪章踳驳，上令朝臣厘改旧法，为一代通典。律令格式，多威所定，世以为能。九年，拜尚书右仆射。其年，以母忧去职，柴毁骨立。上敕威曰：“公德行高人，情寄殊重，大孝之道，盖同俯就。必须抑割，为国惜身。朕之于公，为君为父，宜依朕旨，以礼自存。”未几，起令视事，固辞，优诏不许。明年，上幸并州，命与高颎同总留事。俄追诣行在所，使决民讼。
威子夔，少有盛名于天下，引致宾客，四海士大夫多归之。后议乐事，夔与国子博士何妥各有所持。于是夔、妥俱为一议，使百僚署其所同。朝廷多附威，同夔者十八九。妥恚曰：“吾席间函丈四十余年，反为昨暮兒之所屈也！”遂奏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等共为朋党，省中呼王弘为世子，李同和为叔，言二人如威之子弟也。复言威以曲道任其从父弟彻、肃等罔冒为官。又国子学请荡阴人王孝逸为书学博士，威属卢恺，以为其府参军。上令蜀王秀、上柱国虞庆则等杂治之，事皆验。上以《宋书·谢晦传》中朋党事令威读之。威惶惧，免冠顿首。上曰：“谢已晚矣。”于是免威官爵，以开府就第。知名之士坐威得罪者百余人。未几，上曰：“苏威德行者，但为人所误耳。”命之通籍。岁余，复爵邳公，拜纳言。从祠太山，坐不敬免。俄而复位。上谓群臣曰：“世人言苏威诈清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。”寻令持节巡抚江南，得以便宜从事。过会稽，逾五岭而还。时突厥都蓝可汗屡为边患，复使威至可汗所，与结和亲。可汗即遣使献方物。以勤劳，进位大将军。仁寿初，复拜尚书右仆射。上幸仁寿宫，以威总留后事。及上还，御史奏威职事多不理，请推之。上怒，诘责威。威拜谢，上亦止。后上幸仁寿宫，不豫，皇太子自京师来侍疾，诏威留守京师。
炀帝嗣位，加上大将军。及长城之役，威谏止之。高颎、贺若弼等之诛也，威坐与相连，免官。岁余，拜鲁郡太守。俄召还，参预朝政。未几，拜太常卿。其年从征吐谷浑，进位左光禄大夫。帝以威先朝旧臣，渐加委任。后岁余，复为纳言。与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为“五贵”。及辽东之役，以本官领左武卫大将军，进位光禄大夫，赐爵宁陵侯。其年，进封房公。威以年老，上表乞骸骨。上不许，复以本官参掌选事。明年，从征辽东，领右御卫大将军。
杨玄感之反也，帝引威帐中，惧见于色，谓威曰：“此小兒聪明，得不为患乎？”威曰：“夫识是非，审成败者，乃所谓聪明。玄感粗疏，非聪明者，必无所虑。但恐浸成乱阶耳。”威见劳役不息，百姓思乱，微以此讽帝，帝竟不寤。从还至涿郡，诏威安抚关中。以威孙尚辇直长儇为副。其子鸿胪少卿夔，先为关中简黜大使，一家三人，俱奉使关右，三辅荣之。岁余，帝下手诏曰：“玉以洁润，丹紫莫能渝其质；松表岁寒，霜雪莫能凋其采。可谓温仁劲直，性之然乎！房公威器怀温裕，识量弘雅，早居端揆，备悉国章，先皇旧臣，朝之宿齿。栋梁社稷，弼谐朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何；周之十乱，佐成王者邵奭。国之宝器，其在得贤，参燮台阶，具瞻斯允。虽复事藉论道，终期献替，铨衡时务，朝寄为重，可开府仪同三司，余并如故。”威当时见尊重，朝臣莫与为比。
后从幸雁门，为突厥所围，朝廷危惮。帝欲轻骑溃围而出，威谏曰：“城守则我有余力，轻骑则彼之所长。陛下万乘之主，何宜轻脱！”帝乃止。突厥俄亦解围而去。车驾至太原，威言于帝曰：“今者盗贼不止，士马疲敝。愿陛下还京师，深根固本，为社稷之计。”帝初然之，竟用宇文述等议，遂往东都。时天下大乱，威知帝不可改，意甚患之。属帝问侍臣盗贼事，宇文述曰：“盗贼信少，不足为虞。”威不能诡对，以身隐于殿柱。帝呼威而问之。威对曰：“臣非职司，不知多少，但患其渐近。”帝曰：“何谓也？”威曰：“他日贼据长白山，今者近在荥阳、汜水。”帝不悦而罢。寻属五月五日，百僚上馈，多以珍玩。威献《尚书》一部，微以讽帝，帝弥不平。后复问伐辽东事，威对愿赦群盗，遣讨高丽，帝益怒。御史大夫裴蕴希旨，令白衣张行本奏威昔在高阳典选，滥授人官，畏怯突厥，请还京师。帝令案其事。及狱成，下诏曰：“威立性朋党，好为异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！资敬之义，何其甚薄！”于是除名为民。后月余，有人奏威与突厥阴图不轨者，大理簿责威。威自陈奉事二朝三十余载，精诚微浅不能上感，咎衅屡彰，罪当万死。帝悯而释之。其年从幸江都宫，帝将复用威。裴蕴、虞世基奏言昏耄赢疾。帝乃止。
宇文化及之弑逆也，以威为光禄大夫、开府仪同三司。化及败，归于李密。未几密败，归东都，越王侗以为上柱国、邳公。王充僭号，署太师。威自以隋室旧臣，遭逢丧乱，所经之处，皆与时消息，以求容免。及大唐秦王平王充，坐于东都阊阖门内，威请谒见，称老病不能拜起。王遣人数之曰：“公隋朝宰辅，政乱不能匡救，遂令品物涂炭，君弑国亡。见李密、王充，皆拜伏舞蹈。今既老病，无劳相见也。”寻归长安，至朝堂请见，又不许。卒于家。时年八十二。
威治身清俭，以廉慎见称。每至公议，恶人异己，虽或小事，必固争之。时人以为无大臣之体。所修格令章程，并行于当世，然颇伤苛碎，论者以为非简允之法。及大业末年，尤多征役，至于论功行赏，威每承望风旨，辄寝其事。时群盗蜂起，郡县有表奏诣阙者，又诃诘使人，令减贼数。故出师攻讨，多不克捷。由是为物议所讥。子夔。
夔字伯尼，少聪敏，有口辩。八岁诵诗书，兼解骑射。年十三，从父至尚书省，与安德王雄驰射，赌得雄骏马而归。十四诣学，与诸儒论议，词致可观，见者莫不称善。及长，博览群言，尤以钟律自命。初不名夔，其父改之，颇为有识所哂。起家太子通事舍人。杨素甚奇之，素每戏威曰：“杨素无兒，苏夔无父。”后与沛国公郑译、国子博士何妥议乐，因而得罪，议寝不行。著《乐志》十五篇，以见其志。数载，迁太子舍人。后加武骑尉。仁寿末，诏天下举达礼乐之源者，晋王昭时为雍州牧，举夔应之。与诸州所举五十余人谒见，高祖望夔谓侍臣：“唯此一人，称吾所举。”于是拜晋王友。炀帝嗣位，迁太子洗马，转司朝谒者。以父免职，夔亦去官。后历尚书职方郎、燕王司马。辽东之役，夔领宿卫，以功拜朝散大夫。时帝方勤远略，蛮夷朝贡，前后相属。帝尝从容谓宇文述、虞世基等曰：“四夷率服，观礼华夏，鸿胪之职，须归令望。宁有多才艺，美容仪，可以接对宾客者为之乎？”咸以夔对。帝然之，即日拜鸿胪少卿。其年，高昌王曲伯雅来朝，朝廷妻以公主。夔有雅望，令主婚焉。其后弘化、延安等数郡盗贼蜂起，所在屯结，夔奉诏巡抚关中。突厥之围雁门也，夔领城东面事。夔为弩楼车箱兽圈，一夕而就。帝见而善之，以功进位通议大夫。坐父事，除名为民。复丁母忧，不胜哀而卒，时年四十九。
史臣曰：齐公霸图伊始，早预经纶，鱼水冥符，风云玄感。正身直道，弼谐与运，心同契合，言听计从。东夏克平，南国底定，参谋帷幄，决胜千里。高祖既复禹迹，思布尧心，舟楫是寄，盐梅斯在。兆庶赖以康宁，百僚资而辑睦，年将二纪，人无间言。属高祖将废储宫，由忠信而得罪；逮炀帝方逞浮侈，以忤时而受戮。若使遂无猜衅，克终厥美，虽未可参纵稷、契，足以方驾萧、曹。继之实难，惜矣！邳公周道云季，方事幽贞；隋室龙兴，首应旌命。绸缪任遇，穷极荣宠；久处机衡，多所损益；罄竭心力，知无不为。然志尚清俭，体非弘旷，好同恶异，有乖直道，不存易简，未为通德。历事二帝，三十余年，虽废黜当时，终称遗老。君邪而不能正言，国亡而情均众庶。予违汝弼，徒闻其语；疾风劲草，未见其人。礼命阙于兴王，抑亦此之由也。夔志识沉敏，方雅可称，若天假之年，足以不亏堂构矣。