1982年，张兆辉加入香港无线电视开始正式出道，被公司派去做“活力先生”，在早间节目《香港早晨》中与屋村、公园的街坊市民一起做早操。出道初期他都是在无线连续剧里担任跑龙套的小角色。

1985年，被安排在 处境喜剧《香港八五》饰演“顺嫂”次子张锵。

1986年，首次主演陈燕民执导的香港警匪电视剧《神勇CID》，饰演警察刘振辉。同年在60集长剧《黄金十年》里，他再次担纲男主角田永泰，与刘嘉玲、曾华倩、戚美珍搭档，演绎一位年轻人在这个风云际会瞬息万变的大都会中成长历程。

1987年，在时装剧《时来运到》中饰演精英青年程万里，同年又与周海媚合作主演了民国爱情剧《错爱》，饰演留洋归国的医生龚启光。

1988年，主演民国家族剧《名门》，饰演军阀家族的大少爷段玉珽。同年还主演了民国奇幻剧《僵尸奇兵》，饰演刘家大少爷刘汉良。此外还在现代穿越剧《摩登小宝》中一人分饰两角，饰演穿越到现代的清朝人物韦小宝和老实的工厂工人王松。

1989年，与曾华倩合作，在王天林导演的古装武侠剧《边城浪子》中饰演叶开。同年主演了古装历史剧《龙廷争霸》，饰演朱祈钰。此外还在处境剧《公私三文治》中饰演曾华倩的男友程朗。

1990年，在警匪剧《优皮干探》中饰演高级督察余汉川。以及主演家庭伦理剧《失职丈夫》，饰演不相信爱情的宁日朗。同年还主演电视电影《情义两难》，饰演帮会老大高健。此外还在电视电影《挑战巅峰》中饰演男主角特种队队长刘少华。

1991年，主演家庭喜剧《男人勿近》，饰演老实善良的牙医脱城龙。同年与袁咏仪搭档主演处境剧《我爱玫瑰园》，饰演公司部门经理谢迪文。此外主演电视电影《末路狂奔》，饰演被陷害的探员。

1992年，在警匪剧《破茧边缘》中饰演卧底警探李苏弟。同年在民国剧《枭情》中饰演帮派人士乐震。

1993年，与郭富城、张曼玉合作，参演由杜琪峰执导的香港动作电影《赤脚小子》，饰演正邪难辨的袁天佑。以及与周海媚合作爱情剧《雌雄大老千》，出演男主角一个专骗女人的老千柯平坦。此外还与温兆伦合作古装武侠剧《魔刀侠情》，饰演一个为爱疯狂的魔头曲忍。同年还主演电视电影《千影神偷》，饰演神偷乔。

1994年，在古装剧《方世玉与乾隆皇》中，饰演乾隆。1995年，在《情浓大地》中饰演痴情不悔的二少爷关天荫。同年，主演古装武侠剧《大刺客之吕四娘》，饰演雍正。

1996年，主演古装历史题材电视剧《隋唐群英会》，饰演唐太宗李世民。同年还主演古装武侠剧《十三密杀令》，饰演忠良之后杨云清。此外还参演商

战片《天地男儿》，饰演改过自新的古惑仔大飞。以及主演电视电影《灭罪先锋》，饰演冲锋队队长朱天朗。

1997年，与陈法蓉搭档主演警匪剧《廉政追缉令》，饰演男一号廉志刚。同年，与古天乐，温碧霞共同参演由萧显辉执导的古装武侠剧《圆月弯刀》，饰演柳若松。

1999年，出演古装武侠剧《雪山飞狐》，饰演反派田归农。同年主演《非常保镖》，饰演误上歧途的傅正杰。

2000年，出演古装武侠剧《倚天屠龙记》，饰演光明左使杨逍。同年在《陀枪师姐2》中饰演追求爱慕娥姐的杨光照。

2001年，与向海岚，陈妙瑛共同主演由张乾文执导的古装剧《无头东宫》，饰演皇帝赵顼。同年张兆辉与香港无线电视台解约。

2003年，张兆辉参演杜琪峰导演的动作片《大只佬》，凭借影片中的暴力警探“钟sir”一角，获得了第23届香港电影金像奖最佳男配角提名。

2004年与古天乐，郭富城共同主演由杜琪峰执导的香港动作片《柔道龙虎榜》，饰演性格古怪的黑社会大佬大蛮哥，凭借此角色获得第四十一届台湾金马奖最佳男配角提名、第五届华语电影传媒大奖最佳男配角、第十届香港电影金紫荆奖最佳男配角。

2005年，参演杜琪峰的《黑社会》系列，饰演说话结巴的师爷苏 。

2007年3月，主演由曹建南执导的惊悚悬疑剧情片《异冢》，饰演有暴力倾向的岳锋。6月与刘若英、林嘉欣共同主演由罗志良执导的悬疑剧情片《连环局》，饰演警察智叔。

2009年5月，与黄秋生、任达华共同参演由杜琪峰执导的枪战片《复仇》，饰演杀手狼。11月，主演由周显扬执导的惊悚悬疑犯罪剧情片《罪与罚》，饰演警察阿鬼。

2010年，和吴君如合作主演许鞍华执导的爱情电影《得闲炒饭》，饰演一名打老婆的男人。

2012年2月，与甘婷婷、郑嘉颖共同参演古装剧《深宫谍影》，饰演列亲王塔尔。12月，与周海媚主演由关永忠监制的时装警匪电视剧《神枪狙击》，饰演男主角飞虎队长高晋坚 。

2014年7月，主演由安战军，游达志共同执导的警匪悬疑刑侦剧《湄公河大案》，饰演莫雄。9月，主演由杜玉贞执导的恐怖片《恐怖在线》，饰演重案组总督察古爷，凭借此片获得了圣地亚哥独立电影节和Accolade Global Film Competition最佳男主角奖。

2015年，与张艾嘉，陈奕迅共同参演由杜琪峰执导的都市爱情喜剧《华丽上班族》，饰演孙强。同年，参演由马伊琍，朱亚文主演的都市剧《北上广不相信眼泪》，在剧中饰演首席执行官于德伟。

2016年，主演爱情喜剧《全职没女》，饰演男主角庄富豪，该剧于2017年4月10日在香港翡翠台开播。同年还参演古装仙侠剧《择天记》，饰演正邪难辨的教宗。

2017年3月3日，与张译、殷桃等联袂主演的商战剧《鸡毛飞上天》在浙江卫视、江苏卫视首播，在剧中饰演商业大佬阮文雄。5月，主演优酷与邵氏兄弟国际影业联合出品的警匪剧《飞虎极战》，饰演飞虎队长雷Sir。2019年出演都市励志爱情剧《交换吧！运气》。