长大后，以父荫被任命为兰州录事参军。兰州地处边境，依靠黄河天堑自固。每年黄河结冰时，都要处于戒备状态，以防羌人入侵，士卒几个月不离武器。
张叔夜道：“这不是上策。不找险要地势防守，却让敌人逼近黄河，我方就危险了。”有个叫天都的地方，介于五路之间，羌人侵犯内地，一定要先到那里集中，然后商议侵犯的方向，每次一集中五路所达之地都受到震动。张叔夜巡视那里的地形后，谋划攻取之策，最后成功夺取该地。朝廷在此建了一座叫做西安州的可戍守城池，从此兰州再没有羌人之患。
张叔夜在河北转运使蒋之奇的推荐下，担任过襄城、陈留知县。不久，他被改任礼宾副使、通事舍人、知安肃军，但是舆论认为朝廷对他待遇太优厚了，所以还担任原来的职务。张叔夜向朝廷献上自己的文章后，被任命为舒州、海州、泰州的知州。大观年间，任库部员外郎，开封少尹。
不久，张叔夜再次向朝廷献上自己的文章，朝廷召他考试制诰，赐他进士出身，升任右司员外郎。张叔夜出使辽国，宴射中，张叔夜首先射中目标。辽人惊叹诧异，想查看他所用的弓。张叔夜以无前例为由拒绝。出使归来，张叔夜画出辽国的山川、城郭、服器、仪范共五篇资料，上呈赵佶。
大观三年，张叔夜从弟张克公弹劾宰相蔡京。蔡京迁怒于张叔夜，找出张叔夜的小过错，将他贬为西安草场监司。数年后，张叔夜被召回京师担任秘书少监，升至中书舍人、给事中。当时的官吏为政懒惰懈怠，凡出自门下省的命令，都要预先列出官衔，让人写上名字之后，遇事才填写具体内容，称为“空黄”。张叔夜极力要求革除这种弊端，后升任礼部侍郎，被蔡京忌恨，以徽猷阁待制身份再次到海州任知州。
宣和元年，宋江在河朔起事，率部转战十郡，官军不敢触其锋芒。宣和三年二月，宋江率军转战至海州，张叔夜预设埋伏，宋江军的副帅被擒，宋江被迫投降。不久张叔夜被加任为徽猷阁直学士，改任济南府知府。在任期间，因斩杀数千盗匪的战功而升任龙图阁直学士，青州府知府。
靖康元年，金兵大举南侵。张叔夜上章请求拨给骑兵，与诸将并力截断敌人归路，这一奏议未能得到批复。接着，张叔夜被改任为邓州知州。朝廷增设四道元帅，他兼任南道都总管。
张叔夜听说都城空虚，请求统兵进京护卫。陕西置制使钱益，也欲想统兵前来。但是唐恪、耿南仲一意言和，竟然发函飞驰，令他们驻守原镇，无故不得移动。他们又一面遣给事中黄锷，由海道至金都，请求罢战修和。此时的金兵，已分道扬镳，乘锐南下，哪有什么和议可言！
何况之前所答应的金币，还没
有够数，所答应割让的三镇，也没有交割。宋朝还羁留金使，诱结辽臣，种种措置被被金人作为话柄，除非宋朝有几员大将，能有几支精兵，杀他一个下马威，还可以和他们赌个雌雄。宋臣只管主和，金兵只管前进。干离不从