说起这位张琼，祖籍在河北大名府馆陶县（今河北馆陶县），他出身行伍世家，父祖几代都做过河北藩镇的牙将。此人长得粗壮威猛，膂力过人，且射术高超。要说张琼最大的特点，就是强横无比，拼打起来不顾死活，遂以硬汉的身形折服众多壮士。由此，他被赵匡胤收为帐下卫队头领。
张琼追随主帅南征北战，屡立奇功，其表现之勇猛常常令人望而生畏。一次，在与南唐军水战中，赵匡胤的坐船被敌军战舰包围，对方一员勇士持盾挥戟猛冲过来，众人都抵挡不住。在危急时刻，多亏张琼一箭将其射倒，才打退了对方的攻势。
随后，在攻打寿春（今安徽寿县）城时，赵匡胤乘坐一艘皮船进入城壕水中督战，城上突然弓弩齐发，张琼为了保护主帅，毫不犹豫地用自己的身躯阻挡飞矢。结果他大腿被射中，箭镞深入肌骨，坚不可拔，他一时疼痛得昏死过去，史称死而复苏。张琼不愧为军中豪杰，返回营地后，他要来一满杯酒，痛饮之下令军医破骨拔箭，血流数升，他却神色自若。这一幕颇似以后小说《三国演义》中关公刮骨疗毒的描写，旁观的赵匡胤不能不大为赞叹。如此看来，张琼可称得上是赵大帅帐下的第一条好汉。
宋朝开国伊始，外有地方藩镇林立的威胁，内有功臣统兵大将的掣肘，再加上大批积习已久的跋扈将士，都对天子的权威和地位构成极大的威胁。
出身武将又熟知军旅习气的宋太祖赵匡胤，自登基之日起就不能不考虑收兵权的问题。但只有自己腰杆子硬，才能收拾对手；若要腰杆子硬，便须牢牢控制禁军队伍，而禁军的核心又是皇帝的宿卫亲军。于是，太祖即位后马上就任命张琼典领宿卫亲军，不久又授予其内外马步军都军头的军职，并加封给刺史的官衔，也就是说张琼获得了中级武官的待遇，这当然是天子对这位猛将的信任和奖赏。
在开国天子身边，张琼担任扈从职责有一年半左右的时间。在此期间，皇弟赵光义任殿前都虞候，是张琼的顶头上司，也是太祖皇帝安排在禁军重要统军机构中的自家人。自家兄弟加上亲信，当然是控制禁军的最佳搭档。
建隆二年（961）七月，赵光义升任开封府府尹，殿前都虞候一职便空缺出来。当考虑殿前都虞候继任人选时，天子钦点张琼接任。之所以如此，显然是首先考虑到此人的忠心，但其威名和震慑力也是重要的因素。太祖当时就对身边人说：殿前卫士如狼似虎者不下万人，非张琼不能统制。从御口中说出的这句话，正说明殿前司掌管的京师禁军将士既枭悍擅战，又是何其难制，而张琼则具有足够的控驭能力，大概论武艺论胆气都无人能出其右。
值得注意的是，张琼当日的身份还只是一员中级军官，资望俱浅。因此，太祖皇帝在发布任命书的同时，将他的头衔越过团练使直接超迁为中高级的防御使，但其地位仍不能与那些节度使级的将帅相比。从职位来说，殿前都虞候之上还有殿前正副都指挥使，通常由节度使级的大将担任，至于殿前司原本最高的军职;正副都点检，则已空置不再委任。由此看来，张琼虽位居禁军殿前司的第三把手，却是最受信任的一位，这正是太祖以小制大的一招。