经过反复的战争，李克用的儿子李存勖终于打败了后梁，于公元９２３年建立了后唐政权。李存勖早就知道张全义多年替朱温置办军需品，十分恼恨，想把他全家杀掉。张全义也知道自己的处境极其危险，早就做好了准备。张全义准备了上千匹好马，送给李存勖的刘皇后，请她帮忙说话，自己又上表请罪，表示愿意替他治理洛阳，李存勖觉得他还有用，就赦免了他。
后来，张全义又表忠心，李存勖的许多活动的必需品都由他圆满地置备起来，弄得李存勖十分高兴。他这种善于体贴巴结的习惯竟然打动了刘皇后，要求拜他为义父。就这样，李存勖仍让他做了河南尹，还任他为中书令，封他为齐王，又做了李存勖的岳父，张全义又在新朝站稳了脚跟。
后唐庄宗李存勖荒淫无耻，不善治国，只知重用武夫和名门士族出身的人，不知重用文人和有才能的庶族出身的人，因而很快衰败下去。在李存勖的晚年，他的养子李嗣源的势力逐渐变得很大，大有取代李存勖之势。恰在此时，赵在礼于魏州发动叛乱，张全义为了巴结李嗣源，就极力推荐他去平定魏州之乱。张全义的用意是很明确的，李嗣源一旦领兵出征，就会得到两条好处，一是树立威信，二是手握重兵，对将来篡夺帝位是很有利的。如果李嗣源真的当了皇帝，自己岂不又成了新朝的大功臣？但没想到李嗣源到了魏州，并未与赵在礼开仗，而是与之联手，共同进攻李存勖。这一下可把他这个推荐人吓坏了，恐怕李存勖杀掉他，日夜忧惧，连饭也吃不下去。没过几天，就病饿而死。