李克用晚年的另一个心腹大患是契丹。
梁晋相争时，日后被追谥为辽太祖的耶律阿保机四处征战，北伐室韦，东征女真，多次侵扰河东，后来与李克用达成同盟协议，约为兄弟。
李克用曾在帐中与阿保机纵酒痛饮，相约共击梁军：“唐室为贼所篡，我想讨伐朱贼。老弟可以率领精骑二万，同收汴、洛。”阿保机一口答应，留下三千匹马作为礼物，还像是个老实人。
可当朱温称帝，势力达到顶峰时，阿保机却背弃与李克用的盟约，反过来与朱温合作，向后梁奉表称臣，请求册封，遣使者“以良马、貂裘、朝霞锦聘梁”。李克用听闻，大为愤慨，只恨自己虎落平阳，再不能率领沙陀骑兵踏破契丹。
2
临终前，李克用留下三支箭，嘱托在病榻之侧的儿子李存勖：“一矢讨刘仁恭，汝不下幽州，河南未可图也；一矢击契丹，且曰阿保机与吾把臂而盟，结为兄弟，誓复唐家社稷，今背约附贼，汝必讨之；一矢灭朱温。”
弥留之际，李克用大呼：“汝能成吾志，死无憾矣！”
李存勖坐领河东，接下的是一个千疮百孔的烂摊子，不仅当不了肆意挥霍的富二代，一个不小心还可能败光家产。年仅24岁的他牢记父亲遗训，将三支箭供奉于家庙，每次出征就命人取下放在锦囊之中，带在身边，凯旋时再安放于庙中。