“河北玉麒麟”，出身富豪，武艺高强，性格豪爽，好汉早已声名远扬。宋江仰慕他，为壮大梁山声势，想要请他上梁山，便派军师吴用和李逵下山来。他俩化妆成算命先生和哑道童混入卢府为他算命，军师的主意多，设计让卢俊义在自家墙上写下一首藏头诗，诗文为：芦花丛里一扁舟，俊杰俄从此地游，义士若能知此理，反攻逃难可无忧。并有板有眼的说，“员外不出百日，必有血光之灾，家私不能保守，死于刀剑之下”，有破解之法不？当然有，是去东南上一千里之外躲避。
卢员外算命之后，寸心如割，坐立不安，终于决定要去千里之外的泰山避难兼做买卖，随行的有家里的主管李固，仆人燕青，有些武功，留下来看护家院。一切安排妥当，招来十几辆车，朝着泰山方向奔来，梁山泊是必经之路，有句谚语是，卢俊义上梁山——不请自来，小说中有诗云，“避灾因作泰山游，暗里机谋不自由，家产妻孥俱撇下，来吞水浒钓鱼钩”。
卢俊义第一次上梁山，心里充满着鄙夷，这些贼寇，恨不能替朝廷消灭了他们，梁山泊的兄弟早有准备，步步为营，车轮战术，终于拿下卢俊义。宋江笑道，“实慕员外威德，如饥似渴，万望不弃鄙处，为山寨之主，早晚共听严命”，而此时的卢员外却道，“生为大宋人，死为大宋鬼，宁死实难听从”。
梁山众兄弟见他不为所动，也急不得，先把他留住安顿下，十几日后，把管家李固打发走，给家人送信，临走军师唤来道，“你的主人，已和我们商议定了，今坐第二把交椅”，并把家里墙上的诗讲个通透，说他家主人已上山，成了梁山的人了。
光阴荏苒，日月如梭，转眼卢俊义在梁山已有两月有余，不是他不想回，他每日都想着归期，怎奈梁山兄弟多，死缠烂打，每天都有宴席安排着，他是真着急啊，中秋节快到了，他思乡心切，宋江见留不住他，于是安排他下山，众兄弟到金沙滩为他送别。
却说，那管家李固，自从军师吴用和他谈过话，他的内心就打起来小算盘。
原来这李固当初差点冻死，是员外心善救了他，见他能写能记，就把他留下，如今他手下有四十几个人，对他来说也算是小有所成了。患难见真心，这个家刚有点变故的苗头，他的贼心就大起来，把卢员外梁山入伙的消息传出，又向官府告发了主人，平时对卢娘子的垂涎也变成了现实，做起了现实夫妻，家财有了，美人有了，他正享受着，不料主人回来了。卢俊义回家后，饭还没来得及吃上，官府的人就到了，他被五花大绑交至官府。
无论卢俊义如何解释，他都和梁山贼寇脱不了干系了，有墙上的反诗为证，有他入伙梁山的证人，有在梁山的留宿，他真是百口莫辩了。而此时的李固更是狗急跳墙，上下打点，想治他于死地。
卢俊义受尽了严刑拷打，这位铁骨硬汉已是遍体鳞伤，关键时刻，梁山兄弟不能做事不管，他们也是牢内打点，打劫法场，三打大名府，火烧翠云楼，城内外里应外合，终于将他救出。
卢俊义的再上梁山，家私娇妻已成空，朝廷也让他心灰意冷，梁山兄弟舍命相救，终于感化了他，他决定和兄弟们一起，挑起这杆“替天行道”的大旗了。
卢俊义两上梁山，玉麒麟终坐二把交椅。
卢俊义上梁山之后，随宋江一起南征北战，参加了数次大型战役，展示了其强大的能力。