河南会馆位于宣外上斜街路南36号和路北27号。始建于明末万历年间。河南新郑人、明大学士高拱为了解决在京豫人集会团拜之用，在上斜街与北河沿胡同之间购得荒地一方，约二亩余，起建三所平房，定名叫“中州乡祠”。
清康熙十年，河南睢州人，工部尚书汤斌在上斜街北部正式建成中州乡祠，同时又在中州乡祠路南招提寺地基修建大厅，名曰“洛社”，聚众讲学(因未形成会馆，所以不属会馆办学)。清咸丰末年，河南武陟人，户部侍郎毛树棠于洛社东邻购得地基约二亩，修建了一座北至北河沿，南至达石桥，包括中州乡祠及洛社在内的河南会馆，亦叫“蒿云草堂”。同治末年毛树堂之子、兵部尚书毛昶煦与河南项城人、刑部尚书袁保恒(袁甲三之子，袁世凯从叔)筹资在馆内修建了“精忠祠”，供奉宋朝忠臣、民族英雄岳飞，掀起河南会馆祭祀先贤的活动。而后同乡互有捐献，至清光绪时，会馆已有大小厅堂斋舍130余间，成为河南在京会馆中，占地规模最大的会馆。
1895年5月1日，康有为、梁启超等维新志士，为研究《上皇帝书》，请清政府拒绝承认李鸿章签定的《中日马关条约》的卖国条约，联络18省入京考贡的举子齐集扬椒山祠及附近的河南会馆。康有为宣读了《上皇帝书》得到1300余名举子的拥护，并联名在《上皇帝书》上签名，拉开了“公车上书”的悲壮序幕。次日，康有为率领举子至都察院第二次抗议并上呈《上皇帝书》，虽被无理拒绝，但却达到了维新志士的宣传目的。康有为曾写诗为记:“海东龙泣舰沉波，上相輶轩出议和，辽台■（左目，右无），割山河，抗章优阙公车多，连名三千毂相摩，联轸五里塞巷过。台人号泣举检歌，九城谣谍遍网罗，杠棺摩拳，击鼓三过，栓避不朝，辞位畏何。美使田见惇士气则那!索稿传抄天下墨争磨、呜呼!推秦不成奈若何!”诗中对公车上书的前后历史作出了完整的记述。
而后，河南会馆成为维新派的一个议事处，为戊戌维新运动作出了贡献。清末河南旅京豫人为解决子女就读问题，在嵩云草堂创建河南公立京豫学堂，民国更名京兆私立河南中学，1928年改名北平市私立嵩山中学，解放后为市立第14中，现为北京第204中学址。 | 
