来薰阁开设于清朝咸丰年间，店主姓陈。它原是一家收售古琴的店铺，店名“来薰阁琴室”。清光绪年间，这个店铺租给他人经营。1911年，由陈连彬收回了企业，改为经营古籍，但为了不忘祖业，店名仍称“来薰阁琴书处”。
1922年左右，陈连彬让他侄子陈杭（济川）帮他经营书店。陈杭曾在隆福寺的文奎堂书店学徒，熟悉业务，为人精明强干，从此来薰阁逐渐兴旺起来。铺面房不断增加，店伙也增加到20多人，年营业额最高达10万余元。1940年10月，陈杭又在上海开设了来薰阁分店。1958年公私合营时北京总店和上海分店的资金各核定为5万元。
陈杭及其店伙经常到上海、江苏、浙江、山东、山西、天津等地收购旧书，买到了各种宋堑元刻、明版清刊和善本珍籍。他曾买到明末富春堂刻印的唱本、清末北方著名藏书家杨绍和收藏的《蔡中郎集》、《中关纪闻》等书籍，其中有名家黄丕烈的批校和题跋。在北京沦陷期间，来薰阁购得天津李善人家藏古籍一批，其中有宋元版的书籍数种。他们还以1800元购得唐晋江欧阳詹行周所撰南宋刻本《欧阳行周集》2册。
全国解放后，来薰阁收购了上海吴眉孙家藏书数十箱，其中有《笠泽丛书》一部，其内有黄丕烈题跋数则，吴赛、陈鳣等名人批校。1956年，该店购得《汝南圃史》12卷，周文华撰，是一部论园艺颇为详尽的好书。
陈杭最得意的莫过于他曾收购到下列两部书：
一是北京解放前购得的《忠义水浒传》100卷，计28册，元施耐庵撰，罗本纂修，明李贽评阅，明万历刻，清康熙五年石渠阁重修本。这是一部极为罕见的善本书。来薰阁以一两黄金的重价购得。全国解放后捐赠给国家，现藏于北京图书馆。
另一是陈杭与蜚英阁裴子英合伙购得明弘治年间北京岳家重刻本《新刊大字魁本全相参增奇妙注释西厢记》两册。明代刻《西厢记》不下四五十家，但都是明万历至明末年间的刻本，而此书则刻于明弘治年间，比万历年间的刻本要早七八十年，是迄今发现的最早的《西厢记》完整刻本，堪称海内孤本。此书现归北京大学图书馆珍藏。
来薰阁还自己刊印书籍十余种。
名人学者大都是来薰阁的挚友。全国解放前后与来薰阁来往的学者有：钱玄同、刘半农、胡适、周作人、陈垣、郑振铎、沈兼士、沈尹默、沈士远、马裕藻、马衡、马季明、马隅卿、胡厚宣、谢国桢、魏建功、赵万里、向达、陈梦家、吴晓铃等。陈杭与郑振铎曾有深厚的友谊，抗战时期，郑振铎为了保存自己所珍藏的大量图书滞留孤岛，他本人为了躲避敌人搜捕到处躲藏，有一个时期就住在上海来薰阁分店的库房里。他的一部分书目和帐册也藏在来薰阁分店里。抗战期间，后方图书资料相当缺乏，住在成都的甲骨文专家胡厚宣写信给陈杭要求为他购书，陈杭将于省吾编著的《双剑簃殷契骈技》和《双剑簃古器物图录》拆散后分别装在信封内分几次陆续寄给胡厚宣。抗日战争结束后，胡厚宣见到陈杭，要偿还书款，陈杭坚决不收，胡厚宣非常感动。
陈杭善交游。“七七事变”前，应魏建功先生的介绍，曾在来薰阁书店里招待过朝鲜学者金九经，负责他的食宿。他也曾四次东渡日本，既推销书籍又收购书籍，同日本文化界人士盐谷温、服部宇之吉等都有交往。陈杭于公私合营后任中国书店副经理，1968年逝世，享年68岁。
1984年10月1日重修琉璃厂街道后，来薰阁老店恢复营业，李一氓、舒同为它题写了匾额，店堂宽阔，图书琳琅满目，宾客盈门。现在来薰阁是中国书店的一个门市部，主要经营新印古籍、美术书刊、画册、书法碑帖、篆刻印谱以及解放前出版的木版刻印、铅印、石印、影印的古旧书籍等。 | 
