自从1877年爱迪生发明留声机后，人们就试图用它来录制、播放文学作品。爱迪生自己就建议录制狄更斯的《尼古拉斯·尼克贝》（Nicholas Nickleby）。但是，用早期的留声机技术录制整部小说是不可能的，因为每个蜡筒只能播放几分钟。直到上世纪30年代，美国、英国开始为盲人制作“说话书”（Talking Books），长篇有声小说才出现。

美国盲人基金会（The American Foundation for the Blind）和国会图书馆的“盲人图书项目”合作，建立了“说话书计划”（The Talking Book Program）。

美国盲人基金会创建了一个录音棚，试验在黑胶唱片上录音，每面可录制15分钟左右的讲话。第一个“说话书”测试录音包括海伦·凯勒的自传《中流》里的一章和埃德加·爱伦·坡的《乌鸦》（The Raven）。

1934年，第一批“说话书”问世，包括《圣经》《独立宣言》和莎士比亚戏剧的部分内容。

1935年，英国皇家国家盲人研究所（Royal National Institute of Blind People）制作了第一批“说话书”，包括约瑟夫·康拉德的《台风》和阿加莎·克里斯蒂的《罗杰·阿克罗伊德谋杀案》。

30-40年代，黑胶唱片（LP）技术尚不足录制音乐，它几乎完全用于录制“说话书”。而且，根据盲人基金会与出版商和作者工会达成的许可协议，这些“说话书”仅供盲人使用，从1934年直到1948年，“非盲人”听黑胶有声读物是违法行为。

60年代，留声机播放“说话书”。1952年，卡得蒙唱片公司（Caedmon Records）在纽约成立，它是有声读物行业的先驱。1955年听书图书馆（Listening Library）成立，尝试向图书馆和学校发行有声书。1963年，盒式磁带问世。

图书馆开始提供有声图书。1985年，《出版商周刊》公布了21家有声读物出版商，包括卡得蒙、Recorded Books、Books on Tape、哈珀与罗、兰登书屋。

80年代，书店开始在书架上陈列有声读物，不再将有声读物单独展示。1986年，美国音频出版商协会（The Audio Publishers Association）成立。同年，每月图书俱乐部开始向会员提供有声读物。1987年，《出版商周刊》开始定期刊登有声书行业专栏文章。

1994年，音频出版商协会将“有声书”（Audio book）定义为行业标准。

第一届音频出版商协会大会（APAC）举行。同年，Audible推出首款专门用于听书的便携式数字音频播放器，售价200美元，仅有两小时容量。

光盘取代磁带成为听书的首选媒介。

数字下载取代CD，成为最受欢迎的有声读物格式。

《纽约时报书评》推出有声读物专版，每年两期。

德岩声乐和技术学院（The Dey an Institute of Vocal Artistry and Technology，DIVA）成立，这是世界上第一所教授有声图书艺术和技术的学校。

美国音频出版商协会2016年年度报告显示，2016年，美国有声书的销售总额达到21亿美元，比上一年增长了18.2％。相比之下，同年美国出版商协会2000名会员的纸质精装书销售额为28亿美元。有声书的出版数量也在增加。2016年，美国出版了51000部有声图书，而2011年为7200部。美国音频出版商协会称，有声书听众达5500万人，而且逐年增加，其中一半人的年龄在35岁以下。