源于伯牙鼓琴的传说。出自《吕氏春秋·本味》，又见《列子·汤问》。《列子》的原文是：“伯牙善鼓琴，锺子期善听。伯牙鼓琴，志在高山。锺子期曰：‘善哉，峨峨兮若泰山!’志在流水，锺子期曰：‘善哉，洋洋兮若江河!’伯牙所念，锺子期必得之。”后人据此引出“知音”一词，比喻彼此非常了解的知心朋友。并以“高山流水”比喻知音难得或乐曲的高妙。

这个传说，也见于其他古书，并流传于民间。明代小说家冯梦龙《警世通言·俞伯牙摔琴谢知音》，最富有故事性。

春秋时期著名音乐家楚国人俞伯牙，在晋国做官，称“上大夫”。一次奉晋国国君之命，出使楚国，顺便回家乡看看。那天正是中秋佳节，俞伯牙坐的船停泊在汉阳江口。他一边欣赏月色，一边取出瑶琴，弹奏起来。此时，有一个年轻的樵夫在暗中赞赏他的琴音，于是俞伯牙找来了樵夫，问：“你听得懂吗?”樵夫说：“你弹的是《孔子叹颜回》，是不是?”俞伯牙十分惊异，当即以礼相待，并且与他交谈起来。俞伯牙和他谈论琴理，他都对答如流。俞伯牙非常高兴，对他说：“有一回，孔子正在室内弹琴，他的学生颜回进来，忽觉琴音中有凶杀之意，不免一惊。问明之后，才知刚才有一只猫，想捕捉一只老鼠，孔子见了，不由得在心情上受到一点影响，并在琴音中表现出来。像颜回这样，真可算得是知音了!现在，我来弹琴，你试听听我在想什么。”俞伯牙举目远望高山，用琴音表现山的高大之状。樵夫听了，说道：“巍巍乎志在高山!”俞伯牙又对着江水，用琴音表现水的奔流之势。樵夫听了，说道：“汤汤乎志在流水!”俞伯牙大喜，说：“你真是我的知音啊!”问他姓名，答曰：“姓锺名子期。”于是，两人结为至交，当晚在船上谈了一夜。天明临别时，俞伯牙与锺子期约定，明年回楚国时，一定到锺家去拜访。谁知第二年俞伯牙如期趋访锺子期时，子期已故。俞伯牙悲痛不已，在锺子期墓前，弹了最后一曲，便把瑶琴摔个粉碎，表示他从此以后，绝不再弹琴，因为他失去了唯一的知音。

现人们常用“知音”比喻乐曲高妙，或者朋友知己心心相印。