传说很久很久以前，有个叫任才的青年，他从小喜欢画画，特别是他画的树最好看，看起来就象真的一样，在当时很有名气。但他家境很穷，只得靠卖画度日。当地有位出自书香门第的小姐，特别喜欢吟诗作画，经常到任才那里买画，还帮任才在画上题诗，这样，任才的画就更好卖了。任才为了感谢小姐，也就教她画画，久而久之，俩人常来常往，就产生了爱慕之情。

一天，小姐请任才去家中作客，想把他俩的事向父母说说。饭后，小姐把买的画全部挂在房中，请父亲过目。老先生看后，连声称赞说:“此画不错、颇象名师手笔，任才，你也说说自已的看法。”任才见老先生夸奖自己，就谦虚地说:“此画比起名师的画差之甚远，还得加紧练习，我一定要画出一张比这还好的画来。”老先生听后，顿时气愤不止，但又不好发作，就推说自己身体不舒服，先回房去了。

第二天，老先生把女儿唤来，说道:“从今天起，不准你再同那小子来往，年纪轻轻，口吐狂言，此人不可交也。”说完，不等小姐分辩，就勿勿而去。事后，管家听了老爷吩咐，就把小姐领进了闺房。

任才几次跑到小姐家，都被管家赶出门外，他又气又急， 不久就得相思病死去。小姐听到这消息，不顾一切，打烂门窗跑到任才家，哭得死去活来，含泪把任才埋在自己花园的一角。不久，这里长出了一棵树。几年过去了，树越长越高，上面结满了红色的果实。

一天，老先生路过这里，正感到奇怪，忽见女儿手捧红豆向父亲哭诉道:“爹呀！那些画都是任才画的，人家谦虚地说要发奋画出更好的画，你误会了，他的心是实的啊！”老先生手捧红豆，就像看见任才那颗红心，后悔莫及。为了纪念任才，小姐在花园里栽满了相思树，表示思念之情。就这样，红豆也就被人们当作寄托思念的象征了。