自古以來，祖母綠青翠欲滴，能夠撫慰心靈、激發想像。它的名字來自古希臘語中的 「smaragdus」（綠色）一詞。在公元一世紀羅馬老普林尼編寫的《自然史》一書中，他曾這樣描述祖母綠，「…沒有什麼比它更綠了」。
他還描述了寶石鑑定家對祖母綠的使用，「如果要放鬆眼睛，沒有什麼比凝視祖母綠更好的方式了，它溫和而碧綠的顏色可以撫慰和消除他們的疲勞和精神不振。」即使在今天，綠色依然是用來緩解壓力和眼睛疲勞的顏色。
雖然還有其他寶石，如碧璽和橄欖石，但祖母綠始終是與繁茂的風景和飽和的綠色息息相關的寶石。愛爾蘭被稱為祖母綠島、美國華盛頓州的西雅圖被稱為祖母綠城、泰國最神聖的宗教圖標稱為玉佛（Emerald Buddha）——儘管它是使用綠色的硬玉雕刻而成的。
其中，祖母綠在埃及的蹤跡最早可追溯到公元前4000年前，之後一直被視為重生與和平的象徵。關於祖母綠最早的記載可以追溯到埃及豔后Cleopatra的時代。著名的克莉奧帕特拉七世（「埃及豔后」）最鍾愛的寶石是祖母綠，她甚至在祖母綠上刻下自己的肖像，以此作為權力的象徵，自戀的她命令能工巧匠將她自己的肖像雕刻在祖母綠上，送給她的情人凱撒大帝。
那個時代唯一有記載的祖母綠礦即來自埃及，直到公元1世紀這個祖母綠礦被開採殆盡時，已經開採了近3000年的時間，古羅馬、拜占庭、古巴比倫王朝的祖母綠應該全部是來自於埃及的這個祖母綠礦。
說到埃及豔后就不得不提伊莉莎白·泰勒——另一名祖母綠愛好者。
這條項鍊是1964年理察·伯頓和伊莉莎白·泰勒婚禮當天，伯頓送給泰勒的禮物。它上面鑲嵌了16顆總重60.5克拉的階梯形切割八角哥倫比亞祖母綠，每一顆都由明亮式切割梨形鑽石環繞。中間的吊墜鑲嵌著重達23.44克拉的八角形階梯切割祖母綠，之後被重新設計成為可拆卸吊墜，可單獨作為胸針使用。
除了這條項鍊，伊莉莎白·泰勒還擁有不少祖母綠珠寶。
而在十六世紀西班牙探險者入侵新大陸期間，現在的哥倫比亞出產的祖母綠就是他們瘋狂搶奪的資源之一。
在祖母綠的歷史中，值得一提的是，哥倫比亞祖母綠礦的發現和被開採利用。哥倫比亞的祖母綠世人皆知，而且質量上乘。到目前為止，世界上最大的重達1796ct的天然祖母綠就產於哥倫比亞。早在公元1000年時，土著人就在哥倫比亞神秘的叢林中挖掘祖母綠。在西班牙人征服印第安人時，印第安人嚴守秘密，甚至清除了開採祖母綠的坑口，所以西班牙人過了很多年後才又發現了產祖母綠礦藏的地點。1555年，一位名叫德佩納戈斯的西班牙人在木佐地區騎騾時，一顆祖母綠扎進騾掌，於是在西班牙征服者中間掀起了尋寶熱，但是在驍勇善戰的印第安人的阻撓下，4年後他們才發現了第二塊祖母綠。據說，西班牙人準備放棄找礦，他們的部隊在撤退前殺雞祭祀時從雞的嗉囊中發現了幾顆寶石，部隊又重新開始找礦，這一次終於找到了。由於木佐礦區處於崎嶇的山區，開採艱難，西班牙征服者的壓迫使印第安礦工們紛紛外逃，採礦業不久趨於蕭條，在18世紀已被人遺忘。1928年，哥倫比亞人伊格納西奧和政府簽定了採礦合同並請來了英國的工程師，用先進方法開採出一批祖母綠。這些高品位的祖母綠拿到巴黎出售，使歐洲珠寶商們大開眼界，從此哥倫比亞祖母綠被公認為世界上最好的祖母綠，木佐礦也因此恢復了生機。
印加人在珠寶和宗教儀式中使用祖母綠已有500年歷史。西班牙，對黃金和白銀的重視遠遠超過寶石，他們用祖母綠來交易貴金屬。他們的貿易讓祖母綠在歐洲和亞洲的皇室貴族中逐漸風靡。
祖母綠是綠柱石家族中最有名的成員。傳說中，祖母綠的佩戴者只要將寶石放在舌頭下面，便可以預見未來，除此以外，它還可以揭示真理並保護佩戴者免遭邪惡法術。祖母綠一度被認為可以治癒霍亂和瘧疾等疾病。甚至，人們認為佩戴祖母綠可以辨別愛人誓言的真偽，還可以令人巧舌如簧。
傳說還指出，祖母綠是神賜給所羅門王的四大寶石之一。據說，這四塊寶石可以賦予國王掌管世間萬物的權力。
其綠色代表著春天般的復甦生長，因而是五月誕生石的最佳選擇。同時它也是結婚二十周年和三十五周年的紀念石。
