《世說新語·容止篇》三十九則中兩則描繪潘安的相貌：

　　《世說新語·容止第十四篇·七則》潘岳妙有姿容，好神情。少時挾彈出洛陽道，婦人遇者，莫不連手共縈之。左太沖絕丑，亦復效岳游遨，于是群嫗齊共亂唾之，委頓而返。

　　《世說新語·容止第十四篇·九則》潘安仁、夏侯湛并有美容，喜同行，時人謂之“連璧”。

　　雖然說現(xiàn)有的正史并沒有詳細地去記載潘安的五官長相如何、身高具體幾尺，但是他的花樣俊美外形卻是件不可置疑的事情，因為在那個時候他就已經(jīng)成了焦點人物，“粉絲”眾多。“安仁至美，每行，老嫗以果擲之滿車?！啊獎⑿俗⒁摹墩Z林》

　　潘安是個多情的美男子、文人，所以后代騷人墨客吟詩作對總會把自己的滿腹牢騷發(fā)泄，而潘安的那些典故成了他們最常用的，比如潘安三十余歲因為仕途不順、妻子早逝白了頭發(fā)，文人就吟道“多于賈誼長沙苦，小校潘安白發(fā)生。“潘郎何用悲秋色，只此傷春發(fā)已華?！迸税脖毁H為洛陽郊區(qū)的河陽縣令，他命全縣種桃花，澆花息訟，他走后老百姓都懷念他，文人就吟道“恐是潘安縣，堪留衛(wèi)玠車。”“潘令在河陽，無人死芳色?！薄皾}陽春色似河陽，一望繁花一縣香?！薄昂雨柨椿ㄟ^，曾不問潘安?！迸税驳钠拮訔钊丶г缡?，潘安傷悲的不再娶妻，每天都會想到她，文人吟道“為結(jié)潘楊好，言過鄢郢城?！碑斎晃娜俗畛Ｌ峒暗倪€是潘安擲果盈車的風流和金谷園里的二十四位文人美男俊游，“遙知向前路，擲果定盈車?！薄芭死绍囉麧M。無奈擲花何。”“若非金谷滿園樹，便是河陽一縣花”“嗣世衰微誰肯憂，二十四友日日空追游。追游詎可足，共惜年華促?！狈比A事散逐香塵，流水無情草自春。日暮東風怨啼鳥，落花猶似墜樓人。“”梅英疏淡，冰澌溶泄，東風暗換年華。金谷俊游，銅駝巷陌，新晴細履平沙。長記誤隨車，正絮翻蝶舞，芳思交加?！薄疤m亭已矣，梓澤丘墟”“梓澤風流地，凄涼跡尚存。殘芳迷妓女，衰草憶王孫?！薄疤m亭修禊事，梓澤醉名園。”“梓澤春草菲，河陽亂華飛。綠珠不可奪，白首同所歸?！薄皣@金谷樓危，避風臺淺，消瘦飛瓊。”“非非是是總成空。金谷蘭亭同夢。”“甚天荒地老，銅臺歌舞，水流云在，金谷豪奢?！薄耙衙越鸸嚷罚l駐玉人車?！薄斑€被凌波呼喚，相將金谷同游，想見逢迎處，揶揄羞面，妝臉淚盈盈。”“昔日蘭亭無艷質(zhì)，此時金谷有高人?！薄奥尻柼熳涌h，金谷石崇鄉(xiāng)。”“雖無金谷花能笑，也有銅駝柳解眠?！薄叭~落上陽樹，草衰金谷園?！?/p>

　　潘安的小名為“檀郎”、“檀奴”。因潘安既是美男子，又對結(jié)發(fā)妻子一往情深，忠貞不渝，既便后來妻子很早就去逝了，他也沒再娶。是女性心目中完美的情人、夫君形象，“檀郎”、“檀奴”遂成為夫君或心上人、情郎的代名詞。這一稱謂寄托著女性對情人、夫君用情專一的熱切希望。