王世貞對於自己的收藏，曾在《弇山堂別集》中有提到：“王子弱冠登朝，即好訪問朝家故典與閥閱琬琰之詳，蓋三十年如一日矣。晚而從故相徐公所得盡窺金匱石室之藏，竊亦欲藉薜蘿之曰，一從事於龍門、蘭臺遺響，庶幾昭代之盛，不至態態爾。”可謂無所不涉。
在其書畫藏品中，僅題跋過的數量就多達五百餘件，其藏品明代以前與明代的收藏大約各半。可以說與明代項無汴有得一拼，雖然差距還不小。正如明末清初的姜紹書所言：“項元汴墨林……資力雄贍……購求法書名畫及鼎彝奇器，三吳珍祕，歸之如流。王弇州(世貞)與之同時，主盟風雅，蒐羅名品，不遺餘力，然所藏不及墨林遠甚。”
王世貞的書畫藏品除了購買外，很多都是友人贈送而來的。隆慶六年(1572)秋九月，王世貞與弟王世懋、陸治、周天球、李釜、曹昌先、王世望偕從出遊太湖、洞庭東西山。返回途中，王世貞有詩文贈陸治。其後，陸治以王世貞紀遊所作詩爲題，作《遊洞庭詩畫冊》十六幀，並於第二年(1573)五月來訪弇山園時贈送給王世貞。
作爲王世貞重要藏品之一的文徵明書法《三詩》，也是獲贈於這一時期。《文太史三詩》題跋雲：文太史八十四時，爲餘出金花古局箋，行書三詩以贈。書極蒼老秀潤，而結體復不疎。三詩濃婉，不在溫飛卿下……
同時王世貞也請書畫友人當場作畫並題跋。隆慶五年(1571)夏月，錢穀來拜訪王世貞，當時王世貞正獲得一些高麗貢繭，潔白如玉。錢穀恰巧見到，於是王世貞並令錢穀作《溪山深秀圖》。王世貞題跋此卷曰：“結法一脈流自黃子久，而間以啓南老筆，蒼古秀潤，絕出蹊徑之外，一時吳中名士俱作歌賞羨之，真勝事也。”王世貞對錢穀特別推崇，常題跋其畫。清初姜紹書《無聲詩史》謂：“時王弇州(世貞)先生時稱畫苑董狐，於叔寶尤相契重，每得其畫，必加題品。”
以這種方式獲取書畫在王世貞收藏品當中佔有不少數量。如萬曆二年(1574)夏日，陸治來訪，應王世貞要求臨摹王履《華山圖冊》，畫成後，王世貞、俞允文、周天球、莫是龍等均在畫上題跋。
爲了更好地滿足其個人收藏欲，也使自己有個清靜之地。王世貞還建造園林，並舉辦各類雅集，邀友人題詩作畫，獲得不少珍貴藏品。
嘉靖四十三年(1564)，王世貞在家鄉太倉的住處旁建了一座園林，名爲“離薋園”，即政途險惡，不如遠離的意思。離薋園建成後，王世貞的友人們雅集於園中，詩文唱酬。王世貞請錢穀和尤求作圖，並由王谷祥、周天球題署。一時吳中衆多文士相聚弇山園，作詩文詠贊此圖，可想當時之盛況。作爲明代文壇領袖和鑑藏家，王世貞聲名煊赫，“獨操柄二十年。才最高，地望最顯，聲華意氣籠蓋海內。一時士大夫及山人、詞客、衲子、羽流，莫不奔走門下。片言褒賞，聲價驟起”。
由於離薋園靠近縣衙，不勝聒噪，後來王世貞又在隆福寺西尋到一塊耕地，建了另一座園林，名爲“小袛林”，又名“小祗園”“弇山園”，素有“東南名園”之稱。小祗園區的主體建築是“藏經閣”，分爲左、右兩室，左室名爲“法寶”，右室名爲“玄珠”，主要用來收藏佛道兩典。王世貞曾請尤求在藏經閣的底層四壁繪製佛教題材的壁畫。小祗園區有一片竹林，翠竹掩映之中有一座小亭，是避暑的好去處，名爲“此君軒”，由陳鎏題署。後來王世貞在楚中得黃庭堅書《此君軒》詩一卷，謂其“怒筆勃掣，有籜龍坼石勢”，因此留在山房中，並請周天球雙鉤，入石壁之軒。萬曆五年(1577)五月，文嘉又爲王世貞題黃庭堅《此君軒》卷。
西弇內主要有三座樓用於收藏，即“小酉館”“爾雅樓”和“九友齋”。“小酉館”位於弇山園的涼風亭之後，內藏書三萬餘卷，是王世貞數十年集書的主要部分。
王世貞嗜讀書，故還大力購置和收藏古籍，以“至脫衣鬻之不惜”。謝肇淛《五雜俎》說：“王元美先生藏書最富，二典之外，尚有三萬餘卷。其他，即墓銘、朝報、積之如山”。 王世貞所藏書多宋槧精本，歷史上的祕籍版本也達三千多卷。平生所購《周易》《禮經》《毛詩》《三國志》《唐書》《漢書》《後漢書》等。
弇山園中的“九友齋”則是專門用以收藏最爲精善難得之祕本《兩漢書》，是王世貞不惜以一座莊園的代價從書商手中換得。王世貞稱此書爲“諸本之冠。桑皮紙勻潔如玉，四旁寬廣，字大者如錢，有歐柳筆法，細書絲髮膚致，墨色精純”。
同時，王世貞所藏的字畫甚豐。他與友人一起鑽研古帖字畫時，常選擇在爾雅樓中進行。爾雅樓所藏甚豐，王世貞自稱該樓有五蓄：“所蓄書，有宋刻本的班固《漢書》與司馬遷《史記》。
此外，他還收藏有大量歷代書法名跡，有魏晉鍾繇的《季直表》、唐代褚遂良的《哀冊》和虞世南的《汝南志》;另其名畫也有不少。有唐代周昉的《聽阮圖》、北宋王詵的《煙江疊嶂圖》;酒器，有柴氏窯的杯託;古刻，有《定武蘭亭》和《太清樓》。
在衆多的書畫名跡當中，王世貞對趙孟頫的字畫情有獨鍾，他收藏其字畫之多，評價之高，尤爲明顯。趙孟頫的行書《二贊二詩》也是爾雅樓中珍貴的藏品。王世貞讚美此書“作書有全力而無先意，乃得佳耳……所謂信手拈來，頭頭是道，故曹溪以後境也。卞華伯以眉山讚語跋之，亦似見一天斑者。”
王世貞對古玩收藏有自己的態度。尤其是對書畫的鑑賞有個人一套方法和理念。這我們可以與同時期大收藏家項元汴進行比對，可以看出兩人之前收藏觀念的不同。
在王世貞《弇州續稿》中，其中《徐騎省篆書千文後》題跋中提及項元汴書畫鑑藏：“按，此書亦不惡，而少勁密，無徐騎省古意。跋尾皆一筆俗書，以至御筆與璽皆僞作，蓋不特官稱之誤已也。吳中一子欲售餘，不應，乃強餘跋，讀畢怏怏而去。後聞售之嘉興項氏，得百金，蓋割去餘跋，而後欺之也。諺雲：‘若無此輩，餓殺此輩。’然哉”。這則材料不加掩飾地表達了王世貞對項元汴考鑑眼力的貶諷。
這件篆書千字文，最初被王世貞鑑定爲北宋初書法名家徐鉉(916—991)所書，認爲“其爲真跡無疑”，但再考之收藏者魏杞的左僕射官職與宋代官制不符，故而又對是否爲真跡心存疑慮。這件書跡由某位蘇州人氏向王世貞兜售，王世貞既然存有疑慮便沒有購買，賣主糾纏索跋後，卻對王世貞指出其中疑點的題跋不滿，於是割去其跋，以百金售予了“嘉興項氏”，即項元汴。
王世貞的書畫鑑定水平頗高，但卻對項元汴的收藏很有看法。項元汴購藏了贗本，遭到王世貞不留情面的嘲諷，而當項元汴收到名家真跡，王世貞卻譏諷更甚，痛陳佳作明珠暗投。他在《山谷伏波神祠詩臨本》題跋中寫道：山谷書劉禹錫《經伏波神祠》詩，最爲奇逸，有瀠洄飛舞之勢。後有張安國、範致能、李貞伯、文徵仲諸跋，皆佳。初自華東沙氏售於吾館甥叔陽，意忽疑之，持以見畀，偶囊澀不能應，得旬日留，託王君載雙鉤而俞仲蔚廓填之，雖不盡得其妙，比之拓石尚少一重障也。卷今爲嘉興項氏以重價購得，佳人屬沙吒利矣。可憐!可憐!
