韋思謙的祖先自雍州杜陵(今西安杜陵)南遷，客居襄陽(今湖北襄陽)，後又遷徙到鄭州陽武(今河南原陽)。八歲時母親去世，因孝順而出名。考中進士後，多次升任後做到了應城令，一年後參加選考。韋思謙在任上，因爲政績考覈爲末等，依照過去的制度，這類情況大多不能晉升。吏部尚書高季輔卻提拔他做監察御史，因此出名。他曾經對人說：“御史走出國都，如果不能動搖一方，震懾州縣，就是失職。”
公元650年(永徽元年)十月，中書令褚遂良低價購買中書省翻譯官的田地，大理少卿張睿冊認爲其無罪。韋思謙上書彈劾此事，降褚遂良爲同州刺史、張睿冊爲循州刺史。 等到褚遂良官復中書令，韋思謙被降職爲清水縣令。左肅機皇甫公義任檢校沛王府長史，提拔韋思謙任同府倉曹，後多次升遷，任右司郎中。
公元682年(永淳元年)，歷任尚書左丞、御史大夫。唐高宗認爲他很有才能，每次召他進宮談話，即時十分疲憊，也要身子靠着殿前的欄杆，說上好幾個時辰才結束。案情不明、證據不充分、一時難於判決的案件，繁雜的事務，每次都要他參與裁決。當時武候將軍田仁會與侍御史張仁禕有矛盾，捏造罪名誣陷張仁禕。高宗在朝堂上詢問張仁禕，張仁禕十分害怕，回答的語無倫次。韋思謙上前說："臣與張仁禕曾是同僚，相當瞭解這件事的緣由。張仁禕爲人懦弱而不能爲自己申辯。如果田仁會迷惑聖上的視聽，使張仁禕不正常地獲罪，那就是爲臣事君不盡心了。請讓二人爲此事對證。”他言辭流利，含義鮮明暢達，高宗非常贊同。
韋思謙在御史臺任職，每次見到王公，從不行跪拜禮。有人勸他 ，他回答說：“雕、鶚、鷹、鸇，怎能與衆禽爲伴?爲何要行跪拜禮來親近他們?況且身爲諫官，本來就應獨立。”他剛任左丞時，上奏說：“陛下爲各部門選擇人才，沒有合適的人選就空缺不授。現在您不吝惜好的錦緞，讓我來裁製它(言下的意思就是把好的職位拿給他充任)，這是陛下知臣之深，也是臣盡命以報的時候。”他在任上整頓制訂法綱，朝廷肅然。
683年(弘道元年)，唐高宗駕崩，太子李哲繼位爲唐中宗，武則天以太后攝政，掌握實權。
684年(嗣聖元年)，中宗意圖獨立執政，武后將他廢黜，改立皇弟豫王李旦爲唐睿宗，進一步掌握權柄。九月，武后侄武承嗣、武三思屢勸武后尋事誅殺皇室近支韓王李元嘉、魯王李靈夔等以絕宗室之望，韋思謙和中書侍郎劉禕之都因害怕，唯唯諾諾不說話，只有中書令裴炎堅持力爭以爲不可。後轉任宗正卿，恰逢改換官名，改任司屬卿。 武則天又分別設置左右肅政臺，任命韋思謙爲右肅政大夫。大夫過去和御史行對等之禮，惟獨韋思謙坐着接受對方的拜見。有人爲此提出意見，韋思謙說：“朝廷班列，本有等級差別，爲何無原則地行事呢?”
公元685年(垂拱元年)，賜爵博昌縣男，升任鳳閣鸞臺三品。二年，接替蘇良嗣任納言。
公元687年(垂拱三年)，上表告老請求辭官，武則天答應了，加授太中大夫。
公元689年(永昌元年)，死於家中，追贈幽州都督。
唐德宗年間，韋思謙得以續圖凌煙閣。
史書評價
《舊唐書》：“韋思謙始以州縣，奮於煙霄，持綱不避於權豪，報國能忘於妻子。自強不息，剛毅近仁，信有之矣!高季輔、皇甫公義，可謂知人矣!且福善餘慶，不謂無徵，二子構堂，俱列相輔，文皆經濟，政盡明能。加以承慶方危，染翰而曾非恐悚;嗣立見用，襲封而罔墜逍遙。無忝父風，寧慚祖德，諡溫諡孝，何愧易名?”
《舊唐書》：“善人君子，懷忠秉正。盡富文章，鹹推諫諍。豈愧明廷，無慚重柄。子子孫孫，演承餘慶。”
高季輔：自居選部，今始得此一人，豈以小疵而棄大德。
皇甫公義：公豈池中之物，屈公爲數旬之客，以望此府耳。
明目張膽
韋思謙做人正直，時常會勸諫皇上，有話就會直說。他考上進士之後，被任命爲應城縣令，後來升爲監察御史。有一次，他發現中書令(即宰相)褚遂良低價購買中書省翻譯官的田地，正直的韋思謙也不害怕他官位高，勢力大，立刻上書舉發他。因爲證據明確，朝廷不好意思公開庇護大臣，只好把褚遂良調出京城，降職爲同州刺史。過了一段時間，褚遂良又被重用，恢復了中書令的官職。褚遂良便找了理由報復韋思謙，把他貶到外省，當一名縣官。有人替韋思謙打抱不平，暗中去慰問韋思謙，他仍然不改初衷，慷慨激昂的說：“我性格狂放粗率，被授予大權，遇事就要發作，遭禍害身理所應當。然而大丈夫身居剛正之位，必須明目張膽的報答國恩，終不能做碌碌無爲的臣子只求保全妻子兒女。”明目，即睜亮眼睛。張膽，即放開膽量。原指有膽識，敢做敢爲。後來形容公開放肆地幹壞事。
涕泗冰須
韋思謙十分得唐高宗的信任，在朝堂上十分倚重他。當唐高宗駕崩時，韋思謙抱病入宮臨喪，淚涕凝結鬚髯，俯伏號哭氣絕。詔令派人攙扶侍候。
