趙翼的先祖是宋代宗室，到了他的祖父尚且為官儒林郎，后家道開始中落。他的父親趙惟寬，字子容，以設塾授業為生。趙翼自六歲起，即隨父親就讀于外。十二歲為制舉文，一日能成七藝，人皆奇之。乾隆六年（1741年）他的父親在一家姓杭的大戶家教書時去世。趙翼孤苦伶仃，無以養弟妹。杭家憐憫他，遂留他繼承父業，繼續教書。當時他僅15歲。十九歲入府學，成為秀才。在此后的數年中，他一直應聘為富家課徒。
乾隆十四年（1749年），私塾職被解雇，饑寒驅迫他離家北上，投奔作幕于京城的親戚。時年二十三歲。抵京后，趙翼以其文才受知于刑部尚書兼翰林院掌院學士劉統勛。劉文正公延至家，纂修《國朝宮史》三十六卷。該書后來在乾隆三十五年完稿出版。
翌年秋，他在順天鄉試中一舉克捷，中乾隆庚午科北榜舉人，又考中明通榜。由于主考官汪由敦的器重，自同年冬起，趙翼在結束《國朝宮史》的編寫之后，又被聘入汪氏幕署。汪氏家中富于藏書，加以汪由敦本人深于文學，又極愛趙才。積以日月，趙翼的詩文修養不覺大進。在此期間，趙翼雖在會試中敗北，但仍然以文理暢通而先后考取禮部教習、內閣中書。
乾隆二十一年（1756年），入直軍機。此時正值清廷興兵征計西北準噶爾，軍事文書往返頻繁，為趙翼嶄露頭角提供了良機。尹文端公、傅文忠公咸倚重之。其扈從行在，或伏地草奏，下筆千言，文不加點，一切應奉文字，幾非君不辦。
乾隆二十六年（1761年）成進士。殿試擬第一，高宗以清代陜西未有元，因取第三，卷互易，即王文端也。授翰林院編修。擔任方略館纂修官撰文，修《通鑒輯覽》。京察一等后，記名以備用為道員知府。乾隆二十七年（1762年），在順天府鄉試任同考官。乾隆二十八年（1763年），趙翼出任會試同考官。乾隆三十年（1765年），出任順天武舉主考官。
乾隆三十一年（1766年）冬，出任廣西鎮安知府。到任后，他視察全境。當時因購馬補濟滇軍，有關部門改用大筐代替舊小筐收斂糧食。百姓怨聲載道。趙翼允許改回舊筐納糧，改變了常平倉谷出輕入重的弊端。同時對橫征暴斂的監倉奴和書吏嚴加懲處，制定了各種利民的改革措施。鎮安百姓感激涕零。后奉特旨，赴滇籌劃與緬甸的戰事。乾隆三十四年（1769年），重返廣西鎮安府原任。
乾隆三十五年（1770年），調守廣州知府。獲海盜一百八人，按律皆當死，乃條別其輕重，戮其魁，馀多遣戍。乾隆三十六年，經調部引見，趙翼任貴州貴西兵備道道員，任上，他查處兩鉛廠謀私利造成虧空的大小官員。改任貴西道經歷，他又除掉短缺工資運費的多種弊端。
乾隆三十七年，上司知道他在云南參予過緬甸之役的軍務，略次建功之際，在廣州平海盜處理的讞大獄舊案事發，趙翼受彈劾被交部議而降級。乾隆三十八年，奉旨被吏部引見時，他以老母年事高為由，告假回鄉，不再復出為官，朝廷準允辭官。
乾隆四十五年（1780年）五月，他取道山東赴京，打算在宦海競渡中再決雌雄。行至臺兒莊，忽患風疾，雙臂不能自主，他只好向命運屈服，掉頭南歸。從此開始了長達三十余年的歸隱生涯。
乾隆五十二年（1787年），臺灣發生林爽文事件，閩督李侍堯征臺灣，道常州，邀請趙翼入幕商研。趙翼出謀劃策，指出：靠省錢成功晚，反不如多花費用，給足軍需，早些攻克成功，反而省錢。臺灣林爽文起義因而被鎮壓平息。李侍堯奏明皇上，想要啟用趙翼。趙翼堅決辭官，既歸，復以著述自娛。主講安定書院。往來常蘇間，所至名流傾倒，傳寫詩篇，江左紙貴。與錢塘袁枚、鉛山蔣士銓齊名，如唐之“元、白”，合稱“江右三大家”。而君高才博物，既歷清要，通達朝章國典，尤邃于史學，非袁、蔣所及也。存詩近五千首，以五言古詩最有特色，亦為“毘陵七子”之一。趙翼與袁枚、張問陶（船山）合稱“乾嘉性靈派三大家”。
家居數十年，手不釋卷。所撰《廿二史札記》三十六卷，鉤稽同異，屬辭比事；其于前代弊政，一篇之中三致意焉。又撰《陔馀叢考》四十三卷、《檐曝雜記》六卷，雖未逮《日知》《養心》，并足為多聞之助。其馀《皇朝武功紀盛》四卷，亦征史才。所為詩，無不如人意所欲出，不拘唐宋格律，自成一家。有集五十三卷。又《唐宋十家詩話》十二卷。
嘉慶十五年（1810年），重赴鹿鳴宴，賜三品冠服。
嘉慶十九年（1814年）卒，享年八十六。
