在贪腐成风的清朝，做个清官实在不容易，而清官做到于成龙的地步，更是难上加难。
支撑于成龙为官之路的是和亲友道别时，“天理良心”四字的虔诚和立德修德、为民造福的信念。在任上，于成龙身体力行，克服困难，招抚盗贼，力行教化，使罗城境内状况出现了好转，罗城安定了下来。治理成功，体现了于成龙的政治能力，同时得到了上司的重视，为自己的宦海生涯开了一个好头。
于成龙出身农家，家产尚可维持生计。而传说的广西蛮烟瘴雨，北方人不服水土，十有八九不能生还。为此，亲友们一听说委任他为罗城知县，大都劝他不要去。但他认为：我已立意修德，为民造福，哪能知难而退？于是，变卖了部分家产，凑足路费，告别父老，留下妻儿，独自带着3位仆人，毅然登上了南下的路。
于成龙到达罗城后，只见那儿的环境比想象中的更恶劣：四面群山环绕，到处河流纵横，数里之内不见人烟。所谓的县城，没有城池街道，只有几处茅庐，住着数户人家。至于县衙，也无门墙，而是“插篱棘为门牖”。院内只有3间草屋，东边算是宾馆，西边是书吏舍，到处长满了荒草，即便大白天也常有野猴钻来嬉戏。于成龙见此情状，心中不免有些凄苦，但他抱着“既来之，则安之”的想法，亲自“累土为几案”，又在柱子下支锅、铺床，开始了艰难的宦海生涯。
在于成龙到达罗城之初，当地还常有盗贼出没。他为防不测，晚上睡觉时，总在枕旁放把刀。但他认为：地方上的盗贼，大都是些穷百姓。他们本来不愿为盗，只是饥寒刑罚所迫，才沦为盗贼。所以，他主张“勿戕民命”，“勿剥民肤”，而应该多方招抚。基于此，他采取了一系列有效措施，很快便使不少人改邪归正。与此同时，他还常常光着头，赤着脚，穿着普通百姓的服装，深入到附近居民中，同他们一起劳动，一起聊天，相机帮他们解决一些实际困难，并通过他们向更多的人宣传自己的施政要领。百姓们见这位“县太爷”如此平易近人，都亲切地称他为“阿爷”，乐于向他说些心里话。为时不久，因多年战乱和盗贼滋扰而外逃的百姓纷纷返回故里，竞相开荒种田，逐渐恢复和发展了生产。
于成龙十分珍视这一好的势头。每逢农忙，他都到田野四处巡视。遇到辛勤耕作的百姓，主动向前打招呼，进行慰问。一季下来，他见谁家收获丰盛，就命人在其门外树立标志以示表彰；对那些因懒惰而使田园荒芜者，就动员各方面力量给他做工作，帮他们改过自新。
几年之后，罗城嘉禾遍野，牛羊满山。百姓们不但不愁衣食，不少人家还盖起了新房。然而，于成龙从山西老家带来的那3位仆人，却有的病死，有的逃跑，只剩下他孤零零一个人。对此，他无怨无悔，一如当初。
于成龙在任罗城知县时，几乎天天喝粥，菜肴也只是一盘豆，一碟青菜。百姓们基于自家生活的好转，又见他的仆人们全都离他而去，十分不忍，几乎天天有人前去看望他，还不时地给他带些钱物。对此，他总是先道谢，再推辞。他说：“我一个人在此，用不了多少钱。请你们拿回去买些可口的食物侍奉你们的父母，就如同送我一般。”
有一次，于成龙的长子千里迢迢来看他，他十分高兴，空前地买来一只鸭，煮了半只拿给儿子吃，另半只腌了挂起来，留待过年用。待儿子回家时，百姓们争先恐后地凑了好多钱，执意送给于公子。于成龙又一再表示：“这儿离我家6000里，一个人带着钱，可是累赘啊！”说罢，坚决把钱退回去。百姓们感动得泪流满面，纷纷向他下跪叩首，他也禁不住流下了热泪。
历史上所谓一张一弛的王者之道，都是采用软硬兼施的措施，如果一个朝廷只注重严厉打击，而不注重教化，那么人民将会惶恐不安，激而生变。软硬两方面，任何一个走向极端，都不利于社会的良性循环发展。于成龙“宽严并治”，他一方面打击扰乱社会安宁的不法分子，一方面施行教化，招抚驯服案犯。他慎刑施教的主张稳定了清王朝的统治，维护了社会安宁。值得后人借鉴。
于成龙的刑法思想在清朝很有影响。对待案犯，他主张慎刑，以教为主，采取“宽严并济”和“以盗治盗”的方法，取得突出效果。康熙8年(公元1669年），于成龙再次因政绩卓著而迁任湖广黄州府同知，驻于岐亭地方。岐亭地处黄州、麻城边界，多湖汊沟壑，向为盗贼之渊薮。这些盗贼肆行无忌，甚至白昼行劫，地方官吏也束手无策。于成龙到任后，很快摸清了他们的出没行踪，一举降服其魁首彭百龄等人，将其置于左右，实行“以盗捕盗”之策略。有一次，于成龙生擒9人，召集乡里父老，宣布说：“这些都是巨盗，他们仗着被捕后解送上级官府可以揭发当地官吏的隐私，而有恃无恐，往往得以逃脱惩治。我现在将他们示众于父老面前，你们有能保证其今后不再为盗的，我就当众释放；否则的话我就将尽法惩治。”众父老出面为其中2人作了担保，而其余7人则当着众父老的面被严惩。消息传开，“盗自是惊匿”。
康熙17年（公元1678年）6月，于成龙升任福建按察使。当时的福建正值耿精忠之乱，台湾的郑经也时常兵犯漳、泉等郡，局势动荡，连年用兵，又连兴大狱，“民以通海获罪，株连数千人”。于成龙说：此事关系到众多百姓身家性命，是人命关天的大事，难道因为大狱已成，就可以不必审慎地复核了吗？经其详查，通海案所牵连的多半为无辜平民，应予省释。他立即禀告当时主管兵事的康亲王杰书，将关押之民尽行释放。每遇疑案，他必令详细审讯、反复核查，务期明允。经他清理，案无沉积，狱无淹滞，“所生全以千计”。福建巡抚吴兴祚上奏朝廷说：“成龙执法决狱，不徇情面，屡伸冤狱，案牍无停。不滥置一词，不轻差一役……屏绝所属馈送，性甘淡泊，吏畏民怀，为闽省廉能第一。”
于成龙在词讼、断狱方面被看做是包公式的人物。他铁面无私，头脑敏锐而细心，善于从一些常人忽视的细节上发现问题的症结。他处理过许多地方上发生的重大疑案、悬案，使错案得到平反，因而被百姓呼为“于青天”，民间还流传着“鬼有冤枉也来伸”的歌谣。于成龙在破案、察盗方面的许多事迹，在清人野史、笔记和民间文艺中均得到反映，甚至神化。
从于成龙身上我们可以窥出当时的政治局势。于成龙的造福百姓、崇尚节俭、奉行教化，和康熙推行的治国之策相吻合，康熙渴望吏治的清明，于龙成的举荐应合了康熙王朝良好的政治环境。康熙盛世的出现离不开于成龙等众多廉吏的贡献。
于成龙对清代官场吏治的腐败有清醒的认识，因而总是尽自己的所能逐项予以革除。康熙19年，于成龙升任直隶巡抚，严戒州县官私加火耗银馈送上官。所谓火耗银是指自明代起，官府将从民间征收赋税所得之细碎银两重新熔铸为一定重量的银锭，上缴国库，把熔铸时的损耗部分称为火耗银，由纳税者承担。清代沿之。清初有的地方火耗高达正赋的50%，甚至将解运往返之费也摊入其中。这些费用主要用于官吏“分肥”和馈送上官。于成龙为此特地颁布了一个《严禁火耗谕》，严禁额外多收火耗，并且质问那些贪得无厌的官员：“民力难支，又安忍于正供之外，敲鸠形鹄面之骨，吸卖儿鬻女之髓，遂一身一家之欲！”12月，惩处了私自多收火耗、侵吞赈灾银两的青县知县赵履谦。他还经常单骑私访，遇有不法者则立予严惩。从此，“盗以息，民以安”，“滹沱、易水之间，洋洋乎颂声作矣”。
康熙20年（公元1681年）12月，康熙考虑到江南为财赋重地，必得清廉能臣前往料理，方能澄清吏治、有益民生，遂特旨授予成龙两江总督。于成龙对好友说：“江左承八代之余，习尚浮靡，奸弊牢不可破。天子命我，我必思所以易之。”江南人听说“于青天”将至，心甚畏之。那些历来习尚奢侈的世家大族都“减舆从，毁丹垩，婚嫁不用音乐”。民间人人争穿布衣，布价因之骤贵。贪墨之吏纷纷落职而去，豪强猾胥率家远避。
于成龙深知“州县各官厉民积弊，处处皆然，而江南尤甚”，为痛加革除，乃手定《示亲民官自省六戒》，提出了勤抚恤、慎刑法、绝贿赂、杜私派、严征收、崇节俭这六条戒律，使州县基层官员“朝夕观省，自为猛惕”，并要求他们“虽自己足食，当思民之无食者；自己披衣，亦当思民之无衣者”，若“无功于国，无德于民”而终日华衣美食，则虽身居官长，实与盗贼无异。紧接着，他又颁布了《兴利除弊条约》，要求各级官员“尽行痛革”种种积弊：严禁滥加火耗和私派，严禁馈送，访拿衙蠹和地痞、流氓，严禁滥差衙门差役，严禁随便捕人入狱和私刑拷问，严禁包揽词讼、牟取奸利，禁止向行户摊派取索，禁止奢靡逸游，等等。于成龙以身作则，严正声明：“本部院下车，清介自持，誓不受属员一毫馈送。尔司道厅府州县，务期共相砥砺，痛绝馈送。”
江南大省，政务繁多，于成龙寝食为废。总督衙门重门洞开，禀事官员可以直入其寝室，毫无阻挡。他还时常轻车简从，走访民间，问询疾苦，察吏安民。行为不端之人，“遇白须伟貌者，群相指自慑”，颇感胆战心惊。几个月间，兴利除弊，政化大行。
于成龙为官20余年，多次向朝廷举荐贤能官员，如：通州知州龙舜琴，经他荐举得升补江宁知府；江苏布政使丁思孔“历任既久，参罚因多”，于成龙疏请康熙在其入觐时“亲赐咨访，破格擢用”。丁思孔因得“准为卓异”，不久擢升偏沅巡抚。
康熙二十三年（1684年）四月，于成龙呕吐不食，同月十八日（5月31日）在两江总督任上病逝，终年六十八岁。康熙帝破例亲为撰写碑文，赐祭葬，赠官太子太保，谥号“清端”。
按照清朝官员的定谥规定：一品大臣过世，按例请皇帝决定是否授谥；一品以下官员除非特旨，例不授谥。于成龙生前的最高官职为正二品总督，照例不予谥号。可尽管如此，康熙皇帝还是钦定了“清端”这种等级极高的谥号。“清”者，“清廉奉公”也；“端”者，“圣修式化”、“严恭莅下”、“恭己有容”、“秉心贞静”、“守礼自重”者。有清一朝，仅康熙朝出现过6位“清端”谥号之臣，个个都是“近乎完人”的所在。于成龙能此等谥号，可见康熙皇帝对其的赞赏程度。
雍正年间，于成龙入祀贤良祠。乾隆帝即位后，分别于乾隆十六年（1751年）、乾隆二十二年（1757年）、乾隆三十年（1765年）、乾隆四十五年（1780年）及乾隆四十九年（1784年）五次遣使祭奠于成龙祠。
