褚遂良的家中，长孙无忌来访，褚遂良当然是欢喜的迎接，张敬，刑封还有何清枫三人都抓不到褚遂良的一点把柄。那是因为褚遂良真的十分廉洁，他不贪财，不好色，唯一一次受到的处分还是在永徽元年，因为买房子出的事情。
都知道，大唐的首都长安，是古代著名的国际性大都市，天下四海的贤才商旅、各国的使节和留学生都汇聚于此，也是当时世界上人口最多的大城市。和古往今来大部分国际大都市一样，在长安生活也有一个突出的问题：房价太贵。
当时唐朝长安城的房价可谓“天价”，非长安本地的官员一般要到五品（厅局级）以上才有买房子的可能。而大部分官员要么是借住在朋友或者大户的家里，要么就是租房住，比如唐朝著名的大诗人白居易就在长安当了近二十年的“蜗居族”。
因此长安的房价在唐朝是个很敏感的社会问题，中央朝廷针对房价问题也出台了各种法律规定和政策措施，其中一条法律就是禁止达官贵人凭借自己的权势以低于市场的价格来购买房屋，违者要判处徒刑。可褚遂良偏偏在这个问题上出了事儿。
永徽元年（650年），时任中书令的褚遂良以极低的价格强买自己属下一名译语人（翻译）在长安的房屋，结果遭到了一位御史的弹劾。最后却判处褚遂良缴纳罚款20斤黄铜（约合现在7500元，不到褚遂良强买房屋省下费用的十分之一）。
但这个处罚却没有执行，因为褚遂良在没结案的时候就以宰相的待遇出任同州（今陕西省渭南市大荔县）刺史。过了一段时间，褚遂良重新回到朝廷担任宰相。而褚遂良回京后做的第一件事就是把之前弹劾自己的御史给贬到外地当县令了。
“褚遂良强买房屋案”虽然不是一件大案子，但是在这个案件处理的过程中可以明显地看到长孙无忌集团的活动已经开始凌驾于国家律法和社会公理之上。李治因为长安的“房价”开始警惕长孙无忌、褚遂良集团，这也为他们后来的失败埋下了伏笔。
要说褚遂良无