মৌলভীবাজারে পঞ্চায়েতের রায় অমান্য, গ্রামচ্যুত পরিবার