すいません、個人的には反対です。

ここに参加している人たちは、
義務で参加している訳ではないと思いますし、
中には忙しくて、申請48時間以内にアクセスできない場合も考えられます。
しかし、このルールを決めてしまうと、
指定されたユーザは、
結果的に、参加を義務付けされることになるのではないでしょうか？
また、投票者の総数が多いというのは、
それだけ注目を集めているということでもありますし、
それだけ意見を言いたい人も多いとも思います。

という感じですが、いかがでしょう？