logw -ログゥ 個人的な記録用- では、以前PHPを5.2系にしようとしたら失敗しました。詳しくはPHPバージョンアップ失敗を見てください。そこで今回はphpを5.3にしてみました。
CentOS5.ｘにPHP5.3系をインストールする方法 │  モノづくりブログ 株式会社8bitのスタッフブログですを参考にさせていただきました。

CentOS5.x系のyumのデフォルトは5.1.6

CentOSのPHPのデフォルトはyum installですると5.1.6が入ります。特に問題ないのですが、WordPressの3.1.x系までしか使えません。3.2.x系からはPHPの5.2.x系以降ではないと使えません。

インストールされているPHPの確認

インストールされているPHPのバージョンを確認します。
# rpm -qa | grep php

リポジトリのPHPを確認

# yum list php53*

古いPHPの削除

古いPHPがある場合は削除します。
# yum remove php php-*

PHP53のインストール

# yum install php53 php53-mbstring php53-mysql

PHPのバージョン確認

#php -v

備考

PHPの5.2系にするとWordPressの管理画面がみれなくなるというバグがありますので、個人的にはPHP5.3.x系にした方が良いと思いました。