さくらインターネットのサーバ借りてみました。

月額500円のスタンダードプランで、sshやらmysqlやらcronまで使えて、
railsが動くらしいという情報を得て、借りてみることにしました。
XOOPSやMovable Type（MT）の本格活用にさくらのレンタルサーバ スタンダード｜さくらインターネット

ほぼ上のサイト通りでrails動きますが、
gem install sqlite3-ruby
で、sqlite3.hが無いみたいなエラー

checking for sqlite3.h... no

が出るようだったら、

gem install sqlite3-ruby -- --with-sqlite3-include=/usr/local/include --with-sqlite3-lib=/usr/local/lib

とか明示的にパスを指定してあげると良いようです。