僕は約20年ほどイラストの仕事をしていますが、
（そんなに仕事量は多くないですが）
質問者さんの悩みは痛い程よくわかりますよ！

＞最初にきいていなかったことを後からどんどん言われ、、、、5倍以上の業務量となりました。

僕人身のことですが、正式な契約書はしていません。理由は、クライアントの大半はデザイン、出版関連の会社なので、修正に関してはある程度常識的に対応してくれる場合がほとんどだからです。
もし、あなたのようにケースになった場合は、やわらかく修正費を請求を求めます。それでも聞き入れてくれない場合は、この時点で仕事を仕事をキャンセルします。だいたい、この業界ではほぼ、暗黙のルールが有ると考えています。
でも、キャンセルすると言った場合は、大抵クライアントのほうが折れて
少しは、修正費をだしてくれますが、なんせ、納期の少ない場合がほとんどなので、今イラストレーターに降りられると、困るので（笑

但し、一般の人や全く違う業種からの依頼に対しては少し慎重に考えて、
一般論的なイラストの制作過程を出来るだけ詳しく説明します。
（具体的には、修正費用や著作権、二次使用など）

＞メールなどでなく捺印した契約書を結ぶべき？

本当は、正式な契約書を作成すべきとは思いますが、
現実的には納期が無いなどの理由で少しでも早く作業したいので、
そこまではしていませんが、自分のホームページのトップには
（打ち合わせ完了後、当方から制作内容の確認メールを送信します。
このメールの記載内容を簡易契約書と致します。それで宜しければ作業に着手致します。）と明記して、実際に依頼が有った時に同内容の確認文（簡易契約文？）を作業前に送信しています。

でも、中には常識のないデザイン業者さんも居ますので、本当に不安になる場合もありますが、そんな場合は喧嘩になる場合も本当に有ります（笑
マジで、つい2～3年前に料金を払わない姫路市のデザイン会社さんに対して小額訴訟で裁判にくるように電話で怒鳴りながら喧嘩をしました！
ほとんどヤクザです（笑
すると、相手はすぐに折れて全額の８割で勘弁してくれと泣きつきました。、、
いざとなったらこのぐらいの覚悟はいります。

＞クライアントは「ラフとイメージが違ってるのもイラストレーターの過失」と思うかもしれず、難しいところですが。

これは、難しい問題です。クライアントと自分のイメージには差が有りますから。当然100％合致させるのは至難の業です。もうこれは、イラストレター自身で客観的な判断するしかないのでは？
ただ、マイナーなやっつけ仕事では、具体的な他のイラスト作品をクライアントから提示してももらえば、客観的に判断しやすいです。ただし、どんな仕事でも、他のイラストレーターのまねはいやだと思う人も居ると思いますが。それならあくまでも自己主張すべきです。

＞上記のようなものを相手に要求するのはイラストレーターとして常識範囲内でしょうか？それとも暴利？

決して間違いではないと思いますが、一般的には無名のイラストレーターはあまり契約内容にこだわり過ぎると、相手にされなくなるかもしれません。かといって、なにも言わないのもダメです。正直これらの問題に100％答えられるイラストレーターは居ないでしょう。

要は、最初からガチガチに考えずに、失敗や多少の過剰サービス？も勉強のうちと割り切り、メージャーになって、しっかり契約書を作成出来るよう、努力を継続する事だと思います。

あまり、僕も偉そうなことは言えませんが、
今後も、頑張って良いイラストを描いてください！