たぶん、順番が間違っているだけではないでしょうか?
「境界をぼかす」とは、「選択範囲の境界をぼかす」と言うことであって、画像そのものには処理を加えません。
(その後、選択範囲に加える処理に影響を与える操作です。)
自由選択>ガウスぼかし>境界をぼかす、とすると、デジタル的な境界線のままガウスぼかし処理が行われ、その後、選択の境界がソフトになります。(そして、画像の変化は何もありません)
自由選択>境界をぼかす>ガウスぼかし、という順番にやれば、エッジの部分がソフトになった状態でぼかしがかかり、周りから自然にぼかせる感じになると思いますが…。
----
あるいは、「自由選択ツール」を選んだ時点で、下にオプションが表示されます。
ここで、「□ アンチエイリアス」「□ 境界をぼかす →半径:32」 などを両方選んでおけば、すぐにガウスぼかしを掛けられます。
----
「選択範囲の境界をぼかす」というのがどういうことかというと。
次のような実験をしてみてください。
(1)適当に選択し、境界をぼかさないまま、Ctrl+X(切り取り) を実行してみます。
(2)別の場所を適当に選択し、境界をぼかす→32ピクセル、などとしておいてから、Ctrl+Xで切り取ってみます。
切り取ったあとの白くなる様子の違いが分かりますでしょうか。
境界をぼかしてから、ガウスぼかしを行うと、エッジの部分ではそのように、境界のボケに応じてかかり方も調整されるわけです。
※差異があまり分からない場合、とても高解像度の写真で、縮小状態で作業をしていることが考えられます。
原寸大表示にするか、ぼかし半径:100などと指定してみると、差異が出てくると思います。