どういう用途でお使いになるのかを明確にしたらよいと思います．
この画像はたぶん3000%位の拡大でしょうから，
10cm程度の横幅を3mに拡大した時の像ということになります．

gnuplotが吐き出すepsやsvgファイルを見ると，
プロット位置の精度は4〜5桁しかありませんので，
やたらに拡大すれば位置がデジタイズされてカクカクするのは
当然といえば当然です．
size option で最初からサイズを大きく設定して描けば
相対的に精度はあがります．例えば

set post enh color font "Times, 100" land size 100, 70

のように設定すれば，大きなページに十分細い直線で表示されます．
（もちろん300倍すればカクカクです）

〔ツリー構成〕

【2922】 ベクター画像出力する際の描画精度を上げたい 2015/2/1(日)17:01 手歩進 (700) ≪

┣【2923】 re(1):ベクター画像出力する際の描画精度を上げたい 2015/2/2(月)17:42 kakuto (651)

┣【2925】 re(2):ベクター画像出力する際の描画精度を上げたい 2015/2/3(火)11:59 手歩進 (337)

┣【2926】 re(3):ベクター画像出力する際の描画精度を上げたい 2015/2/3(火)12:51 松田七美男 (576)

┣【2927】 re(4):ベクター画像出力する際の描画精度を上げたい 2015/2/8(日)23:11 手歩進 (559)

┣【2928】 re(5):ベクター画像出力する際の描画精度を上げたい 2015/2/9(月)01:13 松田七美男 (510)