売買とはいうものの…

実際は貸借>売買と考えたほうがより実体に近いと思います。仮にユーロ/ドルを例に挙げます。
ユーロ/ドルを1万ユーロ買いで持った場合では、

ドルを1万ユーロ分「借りて」きます

インターバンクでドル→ユーロに両替します

1万ユーロを「貸し」付けます

決済のときは全く逆の流れが起こります。

結果どのようになるかというと、ドルの利子を支払ってユーロの利子を受け取ることになり、その差(この場合はマイナス)を受け取ったり支払ったりすることになります。これがスワップポイントの正体です。つまりFX本などで利子と書かれていることがありますが、正確に書くとすれば利子の差ということになりますね。