＞既に引き渡し命令が出ていますが、合意したい内容は、@○月○日までに退去するA退去に関し 退去代金として○○円を払うが、それ以外の金銭的要求をしないことB件外物件（倉庫）があるが、買い受けた土地に勝手に建てられたものであり（最初からありましたが）私としては不要なので撤去あるいは、○月○日までに撤去できない場合は、今後の処分、利用に関し所有権を放棄して買受人に委ねる。 こんな感じの合意です。
＞ 公証人役場を利用し、公文書にしたらどうかと友人に言われましたが、通常は、調印した合意書を互いに持つ ということでいいのでしょうか？
公証人で公正証書とすば、後に不履行があった場合は強制執行できる点で有利ですが、それは金銭についてだけで、例えば、件外建物の取り壊しなど公正証書に折り込んであったとしても強制執行で取り壊しできません。
今回の合意内容からみますと、よしさんはお金を差し上げる側ですし、相手は引っ越しすることと件外建物の収去です。従って、公正証書にしたとしてもあまり意味がありません。（法律を知らない相手なら圧力になるかもしれませんが）
今回は普通の私文書で十分と思います。万一、不履行なら引渡命令で執行すればいいですし、件外建物を取り壊さないならよしさん側で取り壊しできますから、そして、不履行の場合には立退料は支払わないわけですから特別に心配する理由はありません。