必要でないのに Google+ に参加してしまった時に、公開プロフィールを削除することで、参加していない状態に戻すことが可能です。
Google+ ホームページ
https://plus.google.com/
にアクセスし、画面左上の[ホーム]ボタンにマウスオンします。
一番下の[設定]をクリックします。
[設定]ページの最下部『Google+ を無効にする』の「Google プロフィール全体を削除する場合はこちら。」の中の【こちら】というリンクをクリックします。
[Google プロフィール全体を削除]ページの最下部『必須:はい、・・・』の先頭のチェックボックスにチェックを入れ、[選択したサービスを削除]ボタンをクリックします。
以上で、公開プロフィールが削除され、Google+ に参加していない状態になります。
GmailなどのGoogle Apps関連のデータは削除されません(2014年6月18日現在)。
【追記】
Google Apps上のアカウントの場合、当該アカウントが所属している組織でGoogle+がオンになっていないと、プロフィールの削除は行えないようです。
ユーザー向けサービスのオン/オフの設定 - Google Apps 管理者用 ヘルプ
https://support.google.com/a/answer/182442?hl=ja
当社の場合、Google プロフィールを削除したいアカウントが所属する組織はGoogle+をオフにしておく必要があるため、デフォルトの組織配下にサブ組織を作成し、サブ組織のGoogle+をオンにした上で、当該アカウントのGoogle プロフィールを削除しました。
組織構造の仕組み - Google Apps 管理者用 ヘルプ
https://support.google.com/a/answer/4352075