細かな調査を行っていないのですが、フォルダタイプが[ピクチャ][ミュージック][ビデオ]に設定されているフォルダを右クリックすると表示されるようなので、フォルダタイプを変更すると非表示になりますし、Windows Media Playerを全く使用しないのであれば、[スタート][既定のプログラム][プログラムのアクセスとコンピューターの既定の設定]の[カスタム]でWindows Media Playerのアクセスを無効にすればWindows Media Playerが完全に無効になるようです。
レジストリでのコンテキストメニューの削除も、十分に検証したわけではありませんがフォルダタイプに応じて以下を削除すればとりあえずは消えました。
[ミュージックフォルダ]
HKEY_CLASSES_ROOT\SystemFileAssociations\Directory.AudioのEnqueueとPlayキー
[ピクチャフォルダ]
HKEY_CLASSES_ROOT\SystemFileAssociations\Directory.ImageのEnqueueとPlayキー
[ビデオフォルダ]
HKEY_CLASSES_ROOT\SystemFileAssociations\Directory.MusicのEnqueueとPlayキー