>どの画面で作業すればよくわかりません
質問に【自分で追加した「カテゴリー」名の変更および削除】と書いていらっしゃったので既にカテゴリーの追加は実施済みだと思っていました。
それと同じ画面での処理ですので、特に書く必要はないと思い込んでしまいました。
失礼しました。
使用する画面は
管理ページトップ>設定>カテゴリーと開いたページです。
新規カテゴリーの追加、削除、修正はすべてこの画面で実施します。
>カテゴリーの横には「削除」ボタンがありません
上記に書いた画面で「新規カテゴリー」を追加すれば、そのカテゴリーの右側に自動的に「削除」ボタンが付きます。
まだ「新規カテゴリー」を作成していないのであれば、何か一つ作ってみてください。
そうすれば判ると思います。
ちなみに新規カテゴリーの作成方法は下記のとおりです。
1) 管理ページトップ>設定>カテゴリー のページを開く
2) 「新規カテゴリー」欄に新たに設定したいカテゴリー名を記入する
※上下2つ欄があるうちの上の欄(狭い方)に記入します。
3) 画面下の「変更を保存」を押す
上記作成が受け付けられると新たに入力欄が3つ追加されます。
その繰り返しで、ほぼ無制限に追加可能です。
<参考:公式ヘルプ『3:バックナンバー・カテゴリー>4:独自のカテゴリーを加えてみよう』>
http://support.cocolog-nifty.com/howto/2006/03/post_e630.html
なお、「新規カテゴリー」の上に「標準的なカテゴリー」という欄がありますが、ここの内容は「有効/無効」(表示/非表示)を切り替えることは出来ますが、内容(名前)を修正することは出来ませんので念のため。