ブラウザーのアドレス（ URL ）バーの先頭に見える小さなアイコンを設置しました。
← こんな画像をグッと小さくしたアイコンが見えますか？
この画像は 64 x 64 pixcel で作った元画像ですが、これをそのまま使えるテーマがあったり、ico 形式に変換したファイルしか使えなかったり、様々です。
ちなみに、実際に favicon として表示されるときは 16 x 16 pixcel になるので、それを見越したシンプルなイメージとサイズ（16の倍数）を意識する必要があります。なお ico 形式では 16 x 16 pixcel で作ります。
実は、テーマごとに設定方法が違うのでサボってただけなんですが、 テーマ変更にも影響を受けないように WordPress 本体で用意して欲しい設定機能です。