BabyfaceのMax値である192kHzで聴いてましたが、どうも日本語入力（ATOK）とかで引っかかりが起きていたので、アクティビティモニターでCPU負荷を見てみました。
すると、192kHz では、20〜22%の高い数値が！
で、逆に 44.1kHz（つまりupsampling なし）がこちら。4〜6%程度です。
うーん、upsampling ってどうやろ？音が丸くなるようにも思えますが、補完ロジック次第では効果あるんじゃないか、と考えてます。
そして、なるべく高い周波数でと試してみたのが 176.4kHz で、元周波数のちょうど 4倍 になります。これで 6〜8% くらいの CPU負荷。192kHz に近いのに、これくらいの CPU負荷で済んでるのは、メッチャ素人考えで言うと、44.1 -> 192.0 （4.35374149659864倍 by 電卓）にくらべて、計算が簡単だからじゃないでしょうか（；＾ω＾）
まあ、素人考えは別にして upsampling なしの 4〜6% 程度とあまり変わらず、体感的にも意識せずに済むレベルと思います。とりあえず、これで続けてみます。