自分は元々ガタイや声が大きい方で、耳が遠い利用者さんに少し大きめな声で話してると、他の職員からもう少し優しく話すように言われました。別に怒っているわけではないのですが、ガタイが大きい分、近づいて話しても怖がられます。ただ全員が怖がるわけではないし、他の利用者さんと同じように話してますが、一部の利用者さんに対してはどうしてもダメでした。
どうすれば適切な対応なのか教えて下さい。

これはなかなか興味深い話題ですね。
他の職員からも「もう少し優しく」と言われるのなら、客観的に見て怖そうに見えているんでしょうね。

怖くなく見える方法について考えてみました。
①小さく見せる
しゃがんで話す、肘を外に張らず、腰にぴったりくっつける。手は重ねて膝の上におく。
②柔らかく見せる
小首をかしげる、ゆっくり動く、特に動作の始めはバッ！と動かない。ふわりふわり。
さん

近くによって少し低めの声で話すと聞こえやすいかもしれないです！
怖がられるのは普段のコミュニケーションが足りないからかもしれません！毎日少しでもいいのでひとこと話しかけたりすると認知症でも頭のどこかで覚えてくれたりすることがありますよ！

声やしぐさのコントロールが難しいのでしたら、
顔の表情をできるだけ笑顔や優しくなるように接してみて下さい。
マスクごし作り笑いでかまいません。

表情、しぐさ、言葉って、互いに連動しますから他の部分がついてきますよ。

たとえば、逆に、
怖い顔をしながら優しい言葉を発して優しく接するって難しくないですか？
お試しください

わからないなら自分よりガタイや声が大きい人と話してみればいいのでは？
自分がこうされたら怖いと思わない限り、あーしろ、こーしろと言われてもしっくりこないんじゃないか？

これが、一人一人違う利用者に対しての介護の難しさの一つだよね。
一番良いのは、耳元で話すことですよ。
他の利用者が怖がるなら尚更、困難な方にこそ耳元で話すですよ。
他の利用者からしても、その方に話しているのもわかりやすいから、トラブルが少しでも改善できる。

目線は相手の目線より下がいいでしょう。
ガタイが大きいのであれば尚更相手より姿勢を低くしたほうがよいですね。
声量は相手が聞き取れる声量に調整しましょう。