自分も職場で雑談できないタイプなので気持ち分かります。
業務連絡は問題ないけど、ちょっとした会話に入れないと孤独感ありますよね。
ただ「仕事ができればOK」という考えも間違いじゃないので、無理に変えなくてもいいと思います。