今のままじゃダメ？

こんにちは。 私は今高1で、同じクラスに苦手な子がいます。その子とははじめは一緒にお弁当を食べていました。（私から誘いました。） でも、一緒に食べたりしているうちに相性が合わないなって思い始めたんです。 会話が続かなくて沈黙が多くて、一緒にいてもあまり楽しくなくて他の子といる方が楽しいって思い始めたんです。 それで今は別の子と一緒にお弁当を食べています。正直申し訳ない気持ちもあるけど、別の子と食べてる方が会話も弾んで楽しいし…。その子と別の子とも一緒に食べたらって思うかもしれませんが、別の子もその子は少し話しにくいと言っていて、誘いにくいかなって感じです その子は別の友達があまりいないっぽくて、授業で好きな人とペアになってなにかをするときも全然クラスの人と話してない感じです。 正直、その子を見てるとイライラしちゃうときがあるんです。もっと自分から話しかけたらいいのにって思っちゃうんです。その子がそういうこと苦手ってことはわかっていても、一緒にいたくないって思っちゃうんです。 どうすればいいんですかね？このままあまり関わらないようにするのはだめですか？