不登校なのに友達と会う。。

僕は、私立中学に通っているのですが、不登校です。でも最近、放課後に少しずつ学校に行けるようになったんです。。 それは良いのですが、放課後に、担任の先生と教室に入ると、何人かの女子達が騒いで遊んでいるんです。僕にとってはそれが物凄く怖くて。。 で、僕を見ると遊んでいる何人かの女子達が、「あ！○○(僕の名前)だ！」と言って、凄く話しかけてくるんです。善意でやってくれていることは分かるのですが、僕にはまだ早いかなって。。担任の先生も、放課後、教室に誰かがいたときは別室に連れていってくれるのですが、何か怖いです。 で、この前、僕は担任の先生に話があると言われ、別室に連れていかれたのですが、その時に、「○○ちゃん(クラスの静か目な女の子らしい)が君に会ってみたいと言ってるんだけど、会ってみる？」と言われました。僕は凄く怖くて、でも断ったら女の子に失礼かなと思って、「ちょっと怖いけど、その女の子が放課後、教室にいれば、教室をのぞいてみます」と言ったのですが、昨日、その女の子に会ってきました。(最初はのぞくだけだったけど、最後の方は少しだけ言葉を発することができました)そしたら、その女の子が、「LINEつながない？」と言ってきたんです。僕は絶対繋ぎたくなかったのですが、断れず、繋いでしまいました。 LINEを繋いだ翌日に、「今度一緒に遊ぼう」と送られてきて、まだ返事はしていないのですが、学校の子が誘ってくれるのは嬉しいけど、遊ぶのはまだ怖いです。 LINE、なんて返せばいいでしょうか。。 学校の友達に会いたいと言われたときの対処法も教えて頂けると嬉しいです。