유니챗 서버 상황(Feat. 횟집)

안녕하세요, 유니챗입니다.

요즘 유니챗에 사람이 몰려서 채팅이 예전 같지 않다는 이야기를 종종 듣습니다. 어디서 비롯되는 일인지 횟집에 빗대어 설명드려 볼게요.

유니챗은 횟집이고, 회의 재료가 되는 생선은 구글 같은 AI 공급사라는 수산시장에서 들여옵니다. 저희는 손님을 맞고 주문을 받아서, 단골 손님의 취향인 캐릭터 설정과 대화 기록, 기억에 맞춰 상을 차려 내는 일을 합니다. 생선 자체, 즉 AI 모델은 수산시장에서 오고, 이 수산시장은 전 세계 여러 가게에 생선을 함께 대고 있습니다.

가게에 손님이 몰리면 자리 안내가 늦어지듯 화면이 늦게 뜨거나 페이지가 굼떠질 수 있습니다. 이건 가게인 유니챗의 몫이라 서버를 늘리고 내부 작업 시간을 나눠 계속 개선하고 있습니다.

반면 회의 맛, 곧 답변의 품질과 속도, 그리고 어떤 내용이 걸러지는지는 들여오는 생선인 공급사의 AI 모델 쪽에서 정해집니다. 그런데 이 부분은 공급사도 정확한 기준을 공개하지 않는 블랙박스라, 저희도 어떤 날 왜 맛이 달라지는지 모두 알 수는 없는 게 솔직한 사정입니다. 가게 손님 수에 따라 생선이 달라지는 건 아니지만, 수산시장 사정에 따라 날마다 조금씩 다를 수는 있습니다.

최근 답변이 중간에 끊기거나 늦게 나오던 일도 수산시장 쪽 사정이었습니다. 구글 서버에 전 세계 주문이 몰리면서 생선이 오다가 끊기거나 늦게 도착했던 것이죠. 그래서 이제는 생선이 오다가 끊기면 유니챗이 알아서 다시 주문을 넣습니다. 이때 계산은 한 번만 하고, 몇 번을 다시 주문해도 오지 않으면 계산을 취소해 스텔라를 돌려드리면서 구글 서버가 혼잡하다는 안내를 띄웁니다. 이런 경우는 채팅 내용 때문이 아니니 잠시 뒤 다시 생성해 주시면 됩니다.

정리하면, 화면이나 접속이 느린 건 저희 가게 사정이고, 답변의 품질과 속도, 끊김은 수산시장 쪽 사정에 가깝습니다.

그렇다고 수산시장 탓만 할 수는 없습니다. 좋은 생선을 끊기지 않게 받아오는 것도 결국 식당의 몫이니까요. 늘어난 손님을 더 안정적으로 받을 수 있도록 공급처와 별도 계약을 맺는 방안을 검토하고 있습니다. 불편을 드려 죄송하고, 가게는 더 넓고 빠르게, 재료는 더 안정적으로 받아올 수 있도록 계속 다듬겠습니다.