Redqueen&CO

그 동안 여러 AI서비스를 이용하면서 서비스마다 분명한 차이점이 존재한다는 걸 느끼게 되었다. 대표적으로 "GPT는 유독 환각이 심하다."라는 믿음이 생겼다. AI서비스 사용 기간이 늘어나면서 이런 믿음은 더 강해졌고, 이것이 나만 느끼는 주관적인 감정인지 아니면 객관적으로 입증할 수 있는 현상인지 궁금해졌다. 이를 밝히기 위해서 몇가지 자료를 찾았고 나름의 답을 내릴 수 있었다. 모델별 할루시네이션 발생 비율 먼저, 모델별 할루시네이션 발생 빈도를 측정한 자료를 찾았다. 참고한 자료는 HHEM(Hughes Hallucination Evaluation Model) 리더보드(Leaderboard)다. HHEM은 LLM 답변이 할루시네이션인지 아닌지를 판단하는 AI모델이다. HHEM 리더보드에는 HH..

[AI 지식] 왜 못알아듣지? 맥락 인식의 비밀(1/2)[AI 지식] 왜 못알아듣지? 맥락 인식의 비밀(2/2) 지난 글에서는 AI 맥락 인식 능력 중 단기 맥락을 다뤘다. 오늘은 장기 맥락에 대해 이야기해보겠다. 장기 맥락(=과거 대화에 대한 기억) 오랫 동안 알고 지낸 사람과의 대화는 즐겁다. 마음도 편하고 위로를 받기도 한다. 왜 그럴까? 아마, 상대가 나에 대해서 잘 알고 있기 때문일 것이다. 내가 어떤 경험을 했는지, 내가 뭘 좋아하는지, 내가 어떤 고민을 갖고 있는지 알기에 상대는 내가 듣고 싶은 말을 해줄 수 있다. 이는 AI도 똑같다. AI가 나에 대해서 잘 안다면, AI와의 대화가 훨씬 편하고 즐거울 것이다. 실제로 ChatGPT와 Gemini는 이런 대화 경험을 제공할 ..

[AI 지식] 왜 못알아듣지? 맥락 인식의 비밀(1/2)[AI 지식] 왜 못알아듣지? 맥락 인식의 비밀(2/2) AI는 왜 엉뚱한 답을 할까Uesr: 닭가슴살 먹으면 뭐가 좋아?AI: 닭가슴살은 필수 아미노산이 풍부한 고품질 단백질의 훌륭한 공급원이며 ...Uesr: 쉬운 요리 추천해줘.AI: 참치 마요 덮밥 조리법을 알려드릴게요.Uesr: 그거 말고 닭가슴살로 할 수 있는 요리를 알려줘. AI를 쓰다보면 종종 엉뚱한 답을 받을 때가 있다. 나는 도쿄의 날씨를 물어봤는데 AI는 도쿄의 역사를 알려주는 식이다. 이런 현상은 AI가 대화의 맥락(Context)을 제대로 파악하지 못했을 때 생긴다. 위에 나온 대화를 보면, AI가 '닭가슴살'이라는 맥락을 놓쳤다는 걸 알 수 있다. 맥락을 고려했다면,..