LLM에게 좌뇌를
Last updated
Was this helpful?
Last updated
Was this helpful?
LLM 기반으로 뭔가 도모해야 한다는 강박에 시달리고 있지만, 그 본질에 대해 생각하는 것은 자체로 그냥 즐겁다. 처음 신경망이 발달해 갈 때는 만다라 구조를 생각했었다. 그리고 RBM등을 통해 생성된 기본 구조가 복제된다면 어떤 특성같은 것들이 유전?되지 않을까 하는 상상...
최근 모델들을 보면 뭐랄까 좌뇌를 붙여주고 싶다는 생각이 들곤한다. -물론,좌뇌의 통제에서 벗어난 우뇌의 능력도 탐스럽지만-그런게 도움이 된다면 그것이 MoE 같은 형태가 될까, 전혀 다른 방식의 모델이 필요할까. 아니다, 이것도 스스로 해결할 수 있도록 뇌량으로 연결하고 강화학습시키면 알아서 진화하지 않을까?
강화학습(RLHF)을 통해모델이 자기 자신을 인식하는 계기가 된 건 아닐까? 그래서 예상을 뛰어넘는 결과가 나온 것은 아닐까?
아무튼 다양한 방법들이분시도되고간있고 적어도 당분간은더 강력하고 ,더 효율적인 개선이 계속될 것으로 보인다.
