LangChain - streaming = 과 callbacks

 ↑ 전부 실행 완료 될때까지 기다리는게 지루하다.
   어떻게 진행되는지도 궁금하다.
   진행되는 과정을 실시간으로 출력 할수 있다!

 Chat model 의 streaming=
  streaming 은 LLM model 의 응답(resposne) 이 생성되는 것을
    실시간으로 보게 해줌.

 callbacks=[StreamingStdOutCallbackHandler()]
    볼수 있는 문자(토큰)가 생길 때마다 print 해준다.

 callbacks 는 다양한 'event' 감지도 가능
    LLM 이 작업을 시작했다거나, 끝냈다거나.
    문자를 생성했다거나, 에러가 발생하거나..

 

from langchain_core.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

chat = ChatOpenAI(
    temperature=0.1,
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()],
)

chef_chain =chef_prompt | chat
veg_chain = veg_chef_prompt | chat
final_chain = {"recipe" : chef_chain} | veg_chain

result = final_chain.invoke({'cuisine':'indian'})
print('\n',result.content)