LangChain 練習求教

想自學LangChain，目前想試下用自己選擇的foundation model 寫個咁的webapp出來
1. Story Gen
入prompt 出response
2. Chat history
用KV store , 可能用Redis
3. Prompt Craft
同OpenAI一樣俾人入Customize Instruction
4. Intelligent Agent
用Agent , 加Maths tools / wikepedia search info
5. Streaming Text
加steaming, 唔洗等哂成個result先出response
6. Retrieval-Augmented Generation (RAG)
用vector database (應該用pinecone)

大概用Python, streamlit, redis, pinecone, langchain, hugging face model (llama2),
localhost 搞掂先再試aws bedrock配lamda 果啲

咁樣睇落有無問題？

無問題

巴打 想問下點樣call OpenAI API

唔洗用LangChain啦, 用琴日出嘅assistants同埋過幾日後出嘅GPTs就整到

有冇方法可以香港call 到 我有條open ai api key

langChain 有library call OpenAI
https://python.langchain.com/docs/integrations/llms/openai

或者npm都有
https://www.npmjs.com/package/openai

巴打我知呀 但我唔肯定關唔關 香港事
我call 過幾次Open AI 個API 都係出error
又唔似係我條api key 有問題
定係網頁版就要vpn python call api 就唔洗

我見未有得玩，遲啲等佢推出就研究下
LangChain都有用 cloud-hosted llm (open ai) 同self-host 始終有唔到，你可以自選free model 或者用private data train佢又唔怕feed比open AI

仲有scalability 的問題，如果要containerise 啲llm, 等佢識自己scale up/down
或者萬一Open AI down咗，咁production點算，要有backup/ alternative switch 去replica

我試過無error 我係3.5 turbo
佢出咩error message?

想知巴打今日仲call唔call到openai api? 本身都用緊langchain 但今日突然block咗

今日係香港出嘅request 都畀cloudflare用403 block unsupported countries 嘅access

睇你想唔想練埋devops, 如果你淨係想focus on Llm/Langchain 你個stack 可以換哂in memory or disk storage 咁無咁貴

langChain 都收收地皮

點樣收皮法

不過去返樓主你個flow, store chat history 可以用Postgres /mysql呢啲sql db都其實夠用, 唔一定要redis, 反而係你可以係wiki search agent 到加個vector store去save低個search results, 下次有人search差唔多嘅嘢嗰陣直接係個store到出result畀llm, 咁就可以唔使call 咁多次wiki or any search tool api.

近排試緊llmware griptape

Call openai個到係client side定server side?

想再llm optimise d可以睇下tensorrt-llm / exllama2 / llamacpp

https://github.com/NVIDIA/TensorRT-LLM
reddit好多人推exllama2, 不過個人經驗tensorrt llm performance好d

Lm