香港大學與華為諾亞方舟實驗室攜手合作,正式發布 Dream 7B(擴散推理模型),是目前最強大的開源擴散式大型語言模型。
簡而言之,Dream 7B 具有以下特點:
• 持續大幅超越現有的擴散式語言模型;
• 在通用能力、數學與程式碼處理方面,表現可媲美甚至超越同等規模的自回歸(AR)語言模型;
• 展現出強大的規劃能力與靈活的推理能力,這些特性天然受益於擴散建模方法。


Reddit discussion
https://www.reddit.com/r/LocalLLaMA/comments/1jbpesk/block_diffusion/