"[图片]调研VLM，简单回顾了下LM变化。 Word2Vec and nGRAM语言模型的重要性其实很早就被意识到，早期接触到的主流技术时word2vec和nGram。 nGram模型的基本方法就是统计所有text，n-1个token后面一个token的概率。由于假如token vocab的大小是1 ...."

AI实时周报 AI产品导航 商业合作人工智能 AI架构问答优选

登录注册反馈&建议

AIWeekly
实时周报：https://github.com/cbamls/AI_Tutorial
• 0 回帖 • 36 浏览 • 1 周前

聊聊LM的故事和近况

以下文章来源于 https://zhuanlan.zhihu.com/p/631065545

调研VLM，简单回顾了下LM变化。 Word2Vec and nGRAM语言模型的重要性其实很早就被意识到，早期接触到的主流技术时word2vec和nGram。 nGram模型的基本方法就是统计所有text，n-1个token后面一个token的概率。由于假如token vocab的大小是10k，那么3-gram就是