SqueezeBERT
SqueezeBERT是什么？SqueezeBERT是一个开源语言模型，旨在成为BERT（来自Transformers的双向编码器表示）的高效替代品。它于2020年推出，其主要创新是使用分组卷积来替代原始BERT架构中的前馈网络层。这...
TinyLlama
什么是TinyLlama？TinyLlama是一个开源、紧凑的11亿参数语言模型，其小巧的体积下蕴含着卓越的性能。它由一个专注的研究团队开发，基于Llama 2架构，并在惊人的3万亿个令牌上进行了训练。其小巧的体积使其成为在资源受限环...
Unsloth
Unsloth 是什么？Unsloth 是一个开源优化库，旨在使大型语言模型 (LLM) 的微调速度显著加快，内存效率更高。它实现了高达2倍的速度提升，并将内存使用量减少多达70%，而不会牺牲准确性。这是通过为LoRA定制的基于Tri...
Zephyr
Zephyr 是什么？Zephyr 是一系列功能强大的语言模型，由 Mistral AI 的基础模型微调而来。其中最著名的版本 Zephyr-7B-β 是 Mistral-7B-v0.1 的微调迭代版，专门针对会话和指令遵循任务进行了...
状态空间模型 (SSM)
什么是状态空间模型 (SSM)？状态空间模型 (SSM) 是一类专为序列建模而设计的神经网络架构。它们源于经典控制理论，后被应用于深度学习，以比主流的Transformer架构更高效的方式处理数据中的长程依赖关系。SSM将输入序列映射...
Haystack
Haystack 是什么？Haystack 是一个功能强大的开源 Python 框架，由 deepset 开发，用于构建利用大型语言模型（LLM）的生产级应用程序。它擅长创建复杂的语义搜索、问答系统和检索增强生成（RAG）管道。通过专...
Diffusion Models
什么是扩散模型？扩散模型是一类深度学习生成模型，已成为高保真内容生成（尤其是图像和视频）的最新技术。它们的工作原理遵循一个简单而强大的概念：首先，它们通过逐步添加噪声来系统地破坏数据（“前向过程”），然后学习如何逆转这个过程，从纯噪声...
混合专家模型 (MoE)
什么是混合专家模型 (MoE)？混合专家模型 (Mixture of Experts, MoE) 是一种神经网络架构，旨在使模型（特别是大规模 Transformer 模型）更加高效和可扩展。与使用其所有参数处理每个输入的单一、庞大的...
Stable Diffusion
什么是 Stable Diffusion？Stable Diffusion 是 2022 年发布的一款深度学习文本到图像模型。它主要用于根据文本描述生成详细的图像，但也可以应用于其他任务，如图像修复（inpainting）、图像扩展（...
图神经网络 (GNN)
什么是图神经网络 (GNN)？图神经网络 (GNN) 是一类功能强大的神经网络，专门设计用于对图结构数据进行机器学习。与图像（像素网格）或文本（单词序列）等传统数据类型不同，世界上大部分数据都是相互关联的，从社交网络和金融交易到分子结...
DeepSeek 模型
什么是 DeepSeek？DeepSeek 是由 DeepSeek AI 开发的先进人工智能模型系列。该系列包括强大的通用模型和专业的编码模型，这些模型因其卓越的性能，尤其是在推理和软件开发任务中的表现而备受关注。DeepSeek 以...
Llama 3 系列 (Meta AI)
Llama 3 系列 (Meta AI) 是什么？Llama 3 系列是 Meta AI 开发的下一代开源大型语言模型 (LLM)。基于其前代产品的成功，Llama 3 模型旨在成为同类最佳，在广泛的行业基准测试中提供最先进的性能。它...