-
如何使用 LangGraph 构建 AI 代理
介绍 在 AI 领域，检索增强生成 (RAG) 系统已成为处理简单查询和生成上下文相关响应的常用工具。然而，随着对更复杂的 AI 应用程序的需求不断增长，我们需要超越这些检索功能的…
-
视频编码后修改帧数据
基本概念 给视频添加滤镜的方法，是在视频帧被编码前对其进行处理。有时我们还需要在视频帧被编码后对其进行处理，插入一些自定义数据，比如插入 H.264 定义的 SEI（Supplem…
-
带宽估计和拥塞控制算法
产品角度看数据 下图是Google Stadia 针对4K保持60Fps情况下的带宽估计。 和我们QL之前的4K数据测试是一致的。 4K的带宽占用在10~35Mb区间内 延时表现 …
-
流式系统质量评价体系和一些标准建议
目前行业的现状 从目前整个业界来看，没有一个统一的质量评价体系标准。 虽然各大公司，在多媒体方向有众多的布局，甚至像华为这种公司不断的推出业界的标准。但是流式系统应用在各个行业领域…
-
大型语言模型如何帮助企业实现无纸化
如今，银行和金融机构正在经历重大转型，以满足不断变化的客户期望和技术进步。这一转型的一个关键方面是从传统的纸质流程向数字化工作流程的转变。大型语言模型(LLM) 通过提供先进的自然…
-
大模型语言LLM是如何思考的
你有没有想过人工智能模型是如何“思考”的？想象一下窥视机器的大脑并观察齿轮的转动。这正是 Anthropic 的一篇开创性论文所探讨的内容。这项研究题为“扩展单义性：从克劳德的 3…
-
构建 LLM 原生应用程序的全面步骤
大型语言模型 (LLM) 正在迅速成为现代人工智能的基石。然而，目前还没有既定的最佳实践，而且先驱者往往没有明确的路线图，需要重新发明轮子或陷入困境。 在过去的两年中，我帮助组织利…
-
人工智能并不是生存威胁？最搞笑的谎言
伊隆·马斯克等人认为，人工智能对人类构成了生存威胁。他们声称这些机器将不断进步，拥有实际意识，最终超越人类智能，使我们成为它们眼中可轻易消除的烦恼。但人工智能真的会像天网一样攻击我…
-
大模型参数和GPU显存的对应关系
准确估计 GPU 内存对于防止瓶颈并确保大型语言模型的平稳运行至关重要，直接影响部署效率、性能、可扩展性和成本。 简答的说，一个B的大模型参数要求最低1G的显存要求（8位精度的情况…
-
气候变化期间最安全的国家和居住地
对气候变化的担忧来得有点太晚了。它已经来了。它不会消失。即使我们现在彻底改变生活方式，也不会立即改变——至少在我们的有生之年不会。甚至在我们孩子的有生之年也不会改变。NASA 表示…
-
美国总统候选人要比特币成为储备货币？
毋庸置疑，我们终于走到了比特币终局的边缘。但没有人准备好迎接即将到来的一切。 多年来，比特币爱好者一直试图向尽可能多的人介绍比特币。它不仅是保住财富的好方法，也是保护自由的好方法。…
-
加密货币正在等待什么用例
最后，我们终于找到了：加密货币的人工智能用例并非毫无意义或骗局。 换句话说，区块链确实将在人工智能经济中发挥重要作用，甚至成为运转良好的社会的基本要求，但方式却并非你所期望的那样。…
-
LLM权重剪枝和知识提炼
本文是对 NVIDIA 团队发表的一篇精彩论文的总结/回顾，该论文提供了一种创建精炼模型的方法。论文链接。他们还在 Llama 3.1 上使用该方法创建了 Minitron 4B …
-
Meta 改变游戏规则的模型
Transfusion 是 Meta 团队开发的一种新模型，使用统一模型生成文本和图像。该模型在文本和图像数据的均等混合上进行预训练，应用不同的目标：文本的下一个标记预测和图像的扩…
-
在 CPU 上训练 AI 模型
人工智能最近的成功通常归功于 GPU 的出现和发展。GPU 的架构通常包括数千个多处理器、高速内存、专用张量核心等，特别适合满足人工智能/机器学习工作负载的密集需求。不幸的是，人工…
-
语义分块：改进人工智能信息检索
今天，我们将探讨语义分块 — 一种显著改善信息检索的技术。如果您一直在关注 AI 的发展，那么您可能对检索增强生成 (RAG) 很熟悉。让我们来看看语义分块如何增强 RAG 系统。…
