Tecton发布主要平台扩展
赋予企业以将LLMs从实验项目转变为可靠的、具有上下文感知的大规模人工智能应用的能力
Tecton今天宣布了一项重大平台扩展，以释放企业应用中生成式人工智能的全部潜力。
{ width=60% }
此次发布赋予AI团队通过将LLMs注入全面、实时的上下文数据来构建可靠、高性能系统。
由LLMs驱动的生成式人工智能承诺着以空前的自动化、个性化和决策能力改变业务运营。然而，在企业生产环境中，LLMs仍然被显著低估利用。根据Gartner的一项研究，仅有53%的AI项目能够从原型转变为生产，这表明相当一部分企业GenAI计划尚未在大规模上提供显著的商业价值。
这种有限采用的主要原因在于LLMs在面对动态业务环境时的不可预测性。这源自LLMs缺乏最新、领域特定知识和实时的上下文意识。企业对AI的真正价值在于利用他们独特的、公司特定数据来创建定制化的解决方案，这些解决方案与他们业务的各个方面深度连接。
“AI行业正处在一个十字路口。我们已经看到了LLMs的潜力，但它们在企业生产环境中的采纳受到了可靠性和信任问题的限制，” Tecton的首席执行官兼联合创始人Mike Del Balso表示。“我们的平台扩展代表着企业如何能够利用他们的数据来构建生产AI应用的范式转变。通过专注于更好的数据而不是更大的模型，我们让公司能够部署更智能、更具弹性的AI应用程序，这些应用程序定制化为他们独特的业务数据，并且在关键任务场景中能够受信任。”
Tecton通过整合跨企业全面的实时数据增强检索-增强生成（RAG）应用。这种方法通过将检索候选项与最新的上下文信息相结合，使得LLMs能够做出更明智的决策。其结果是超个性化、上下文感知的AI应用程序，在动态环境中具有分秒准确性。例如，一款电子商务AI可以即时考虑客户的浏览行为、库存水平和当前促销活动，以获取最相关的产品候选项，极大地提高推荐质量和转化率。
为帮助客户构建生产生成式人工智能应用程序，Tecton推出了一套功能，包括托管嵌入、LLMs的可扩展实时数据集成、企业级动态提示管理和创新的LLM动力功能生成。
通过托管嵌入生成提高生产率并优化成本
Tecton现在提供了一套全面的嵌入式解决方案，生成并管理非结构化数据的丰富表示，以支持生成式AI应用程序。该服务高效地将文本转换为捕获语义含义的数值向量，从而支持各种下游AI任务。例如，它可以将客户评论如“产品快速送达，运行良好！”转换为一个数值向量，对评论的情感、主题和关键方面进行编码。这些向量表示可以存储在向量数据库中，从而便于跨数千条评论进行比较和候选项检索。
Tecton对嵌入生命周期的全面管理，从生成到存储和检索，极大地降低了通常与实施RAG架构相关的工程开销。因此，数据科学家和机器学习工程师可以将重点从基础设施管理转移到提高模型性能，最终提升生产率和创新。
Tecton的嵌入服务支持预训练模型和自定义嵌入模型，使团队能够自行带入模型或利用最先进的开源选项。这种灵活性加快了生产过程，提高了模型性能，优化了成本。
使用实时上下文构建超个性化AI应用程序
Tecton的新功能检索API允许开发人员为LLMs提供为其生成响应时所需的工程化特征。这种集成使LLMs可以访问关于用户行为、交易和运营指标的实时或流数据，大大提高了它们提供准确、上下文相关响应的能力。
例如，在客户服务应用程序中，LLMs可以访问有关客户最近购买、支持历史和帐户状态的最新信息，从而为其提供个性化和准确的帮助。这种能力连接了LLMs的一般知识与处理实际行业场景所需的特定、当前信息之间的鸿沟。因此，企业可以创造真正定制的AI应用程序，提供优越的客户体验，在提高运营效率，并在市场上获得显著的竞争优势。
该API针对企业安全和隐私进行了设计，确保敏感数据得到保护，并且只有授权模型和代理可以访问特定数据。这使企业能够在保持对数据的控制的同时利用LLMs的强大能力。
通过动态、版本控制的提示简化AI开发
Tecton扩展的声明性框架现在包含提示管理，引入LLM提示的标准化、版本控制和DevOps最佳实践。这一进展应对了LLM应用开发中的一个重要挑战：缺乏系统化提示管理，这对于引导LLM行为至关重要。
功能和提示之间的紧密集成促进了提示与上下文数据的动态丰富化。Tecton使得提示能够针对历史数据进行测试，并为LLMs提供时间正确的上下文，以调整大型语言模型。这确保了提示在不同时间段的有效性，并通过历史相关数据增强LLM训练，从而加强模型迭代和持续改进。
动态提示管理赋予了版本控制、变更跟踪以及必要时的简便回滚提示的能力。这一功能推动了企业范围内的AI实践标准化，加快了开发速度并确保各环境的一致性。它助力了最佳实践在提示工程中的快速采纳，潜在地节省了数百小时的开发时间，同时显著降低了合规风险。这在保持不同环境（开发、演绎、生产）的一致性以及在需要可审计的行业中保证合规性方面尤为重要。
利用LLMs和自然语言生成功能
Tecton的特征工程框架现在利用LLMs从非结构化文本数据中提取有意义的信息，将其转换为结构化、可用的格式，并创建此前难以或无法生成的新特征。这些由LLMs生成的特征可以改进传统ML模型、深度学习应用程序，或为LLMs本身丰富上下文。这种方法将LLMs在量化数据分析方面具有卓越表现的地方（LLMs擅长的地方），与传统ML仍然至关重要的定量分析结合起来，实现了更复杂的AI应用。
例如, 一家电子商务公司现在可以自动对产品描述进行分类、提取关键属性，或从客户评论中生成情感分数。这些由LLMs生成的特征可以用于提高搜索相关性、个性化推荐，或增强客户服务交互。
该框架处理了在大规模LLM工作中的复杂性，包括自动缓存以减少API调用和相关成本，并进行速率限制以确保符合API使用限制。这使数据团队能够专注于定义特征逻辑，而无需担心底层基础设施。
Quotes
“Tecton的平台扩展对于基于AI的协作具有改变性，”Atlassian的首席工程师Joshua Hansen表示。“通过实时利用我们的数据和用户互动，我们可以构建智能产品功能和AI驱动体验，从而提升团队效率。这项技术使得能够预测用户提及、改进产品内搜索体验，以及在人员和工作之间形成关联，最终转变了团队的工作方式。”
“Tecton的平台在我们增强百万用户的实时欺诈检测和个性化方面起着关键作用，”Coinbase的ML平台高级软件工程师Joseph McAllister表示。“一个能够提供相关输入信号的单一上下文平台将改善所有我们的模型性能，无论是GenAI还是预测性ML。这为我们解锁了更复杂、乃至上下文感知的AI应用程序，这些应用程序能够在大规模上产生高度准确的响应，实时在我们的产品上驱动智能体验。”
“通过此次平台扩展，我们不仅仅是在提高AI性能——我们正在根本性地改变企业的AI开发方式，”Tecton的首席技术官兼联合创始人Kevin Stumpf表示。“通过为预测性ML和生成式AI提供统一框架，我们使组织能够利用他们的业务数据直接构建先进的AI功能到他们的应用程序中，所有这一切都由统一数据平台提供支持。”
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
