Tecton发布重大平台扩展
赋予企业能力，将LLMs从实验项目提升为可靠的、具有规模的上下文感知AI应用
Tecton今天宣布了一个重大的平台扩展，以释放企业应用中生成式AI的全部潜力。
{ width=60% }
此次发布使AI团队能够通过向LLMs注入全面的、实时的上下文数据来构建可靠、高性能的系统。
生成式AI，由LLMs驱动，承诺通过无与伦比的自动化、个性化和决策能力来改变业务运营。然而，LLMs在企业生产环境中仍然被极少利用。根据Gartner的一项研究，仅有53%的AI项目能从原型走到生产，表明很大一部分企业GenAI项目尚未在规模上带来实际的商业价值。
这种有限的采纳主要原因在于LLMs在面对动态业务环境时的不可预测性。这源于LLMs缺乏最新的、领域特定的知识和实时的上下文意识。企业利用其独特的、公司特定的数据创造定制解决方案，将AI的真正价值体现在于其能够深度连接其业务的各个方面。
Tecton通过整合企业各个领域的全面、实时数据增强了检索增强生成（RAG）应用。这种方法通过向检索到的候选项添加最新的上下文信息，使LLMs能够做出更加知情决策。其结果是在动态环境中具有分秒准确性的超个性化、上下文感知型AI应用。例如，一款电子商务AI可以即时考虑客户的浏览行为、库存水平和当前促销活动，以检索出最相关的产品候选项，显著提高推荐质量和转化率。
通过托管嵌入生成提高生产效率并优化成本
Tecton现在提供了一个全面的嵌入解决方案，用于生成和管理非结构化数据的丰富表示，以供生成式AI应用使用。该服务高效处理将文本转换为能捕捉语义含义的数字向量，从而支持各种下游AI任务。例如，它可以将顾客评论如“产品送货迅速，效果很好！”转换为一个数字向量，其中编码了评论的情绪、主题和关键方面。这些向量表示可以存储在向量数据库中，从而便于在成千上万个这样的评论中进行比较和候选项检索。
Tecton对嵌入的生命周期进行全面管理，从生成到存储再到检索，大大减少了通常与实施RAG架构相关的工程开销。结果，数据科学家和机器学习工程师可以将重点从基础设施管理转移到改进模型性能，最终提高生产力和创新。
Tecton的嵌入服务支持预训练模型和自定义嵌入模型，允许团队使用自己的模型或利用最先进的开源选项。此灵活性加速了生产过程，提高了模型性能，并优化了成本。
利用实时上下文构建超个性化AI应用
Tecton的新功能检索API允许开发者为LLMs访问生成响应时提供的特征。这种集成使LLMs能够访问有关用户行为、交易和运营指标的实时或流式数据，大大提高了它们提供准确、上下文相关响应的能力。
例如，在客户服务应用中，一个LLM可以访问有关顾客最近购买、支持历史和账户状态的最新信息，从而能够提供个性化和准确的帮助。这种功能弥合了LLMs的通用知识与处理真实世界业务场景所需的具体、当前信息之间的差距。结果，企业可以创建真正定制其业务的AI应用，带来更好的客户体验、提高运营效率，从而在市场上获得显著的竞争优势。
设计该API时考虑了企业安全和隐私，确保敏感数据受到保护，只有授权的模型和代理能够访问特定数据。这使企业在保持对其数据的控制的同时利用LLMs的强大功能。
通过动态、版本控制的提示简化AI开发
Tecton的扩展声明性框架现在整合了提示管理，引入了LLM提示的标准化、版本控制和DevOps最佳实践。这一进展解决了LLM应用开发中的一个重大挑战：缺乏系统化提示管理，这对引导LLMs的行为至关重要。
特征与提示之间的紧密集成促进了提示的动态丰富化。Tecton支持对历史数据进行提示测试，并为LLM提供时间正确的上下文，以微调大型语言模型。这确保了不同时间段内的提示有效性，并利用具有历史关联性的数据加强LLM训练，从而实现随着时间的推移的更有效的模型迭代和改进。Dynamic Prompt Management支持版本控制、更改跟踪和必要时的轻松回滚提示。该功能推动了企业范围内的AI实践标准化，加速了开发并确保跨环境的一致性。它促进了最佳实践在提示工程领域的迅速采纳，可能节省数百个开发小时，同时显著降低合规风险。这在保持不同环境（开发、临时、生产）的一致性以及确保在需要进行审计的产业中遵守监管规定时特别有价值。
利用LLMs和自然语言生成功能
Tecton的特征工程框架现在利用LLMs从非结构化文本数据中提取有意义的信息，将其转换为结构化、可用的格式，创建以前很难或不可能生成的新特征。这些由LLMs生成的特征可以增强传统ML模型、深度学习应用或为LLMs本身丰富上下文。这种方法使定性数据处理（LLMs擅长的领域）与定量分析（传统ML仍然至关重要的领域）之间建立了桥梁，从而实现更为复杂的AI应用。
例如，一个电子商务公司现在可以自动分类产品描述、提取关键属性，或从客户评论中生成情感得分。这些由LLMs生成的特征可以用于提高搜索相关性、个性化推荐，或增强客户服务互动。
该框架处理了大规模使用LLMs所涉及的复杂性，包括自动缓存以减少API调用和相关成本，以及速率限制以确保符合API使用限制。这使数据团队可以专注于定义特征逻辑，而不必担心底层基础设施。
引用部分内容
“Tecton的平台扩展对基于AI的协作是一个改变者，”Atlassian的首席工程师Joshua Hansen说。“通过实时利用我们的数据和用户交互，我们可以构建更智能的产品功能和增强团队效率的基于AI的体验。这项技术使我们能够预测用户@提及、改进产品内搜索体验，以及在人员和工作之间建立关联，最终改变团队协作方式。”
“Tecton的平台对于我们加强跨数百万用户的实时欺诈检测和个性化工作起到了关键作用，”Coinbase的ML平台高级软件工程师Joseph McAllister说。“一个能够为所有我们模型提供相关输入信号的单一上下文平台将提高我们所有模型的性能，无论是GenAI还是预测ML。这将推动更为复杂、上下文感知的AI应用，在实时中以规模生成高度准确的响应，并在我们的产品中驱动智能体验。”
“通过这次平台扩展，我们不仅在改进AI性能—我们还在根本上改变企业如何看待AI开发，”Tecton的首席技术官和联合创始人Kevin Stumpf说。“通过为预测ML和生成AI提供统一框架，我们使组织能够利用其业务数据，直接在其应用程序中构建先进的AI功能，全部由一个数据平台支持。”。
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
