轻松探索数据：在 Amazon SageMaker Studio JupyterLab 笔记本中使用

• 2026-01-27 14:48:51

轻松探索数据：使用 SQL 和文本到 SQL 在 Amazon SageMaker Studio JupyterLab 笔记本中

关键要点

内置 SQL 支持：Amazon SageMaker Studio JupyterLab 笔记本现在提供内置的 SQL 支持，允许数据科学家直接在笔记本中连接并查询各种数据源。多数据源连接：支持与多个流行的数据服务连接，包括 Amazon Athena、Amazon Redshift 和 Snowflake。文本到 SQL 功能：通过先进的大型语言模型 (LLM)，用户可以使用自然语言生成复杂的 SQL 查询，提升工作效率。

Amazon SageMaker Studio 提供了一个完全托管的解决方案，数据科学家可以通过它交互式地构建、训练和部署机器学习 (ML) 模型。在进行 ML 任务的过程中，数据科学家通常会首先发现相关的数据源并进行连接，然后使用 SQL 来探索、分析、可视化和整合数据，以便在其 ML 训练和推理中使用。以前，数据科学家们常常需要处理多种工具来支持 SQL，这降低了生产力。

我们很高兴地宣布，SageMaker Studio 中的 JupyterLab 笔记本现在内置了 SQL 支持。数据科学家可以通过以下方式工作：

直接在笔记本中连接流行的数据服务，包括 Amazon Athena、Amazon Redshift、Amazon DataZone 和 Snowflake。在笔记本界面中浏览和搜索数据库、模式、表和视图，并预览数据。在同一笔记本中混合使用 SQL 和 Python 代码，以高效地探索和转换数据，支持 ML 项目。利用开发者生产力功能，例如 SQL 命令补全、代码格式化和语法高亮，帮助加速代码开发，提高整体开发者生产力。

此外，管理员可以安全地管理与这些数据服务的连接，允许数据科学家在不需要手动管理凭证的情况下访问授权的数据。

在这篇文章中，我们将指导你如何在 SageMaker Studio 中设置此功能，并介绍该功能的各种功能。接着，我们展示如何利用先进的大型语言模型 (LLM) 提供的文本到 SQL 功能，通过自然语言文本作为输入撰写复杂的 SQL 查询。最后，为了使更多用户能够在笔记本中从自然语言输入生成 SQL 查询，我们将展示如何使用 Amazon SageMaker 端点部署这些文本到 SQL 模型。

解决方案概述

通过 SageMaker Studio JupyterLab 笔记本的 SQL 集成，你现在可以连接到流行的数据源，如 Snowflake、Athena、Amazon Redshift 和 Amazon DataZone。这个新特性使你能够执行各种功能。

例如，你可以直接从 JupyterLab 生态系统中可视化地探索数据库、表和模式。如果你的笔记本环境运行在 SageMaker 分发 16 或更高版本，请在 JupyterLab 界面的左侧查找新的小部件。此新增功能增强了开发环境中的数据访问和管理。

银河vnp

如果你当前不在建议的 SageMaker 分发 (15 或更低) 或在自定义环境中，请参阅附录以获取更多信息。

设置连接后在下一节中说明，你可以列出数据连接、浏览数据库和表，检查模式。

SageMaker Studio JupyterLab 内置的 SQL 扩展还使你能够直接从笔记本运行 SQL 查询。Jupyter 笔记本可以通过 smsql 魔法命令区分 SQL 和 Python 代码，该命令必须放在包含 SQL 代码的单元格顶部。此命令通知 JupyterLab 下列指令为 SQL 命令，而非 Python 代码。查询的输出可以直接显示在笔记本中，这使得 SQL 和 Python 工作流在数据分析中的集成变得更为顺畅。

查询的输出还可以以 HTML 表的形式可视化显示，如下图所示：

它们也可以写入一个 pandas DataFrame 中。

前提条件

为了使用 SageMaker Studio 笔记本 SQL 功能，确保满足以下前提条件：

SageMaker Studio V2 确保你正在运行最新版本的 SageMaker Studio 域和用户配置文件。如果你目前在 SageMaker Studio Classic，请参见 从 Amazon SageMaker Studio Classic 迁移。IAM 角色 SageMaker 需要将一个 AWS 身份和访问管理 (IAM) 角色分配给 SageMaker Studio 域或用户配置文件以有效管理权限。可能需要更新执行角色以引入数据浏览和 SQL 运行功能。以下是示例策略，允许用户授权、列出和运行 AWS Glue、Athena、Amazon 简单存储服务 (Amazon S3)、AWS Secrets Manager 和 Amazon Redshift 资源：

json{ Version 20121017 Statement [ { Sid SQLRelatedS3Permissions Effect Allow Action [ s3ListBucket s3GetObject s3GetBucketLocation s3ListMultipartUploadParts s3AbortMultipartUpload s3PutObject ] Resource [ arnawss3sagemaker/ arnawss3sagemaker ] } ]}

JupyterLab Space 你需要访问更新的 SageMaker Studio 和 JupyterLab Space，支持 SageMaker Distribution v16 或更高版本。如果你使用自定义镜像或较旧的 SageMaker Distribution 版本 (v15 或更低)，请参阅附录了解如何安装必要的软件包和模块以启用该功能。想要了解更多关于 SageMaker Studio JupyterLab Spaces 的信息，请参见 提升在 Amazon SageMaker Studio 上的生产力：介绍 JupyterLab Spaces 和生成 AI 工具。

数据源访问凭证 此 SageMaker Studio 笔记本功能需要对数据源例如 Snowflake 和 Amazon Redshift具有用户名和密码访问权限。如果你尚未拥有此权限，需为这些数据源创建用户名和密码。当前不支持基于 OAuth 的 Snowflake 访问。

加载 SQL 魔法 在你从 Jupyter 笔记本单元格运行 SQL 查询之前，务必加载 SQL 魔法扩展。使用命令 loadext amazonsagemakersqlmagic 来启用此功能。此外，你可以运行 smsql 命令查看支持 SQL 单元查询的完整选项列表，包括设置默认查询限制为 1000、运行完全提取和注入查询参数等。这一设置允许在笔记本环境中直接灵活高效地进行 SQL 数据操作。

创建数据库连接

SageMaker Studio 的内置 SQL 浏览和执行功能得到了 AWS Glue 连接的增强。AWS Glue 连接是一个 AWS Glue 数据目录对象，存储特定数据存储所需的重要数据，例如登录凭证、URI 字符串和虚拟私有云 (VPC) 信息。这些连接被 AWS Glue 爬虫、作业和开发端点用来访问各种类型的数据存储。你可以将这些连接用于源数据和目标数据，甚至可以在多个爬虫或提取、转换和加载 (ETL) 作业中重用相同的连接。

要在 SageMaker Studio 的左侧窗格中探索 SQL 数据源，首先需要创建 AWS Glue 连接对象。这些连接使你能够访问不同的数据源，并允许你探索其架构数据元素。

在后续部分中，我们将逐步介绍如何创建 SQL 特定的 AWS Glue 连接器。这将使你能够访问、查看和探索各种数据存储中的数据集。有关 AWS Glue 连接的详细信息，请参见 连接到数据。

创建 AWS Glue 连接

将数据源引入 SageMaker Studio 的唯一方法是使用 AWS Glue 连接。你需要使用特定连接类型创建 AWS Glue 连接。截止目前，仅支持通过 AWS 命令行接口 (AWS CLI) 创建这些连接。

连接定义 JSON 文件

在连接不同数据源到 AWS Glue 时，必须先创建一个定义连接属性的 JSON 文件，即 连接定义文件。该文件对于建立 AWS Glue 连接至关重要，需详细列出访问数据源所需的所有配置信息。为了安全最佳实践，建议使用 Secrets Manager 安全地存储敏感信息，例如密码。同时，其他连接属性可以通过 AWS Glue 连接直接管理。这种方法可以保护敏感凭据，同时仍然使连接配置可访问和可管理。

以下是连接定义 JSON 的示例：

json{ ConnectionInput { Name ltGLUECONNECTIONNAMEgt Description ltGLUECONNECTIONDESCRIPTIONgt ConnectionType REDSHIFT SNOWFLAKE ATHENA ConnectionProperties { PythonProperties {awssecretarn ltSECRETARNgt database ltgt} } }}

在为数据源设置 AWS Glue 连接时，有几个重要的准则需要遵循，以提供功能性和安全性：

字符串化属性 在 PythonProperties 项下，确保所有属性为 字符串化键值对。在必要时需要正确转义双引号，使用反斜杠 () 字符。这样可以确保格式正确，避免 JSON 中的语法错误。处理敏感信息 尽管可以将所有连接属性包含在 PythonProperties 中，但建议不要直接包含密码等敏感细节。在处理敏感信息时，最好使用 Secrets Manager。这一策略确保敏感数据在受控和加密的环境中存储，远离主要配置文件，以增强安全性。使用 AWS CLI 创建 AWS Glue 连接

在你将所有必需字段包含在连接定义 JSON 文件中后，准备好使用 AWS CLI 和以下命令为你的数据源建立 AWS Glue 连接：

shaws region ltREGIONgt glue createconnection cliinputjson file///path/to/file/connection/definition/filejson

此命令基于 JSON 文件中的规范启动一个新的 AWS Glue 连接。命令组件的快速分解如下：

region 指定要在其创建 AWS Glue 连接的 AWS 区域。选择数据源和其他服务所在的区域至关重要，以减少延迟并符合数据驻留要求。cliinputjson file///path/to/file/connection/definition/filejson 此参数指示 AWS CLI 从本地文件中读取输入配置，该文件包含你的连接定义，以 JSON 格式呈现。

你应该能够使用上述 AWS CLI 命令从你的 Studio JupyterLab 终端创建 AWS Glue 连接。在 文件 菜单中，选择 新建 及 终端。

如果 createconnection 命令成功运行，你应该在 SQL 浏览 pane 中看到你的数据源。如果未看到你的数据源列表，请选择 刷新 以更新缓存。

创建 Snowflake 连接

在此部分，我们专注于将 Snowflake 数据源与 SageMaker Studio 集成。创建 Snowflake 帐户、数据库和仓库超出了本帖的范围。要开始使用 Snowflake，请参见 Snowflake 用户指南。在此帖子中，我们重点讨论如何创建 Snowflake 定义 JSON 文件并使用 AWS Glue 建立 Snowflake 数据源连接。

创建 Secrets Manager 密钥

通过用户 ID 和密码或使用私钥连接到你的 Snowflake 帐户。要使用用户 ID 和密码连接，需要在 Secrets Manager 中安全存储你的凭证。如前所述，虽然可以在 PythonProperties 中嵌入此信息，但不建议以明文形式存储敏感信息。始终确保安全处理敏感数据，以避免潜在的安全风险。

在 Secrets Manager 中存储信息，完成以下步骤：

在 Secrets Manager 控制台，选择 存储新秘密。对于 秘密类型，选择 其他类型的秘密。对于键值对，选择 明文 并输入以下内容：

json{ user TestUser password MyTestPassword account AWSSAGEMAKERTEST}

为你的秘密输入一个名称，例如 smsqlsnowflakesecret。将其他设置保持为默认值，或根据需要自定义。创建秘密。为 Snowflake 创建 AWS Glue 连接

如前所述，AWS Glue 连接是访问 SageMaker Studio 中的任何连接的关键。可以在 这里查找所有支持的 Snowflake 连接属性。以下是 Snowflake 的示例连接定义 JSON。在保存到磁盘之前，将占位符值替换为适当的值：

json{ ConnectionInput { Name SnowflakeAirlinesDataset Description SageMakerSnowflake Airlines Dataset ConnectionType SNOWFLAKE ConnectionProperties { PythonProperties {awssecretarn arnawssecretsmanagerltregiongtltaccountgtsecretsmsqlsnowflakesecret database SAGEMAKERDEMODATABASE1} } }}

要为 Snowflake 数据源创建 AWS Glue 连接对象，请使用以下命令：

shaws region ltREGIONgt glue createconnection cliinputjson file///path/to/file/snowflake/definition/filejson

此命令在 SQL 浏览 pane 中创建新的 Snowflake 数据源连接，你可以在 JupyterLab 笔记本单元格中浏览和运行 SQL 查询。

创建 Amazon Redshift 连接

Amazon Redshift 是一个完全托管的 PB 规模数据仓库服务，简化并降低使用标准 SQL 分析所有数据的成本。创建 Amazon Redshift 连接的程序与 Snowflake 连接非常相似。

创建 Secrets Manager 密钥

与 Snowflake 设置类似，要使用用户 ID 和密码连接到 Amazon Redshift，需要在 Secrets Manager 中安全存储秘密信息。按照以下步骤操作：

在 Secrets Manager 控制台，选择 存储新秘密。对于 秘密类型，选择 Amazon Redshift 集群凭证。输入用于登录访问 Amazon Redshift 数据源的凭证。选择与秘密相关联的 Redshift 集群。为秘密输入名称，例如 smsqlredshiftsecret。将其他设置保持为默认值，或根据需要自定义。创建秘密。

通过这些步骤，确保你处理连接凭据的安全，同时利用 AWS 的高级安全功能有效管理敏感数据。

为 Amazon Redshift 创建 AWS Glue 连接

要使用 JSON 定义设置与 Amazon Redshift 的连接，请填充必要字段并将以下 JSON 配置保存