02.28 如何从SaaS应用程序中查询和提取数据

几乎每个企业都可以从SaaS数据中获得价值,人们需要了解更有效地集成它的三种方法。

在每一个SaaS应用程序背后,都有存储有关员工、供应商、客户和其他合作伙伴业务信息的数据库。SaaS应用程序支持工作流程,例如用于销售和市场营销的客户关系管理(CRM),用于财务的云计算企业资源计划(ERP),用于人力资源功能的劳动力管理,以及其他企业和部门服务。如今,许多企业使用广泛的SaaS应用程序,从主流产品(如Salesforce、Slack、Workday、Atlassian)到许多规模较小的SaaS工具。

SaaS应用程序不应在孤岛上运行,大多数企业都需要在它们之间以及与在私有云或公共云中管理的其他企业应用程序集成功能。

如果跨多个应用程序的工作流需要应用程序集成,则开发团队可以利用SaaS平台的API触发从一个平台到另一个平台的事件。当许多应用程序和服务需要集成时,可以选择诸如Boomi、SnapLogic或MuleSoft之类的企业集成平台。如果需要遵循IFTTT模式的轻量级集成,则其平台可能会提供足够的集成。如果开发团队正在开发连接到多个SaaS和企业工作流的新应用程序,则他们还应该探索Appian、OutSystems和PowWow等低代码平台。

利用SaaS数据满足不同的业务需求

如果企业需要将SaaS平台中的数据与其他数据源集成在一起怎么办?出于以下原因,可能需要跨SaaS工具进行数据集成:

•业务分析师希望使用数据来开发报告和仪表板。

•数据科学团队希望将数据用于机器学习实验。

•业务团队希望集中数据以支持工作流和其他类型的应用程序。例如,营销团队经常使用客户数据平台或主数据平台来集中有关客户、到产品和其他业务实体的数据。

•IT团队应提取数据进行备份,或允许将数据转换到其他平台。

•法律团队有时需要对基础数据执行法律查询。

•数据管理员经常希望清理、转换或丰富基础数据。

当然,企业可以利用SaaS平台的API提取数据,但这可能需要大量的开发工作来学习API,了解SaaS平台的数据模型,为任何新数据创建数据存储,编写代码以加载数据,并为任何转换开发逻辑。此外,IT团队必须定义云计算或数据中心基础设施来托管此应用程序或服务。最后,任何旨在按计划或按需运行的数据集成都需要持续的支持。从头开发集成对于具有其他更具战略意义的优先事项的开发团队和IT组织而言可能代价高昂。

另一种方法是考虑数据集成、数据流、ETL(提取、转换和加载)或其他数据准备平台。在处理频繁变化的大量数据时,使用数据集成平台可能是最佳方法,因为这些平台支持灵活的提取和转换。然而,在最终用户访问和利用信息之前,它们还需要预先开发集成。

可能需要更轻量级的查询和管理SaaS数据的手段。有时,这些对于快速实验、发现和原型化很有用。在其他时候,这些方法可以轻松地用于运营或生产需求,尤其是在数据量很少且查询吞吐量不重要的情况下。以下是三个选项:

1.直接查询SaaS应用程序的商业智能(BI)平台

如果用户的要求是获得报告,那么许多自助式商业智能(BI)和数据可视化平台都可以直接连接到更流行的SaaS应用程序。

•Tableau可以连接到Intuit Quickbook、Google Analytics、LinkedIn Sales Navigator、ServiceNow、Eloqua、Marketo和Salesforce等平台。

•Microsoft Power BI还与在线服务集成,例如Adobe Analytics、Facebook、GitHub、MailChimp、Stripe、Quick Base和Zendesk。

•Domo声称拥有一千多个连接器,其中包括HubSpot、Jira、Instagram、Qualtrics、Shopify、SurveyMonkey、Twitter和Workday等平台。

至少,这些集成提供了一种查询和发现基础SaaS数据源的简便方法。在最好情况下,现成的集成足以使最终用户创建所需的数据混合、报告和仪表板。

此外还有一些注意事项。

当列具有匹配的键时,这些平台将启用联接和数据混合。如果在集成数据源或将其与其他数据源混合之前需要进行大量数据转换,则它们将变得更难使用。

•审查SaaS数据集成是否通过实时查询执行,或者数据是否被提取或缓存。

•如果SaaS应用程序包含大量数据,如果与许多其他数据源有复杂的连接,或者许多用户将同时使用仪表板,那么性能可能是一个因素。

2.模拟ODBC、JDBC、OData或其他驱动程序的平台

如果业务需要不只是报告和仪表板,并且仍然需要轻量级的集成方法,那么一些商业工具会将SaaS API转换为标准数据库驱动程序,例如ODBC、JDBC或OData。通用SaaS平台的驱动程序的两个选项是Progress DataDirect和CData驱动程序技术。

对于想要在将数据提取到他们的分析之前对SaaS数据库执行临时查询的数据科学团队,驱动程序方法可能最有用。对于需要实时查询SaaS应用程序数据的应用程序开发人员来说,这也是一个不错的选择。

开发和数据科学团队应调查此集成的性能,尤其是在需要大量查询、大型数据集或低延迟的情况下。此外,许多SaaS应用程序会根据API使用情况来限制客户或向客户收费,因此如果需要更高的查询量或数据量,这可能是一个因素。

3. 将SaaS数据同步到云数据库的轻量级ETL平台

最后一个想法是将SaaS应用程序中的数据集成插入到企业设置和管理的云计算数据库中。此策略增加了一些操作复杂性和成本,如果需要实时查询SaaS应用程序数据,则可能不太理想。但它确实有几个优点:

•它提供对业务用户、数据科学家(包括公民数据科学家)和应用程序开发人员使用的数据库平台和数据体系结构的更多控制。平台和体系结构应满足容量、性能和延迟要求。

•独立于SaaS数据库存储数据可提供更大的灵活性,可以根据下游用户和应用程序的需要转换、连接、清理、多维数据集或聚合数据。

•如果用于查询此数据的数据安全性,数据隐私或其他数据治理控件与SaaS应用程序中可用的访问和权利控件不同,则可能需要将数据托管在单独的数据库中。

•独立于SaaS平台托管数据对于满足更高的数据和查询量需求可能更具成本效益。

尽管企业可以使用数据集成或数据准备平台来检测此集成,但是仍有一些SaaS数据集成平台具有可直接连接到许多SaaS应用程序的连接器。如果企业的目标是将数据从SaaS应用程序流式传输到云计算数据库,则是一个即插即用的解决方案。企业可以选择要复制的数据和复制频率,但是它不提供任何用于转换或过滤数据的工具。Skyvia公司提供了类似的产品,并且都具有免费层,让开发团队可以尝试集成。Alooma是谷歌云的一部分,致力于将数据移至Google BigQuery、Amazon Redshift和Snowflake等大数据平台,并提供一些数据转换功能。

如果很多企业使用多种SaaS平台,那么采用“一刀切”的战略可能行不通。每个集成路径都支持不同的SaaS集成,并且集成的类型必须符合预期的业务需求。审查工具并考虑多种选择是最佳实践,尤其是在数据集成需求变化的情况下。


分享到:


相關文章: