谷歌发布BigQuery Omni服务

在Google Cloud Next 2020虚拟活动上,Google 宣布了 BigQuery Omni,它是基于BigQuery的多云扩展服务,可以在AWS和Azure中运行。

BigQuery是可在Google Cloud上使用的托管无服务器数据仓库。继App Engine之后,BigQuery是Google最早提供的托管云服务之一。BigQuery于2010年推出,是公共云中最受欢迎的云数据仓库平台,它是Google Cloud产品组合中增长最快的服务之一。

BigQuery可以从各种数据源(例如BigTable,Cloud Storage,Google Drive和Cloud SQL)中加载数据。它支持流行的数据格式,包括Avro,CSV,JSON,Apache ORC和Apache Parquet。

在过去的十年中,BigQuery不断发展以满足客户的需求。它已成为构建在Google Cloud中运行的数据驱动和基于分析的应用程序的基础。客户可以执行与复杂的机器学习算法集成的标准SQL查询,以对现有数据集执行预测和分类。通过关联工作表功能,Google表格可以成为分析BigQuery中存储的数十亿行数据的前端。

通过收购Looker,Google通过分析和可视化工具对BigQuery进行了补充,以构建功能强大的仪表板。

BigQuery和Looker的组合是具有Amazon QuickSight的Amazon Redshift和具有Microsoft Power BI的Azure Synapse Analytics的可行替代方案。

什么是BigQuery Omni?

BigQuery Omni将BigQuery功能的子集引入AWS和Azure(即将推出)。它使客户可以使用熟悉的用户体验和BigQuery API,而无需将数据明确移至Google Cloud。

由于它的出色性能和速度,很多客户已经在BigQuery上标准化了其数据仓库。即使工作负载在其他云环境中运行,它们也会将数据虹吸到Google Cloud中,最终将其加载到BigQuery中进行分析。我们已经看到许多在AWS和Azure上运行的SaaS播放器将其点击流数据、日志、事务数据和遥测数据从各种来源提取到BigQuery,以运行分析。

将数据从其他云环境迁移到Google Cloud的成本很高。例如,AWS收费为$ 0.09 / GB,而Azure收费为$ 0.087 / GB。在AWS上运行但将数据摄取到Google Cloud的电子商务门户将不得不在数据传输上花费大量资金。

除了出站数据传输成本外,在云平台之间移动数据还涉及延迟。客户必须等待数据移入Google Cloud,然后再将其加载到BigQuery中,然后再执行分析。

BigQuery Omni解决了这两个挑战: 数据传输成本和延迟。从本质上讲,它使计算更接近数据,而不是将数据移动到计算中。AWS和Azure客户可以立即使用在与工作负载相同的区域,可用性区域和虚拟网络中运行的BigQuery实例。

借助BigQuery Omni,客户可以使用Amazon S3存储bucket或Azure存储容器来收集数据并进行遥测,以提取和分析数据,而不必将数据移出他们的环境。BigQuery Omni的查询结果可以保存在本地存储帐户中,而不会出现跨云移动。

由于Looker始终支持AWS和Azure,因此它仍然是BigQuery Omni的可视化工具。

BigQuery Omni提供灵活性,成本优势和速度,同时确保符合数据本地性和数据主权政策。更重要的是,它为客户提供了云数据仓库和分析工具的选择。

由于BigQuery Omni处于测试阶段,因此Google并未分享太多细节。但是,很明显,该服务仅支持在Google Cloud中运行的BigQuery提供的功能的子集。


分享到:


相關文章: