商业智能与机器学习
Posted: Sun Jan 26, 2025 3:10 am
使用 Redshift，您可以混合搭配节点来找到性能和价格的完美平衡。
BigQuery 的定价 模式完全不同，并且略有争议。
“使用 BigQuery，您可以按查询付费，而不是按小时付费。”
您无需按小时付费，而是按每个查询付费。
根据您的业务，BigQuery 定价模式要么是巨大的优势，要么是潜在的灾难。
如果您使用数据仓库进行业务分析（每天运行数十甚至数百个查询），BigQuery 成本很快就会失控。
但是，如果您仅偶尔运行查询（例如在机器学习研究期间），BigQuery 的定价模型就非常适合您。
您还可以通过插槽预先支付 BigQuery 处理能力费用。在这种定价模式下，您每月支付固定数量的处理能力费用。
Redshift 和 BigQuery 的定价也因地区而异。
从源到 Redshift 和 Snowflake 的无忧复制
商业智能和机器学习是数据仓库最常见的两种用例。从定价角度来看，Redshift 在 BI 部门具有明显优势。它的按小时使用量定价模型迎合了查询频繁的用户。
从定价角度来看，Redshift 在 BI 部门具有明显优势。其按小时计费的定价模式迎合了查询频繁的用户。
例如，如果您像 99Designs一样 需要实时业务分析仪表板，那么 Redshift 就是适合您的仓库。
对于机器学习用例，BigQuery 的优势更加明显。BigQuery 的 ML Engine 和 Redshift Sagemaker 在机器学习和数据科学应用方面展开了激烈较量。
以下是Quora 上 Ashish Awasthi对 ML Engine 和 Sagemaker 的精彩比较：
“AWS 和 Google Cloud 都针对‘使用自己的数据训练自定义模型’用例提供了以下机器学习服务：
Jupyter 笔记本，后端在云虚拟机上运行，预装了机器学习框架和云服务客户端。
托管模型训练和超参数优化服务，可远程提交训练作业。可在云提供的 UI 上监控作业。
用于推理的模型存储库和可扩展的模型托管服务。
内置算法（模型架构、参数调 美国海外华人电话号码数据 整和数据增强）仅使用数据来训练您的模型。
Google 云将服务 1（如上所列）称为“ DataLab ”，服务 2 和 3 称为“ ML Engine ”，服务 4 称为“ AutoML ”。AWS 以SageMaker名称运行所有这些服务。
但还是存在一些差异。
对于上面列表中的托管训练（用例 2），ML 引擎仅支持 Tensorflow、scikit-learn、PyTorch 和 XGBoost 框架。在 SageMaker 上，您也可以使用 MXNet、Chainer 和 SparkML。
在 ML 引擎中，您可以使用“tf.data”（内部使用无服务器 Dataflow 框架）在模型执行代码中将数据聚合作为数据预处理的一部分。在 SageMaker 中，需要外部 Spark 作业来执行此操作。
您可以在 ML 引擎上获得 Tensorflow 的新版本，比在 SageMaker 上获得新版本早几周。
BigQuery 的定价 模式完全不同，并且略有争议。
“使用 BigQuery，您可以按查询付费，而不是按小时付费。”
您无需按小时付费，而是按每个查询付费。
根据您的业务，BigQuery 定价模式要么是巨大的优势，要么是潜在的灾难。
如果您使用数据仓库进行业务分析（每天运行数十甚至数百个查询），BigQuery 成本很快就会失控。
但是，如果您仅偶尔运行查询（例如在机器学习研究期间），BigQuery 的定价模型就非常适合您。
您还可以通过插槽预先支付 BigQuery 处理能力费用。在这种定价模式下，您每月支付固定数量的处理能力费用。
Redshift 和 BigQuery 的定价也因地区而异。
从源到 Redshift 和 Snowflake 的无忧复制
商业智能和机器学习是数据仓库最常见的两种用例。从定价角度来看，Redshift 在 BI 部门具有明显优势。它的按小时使用量定价模型迎合了查询频繁的用户。
从定价角度来看，Redshift 在 BI 部门具有明显优势。其按小时计费的定价模式迎合了查询频繁的用户。
例如，如果您像 99Designs一样 需要实时业务分析仪表板，那么 Redshift 就是适合您的仓库。
对于机器学习用例，BigQuery 的优势更加明显。BigQuery 的 ML Engine 和 Redshift Sagemaker 在机器学习和数据科学应用方面展开了激烈较量。
以下是Quora 上 Ashish Awasthi对 ML Engine 和 Sagemaker 的精彩比较：
“AWS 和 Google Cloud 都针对‘使用自己的数据训练自定义模型’用例提供了以下机器学习服务：
Jupyter 笔记本，后端在云虚拟机上运行，预装了机器学习框架和云服务客户端。
托管模型训练和超参数优化服务，可远程提交训练作业。可在云提供的 UI 上监控作业。
用于推理的模型存储库和可扩展的模型托管服务。
内置算法（模型架构、参数调 美国海外华人电话号码数据 整和数据增强）仅使用数据来训练您的模型。
Google 云将服务 1（如上所列）称为“ DataLab ”，服务 2 和 3 称为“ ML Engine ”，服务 4 称为“ AutoML ”。AWS 以SageMaker名称运行所有这些服务。
但还是存在一些差异。
对于上面列表中的托管训练（用例 2），ML 引擎仅支持 Tensorflow、scikit-learn、PyTorch 和 XGBoost 框架。在 SageMaker 上，您也可以使用 MXNet、Chainer 和 SparkML。
在 ML 引擎中，您可以使用“tf.data”（内部使用无服务器 Dataflow 框架）在模型执行代码中将数据聚合作为数据预处理的一部分。在 SageMaker 中，需要外部 Spark 作业来执行此操作。
您可以在 ML 引擎上获得 Tensorflow 的新版本，比在 SageMaker 上获得新版本早几周。