虚拟化技术是否正在消除数据孤岛？

在这个信息时代变化迅速的时代，那些能够从数据中获取有价值信息的企业，将能够在日益激烈的市场竞争中保持竞争优势。对于以数据驱动的公司而言，他们更可能深入了解隐藏在海量数据背后的业务和客户情况。这也是智能虚拟化技术努力消除数据孤岛的原因所在。319730数据湖是否是不可避免的趋势？在未来，数据将变得更加多样、动态和分散。许多公司都在试图收集他们的全部数据，然后将这些数据存放在一个数据湖中，以便随时访问。数据湖可以以原始格式保存数据，直到需要进行分析为止。这种做法或多或少还是有道理的。大部分公司都能够承担数据科学家收集、翻译和分析各种类型数据的费用。{公司名称}对数据存储和获取的需求越来越迫切！各个企业都在竞相收集和分析尽可能多的数据，以期在同行中获得哪怕微小的竞争优势。传统的数据湖无法有效地处理新出现的数据源和新建的本地数据库。对于每个查询，都需要匹配用户当前正在使用的数据库，所以用户拥有的数据库越多，就需要使用更多的查询语句。整合不同数据到一个数据湖中很重要，但仍需要人工处理以确保数据易于访问和阅读，这对数据工程师和数据科学家来说是耗时的工作。

数据湖的灵活性不足，不再适用于数据驱动的经济。因此，许多企业正将注意力转向数据虚拟化，以优化其分析和商业智能。业务智能和数据集成正将所有数据连接在一起，使其可以从同一个位置进行读取和访问。并非所有的数据虚拟化都是一样的。

数据虚拟化技术产生了一个软件虚拟层，该层整合了来自不同企业的所有数据。数据无论处于何种格式，储存在哪个筒仓、服务器或云中，都可以转换为一种通用的商业语言，并可通过单一门户访问。在理论上，这使得组织拥有一个共享的数据湖，所有的不同业务单位和业务用户都可以立即访问他们所需的数据。具备快速访问权限，使企业能够基于数据驱动做出共享目的的决策。然而，许多数据虚拟化解决方案并未达到理想的分析效果。这个现象存在几个关键因素：

1. 独占格式

，许多数据虚拟化供应商会将数据合并并转换为一种专有格式。尽管合并可以将数据整合到一个视图中的同一位置，但供应商的专有格式经常将数据简化为最基本的公共格式。

共同底数可能导致一些数据出现偏差，失去特定的功能，甚至在转化过程中丢失。一些数据或许需要在与其原始数据库的环境相关联的情况下使用。因此，用户有可能会依据不准确的数据获取信息，并做出错误的商业决策。2. BI工具不兼容的问题对于企业来说是一项相当大的财务投入。许多大型企业在各个部门都会使用多种不同类型的商业智能工具。举例来说，一个部门可能会采用Tableau，而另一个部门可能会选择使用Microsoft Power BI或者Excel。为了确保大数据分析在企业中充分发挥作用，关键在于确保数据易于发现，并且能够被所有用户访问，无论他们喜欢使用什么样的工具。许多供应商使用的专门数据格式可能与公司现有的技术不兼容。使用不同的工具需要使用不同的查询语言，而且展示数据的方式也各有不同。在整合具有不同定义的数据时，分析过程中可能会出现严重的错误，造成巨大的损失。选择适合的商业智能工具对于最大程度地减少业务中断、提高用户生产力至关重要。随着数据量不断增长和技术的快速发展，查询限制会变得越来越苛刻复杂，这对于处理大规模数据和分析工作负载来说并不理想。随着管理的数据来源增多，就需要更多的数据工程来支持快速、交互式的查询。

的分布式连接并不适合于需要交互式查询的移动大量数据。它给企业基础架构带来了难以预测和不可接受的压力，而对于动态查询环境和当今的数据规模来说，简单的数据缓存已经无法满足需求。在将BI和AI工作负载添加到混合工作负载时，性能会急剧下降，导致最终用户寻找其他直接访问数据的途径，这使得数据虚拟化无法带来优势。

除了上述扩展问题外，传统虚拟化产品在应对分析需求方面的表现也较为欠佳。对于扩展大型且复杂的数据服务，需要对各方面细节有深入了解：包括数据统计、相关数据库、共享资源负载、数据使用者的用例和意图、安全性限制等等。

虚拟化解决方案须为用户呈现数据的整体业务视图，包含层次结构、指标、维度、特性和时间序列。数据虚拟化应该提供哪些功能？大部分数据虚拟化解决方案的发展速度与现今的数据集和数据科学实践有所脱节，仍在依赖传统的数据整合方法和基本的缓存技术。然而，现在还有更多下一代智能数据虚拟化的解决方案，专门为当今复杂且对时间敏感的商务智能需求而设计。如果您的数据虚拟化解决方案未提供这些功能，则表示它缺乏智能。

1. 自主数据工程

永远不可能完美; 但幸运的是，计算机可以。由于现代数据架构的复杂性，人类在应对这一问题时基本上是束手无策的，至少无法以目前的速度继续保持竞争力。数据虚拟化解决方案必须提供自主的数据工程能力，这是其必要性所在。利用自主数据工程，能够根据大量连接和计算结果自动推导出最佳的优化方案，这是人类无法做到的。机器学习（ML）是一种分析公司所有数据的方法，通过检查数据被如何查询和整合到整个组织正在构建的数据模型中来建立模型。

自动化数据工程能够最大限度地节省资金和资源，同时使得数据工程师能够从繁琐的工作中解脱出来，从而有更多的时间去执行对组织更有价值的更加复杂的任务。

2. 通过

智能数据虚拟化，可以自动将数据放入适合的数据库，以提升性能。

存在多种数据类型和不同的数据格式，需要根据具体情况选择最为适合的格式。智能数据虚拟化可自动确定最佳位置，以获得最佳性能，并将数据存放在合适的平台上。各种数据平台都有它们独特的优势。举个例子，假如用户的数据模型和查询涉及时间序列数据，智能数据虚拟化会在数据库中创建一个专门针对时间序列数据进行优化的加速结构。可以自动了解哪种数据库具有哪些优点，然后加以利用，不同数据库类型的差异都能转化为优势。通过

加速结构，可以大幅度降低云计算的运营成本。根据用户所使用的平台，可能会根据数据库的存储空间大小、查询的执行次数、正在处理的数据量、行数、查询复杂度或其他因素来收取费用。举例来说，使用GoogleBigQuery时，费用与数据库的大小和查询的复杂程度成正比。当用户使用自动加速模式进行性能和成本优化时，只对在加速聚合中使用的查询数据收费，而不是对整个数据库的大小。数据建模3.0自动化  。在现代数据虚拟化

，不仅包括数据的转换和访问，还具备智能学习各数据平台的特性和限制。它可以自动识别可用的信息，并在建立模型时将其与其他数据合并和整合。使用智能数据虚拟化可以逆向操作用于生成旧版报表的数据模型和查询，让用户无需重新构建数据模型或查询就能继续使用同样的报表。比如说，用户在先前的系统中建立了一个TPS报告，依然可以在新系统中找到这个报告。

有一些查询可能是基于老数据的，但它们可以直接在新系统上运行，无需做任何修改。

4. 在近年来，支持自助服务的IT的许多领域变得更加“大众化”，也就是说，技术的进步（尤其是云计算）让它们更接近大众。让那些缺乏广泛技术基础的普通人也能够运用这些技术。尽管分析和商业智能的发展滞后于民主化的潮流，但如今BI工具越来越适合普通大众使用。

BI的使用推动了一种新的"自助服务"分析文化的兴起。在这个文化中，业务用户可以直接使用自己喜欢的BI工具访问和分析数据，而无需依赖数据工程师或数据分析人员的帮助。自助数据分析正迅速成为企业优化大数据分析的必要途径。

比如说，假设营销部门保留了关于去年支出的信息，但想要补充使用关于客户行为模式在多领域的数据。亦可考虑由市场营销部门发起一项以客户为中心的宣传活动，旨在吸引那些可能最有意更换供应商的公司。通过自助服务分析，销售或营销部门的业务用户能够获取这些数据，并使用适当的工具来查询这些数据。自主分析得到广泛应用，不再依赖训练有素的数据工程师为商业智能工具获取数据，也不再需要数据科学家来进行建模和预测。借助自助服务的技术，组织中的各个部门都可以把自己的经验和专业知识应用于商业智能，实现更大的便利。

智能数据虚拟化技术提供了一个业务逻辑层，能够将所有数据转换成一种通用业务语言，不受数据源和工具的限制。拥有逻辑层，就意味着业务用户可以运用他们喜欢的任何BI工具进行操作，无需局限于BI软件的唯一标准。无论用户使用何种工具或使用多少工具，所有数据均可访问，并且所有查询结果均将保持一致。标准和逻辑的阐释使企业具备分享数据智能和自助服务文化的能力，而在现今数据驱动的商业环境中，这种文化变得越来越重要。

5. 在追求数据个性化的过程中，无论是便捷性和经济效益如何，都不可牺牲安全与合规性。

众所周知，虚拟化层可能存在安全隐患。然而，通过采用下一代智能数据虚拟化技术，数据将继承所有数据库的安全和治理方针。透明的管理过程意味着用户的权限和策略不会改变。

通过追踪数据的来源和用户身份，将所有现有的安全和隐私信息归档到各个用户账户中。即使在使用具有不同安全政策的多个数据库时，这些政策也可以无缝合并，并自动应用于全局安全和遵守协议。使用智能数据虚拟化后，无需采取其他措施来保证安全和合规性。数据虚拟化的发展应与其他IT部门同步

对企业来说，拥有个性化数据和可读、可访问、可信赖的数据同等关键，然而目前许多公司都遇到大数据困境。数据中不断添加着越来越多动态和多样化的分布式模型，用来应对各种不同情景和需求。当用户无法迅速找到和分析所需数据，并确保其准确性和时效性时，商业智能的质量会降低，因此基于数据的决策可能会受到影响。因此，数据虚拟化需要不断发展，以应对新的挑战和复杂性，以便真正实现在大数据分析中的应用。如果数据虚拟化解決方案無法提供獨立的數據工程，加快結構，如自動數據建模，自助服務分析，就會存在問題。用户需要的是在使用平台时能够享有无忧的安全和合规保障，以及具备多层语义维度的语言支持。假如没有这些步骤，数据虚拟化解决方案就肯定不够智能。xnpnnnpx