达索系统3DEXPERIENCE平台数据科学解决方案助力企业精准数...

寂静回声

在当今数字化世界中，数据科学扮演着至关重要的角色。其主要目标是从海量数据中提炼出有用信息，帮助决策者做出更加明智的选择。数据可以大致分为两类：结构化数据（如数据库表格数据）和非结构化数据（如文本、图像、视频等）。通常情况下，结构化数据可以被规范化地管理和处理，但企业往往需要人工干预来处理非结构化数据。

在这一背景下，达索系统3DEXPERIENCE平台推出了一项名为 “协作数据智能”云平台解决方案的技术创新。通过引入数据科学家和数据语言专家，结合机器学习和人工智能技术来处理非结构化数据。这一技术的应用使得企业能够更加自动化地处理非结构化数据，从而提供更高效、更精准的数据分析和决策支持。



在数据科学领域的研究中，达索系统专注于两个核心方面。首先是数据透视，涵盖了项目智能、变更智能、问题智能、成本智能、分类智能等数据分析方法，以深度数据研究解决业务挑战。然而，如果现有数据透视方法无法解决特定客户挑战，可通过协作数据智能协同各环节，提供更全面解决方案。这种协作数据智能通过云端部署实现，而数据透视可选择本地或云端部署，为数据科学研究提供更灵活、高效的解决方案。

数据导入：将数据导入系统并使用类和属性视图了解数据结构和关系。

一致性检查：进行本体一致性检查确保数据规定符合。

发布与关键字设置：发布符合规定的数据到数据管理系统并设置关键字，若数据不完整可重新编辑属性并重新发布。

创建数据存储：基于发布数据创建数据存储。

数据查看：搜索并查看数据追溯谱系，可视化数据起源、活动和演变。

协同工作：设置数据访问权限，与他人合作解决数据问题。

数据入库：将数据集添加到数据目录中供数据科学家和分析师使用。

选择数据：选择需要用于机器学习的数据文件。

确定方法：选择预定义的分类或回归方法。

训练模型：通过数据管道提供表格数据集来训练模型。

评估性能：评估模型的有效性和性能，查看关键指标如混淆矩阵、准确性、精确性、召回率、ROC曲线等。

比较模型：使用不同设置测试多个模型，比较各个版本，找出最佳模型。

发布模型：发布经过验证的模型和程序供推理使用。

数据语言学家的主要工作是处理非结构化数据并提供有用的结构化信息。通过Text Intelligence Studio应用程序，数据语言学家可以完成以下工作：

配置语义分析器和分类方法：设置一个工具用来提取文本中的关键信息，比如名称和位置。

注释文档：通过定义概念树和自动注释技术，自动为文档添加关键概念注释。

分类文档：根据定义的分类法、元数据和自动分类算法，创建分类树并对数据进行分类，方便后续分析。

验证相关性：通过加粗关键字显示文本的语义注释，验证从文本中提取的关键见解是否准确。

下面以航空公司事件来介绍数据工程师的工作内容：

理解需求：了解新需求，即创建与航空公司事件相关的新数据存储。

配置索引单元：检索本体类和属性，配置索引单元，并根据需要添加特定属性。

创建数据注入管道：建立数据注入管道，用于填充新的数据存储，并测试连接数据源的有效性。

处理日期数据：添加日期格式处理程序，以便正确处理日期类型的数据。

选择索引存储：选择适当的索引存储来存储数据。

通知数据分析师：通知数据分析师新的数据已准备就绪，可以开始进行分析工作。

数据分析师在完成数据集创建后，会进行以下工作：

查询数据：利用统一的查询系统对数据进行查询，并直接预览数据。

转换数据：根据数据格式，使用运算符或高级表达式语言对数据进行转换。

创建仪表板：制作高级仪表板，包括各种布局和多样数据可视化，结合虚拟孪生技术进行交互。

提供数据透视图：为数据消费者提供易于理解的数据透视图，展示数据分析的结果。

达索系统数据科学协作数据智能领域中涉及的六个关键角色分别是数据管理员、数据科学家、数据语言专家、数据工程师、数据分析师和数据消费者。他们各自在数据的管理、分析和利用过程中发挥着重要作用。



数据管理员负责组织和管理公司的数据，确保数据的一致性和准确性；数据科学家利用人工智能技术从数据中学习，制定预测和规划；数据语言专家负责构建和丰富分类法，从非结构化文本数据中提取语义信息；数据工程师负责收集、准备和处理数据集，确保数据的质量和可用性；数据分析师使用强大的查询系统和数据可视化工具对数据进行分析和探索；数据消费者则是最终的数据使用者，通过与数据交互，做出最佳决策来解决业务挑战。
本文通过角色维度介绍了达索系统在数据科学领域的协作数据智能云解决方案。协作数据智能主要在云端部署，为数据科学带来便捷和高效。在云端环境中，数据处理和分析更易管理和扩展，提供强大的计算资源和工具支持，加速机器学习模型训练和文本数据处理。数据可视化和协作工具也更直观和便捷，有助于发现数据模式和支持决策。通过云端部署，数据科学家、数据语言专家、数据工程师、数据分析师和数据消费者可以更好地协作和创新，推动数据科学领域的发展和应用。