至顶网

网站导航

微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

随着愈发强调AI技术的重要意义再配合其作为工具供应商的角色定位,微软公司此次在传统程序员之外、决定面向数据科学家开发工具的决策可谓毫不令人意外。

微软计划利用即将推出的“Pendleton”工具从数据中提取有价值信息

根据微软研究部门在今年早些时候发布的声明,数据科学家们目前将80%的工作时间用于数据的信息提取与清理工作——即“数据清洗”。微软公司希望帮助其解决这一难题。

Pendleton项目由此诞生。

一年之前,我第一次听说微软公司正在开发一款代号为Pendleton项目的新型机器学习相关工具。不过在此之后,由于缺少充分的背景信息,我们一直无法对Pendleton作出深入解析。

不过根据最近发布的Pendleton“入门介绍”文档,我们得知Pendleton项目在微软心目中的具体定位:

“Pendleton项目提供一套灵活且具备可扩展性的工具集,旨在帮助您探索、发现、理解数据内容并修复其中的问题。其允许用户以多种形式实现数据消费,并将数据转换为更适合您实际用例的新形式。”

Pendleton是一款客户端应用,面向Windows与OS X/MacOS平台。其运行时利用Python设计,且依赖于多种Python库。

根据一位知情人士的说明,Pendleton项目是一款面向数据科学家的工具,专门用于进行数据筹备与清理。该工具能够实现错误列删除、列格式更改以及丢失数据处理等。另外,其还提供各类分析工具,可帮助数据科学家获取数据集中包含的具体内容。Pendleton项目可以从SQL Server、Azure Blob以及数据湖当中读取数据,亦可与本地PC文件内读取信息。

微软公司已经在内部对Pendleton项目测试了近一年时间——实际周期可能更长。我还没有听说软件巨头打算如何发布这款工具,但似乎其确实在酝酿相关计划。

在我看来,微软研究部门的PROSE(即项目综合使用示例)团队可能负责为Pendleton项目“开发数据清洗的项目综合技术,并将其纳入实际产品”,或者说至少有参与其中。

与此同时,在数据科学与大数据集方面,微软公司与Facebook则于今天公布了其共同开发的新型模型格式,其可确保各类深度学习模型在不同框架之间实现往来转移。

这项新标准被称为开放神经网络交换(简称ONNX),其允许开发人员在微软Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之间将模型往来迁移。ONNX代码的初始版本及相关说明文档目前已经以开源项目形式公布在GitHub之上。

科技行者 每条内容都是头条的新闻客户端 APP下载
即将跳转至电脑版页面您确认跳转吗?
取消 跳转