3 842 523 375

3 842 523 375 

一般来说，特征工程是一个漫长的人工过程，依赖于领域知识、直觉及数据操作。这一过程是极其单调的，而且 终的特征结果会受人的主观性和时间所限制。自动特征工程旨在帮助数据科学家基于数据集自动地构造候选特征，并从中挑选出 适合于训练的特征。

特征工程基础知识

特征工程意味着基于现有数据构造额外的特征，这些待分析的数据往往分布在多张相关联的表中。特征工程需要从数据中提取信息，然后将其整合成一张单独的表用来训练机器学习模型。

特征构造是一个非常耗时的过程，因为每个新特征都需要经过几个步骤去构造，特别是那些需要用到多张表信息的特征。我们可以把这些特征构造的操作合起来，分成两个类：“转换（transformation）”和“聚合（aggregation）”。下面我们通过几个例子来理解一下这些概念。

“转换”适用于单张表格，这个环节基于一个或多个现有数据列构造新的特征。例如，现在我们有下面这张客户数据表：

我们可以通过查找 joined 列的月份或对 ie 列取自然对数来构造新特征。这些都属于“转换”操作，因为它们都只用了来自一张表的信息。

3 842 523 375 

另一方面，“聚合”是需要进行跨表操作的，并且要基于一对多的关系来把观测值分组，然后进行数据统计。例如，如果我们有另一张关于客户贷款信息的表格，其中每位客户可能有多笔贷款，那么我们就可以计算每位客户贷款额的平均值、 大值和 小值等统计量了。

这一过程包括根据不同用户对贷款数据表进行分组，计算聚合后的统计量，然后把结果整合到客户数据中。以下是我们在 Python 中用 Pandas 执行此过程的代码：

import pandas as pd# Group loans by client id and calculate mean, max, min of loansstats = loans.groupby('client_id')['loan_amount'].agg(['mean', 'max', 'min'])stats.columns = ['mean_loan_amount', 'max_loan_amount', 'min_loan_amount']# Merge with the clients dataframestats = clients.merge(stats, left_on = 'client_id', right_index=True, how = 'left')stats.head(10)

这些操作本身并不难，但如果我们有上百个变量，它们分布在几十张表中，若要手动完成这一过程就比较困难了。理想情况下，我们想找到一个解决方案，可以自动执行多个表的转换和聚合，并将结果数据整合到一张表中。虽然 Pandas 是非常棒的资源，但需要我们手动完成的数据操作工作量仍非常巨大！

▌特征工具（Featuretools）

幸运的是，特征工具正是我们在找的解决方案。这个开源的 Python 库可以基于一组相关的表自动创建特征。特征工具以“深度特征合成（Deep Feature Synthesis，简称 DFS）”为基础，这个方法听起来比它本身要 很多（之所以叫“深度特征合成”，不是因为使用了深度学习，而是叠加了多重特征）。

深度特征合成叠加了多重转换和聚合操作，这在特征工具词库中被称作特征基元 (feature primitives)，用于通过多张表的数据来构造特征。和机器学习中的大多数方法一样，这是一个以简单概念为基础的复杂方法。通过每次学习一个构造块，我们就可以很好地理解这个强大的方法。

3 842 523 375