5.3 自动特征生成与选择

下面将使用tsfresh包演示如何进行自动特征生成和特征选择

from tsfresh.examples.robot_execution_failures import download_robot_execution_failures,load_robot_execution_failures
from tsfresh import extract_features,select_features
import pandas as pd

下一步需要注意，由于国内网络的限制，直接运行时会导致连接失败，此时有两个办法 1）在该地址 https://github.com/MaxBenChrist/robot-failure-dataset 手动下载lp1.data 2）在网站https://www.ipaddress.com 输入https://raw.githubusercontent.com 的真实ip，然后在C:\Windows\System32\drivers\etc下的hosts文件中添加类似这样的几行185.199.108.133 raw.githubusercontent.com

download_robot_execution_failures() #下载数据
timeseries, y = load_robot_execution_failures() # 加载数据

timeseries.columns #该数据集包含8列，其中id表明类别id，time为时间轴，其他6列为不同维度的时间序列值

Index(['id', 'time', 'F_x', 'F_y', 'F_z', 'T_x', 'T_y', 'T_z'], dtype='object')

# 自动抽取全部特征
X_extracted = extract_features(timeseries,column_id = "id",column_sort = "time")
X_extracted

# 选择性生成特征 
fc_parameters = { "length": None, "large_standard_deviation": [{"r": 0.05}, {"r": 0.1}] } 
extract_features(timeseries, column_id = "id",column_sort = "time",default_fc_parameters=fc_parameters)

# 自动特征选择 
X_extracted_cols = X_extracted.isnull().sum().where(lambda x : x==0).dropna().index # 由于不是所有生成的变量都是有意义的，删除掉包含NA的特征，这也是特征选择函数的要求 
X_selected = select_features(X_extracted[X_extracted_cols], y)

# fresh算法自动从2203个特征中选择出了665个 
print('count of raw feature: {}'.format(len(X_extracted_cols))) 
print('count of auto-selected feature: {}'.format(len(X_selected.columns)))

count of raw feature: 2203 
count of auto-selected feature: 665

官方文档的这个流程展示了用fresh算法进行特征选择的思路，简单来说，它是通过比较不同时间序列类别下特征的显著性差异来确定是否要挑选出这个特征。

除此之外，还有其他用于特征选择的方法，如recursive feature elimination (RFE)，不过tsfresh包并没有内置这种方法，可以结合sklearn中的RFE方法自行组合使用。

Previous5.2 常用的特征清单 Next6. 基于机器学习的时间序列分析方法

Last updated 3 years ago

# 选择性生成特征 fc_parameters = { "length": None, "large_standard_deviation": [{"r": 0.05}, {"r": 0.1}] } extract_features(timeseries, column_id = "id",column_sort = "time",default_fc_parameters=fc_parameters)

# 自动特征选择 X_extracted_cols = X_extracted.isnull().sum().where(lambda x : x==0).dropna().index # 由于不是所有生成的变量都是有意义的，删除掉包含NA的特征，这也是特征选择函数的要求 X_selected = select_features(X_extracted[X_extracted_cols], y)