注册
登录
数据防泄漏
如何使用featuretools防止数据泄漏
返回
如何使用featuretools防止数据泄漏
作者:
天线宝宝
发布时间:
2025-02-05 05:43:37 (2天前)
转自：
<div class =“excerpt”> 我喜欢featuretools，但是我很难把它搞到我的脑袋里 <span class =“result-highlight”> 数据 </跨度> 科学工作流程，因为我很关心 <span class =“result-highlight”> 数据 </跨度> <span class =“result-highlight”> 泄漏 </跨度> 。 我认为防止这种情况的方法是在训练集上运行深度特征 综合，然后将适当的值加入到测试集中，并仅在训练集中不存在的类别组中计算特征。 有没有更合适的处理方式 <span class =“result-highlight”> 泄漏 </跨度> ？ </DIV>
收藏
举报
2 条回复
0#
回复此人
没身份别烦我
|
2019-08-31 10-32
<div class =“post-text”itemprop =“text”> <P> Featuretools特别专注于帮助用户避免数据泄漏或标签泄漏。根据您是否有时间戳，有两种方法可以处理数据泄漏。 </p> <P> 的<strong> 没有时间戳的数据 </强> </p> <P> 如果您没有时间戳，可以创建一个 <code> EntitySet </code> 仅使用训练数据然后运行 <code> ft.dfs </code> 。这将仅使用训练数据创建特征矩阵，但也返回特征定义列表。接下来，您可以创建一个 <code> EntitySet </code> 使用测试数据并通过调用重新计算相同的功能 <code> ft.calculate_feature_matrix </code> 使用之前的功能定义列表。这就是流程的样子 </p> <pre> <code> In [1]: import featuretools as ft In [2]: es_train = ft.demo.load_mock_customer(return_entityset=True) In [3]: feature_matrix, feature_defs = ft.dfs(entityset=es_train, ...: target_entity="customers") ...: In [4]: feature_matrix_enc, features_enc = ft.encode_features(feature_matrix, feature_defs) In [5]: feature_matrix_enc Out[5]: zip_code = 02139 zip_code = 60091 zip_code = unknown COUNT(transactions) COUNT(sessions) SUM(transactions.amount) MODE(sessions.device) = desktop MODE(sessions.device) = tablet MODE(sessions.device) = mobile MODE(sessions.device) = unknown ... SUM(sessions.MIN(transactions.amount)) MAX(sessions.SKEW(transactions.amount)) MAX(sessions.MIN(transactions.amount)) SUM(sessions.MEAN(transactions.amount)) STD(sessions.SUM(transactions.amount)) STD(sessions.MEAN(transactions.amount)) SKEW(sessions.MEAN(transactions.amount)) STD(sessions.MAX(transactions.amount)) NUM_UNIQUE(sessions.DAY(session_start)) MIN(sessions.SKEW(transactions.amount)) customer_id ... 1 0 1 0 131 10 10236.77 1 0 0 0 ... 169.77 0.610052 41.95 791.976505 175.939423 9.299023 -0.377150 5.857976 1 -0.395358 2 1 0 0 122 8 9118.81 0 0 1 0 ... 114.85 0.492531 42.96 596.243506 230.333502 10.925037 0.962350 7.420480 1 -0.470007 3 1 0 0 78 5 5758.24 1 0 0 0 ... 64.98 0.645728 21.77 369.770121 471.048551 9.819148 -0.244976 12.537259 1 -0.630425 4 0 1 0 111 8 8205.28 1 0 0 0 ... 83.53 0.516262 17.27 584.673126 322.883448 13.065436 -0.548969 12.738488 1 -0.497169 5 1 0 0 58 4 4571.37 0 1 0 0 ... 73.09 0.830112 27.46 313.448942 198.522508 8.950528 0.098885 5.599228 1 -0.396571 [5 rows x 102 columns] In [6]: es_test = ft.demo.load_mock_customer(return_entityset=True, random_seed=33) In [7]: feature_matrix = ft.calculate_feature_matrix(features=feature_matrix_enc, ...: entityset=es_test) In [8]: feature_matrix Out[8]: zip_code = 02139 zip_code = 60091 zip_code = unknown COUNT(transactions) COUNT(sessions) SUM(transactions.amount) MODE(sessions.device) = desktop MODE(sessions.device) = tablet MODE(sessions.device) = mobile MODE(sessions.device) = unknown ... SUM(sessions.MIN(transactions.amount)) MAX(sessions.SKEW(transactions.amount)) MAX(sessions.MIN(transactions.amount)) SUM(sessions.MEAN(transactions.amount)) STD(sessions.SUM(transactions.amount)) STD(sessions.MEAN(transactions.amount)) SKEW(sessions.MEAN(transactions.amount)) STD(sessions.MAX(transactions.amount)) NUM_UNIQUE(sessions.DAY(session_start)) MIN(sessions.SKEW(transactions.amount)) customer_id ... 1 False True False 108 7 8298.18 False False True False ... 145.67 0.888409 40.48 541.452307 264.820242 11.560551 -0.989418 11.336633 1 -0.193705 2 True False False 73 5 5615.36 True False False False ... 106.27 0.471924 34.93 380.553253 420.418805 3.513896 1.030220 7.908124 1 -0.191482 3 False True False 96 7 8135.65 False True False False ... 160.04 0.114599 48.71 581.583008 377.210618 12.120119 0.130497 12.869592 1 -0.655836 4 False True False 140 9 11240.85 True False False False ... 159.64 0.129480 29.87 731.382339 211.918894 11.642241 -0.271928 7.969242 1 -0.652966 5 False True False 83 7 6781.33 False False True False ... 149.95 0.587567 60.29 527.818923 535.839994 19.134789 -1.195453 26.460616 1 -0.435026 [5 rows x 102 columns] </code> </pre> <P> 的<strong> 带时间戳的数据 </强> </p> <P> 如果您的数据有时间戳，防止泄漏的最佳方法是使用 cutofftimes 列表，该列表指定允许在结果特征矩阵中的每一行使用数据的最后时间点。要使用截止时间，您需要 <a href="https://docs.featuretools.com/loading_data/using_entitysets.html#adding-entities" rel="nofollow noreferrer"> 设定时间指数 </A> 对于您的实体集中的每个敏感实体。 </p> <P> 提示：即使您的数据没有时间戳，您也可以添加一个具有虚拟时间戳的列，可以由Featuretools用作时间索引。 </p> <P> 你打电话的时候 <code> ft.dfs </code> ，您可以提供这样的截止时间数据帧。 </p> <pre> <code> In [1]: import pandas as pd In [2]: cutoff_times = pd.DataFrame({"customer_id": [1, 2, 3, 4, 5], ...: "time": pd.date_range('2014-01-01 01:41:50', periods=5, freq='25min')}) ...: In [3]: cutoff_times Out[3]: customer_id time 0 1 2014-01-01 01:41:50 1 2 2014-01-01 02:06:50 2 3 2014-01-01 02:31:50 3 4 2014-01-01 02:56:50 4 5 2014-01-01 03:21:50 In [8]: feature_matrix, features = ft.dfs(entityset=es, ...: target_entity="customers", ...: cutoff_time=cutoff_times, ...: cutoff_time_in_index=True) ...: In [9]: feature_matrix Out[9]: zip_code COUNT(transactions) COUNT(sessions) SUM(transactions.amount) MODE(sessions.device) MIN(transactions.amount) MAX(transactions.amount) YEAR(join_date) SKEW(transactions.amount) DAY(join_date) ... SUM(sessions.MIN(transactions.amount)) MAX(sessions.SKEW(transactions.amount)) MAX(sessions.MIN(transactions.amount)) SUM(sessions.MEAN(transactions.amount)) STD(sessions.SUM(transactions.amount)) STD(sessions.MEAN(transactions.amount)) SKEW(sessions.MEAN(transactions.amount)) STD(sessions.MAX(transactions.amount)) NUM_UNIQUE(sessions.DAY(session_start)) MIN(sessions.SKEW(transactions.amount)) customer_id time ... 1 2014-01-01 01:41:50 60091 43 3 3342.76 desktop 5.60 148.14 2008 -0.024647 1 ... 22.99 0.219871 8.72 238.078662 155.824474 7.762885 2.850032e-01 5.224602 1.0 -0.395358 2 2014-01-01 02:06:50 02139 36 3 2558.77 desktop 6.29 139.23 2008 0.212373 20 ... 39.00 0.509707 25.28 213.211299 114.675523 4.898920 -2.392117e-02 7.035723 1.0 0.102851 3 2014-01-01 02:31:50 02139 25 1 2054.32 mobile 8.70 147.73 2008 -0.215072 10 ... 8.70 -0.215072 8.70 82.172800 0.000000 0.000000 0.000000e+00 0.000000 1.0 -0.215072 4 2014-01-01 02:56:50 60091 0 0 NaN NaN NaN NaN 2008 NaN 30 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 5 2014-01-01 03:21:50 02139 29 2 2296.42 mobile 20.91 141.66 2008 0.167792 19 ... 48.37 0.830112 27.46 157.570000 208.390000 11.655000 1.795202e-15 4.470000 1.0 -0.396571 [5 rows x 69 columns] </code> </pre> <P> 如您所见，在每个指定的截止时间计算得到的特征矩阵中有一行！截止时间和时间指数的概念是Featuretools的独特和强大的方面。有关更多信息，请阅读 <a href="https://docs.featuretools.com/automated_feature_engineering/handling_time.html" rel="nofollow noreferrer"> 处理时间 </A> 在文档中。 </p> </DIV>
编辑
登录
后才能参与评论
