PyTorch Tabular：高效优化结构化数据处理的强大工具_机器学习

pytorch tabular 是一个用于构建和训练深度学习模型以解决各种表格数据问题的库。这个库专为表格数据设计，通过提供灵活的、易于使用的api来简化模型的构建、训练和推理过程。pytorch tabular 基于 pytorch，利用了 pytorch 的动态计算图和强大的gpu加速能力。

主要特性

多种模型支持：- pytorch tabular 提供了多种现成的模型架构，如深度神经网络（dnn）、多层感知机（mlp）、条件变换器网络（ctn）等，以及对于时间序列和分类问题的特定解决方案。
模块化和可扩展：- 用户可以轻松自定义模型和数据管道。库设计了模块化，使得用户可以插入自定义的组件或改变处理流程，以适应复杂的数据科学任务。
高级优化功能：- 包括自动特征工程、超参数调优和模型蒸馏等功能，旨在提高模型的效率和性能。
简化的数据处理：- 内置多种数据预处理和增强技术，如缺失值处理、特征标准化和编码，简化了从原始数据到模型训练的过程。

pytorch tabular 适用于任何需要利用表格数据进行预测的场景，如金融风险评估、销售预测、客户细分等。其强大的功能和灵活性使其成为数据科学家和机器学习工程师在处理表格数据时的优选工具。

开始使用

要开始使用 pytorch tabular，可以通过 pip 安装：

 pip install pytorch-tabular

安装后，创建一个模型配置，并使用dataframe训练和测试模型。下面是一个简单的例子：

 from pytorch_tabular import tabularmodel
 from pytorch_tabular.config import dataconfig, modelconfig, optimizerconfig, trainerconfig
 
 data_config = dataconfig(
     target=['target_column'],
     continuous_cols=['feature1', 'feature2'],
     categorical_cols=['category1', 'category2']
 )
 model_config = modelconfig(task="regression")
 trainer_config = trainerconfig(max_epochs=10)
 
 tabular_model = tabularmodel(data_config, model_config, trainer_config)
 tabular_model.fit(train_df, validation_df)
 predictions = tabular_model.predict(test_df)

这个例子展示了如何配置和训练一个基本的回归模型。通过更改

modelconfig

中的参数，你可以轻松调整模型以适应不同的任务和数据集。

可用模型

pytorch tabular包含的模型还是很多的，我这里做一个简单的总结

带类别嵌入的前馈网络：这是一个简单的前馈网络，但为分类列添加了嵌入层。
neural oblivious decision ensembles for deep learning on tabular data：这是在 2020 年 iclr 提出的模型，根据作者的说法，它在许多数据集上击败了经过良好调整的梯度提升模型。
tabnet：这是谷歌研究推出的另一种模型，它在决策过程的多个步骤中使用稀疏注意力来建模输出。
mixture density networks ：这是一个回归模型，使用高斯组件近似目标函数，并提供开箱即用的概率预测。
autoint：通过自注意力神经网络自动学习特征交互的模型，试图以自动化的方式学习特征之间的交互，创建更好的表示，然后在下游任务中使用这种表示。
tabtransformer：是为表格数据定制的transformer模型，为分类特征创建上下文表示。
ft transformer：表格数据的深度学习模型。
gated additive tree ensemble ：是一种新颖的高性能、参数和计算效率的深度学习架构，用于表格数据。gate 使用灵感来自 gru 的门控机制作为具有内置特征选择机制的特征表示学习单元。将其与一组可微分的、非线性的决策树结合，通过简单的自注意力重新加权，以预测所需的输出。
gated adaptive network for deep automated learning of features (gandalf)：是 gate 的简化版本，比 gate 更高效和性能更佳。gandalf 使 gflus 成为主要学习单元，同时在过程中引入了一些加速。由于需要调整的超参数非常少，这使得该模型易于使用和调整。
danets：用于表格数据分类和回归的深度抽象网络：是一种新颖且灵活的神经组件，称为抽象层（abstlay），它学习明确分组相关输入特征并生成更高级别的语义抽象特征。使用 abstlays 构建一个特殊的基本块，并通过堆叠此类块，构建用于表格数据分类和回归的一系列深度抽象网络（danets）。

总结

如果你想尝试从 catboost 或 lightgbm 这样的传统框架适配模型，可以尝试使用 pytorch tabular，它不仅简化了表格处理的过程，还内建了很多深度学习模型。如果你正在寻找一种方法来提升你的表格数据处理和模型性能，pytorch tabular 提供了一个强大且灵活的平台，以支持从简单到复杂的各种机器学习需求。

https://avoid.overfit.cn/post/d4046b88a2584334a47849fff8da4240