tabfm-1.0.0-pytorch

TabFM to model podstawowy tabularny zero-shot od Google Research. Wspiera klasyfikację i regresję na danych strukturalnych/tabularnych z mieszanymi kolumnami numerycznymi i kategorycznymi, nie wymagając dostrajania ani wyszukiwania hiperparametrów – przykłady treningowe są przekazywane jako kontekst, a prognozy są dokonywane w jednym przejściu do przodu. To repozytorium zawiera wagi PyTorch. Dla wag JAX/Flax zobacz google/tabfm-1.0.0-jax. Możesz również załadować bezpośrednio korzystając z API HuggingFace Hub:

Podfolder	Zadanie	is_classifier
classification/	Klasyfikacja (do 10 klas)	True
regression/	Regresja	False

– Dane tabelaryczne z kolumnami numerycznymi i/lub kategorycznymi

• Klasyfikacja binarna i wieloklasowa (do 10 klas)
• Regresja na ciągłych celach
• Inferencja zero-shot: brak specyficznego treningu na zbiorze danych ani dostrajania hiperparametrów
• Działa z DataFrame (pandas) lub tablicami numpy – Obrazy, dźwięk, wideo lub surowy tekst
• Ponad 10 klas wyjściowych (twardy limit modelu)
• Zadania wymagające specyficznego dostrajania
• Niestrukturalne dane tabularne (grafy, sekwencje)
• Użycie komercyjne (zobacz Licencję poniżej) TabFM wykorzystuje naprzemienną uwagę wierszy i kolumn, aby uchwycić zarówno interakcje cech,

jak i wzorce na poziomie wierszy: 1. Uwaga kolumnowa (Set Transformer): osadza każdą komórkę za pomocą cech Fouriera i projekcji liniowej na grupę, a następnie agreguje wiersze za pomocą indukowanej uwagi własnej

1. Kompresja wierszy: tokeny CLS podsumowują każdy wiersz w gęsty wektor za pomocą uwagi na poziomie wiersza z Rotary Position Embedding (RoPE)
2. ICL Transformer: 24-blokowy transformer przyczynowy działa na skompresowanych wektorach wierszy, traktując wiersze treningowe jako kontekst i generując prognozy dla wierszy testowych.