u/GeneTraditional8171

r/MachineLearning

[Project] Genal Activation Family — A learnable activation function that outperforms ReLU, GELU and Swish on 16 benchmarks

Hi r/MachineLearning,

I'm an independent researcher from Venezuela and I developed Genal Activation, a learnable activation function defined as:

Genal(x) = x · sigmoid(x/k), where k = softplus(θ) + ε

The key idea: instead of a fixed shape like ReLU or Swish, k is a trainable parameter that adapts to each task during training.

Results vs ReLU, GELU, Swish (16 tasks):

Task

Genal

ReLU

Swish

GELU

CIFAR-10

85.11%

81.78%

84.04%

83.28%

Parkinson's

97.44%

92.31%

97.44%

—

Navier-Stokes

3.04e-6

1.35e-4

1.72e-6

—

CartPole RL

500

447

—

Average

87.12%

86.69%

86.36%

—

The family has 4 variants:

GenalActivation — scalar k (base)

GenalAdvanced — k per channel (best for CNN)

GenalShift — k + learnable shift β (85.11% on CIFAR-10)

GenalLeaky — guaranteed non-zero gradient

Links:

Paper: https://zenodo.org/records/20304195

Code: https://github.com/GenalFF/genal-activation

ORCID: 0009-0009-6495-4085

Happy to answer any questions about the math or implementation.

u/GeneTraditional8171 — 14 days ago

▲ 2 r/learnmachinelearning

Pypi

• Navier-Stokes: 44× lower loss than ReLU

📄 Paper: zenodo.org/records/203041…

💻 Code: github.com/GenalFF/genal-…

🪪 ORCID: 0009-0009-6495-4085

Built entirely from a $160 phone in Venezuela 🇻🇪

#MachineLearning #DeepLearning #AI #PyTorch #OpenSource #Venezuela

u/GeneTraditional8171 — 15 days ago

▲ 1 r/PromptEngineering

Genal Activation

\[Project\] Genal Activation Family — A learnable activation function that outperforms ReLU, GELU and Swish on 16 benchmarks

Hi r/MachineLearning,

I'm an independent researcher from Venezuela and I developed Genal Activation, a learnable activation function defined as:

Genal(x) = x · sigmoid(x/k), where k = softplus(θ) + ε

The key idea: instead of a fixed shape like ReLU or Swish, k is a trainable parameter that adapts to each task during training.

Results vs ReLU, GELU, Swish (16 tasks):

Task

Genal

ReLU

Swish

GELU

CIFAR-10

85.11%

81.78%

84.04%

83.28%

Parkinson's

97.44%

92.31%

97.44%

—

Navier-Stokes

3.04e-6

1.35e-4

1.72e-6

—

CartPole RL

500

447

—

Average

87.12%

86.69%

86.36%

—

The family has 4 variants:

GenalActivation — scalar k (base)

GenalAdvanced — k per channel (best for CNN)

GenalShift — k + learnable shift β (85.11% on CIFAR-10)

GenalLeaky — guaranteed non-zero gradient

Links:

Paper: https://zenodo.org/records/20304195

Code: https://github.com/GenalFF/genal-activation

ORCID: 0009-0009-6495-4085

Happy to answer any questions about the math or implementation.

u/GeneTraditional8171 — 16 days ago

Genal Activation

[Project] Genal Activation Family — A learnable activation function that outperforms ReLU, GELU and Swish on 16 benchmarks

Hi r/MachineLearning,

I'm an independent researcher from Venezuela and I developed Genal Activation, a learnable activation function defined as:

Genal(x) = x · sigmoid(x/k), where k = softplus(θ) + ε

The key idea: instead of a fixed shape like ReLU or Swish, k is a trainable parameter that adapts to each task during training.

Results vs ReLU, GELU, Swish (16 tasks):

Task

Genal

ReLU

Swish

GELU

CIFAR-10

85.11%

81.78%

84.04%

83.28%

Parkinson's

97.44%

92.31%

97.44%

—

Navier-Stokes

3.04e-6

1.35e-4

1.72e-6

—

CartPole RL

500

447

—

Average

87.12%

86.69%

86.36%

—

The family has 4 variants:

GenalActivation — scalar k (base)

GenalAdvanced — k per channel (best for CNN)

GenalShift — k + learnable shift β (85.11% on CIFAR-10)

GenalLeaky — guaranteed non-zero gradient

Links:

Paper: https://zenodo.org/records/20304195

Code: https://github.com/GenalFF/genal-activation

ORCID: 0009-0009-6495-4085

Happy to answer any questions about the math or implementation.

u/GeneTraditional8171 — 16 days ago

Navier-stoke

He terminado mi investigación sobre nuevas funciones de activación para Deep Learning y estoy listo para compartirla en arXiv.

Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/GELU.

Si puedes ayudarme o conoces a alguien, ¡te lo agradecería mucho! Envío PDF por DM.

#MachineLearning #DeepLearning #AI #Research #arXiv

u/GeneTraditional8171 — 21 days ago

Resultados de los benchmarks de validación para la Genal Activation Family utilizando el dataset ESC-50. 📊 Puntos clave del rendimiento: Convergencia y Estabilidad: Competitividad sólida en la precisión de validación frente a estándares globales como ReLU, GELU y Swish. Comportamiento Adaptativo (G

u/GeneTraditional8171 — 23 days ago

hola amigo no sabes quién me pueda endorserme para arXiv en cs.LG?"

u/GeneTraditional8171 — 27 days ago

He terminado mi investigación sobre nuevas funciones de activación para Deep Learning y estoy listo para compartirla en arXiv. Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/G

u/GeneTraditional8171 — 27 days ago

Ayuda con arXiv

x.com

u/GeneTraditional8171 — 29 days ago

▲ 1 r/OpenSourceeAI

Necesito ayuda para arXiv

He terminado mi investigación sobre nuevas funciones de activación para Deep Learning y estoy listo para compartirla en arXiv.

Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/GELU.

Si puedes ayudarme o conoces a alguien, ¡te lo agradecería mucho! Envío PDF por DM.

#MachineLearning #DeepLearning #AI #Research #arXiv

u/GeneTraditional8171 — 29 days ago

Ayuda para arXiv necesito para subir mi papers en arXiv

He terminado mi investigación sobre nuevas funciones de activación para Deep Learning y estoy listo para compartirla en arXiv.

Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/GELU.

Si puedes ayudarme o conoces a alguien, ¡te lo agradecería mucho! Envío PDF por DM.

#MachineLearning #DeepLearning #AI #Research #arXiv

u/GeneTraditional8171 — 29 days ago

Genal IA está más que aprendiendo está aterrizando"

🚀 GENAL ACTIVATION – Aterrizaje de cohete en LunarLanderContinuous-v2

Este video muestra el comportamiento de un agente de aprendizaje por refuerzo (PPO) que utiliza mi propia función de activación: **Genal Activation**.

✅ Resultados destacados:

- +7.18% sobre ReLU en CIFAR-10 (clasificación de imágenes)

- 97.44% en diagnóstico de Parkinson

- Control continuo de un cohete (aterrizaje estable)

📌 El agente fue entrenado en Google Colab con el entorno LunarLanderContinuous-v2 de Gymnasium.

🔗 Código y paper (arXiv pronto):

📧 Contacto profesional: genallombano@gmail.com

#MachineLearning #DeepLearning #ComputerVision #Robotics #ReinforcementLearning #ActivationFunction #GenalActivation

u/GeneTraditional8171 — 29 days ago

Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/GELU. Si puedes ayudarme o conoces a alguien, ¡te lo agradecería mucho!

He terminado mi investigación sobre nuevas funciones de activación para Deep Learning y estoy listo para compartirla en arXiv.

Busco a alguien que esté habilitado para dar un endorsement en la categoría Machine Learning (cs.LG). El trabajo incluye experimentos en PyTorch y comparativas con ReLU/GELU.

Si puedes ayudarme o conoces a alguien, ¡te lo agradecería mucho! Envío PDF por DM.

#MachineLearning #DeepLearning #AI #Research #arXiv