FinanzaPro Outage History

Started Oct 21, 2026, 04:01 AM UTC· resolved Oct 21, 2026, 11:07 AM UTC

1. investigating Oct 21, 2026, 04:01 AM UTC

   Servidor de Sesiones (Legacy - Zona 5) no puede ser accedido en este momento. Este incidente fue creado por un servicio de monitoreo automatizado.

2. resolved Oct 21, 2026, 11:07 AM UTC

   Servidor de Sesiones (Legacy - Zona 5) ya está operativo! Esta actualización fue creada por un servicio de monitoreo automatizado.

Read the full incident report →

Started Oct 21, 2026, 03:46 AM UTC· resolved Oct 21, 2026, 01:52 PM UTC

1. investigating Oct 21, 2026, 03:46 AM UTC

   Servidor de Sesiones (Legacy - Zona 6) no puede ser accedido en este momento. Este incidente fue creado por un servicio de monitoreo automatizado.

2. resolved Oct 21, 2026, 01:52 PM UTC

   Servidor de Sesiones (Legacy - Zona 6) ya está operativo! Esta actualización fue creada por un servicio de monitoreo automatizado.

Read the full incident report →

Started Oct 20, 2026, 05:52 PM UTC· resolved Oct 20, 2026, 06:27 PM UTC

1. investigating Oct 20, 2026, 05:52 PM UTC

   Estamos detectando un aumento en la tasa de errores en FinanzaPro. Es posible que, al usar la plataforma, algunas operaciones fallen o tarden más de lo normal en completarse. Nuestro equipo ya está investigando la causa. Vamos a publicar una actualización en cuanto tengamos más información.

2. identified Oct 20, 2026, 05:55 PM UTC

   Ya identificamos la causa del aumento en la tasa de errores y estamos aplicando las medidas para corregirlo. Mientras completamos este proceso, es posible que algunas operaciones sigan fallando o tarden más de lo normal en completarse. Vamos a publicar una actualización en cuanto confirmemos que el servicio se restableció.

3. monitoring Oct 20, 2026, 05:58 PM UTC

   Ya aplicamos la corrección y la plataforma muestra señales de recuperación. Es posible que todavía notes errores o lentitud en algunas operaciones mientras el servicio termina de estabilizarse. Vamos a seguir monitoreando el servicio de cerca y publicaremos una actualización en cuanto tengamos más información.

4. monitoring Oct 20, 2026, 06:05 PM UTC

   La plataforma se recuperó y está funcionando con normalidad. Seguimos monitoreando el servicio de cerca. Para evitar envíos duplicados, pausamos temporalmente el envío de notificaciones por correo electrónico, como los correos de facturas. Los correos pendientes no se perdieron y se enviarán en cuanto reanudemos el envío, por lo que es posible que lleguen con retraso. También es posible que durante el incidente hayas recibido algunas notificaciones por correo duplicadas. Vamos a publicar una actualización cuando reanudemos el envío de correos.

5. resolved Oct 20, 2026, 06:27 PM UTC

   El incidente quedó resuelto. La plataforma se mantuvo estable durante el periodo de observación y está funcionando con normalidad. La causa fue un proceso interno de mantenimiento que afectó el rendimiento de la plataforma, tanto en este incidente como en el de esta mañana. Ya lo corregimos y estamos aplicando medidas para evitar que vuelva a ocurrir. Gracias por tu paciencia.

Read the full incident report →

Started Oct 11, 2026, 01:18 PM UTC· resolved Oct 11, 2026, 10:03 PM UTC

1. investigating Oct 11, 2026, 01:18 PM UTC

   Servidor de Sesiones (Legacy - Zona 4) no puede ser accedido en este momento. Este incidente fue creado por un servicio de monitoreo automatizado.

2. resolved Oct 11, 2026, 10:03 PM UTC

   Servidor de Sesiones (Legacy - Zona 4) ya está operativo! Esta actualización fue creada por un servicio de monitoreo automatizado.

Read the full incident report →

Started Aug 31, 2026, 11:09 PM UTC· resolved Sep 01, 2026, 03:21 AM UTC

1. investigating Aug 31, 2026, 11:09 PM UTC

   En este momento no es posible iniciar una sesión nueva en la aplicación web de FinanzaPro. La aplicación de escritorio no se ve afectada: desde ahí puedes iniciar sesión y trabajar con normalidad. Si ya tienes una sesión abierta en la aplicación web, puedes continuar trabajando. Mientras dure el problema, no cierres la sesión: no vas a poder volver a entrar hasta que restablezcamos el servicio. Estamos investigando la causa y vamos a publicar una actualización en cuanto tengamos más información.

2. investigating Aug 31, 2026, 11:17 PM UTC

   Seguimos investigando el problema que impide iniciar sesiones nuevas en la aplicación web de FinanzaPro. La aplicación de escritorio no se ve afectada. Los primeros indicios apuntan a un servicio de infraestructura externo del que depende el inicio de sesión. Estamos trabajando con el proveedor para restablecerlo. Vamos a publicar una actualización en cuanto tengamos más información.

3. identified Aug 31, 2026, 11:36 PM UTC

   Identificamos el origen del problema: está en los servidores de directorio de nuestro proveedor de infraestructura, de los que depende el inicio de sesión. Estamos trabajando con ellos en este momento para resolverlo. Mientras tanto, no es posible iniciar sesiones nuevas en la aplicación web. La aplicación de escritorio no se ve afectada. Si ya tienes una sesión abierta en la aplicación web, no la cierres: no vas a poder volver a entrar hasta que restablezcamos el servicio. Vamos a publicar una actualización en cuanto tengamos novedades.

4. identified Sep 01, 2026, 12:39 AM UTC

   Los equipos de nuestro proveedor de infraestructura están trabajando en la resolución del problema en este momento. Todavía no es posible iniciar sesiones nuevas en la aplicación web. La aplicación de escritorio sigue funcionando con normalidad. Si ya tienes una sesión abierta en la aplicación web, no la cierres: no vas a poder volver a entrar hasta que restablezcamos el servicio. Vamos a publicar más información en cuanto la tengamos.

5. identified Sep 01, 2026, 02:10 AM UTC

   El problema sigue en manos de nuestro proveedor de infraestructura, que lo escaló a su equipo especializado en servicios de directorio con la máxima prioridad. Todavía no tenemos un tiempo estimado de restablecimiento. En cuanto lo tengamos, vamos a publicarlo aquí. Mientras tanto, no es posible iniciar sesiones nuevas en la aplicación web. Si necesitas trabajar ahora, la aplicación de escritorio sigue funcionando con normalidad y puedes iniciar sesión desde ahí. Si ya tienes una sesión abierta en la aplicación web, no la cierres: no vas a poder volver a entrar hasta que restablezcamos el servicio.

6. monitoring Sep 01, 2026, 03:06 AM UTC

   El servicio está restablecido. Ya puedes iniciar sesión con normalidad en la aplicación web de FinanzaPro. Confirmamos el restablecimiento con una prueba de inicio de sesión, y los servidores de sesiones ya están operativos. Vamos a mantener el monitoreo durante las próximas horas para asegurarnos de que todo siga funcionando con normalidad. Gracias por tu paciencia.

7. resolved Sep 01, 2026, 03:21 AM UTC

   El incidente está resuelto. El inicio de sesión en la aplicación web funciona con normalidad y el servicio se mantiene estable. Gracias por tu paciencia.

Read the full incident report →

Started Aug 06, 2026, 05:23 PM UTC· resolved Aug 06, 2026, 06:11 PM UTC

1. investigating Aug 06, 2026, 05:23 PM UTC

   Estamos investigando un error que aparece de forma intermitente al abrir el punto de venta. No ocurre en todos los intentos. Cuando ocurre, vas a ver una ventana de error que indica que no se pudo obtener el estado de integración. Si te aparece, haz clic en Abortar en esa ventana para continuar al punto de venta. Todavía estamos confirmando que esa opción funciona en todos los casos. Vamos a publicar una actualización en cuanto tengamos más información.

2. identified Aug 06, 2026, 05:36 PM UTC

   Hemos identificado el problema. La API de la integración con el BAC Credomatic está actualmente teniendo problemas. Estamos aplicando una corrección en este momento. Mientras tanto, el error puede seguir apareciendo de forma intermitente al abrir el punto de venta. Si te aparece, haz clic en Abortar en esa ventana para continuar. Vamos a publicar una actualización cuando la corrección esté aplicada por completo.

3. monitoring Aug 06, 2026, 05:47 PM UTC

   El problema está resuelto. Los servicios se estabilizaron y tenemos confirmación de que el error ya no se está presentando al abrir el punto de venta. Vamos a mantener los servicios en observación y seguimos investigando el origen del problema. Vamos a publicar una última actualización cuando cerremos la investigación.

4. resolved Aug 06, 2026, 06:11 PM UTC

   El incidente está cerrado. La corrección que aplicamos resolvió el problema y los servicios operan con normalidad. El origen estuvo en la API de la integración con BAC Credomatic, que alcanzó un nivel de carga por encima de lo normal. Seguimos investigando por qué ocurrió. Gracias por tu paciencia.

Read the full incident report →

Started Jul 31, 2026, 11:07 PM UTC· resolved Jul 31, 2026, 11:28 PM UTC

1. investigating Jul 31, 2026, 11:07 PM UTC

   Estamos presentando errores en FinanzaPro por un problema en nuestra infraestructura de datos. El inicio de sesión, las aplicaciones y los reportes están afectados. Al intentar guardar o actualizar información, es posible que la operación no se complete y veas un mensaje de error. También puedes tener problemas para iniciar sesión o generar reportes. Estamos trabajando en restablecer el servicio. Publicaremos una actualización en cuanto tengamos avances.

2. identified Jul 31, 2026, 11:08 PM UTC

   Identificamos el origen del problema y estamos aplicando la corrección. Mientras tanto, es posible que sigas viendo errores al guardar información, iniciar sesión o generar reportes. Publicaremos una nueva actualización cuando el servicio esté restablecido.

3. monitoring Jul 31, 2026, 11:15 PM UTC

   El servicio está restablecido. Ya puedes guardar información, iniciar sesión y generar reportes con normalidad. Estamos monitoreando la recuperación para confirmar que el servicio se mantenga estable. No necesitas hacer nada más.

4. resolved Jul 31, 2026, 11:28 PM UTC

   El servicio quedó restablecido. El inicio de sesión, las aplicaciones y los reportes funcionan con normalidad. Confirmamos que la recuperación se mantuvo estable durante el período de monitoreo. Gracias por tu paciencia.

Read the full incident report →

Started Mar 11, 2026, 02:55 PM UTC· resolved Mar 16, 2026, 03:17 PM UTC

1. identified Mar 11, 2026, 02:55 PM UTC

   El día de hoy se presentó un inconveniente con el servicio de licencias de los servidores de sesiones, lo cual está provocando que solo un número limitado de usuarios pueda conectarse. Debido a esta situación, algunos usuarios no han podido ingresar a la App Clásica. Estaremos brindando actualizaciones conforme tengamos más información.

2. identified Mar 11, 2026, 05:33 PM UTC

   We are continuing to work on a fix for this issue.

3. identified Mar 11, 2026, 05:34 PM UTC

   Investigación en curso – App Clásica Actualmente continuamos revisando el inconveniente que está afectando el acceso al sistema desde la App Clásica. El incidente está relacionado con un componente de licenciamiento del software utilizado en los servidores de esta aplicación. Nuestro equipo de desarrollo se encuentra trabajando directamente con el proveedor para identificar y resolver la situación. En este momento estamos realizando distintas pruebas técnicas, incluyendo la restauración de respaldos para intentar retornar a un punto anterior que permita restablecer el servicio. Sin embargo, este proceso aún se encuentra en validación. Debido a lo anterior, estimamos que la resolución podría extenderse durante el transcurso de la tarde y parte de la noche. Estaremos compartiendo actualizaciones conforme avancemos en la revisión. Alternativa temporal: En caso de que necesite facturar y no cuente con inventario disponible, puede habilitar temporalmente la opción de permitir inventario negativo para poder continuar con el proceso de facturación. Agradecemos su comprensión mientras trabajamos en la solución.

4. identified Mar 12, 2026, 12:35 PM UTC

   Actualización – App Clásica Desde el día de ayer nos encontramos realizando una migración completa de los servidores de la App Clásica como medida para solucionar el inconveniente presentado. Nuestro equipo de desarrollo ha trabajado durante toda la noche en este proceso y actualmente se encuentra finalizando la migración y revisando los distintos servicios y procesos involucrados. Debido a que se trata de un cambio importante a nivel de infraestructura, el proceso ha requerido más tiempo de lo previsto. Adicionalmente, estamos a la espera de recibir las nuevas licencias de servidor por parte del proveedor, las cuales son necesarias para completar la configuración del entorno. Continuaremos informando sobre los avances del proceso. Agradecemos su comprensión mientras finalizamos estas labores.

5. identified Mar 12, 2026, 02:20 PM UTC

   Actualización – App Clásica Hemos finalizado el proceso de migración de los servidores de la App Clásica y el sistema ya se encuentra disponible nuevamente. En este momento ya es posible ingresar sin inconvenientes utilizando el navegador web. Aún se encuentra pendiente la habilitación del acceso desde la App Desktop hacia la App Clásica, por lo que algunos usuarios podrían presentar inconvenientes al intentar ingresar desde esa aplicación. Nuestro equipo continuará trabajando en este punto y estará monitoreando el funcionamiento del sistema durante el transcurso del día para asegurar que todo opere correctamente. Agradecemos mucho su comprensión durante la atención de este incidente.

6. resolved Mar 16, 2026, 03:17 PM UTC

   El incidente que afectó el acceso a la App Clásica la semana anterior ya se encuentra completamente resuelto y el sistema opera con normalidad. El problema se originó debido a un cambio en el sistema de licenciamiento del software utilizado en los servidores donde se ejecuta la App Clásica. Este cambio provocó que las licencias que estaban en uso dejaran de ser reconocidas por el proveedor, lo que impidió el funcionamiento correcto de dichos servidores. Inicialmente se intentó restaurar respaldos anteriores para recuperar el servicio; sin embargo, debido a las actualizaciones aplicadas por el proveedor, esta alternativa ya no era compatible con el esquema de licenciamiento actualizado. Como solución definitiva, nuestro equipo realizó una migración completa de la plataforma de servidores hacia un nuevo entorno con las licencias correspondientes. Este proceso permitió restablecer el acceso al sistema. Posteriormente se completaron los ajustes necesarios para habilitar nuevamente el acceso desde la aplicación de escritorio (App Desktop) para Windows, por lo que actualmente los usuarios pueden ingresar tanto desde el navegador como desde la aplicación sin inconvenientes. Agradecemos sinceramente la comprensión y paciencia durante la atención de este incidente. Nuestro equipo continuará monitoreando la plataforma para asegurar la estabilidad del servicio.

Read the full incident report →

Started Nov 18, 2025, 01:48 PM UTC· resolved Nov 18, 2025, 03:23 PM UTC

1. identified Nov 18, 2025, 01:48 PM UTC

   Estamos experimentando problemas de disponibilidad en la plataforma FinanzaPro. En este momento, algunos usuarios no pueden acceder a la plataforma debido a una interrupción en la red global de Cloudflare, un proveedor que utilizamos para asegurar y acelerar el acceso a nuestros servicios. ¿Qué es Cloudflare y por qué nos afecta? Cloudflare es una red mundial que ayuda a que los sitios web carguen más rápido y se mantengan seguros. Cuando ellos tienen problemas en su infraestructura, como ocurre hoy, el acceso a los sitios que dependen de sus servicios —incluyendo FinanzaPro— puede verse afectado temporalmente. Cloudflare ya identificó el problema y está trabajando activamente en una solución. Nosotros estamos monitoreando sus avances de cerca y continuaremos actualizando esta página conforme haya nueva información. Puedes ver el estado actualizado directamente en su página oficial: 👉 Cloudflare Status: https://www.cloudflarestatus.com/ Agradecemos tu paciencia y comprensión mientras se restablece el servicio. Nuestro equipo seguirá atento hasta que todo funcione con normalidad.

2. identified Nov 18, 2025, 02:22 PM UTC

   Cloudflare continúa trabajando en la restauración de sus servicios para los clientes que utilizan sus aplicaciones. Debido a esta interrupción global, el acceso a FinanzaPro permanece completamente interrumpido. Solo los usuarios que ya estaban dentro de la plataforma antes del incidente han logrado continuar trabajando. Nuestro equipo sigue monitoreando de cerca el progreso del problema en Cloudflare y actualizaremos esta página en cuanto tengamos más información o cuando el servicio sea restablecido. Agradecemos tu paciencia y comprensión mientras Cloudflare avanza en la solución.

3. monitoring Nov 18, 2025, 02:42 PM UTC

   Ya estamos viendo señales de recuperación 🎉. Algunos usuarios han podido retomar el acceso a los servicios de FinanzaPro. Cloudflare ha informado que realizó cambios que permitieron restaurar parte de sus servicios, específicamente los relacionados con sus paneles y sistemas internos. Sin embargo, indican que aún continúan trabajando para resolver por completo el impacto en sus servicios de aplicaciones, que es lo que afecta directamente el acceso a nuestra plataforma. Seguiremos monitoreando de cerca la situación y actualizaremos esta página conforme haya más avances. Agradecemos tu paciencia mientras se completa la recuperación.

4. monitoring Nov 18, 2025, 02:51 PM UTC

   Cloudflare ha informado que ya implementó una solución y considera que el incidente está resuelto. En consecuencia, el acceso a FinanzaPro ya debería estar funcionando con normalidad. De nuestra parte, continuamos monitoreando de cerca el comportamiento de la plataforma para asegurarnos de que todos los servicios estén operando correctamente sin errores residuales. Agradecemos tu paciencia durante esta interrupción y tu comprensión mientras el servicio se restablecía.

5. resolved Nov 18, 2025, 03:23 PM UTC

   Los servicios de FinanzaPro ya se encuentran funcionando con normalidad. Tras la solución implementada por Cloudflare, hemos verificado que el acceso y el uso de la plataforma operan de manera estable. Continuaremos monitoreando de forma preventiva, pero no anticipamos más afectación relacionada con este incidente. Gracias por tu paciencia y comprensión durante la interrupción.

Read the full incident report →

Started Oct 20, 2025, 03:07 PM UTC· resolved Oct 21, 2025, 01:59 AM UTC

1. identified Oct 20, 2025, 03:07 PM UTC

   En este momento, nos encontramos experimentando una interrupción mayor de servicios, causada por una caída mayor de nuestro proveedor de servicios, Amazon Web Services. No es posible acceder del todo a la plataforma. El problema se inició aproximadamente a la 1:10 a.m. y AWS ha estado trabajando desde ese momento en restaurar los servicios. Sin embargo, luego de varios intentos de mitigar el problema, todavía no les ha sido posible restaurar los servicios. En nuestro caso, este evento nos empieza a afectar aproximadamente a las 8:15 a.m. cuando se empieza a acumular la carga normal de usuarios, y a nuestra plataforma no le es posible incrementar los recursos necesarios para esa carga, lo cual normalmente se hace a partir de las 6:30 a.m. En este momento, estamos a la espera de más información de AWS sobre la resolución de este problema. Por el momento, todas las empresas deben activar sus procesos de contingencia para facturación manual, mientras AWS determina la causa del problema y brinda una solución definitiva al problema. A continuación, el detalle del problema brindado por AWS hasta el momento. Les mantendremos informados por medio de este canal, conforme tengamos más información del problema. --- [08:04 AM PDT] We continue to investigate the root cause for the network connectivity issues that are impacting AWS services such as DynamoDB, SQS, and Amazon Connect in the US-EAST-1 Region. We have identified that the issue originated from within the EC2 internal network. We continue to investigate and identify mitigations. [07:29 AM PDT] We have confirmed multiple AWS services experienced network connectivity issues in the US-EAST-1 Region. We are seeing early signs of recovery for the connectivity issues and are continuing to investigate the root cause. [07:14 AM PDT] We can confirm significant API errors and connectivity issues across multiple services in the US-EAST-1 Region. We are investigating and will provide further update in 30 minutes or soon if we have additional information. [06:42 AM PDT] We have applied multiple mitigations across multiple Availability Zones (AZs) in US-EAST-1 and are still experiencing elevated errors for new EC2 instance launches. We are rate limiting new instance launches to aid recovery. We will provide an update at 7:30 AM PDT or sooner if we have additional information. [05:48 AM PDT] We are making progress on resolving the issue with new EC2 instance launches in the US-EAST-1 Region and are now able to successfully launch new instances in some Availability Zones. We are applying similar mitigations to the remaining impacted Availability Zones to restore new instance launches. As we continue to make progress, customers will see an increasing number of successful new EC2 launches. We continue to recommend that customers launch new EC2 Instance launches that are not targeted to a specific Availability Zone (AZ) so that EC2 has flexibility in selecting the appropriate AZ. We also wanted to share that we are continuing to successfully process the backlog of events for both EventBridge and Cloudtrail. New events published to these services are being delivered normally and are not experiencing elevated delivery latencies. We will provide an update by 6:30 AM PDT or sooner if we have additional information to share. [05:10 AM PDT] We confirm that we have now recovered processing of SQS queues via Lambda Event Source Mappings. We are now working through processing the backlog of SQS messages in Lambda queues. [04:48 AM PDT] We continue to work to fully restore new EC2 launches in US-EAST-1. We recommend EC2 Instance launches that are not targeted to a specific Availability Zone (AZ) so that EC2 has flexibility in selecting the appropriate AZ. The impairment in new EC2 launches also affects services such as RDS, ECS, and Glue. We also recommend that Auto Scaling Groups are configured to use multiple AZs so that Auto Scaling can manage EC2 instance launches automatically. We are pursuing further mitigation steps to recover Lambda’s polling delays for Event Source Mappings for SQS. AWS features that depend on Lambda’s SQS polling capabilities such as Organization policy updates are also experiencing elevated processing times. We will provide an update by 5:30 AM PDT. [04:08 AM PDT] We are continuing to work towards full recovery for EC2 launch errors, which may manifest as an Insufficient Capacity Error. Additionally, we continue to work toward mitigation for elevated polling delays for Lambda, specifically for Lambda Event Source Mappings for SQS. We will provide an update by 5:00 AM PDT. [03:35 AM PDT] The underlying DNS issue has been fully mitigated, and most AWS Service operations are succeeding normally now. Some requests may be throttled while we work toward full resolution. Additionally, some services are continuing to work through a backlog of events such as Cloudtrail and Lambda. While most operations are recovered, requests to launch new EC2 instances (or services that launch EC2 instances such as ECS) in the US-EAST-1 Region are still experiencing increased error rates. We continue to work toward full resolution. If you are still experiencing an issue resolving the DynamoDB service endpoints in US-EAST-1, we recommend flushing your DNS caches. We will provide an update by 4:15 AM, or sooner if we have additional information to share. [03:03 AM PDT] We continue to observe recovery across most of the affected AWS Services. We can confirm global services and features that rely on US-EAST-1 have also recovered. We continue to work towards full resolution and will provide updates as we have more information to share. [02:27 AM PDT] We are seeing significant signs of recovery. Most requests should now be succeeding. We continue to work through a backlog of queued requests. We will continue to provide additional information. [02:22 AM PDT] We have applied initial mitigations and we are observing early signs of recovery for some impacted AWS Services. During this time, requests may continue to fail as we work toward full resolution. We recommend customers retry failed requests. While requests begin succeeding, there may be additional latency and some services will have a backlog of work to work through, which may take additional time to fully process. We will continue to provide updates as we have more information to share, or by 3:15 AM. [02:01 AM PDT] We have identified a potential root cause for error rates for the DynamoDB APIs in the US-EAST-1 Region. Based on our investigation, the issue appears to be related to DNS resolution of the DynamoDB API endpoint in US-EAST-1. We are working on multiple parallel paths to accelerate recovery. This issue also affects other AWS Services in the US-EAST-1 Region. Global services or features that rely on US-EAST-1 endpoints such as IAM updates and DynamoDB Global tables may also be experiencing issues. During this time, customers may be unable to create or update Support Cases. We recommend customers continue to retry any failed requests. We will continue to provide updates as we have more information to share, or by 2:45 AM. [01:26 AM PDT] We can confirm significant error rates for requests made to the DynamoDB endpoint in the US-EAST-1 Region. This issue also affects other AWS Services in the US-EAST-1 Region as well. During this time, customers may be unable to create or update Support Cases. Engineers were immediately engaged and are actively working on both mitigating the issue, and fully understanding the root cause. We will continue to provide updates as we have more information to share, or by 2:00 AM. [12:51 AM PDT] We can confirm increased error rates and latencies for multiple AWS Services in the US-EAST-1 Region. This issue may also be affecting Case Creation through the AWS Support Center or the Support API. We are actively engaged and working to both mitigate the issue and understand root cause. We will provide an update in 45 minutes, or sooner if we have additional information to share. [12:11 AM PDT] We are investigating increased error rates and latencies for multiple AWS services in the US-EAST-1 Region. We will provide another update in the next 30-45 minutes.

2. identified Oct 20, 2025, 04:10 PM UTC

   AWS continúa trabajando en la resolución de este problema. La capacidad de iniciar nuevas instancias para agregar capacidad a nuestra plataforma continúa severamente limitada. Sin embargo, ya hemos podido levantar algunas instancias adicionales de los servidores afectados, y con esto hemos logrado restaurar los servicios y empezar a brindar un servicio más continuo. Todavía no hay suficiente infraestructura para atender la carga normal de la plataforma, por lo que todavía los servicios se sienten lentos o generan errores, pero al menos ya es posible acceder a las aplicaciones y trabajar con ellas. --- [08:43 AM PDT] We have narrowed down the source of the network connectivity issues that impacted AWS Services. The root cause is an underlying internal subsystem responsible for monitoring the health of our network load balancers. We are throttling requests for new EC2 instance launches to aid recovery and actively working on mitigations.

3. identified Oct 20, 2025, 04:39 PM UTC

   AWS continúa trabajando en la resolución de este problema. De nuestro lado, hemos logrado iniciar algunas instancias más para dar más estabilidad a la plataforma. Algunos servicios se encuentran actualmente fuera de operación: 1. La aplicación web legacy (administración de compañías y configuración de facturación electrónica). 2. La generación de reportes y PDF desde la API. Adicionalmente, los servidores de sesiones (la app clásica) se encuentran limitados en capacidad, ya que no hemos logrado iniciar instancias adicionales de este servicio. Por esta razón, es posible que experimentes dificultades para acceder a esta app. Seguimos intentando añadir más infraestructura a este servicio. --- [09:13 AM PDT] We have taken additional mitigation steps to aid the recovery of the underlying internal subsystem responsible for monitoring the health of our network load balancers and are now seeing connectivity and API recovery for AWS services. We have also identified and are applying next steps to mitigate throttling of new EC2 instance launches. We will provide an update by 10:00 AM PDT.

4. identified Oct 20, 2025, 05:28 PM UTC

   AWS continúa trabajando en la resolución de este problema. En este momento, se encuentra validando una posible solución a los problemas que están experimentando, que de funcionar, debería permitirnos a nosotros iniciar la infraestructura faltante para estabilizar totalmente nuestros servicios. —- [10:03 AM PDT] We continue to apply mitigation steps for network load balancer health and recovering connectivity for most AWS services. Lambda is experiencing function invocation errors because an internal subsystem was impacted by the network load balancer health checks. We are taking steps to recover this internal Lambda system. For EC2 launch instance failures, we are in the process of validating a fix and will deploy to the first AZ as soon as we have confidence we can do so safely. We will provide an update by 10:45 AM PDT.

5. identified Oct 20, 2025, 06:15 PM UTC

   AWS ya empezó el proceso de propagar una solución relevante para nuestra plataforma a varias de sus zonas de disponibilidad. Debido a esto, logramos restablecer el servicio del app clásica y este se encuentra funcionando normalmente. Los siguientes servicios siguen fuera de operación: 1. La aplicación web legacy (administración de compañías y configuración de facturación electrónica). 2. La generación de reportes y PDF desde la API. Otros servicios de la plataforma se encuentran funcionando, pero todavía no están operando a su capacidad normal. —- [10:38 AM PDT] Our mitigations to resolve launch failures for new EC2 instances are progressing and the internal subsystems of EC2 are now showing early signs of recovering in a few Availability Zones (AZs) in the US-EAST-1 Region. We are applying mitigations to the remaining AZs at which point we expect launch errors and network connectivity issues to subside. We will provide an update by 11:30 AM PDT.

6. monitoring Oct 20, 2025, 07:21 PM UTC

   AWS continúa su proceso de mitigar y resolver los problemas a lo largo de su infraestructura. De nuestro lado, casi todos los servicios se encuentran nuevamente en niveles normales de operación, con errores intermitentes que se dan mientras nuestra plataforma se estabiliza. En este momento, estamos a la espera que se procesen todos los mensajes pendientes en las colas de eventos, por lo que todavía se pueden observar retrasos importantes en la propagación de información entre algunos servicios (por ejemplo, un nuevo producto podría tardar todavía algún tiempo indeterminado en aparecer en el POS v2). —- [11:22 AM PDT] Our mitigations to resolve launch failures for new EC2 instances continue to progress and we are seeing increased launches of new EC2 instances and decreasing networking connectivity issues in the US-EAST-1 Region. We are also experiencing significant improvements to Lambda invocation errors, especially when creating new execution environments (including for Lambda@Edge invocations). We will provide an update by 12:00 PM PDT.

7. monitoring Oct 20, 2025, 09:23 PM UTC

   AWS continúa su proceso de mitigar y resolver los problemas a lo largo de su infraestructura. En nuestra plataforma, vemos que se han procesado bastantes de los eventos que no se habían podido procesar durante esta interrupción de servicio, por lo que pronto vamos tener todos los datos de todos los servicios totalmente actualizados con los cambios de otros servicios. Fuera de esto, toda la plataforma está operando de manera normal. —- [01:52 PM PDT] We have continued to reduce throttles for EC2 instance launches in the US-EAST-1 Region and we continue to make progress toward pre-event levels in all Availability Zones (AZs). AWS services such as ECS and Glue, which rely on EC2 instance launches will recover as the successful instance launch rate improves. We see full recovery for Lambda invocations and are working through the backlog of queued events which we expect to be full processed in approximately in the next two hours. We will provide another update by 2:30 PM PDT. [01:03 PM PDT] Service recovery across all AWS services continues to improve. We continue to reduce throttles for new EC2 Instance launches in the US-EAST-1 Region that were put in place to help mitigate impact. Lambda invocation errors have fully recovered and function errors continue to improve. We have scaled up the rate of polling SQS queues via Lambda Event Source Mappings to pre-event levels. We will provide another update by 1:45 PM PDT. [12:15 PM PDT] We continue to observe recovery across all AWS services, and instance launches are succeeding across multiple Availability Zones in the US-EAST-1 Regions. For Lambda, customers may face intermittent function errors for functions making network requests to other services or systems as we work to address residual network connectivity issues. To recover Lambda’s invocation errors, we slowed down the rate of SQS polling via Lambda Event Source Mappings. We are now increasing the rate of SQS polling as we experience more successful invocations and reduced function errors. We will provide another update by 1:00 PM PDT.

8. monitoring Oct 20, 2025, 10:30 PM UTC

   AWS ya logró restablecer el servicio a sus niveles normales de operación "pre-evento". En nuestra plataforma, todos los eventos pendientes se han terminado de procesar y toda la información entre servicios ha sido actualizada. Vamos a continuar monitoreando la plataforma para confirmar que todo se encuentra operando de manera normal. --- [02:48 PM PDT] We have restored EC2 instance launch throttles to pre-event levels and EC2 launch failures have recovered across all Availability Zones in the US-EAST-1 Regions. AWS services which rely on EC2 instance launches such as Redshift are working through their backlog of EC2 instance launches successfully and we anticipate full recovery of the backlog over the next two hours. We can confirm that Connect is handling new voice and chat sessions normally. There is a backlog of analytics and reporting data that we must process and anticipate that we will have worked through the backlog over the next two hours. We will provide an update by 3:30 PM PDT.

9. resolved Oct 21, 2025, 01:59 AM UTC

   Este incidente ha sido resuelto.

Read the full incident report →