Módulo 6. Métricas

Lo que vas a lograr en este módulo

Al terminar esta semana vas a tener un tablero chico, armado con herramientas gratuitas, que te muestra en una sola pantalla cuánta gente llega a tu producto, cuánta lo prueba de verdad, cuánta vuelve y cuánta paga. Vas a tener también una encuesta enviada a tus usuarios con la pregunta más útil que existe para saber si tu producto le importa a alguien, y una decisión escrita basada en lo que te dijeron los números.

Hasta ahora trabajaste con conversaciones, una landing, un producto publicado, un precio y un experimento de distribución. Todo eso generó datos, aunque sean pocos. Este módulo trata de convertirlos en decisiones. Y con una advertencia desde el principio: con pocos usuarios, los números engañan fácil. Parte del módulo está dedicada a qué podés concluir y qué no cuando tenés cuarenta usuarios y no cuarenta mil.

Vamos a recorrer diez temas:

1. Por qué medir: métricas de vanidad y métricas accionables.
2. El funnel AARRR: las cinco etapas de tu cliente.
3. Una sola métrica por vez y las etapas de una startup.
4. La métrica estrella que guía al equipo.
5. Activación y el momento en que el usuario "lo entiende".
6. Retención por cohortes, paso a paso.
7. Product-market fit: qué es y cómo medirlo con una encuesta.
8. Un tablero mínimo con herramientas gratuitas.
9. Experimentos A/B y sus trampas cuando tenés pocos usuarios.
10. Cuando los datos dicen que no.

Al final, como siempre, cómo usar la IA en esta etapa, el ejercicio y el entregable. Todos los casos son reales y están documentados por sus protagonistas o por fuentes públicas. Las tablas de trabajo no traen números inventados: son plantillas con [huecos entre corchetes] para que las completes con tus propios datos.

6.1 Medir para decidir

Hay una pregunta que conviene hacerse frente a cualquier número que mirás: si este número cambia, ¿voy a hacer algo distinto? Si la respuesta es no, ese número puede ser entretenido, pero no te sirve para decidir.

Eric Ries, autor de The Lean Startup (2011), le puso nombre a este problema. En una columna de Harvard Business Review de febrero de 2010 y después en su libro, separó dos tipos de métricas:

• Métricas de vanidad. Números que casi siempre suben y te hacen sentir bien, pero no te dicen si lo que hiciste funcionó. El total acumulado de usuarios registrados, las visitas totales a la web, los seguidores, las descargas, las impresiones de una publicación. El total acumulado solo puede subir o quedarse quieto; nunca baja, aunque tu producto esté perdiendo gente todos los días.
• Métricas accionables. Números que muestran causa y efecto y te ayudan a elegir qué hacer. Qué porcentaje de las personas que se registraron esta semana completaron la acción principal, cuántas volvieron la semana siguiente, cuántas pagaron.

Ries propuso una prueba de tres partes para reconocer una buena métrica, que se conoce como las tres A:

La tercera A es la más subestimada. Si tu tablero dice que [N] personas se activaron, tenés que poder ver quiénes son y escribirles. Con pocos usuarios, esa es una ventaja que las empresas grandes no tienen.

Cómo se ve la diferencia en la práctica

Fijate el patrón: las versiones accionables son porcentajes, tasas o comparaciones entre grupos, no totales acumulados. Y casi siempre están cortadas por tiempo (esta semana, el primer mes) o por origen (este canal, esta cohorte).

Mirar métricas de vanidad no tiene nada de malo; el problema es decidir con ellas. Si un contenido del módulo 5 te trajo muchas visitas y casi nadie hizo algo después, fue un éxito de difusión y un fracaso de negocio.

6.2 El funnel AARRR: las cinco etapas de tu cliente

En agosto de 2007, Dave McClure, que después fundaría la aceleradora 500 Startups en 2010, dio una charla de cinco minutos en un evento llamado Ignite Seattle. Se titulaba "Startup Metrics for Pirates", métricas de startups para piratas. El chiste es que las iniciales de las cinco etapas que proponía, en inglés, forman AARRR, que suena como el grito de un pirata de película.

La idea sigue vigente: ordená lo que medís según el recorrido de una persona desde que te conoce hasta que te paga.

Cómo leer el funnel

La palabra funnel significa embudo, y la imagen es buena: en cada etapa pasa menos gente que en la anterior. Lo interesante no es cuánta gente hay en cada etapa sino la tasa de paso entre una etapa y la siguiente. Esa tasa te dice dónde se rompe el recorrido.

Esta es la plantilla para escribir tu funnel. Completá cada hueco con tus datos de la semana:

Los clientes que pagan son el producto de todas las tasas: [A] × ([B] ÷ [A]) × ([C] ÷ [B]) × ([D] ÷ [C]) × ([E] ÷ [D]). Por eso duplicar las visitas y duplicar una tasa del medio tienen el mismo efecto sobre los clientes finales. La intuición dice "traer más gente", pero mejorar una tasa del medio no te cuesta más adquisición y, además, te enseña algo sobre tu producto. Buscá primero la tasa más baja del medio del funnel.

La regla práctica: arreglá el funnel de abajo hacia arriba, o por lo menos desde el medio. Traer más gente a un producto que no retiene es como llenar un balde agujereado. Por eso casi todos los marcos que vas a ver en este módulo ponen a la retención como el centro.

Adaptá las etapas a tu producto

El orden de McClure no es sagrado: en algunos productos se paga antes de usar, en otros los referidos llegan antes de la retención. Lo importante es escribir tu propio recorrido con eventos concretos. La activación no es "se registró" sino "cargó su primer turno" o "envió su primera factura". La retención depende de cada cuánto debería volver alguien que usa bien tu producto: todos los días, una vez por semana, una vez por mes. Y para los referidos alcanza con preguntar "¿cómo nos conociste?" al registrarse. En el ejercicio vas a escribir estas cinco definiciones. Es más difícil de lo que parece.

6.3 Una sola métrica por vez

Con el funnel armado aparece la tentación contraria: mirar todo, todo el tiempo, hasta tener cuarenta indicadores que nadie sabe priorizar.

Alistair Croll y Benjamin Yoskovitz propusieron una respuesta en su libro Lean Analytics (2013): en cada momento, elegí una métrica que importa, la One Metric That Matters. No porque las demás no existan, sino porque un equipo chico no puede mejorar diez cosas a la vez. La métrica elegida es la que vas a mirar primero cada semana y la que ordena en qué trabajás.

Las cinco etapas de Lean Analytics

La métrica que importa no es siempre la misma. Cambia según en qué etapa está tu proyecto. Croll y Yoskovitz describen cinco, y cada una tiene una pregunta distinta:

En el libro, la segunda etapa se llama stickiness, adherencia: qué tan "pegajoso" es el producto. La mayoría de quienes hacen este curso están ahí: producto publicado, algunos usuarios, y la pregunta real es si vuelven. La consecuencia es incómoda: si todavía no sabés si la gente vuelve, tu métrica principal no debería ser de adquisición ni de ingresos. Traer más gente se siente como progreso, pero si el producto no retiene, solo acelera la pérdida.

Cómo elegir tu métrica de esta etapa

Una buena métrica principal es una tasa y no un total, se mueve en días o semanas (no en trimestres), está atada a tu etapa y tiene una meta escrita con fecha, como tus criterios de corte del módulo 1. Un ejemplo de cómo escribirla: "Mi métrica de las próximas cuatro semanas es el porcentaje de usuarios nuevos que completan la acción principal al menos dos semanas distintas en su primer mes. Hoy está en [valor actual]. Quiero llegar a [meta] para el [fecha]".

6.4 La métrica estrella

Hay otra idea que circula mucho y que conviene distinguir de la anterior: la North Star metric, la métrica estrella o métrica norte. La imagen es la de la estrella polar, que los navegantes usaban para orientarse.

Mientras que la métrica que importa de Lean Analytics cambia según la etapa, la métrica estrella intenta capturar algo más estable: el valor que tu producto le entrega a tus clientes, expresado en un número que, si crece, arrastra al negocio con él. La empresa de analítica Amplitude, que popularizó el concepto con una guía llamada North Star Playbook, publica ejemplos como estos:

Estos ejemplos los publica Amplitude para ilustrar el concepto; no siempre son la métrica oficial de cada empresa, así que tomalos como formas de pensar.

Según Amplitude, una buena métrica estrella refleja valor para el cliente y no solo para vos, anticipa ingresos futuros en vez de contar los pasados, el equipo la puede mover con su trabajo y se explica en una oración. "Ingresos" no califica: podés subirla subiendo precios sin darle más valor a nadie.

Con pocos usuarios no hace falta un ejercicio formal. Pero sí conviene que escribas una respuesta tentativa a esta pregunta: ¿qué número, si crece, significa que más gente está recibiendo el valor que prometés? Para un sistema de turnos puede ser "turnos confirmados por semana"; para una herramienta de facturación, "facturas enviadas por mes". Esa respuesta te va a ayudar a definir la activación, que es el tema siguiente, y te protege de celebrar números que no importan.

6.5 Activación y el momento en que el usuario "lo entiende"

La activación es probablemente la etapa del funnel más descuidada por quienes empiezan, y la que más rápido se puede mejorar. Es el momento en que una persona que se registró experimenta por primera vez el valor que prometés. En la jerga se lo llama el aha moment, el momento "ajá": cuando el usuario piensa "ah, para esto sirve".

Hay tres casos muy citados. Vale la pena conocerlos, pero también conocer sus matices, porque se suelen contar mal.

Caso real: Facebook y los 7 amigos en 10 días. Chamath Palihapitiya, que dirigió el equipo de crecimiento de Facebook, contó en una charla en octubre de 2012 que el hallazgo más importante del equipo fue simple: había que llevar a cada persona nueva a tener 7 amigos en sus primeros 10 días. Lo encontraron comparando grupos de usuarios que se habían quedado con grupos que se habían ido. Según su relato, cientos de personas trabajaron durante años alrededor de esa única regla. Palihapitiya lo describió como una forma elegante de capturar el valor central del producto: una red social sin amigos está vacía.

El matiz importante vino después. En enero de 2015, Benn Stancil, cofundador de la empresa de análisis de datos Mode, publicó un análisis explicando que ese número es una correlación, no una causa, y que se trata de un promedio fácil de recordar, no de un umbral mágico. Algunas personas se enganchaban con 4 amigos, otras necesitaban 10. En 2026, un artículo del equipo de Mixpanel fue más lejos: sostuvo que estos "números mágicos" funcionan más como historias para alinear al equipo que como resultados matemáticos precisos, y que umbrales parecidos habrían servido igual.

La lección no es que el caso sea falso. Es que el valor estuvo en tener un objetivo simple, atado al valor real del producto, que todo el equipo entendía. El 7 y el 10 importan menos que la idea: sin amigos, Facebook está vacío.

Caso real: Slack y los 2.000 mensajes. En una entrevista publicada por First Round Review en febrero de 2015, Stewart Butterfield (el mismo del caso Glitch del módulo 1) explicó que, mirando qué equipos se habían quedado con Slack y cuáles no, concluyeron que un equipo que había intercambiado 2.000 mensajes lo había probado de verdad. Según Butterfield, más allá de cualquier otro factor, el 93% de esos equipos seguía usando Slack. En la misma nota se aclara la escala: para un equipo de 50 personas, 2.000 mensajes son unas 10 horas de uso; para uno de 10, alrededor de una semana.

Fijate que la definición de Slack está pensada para el equipo, no para la persona. Un chat que usa una sola persona no tiene sentido. El umbral captura el momento en que el equipo entero ya se está comunicando por ahí.

Caso real: Twitter y las cuentas seguidas. Sean Ellis y Morgan Brown cuentan en su libro Hacking Growth (2017) cómo Josh Elman, que trabajó en crecimiento en Twitter, buscó qué diferenciaba a los usuarios que se quedaban. Primero dividió a los usuarios según cuántos días por mes entraban y vio que los que entraban al menos siete días en un mes seguían activos al mes siguiente en una proporción muy alta. Después buscó qué tenían en común esos usuarios y encontró que solían seguir a unas 30 cuentas. Pero el equipo desconfió de la correlación, siguió investigando y encontró que importaba también que una parte de esas cuentas los siguiera de vuelta.

El caso de Twitter es el más útil de los tres para aprender el método, porque muestra el paso que casi todos se saltean: después de encontrar una correlación, dudar de ella y seguir buscando.

Cómo encontrar tu evento de activación

Con pocos usuarios no vas a hacer un análisis como el de Facebook, pero sí una versión artesanal:

1. Separá a tus usuarios en dos grupos: los que siguen usando el producto después de dos o tres semanas y los que no.
2. Listá qué hizo cada uno en sus primeros días, a mano si hace falta.
3. Buscá qué acción hicieron casi todos los que se quedaron y pocos de los que se fueron. Esa es tu candidata.
4. Hablá con tres o cuatro de cada grupo. Es la tercera A de Ries: auditá el número con personas reales.
5. Tratala como hipótesis. Si más gente llega a esa acción y la retención no mejora, la correlación no era causa.

Con el evento definido, el trabajo es acortar el camino hasta él: sacar pasos del registro, mostrar un ejemplo precargado o acompañar a mano a los primeros usuarios hasta que lleguen.

6.6 Retención por cohortes, paso a paso

Si hubiera que elegir un solo gráfico para saber si un producto funciona, casi todos los inversores y equipos de producto elegirían el de retención por cohortes. Es también el que menos entienden quienes recién empiezan, así que vamos despacio.

Qué es una cohorte

Una cohorte es un grupo de usuarios que empezaron en el mismo período, por ejemplo todos los que se registraron en la semana del 1 de septiembre. ¿Por qué agrupar así? Porque si mirás a todos tus usuarios mezclados, los viejos que se quedaron durante meses se mezclan con los nuevos que llegaron ayer, y no podés saber si el producto mejora o empeora. Es la crítica de Ries a los totales acumulados.

Cómo se arma la tabla

1. Elegí el período. Semanas si tu producto se usa a diario o semanalmente; meses si se usa una vez por mes.
2. Definí qué es estar activo. No "inició sesión", sino haber hecho la acción principal en ese período.
3. Armá una fila por cohorte: los que se registraron en la misma semana.
4. Armá una columna por período desde el inicio. Semana 0 es la del registro, semana 1 la siguiente, y así.
5. En cada celda, poné el porcentaje de esa cohorte que estuvo activo en ese período.

Así se ve la plantilla. En cada celda va la cuenta que la produce; las celdas vacías son semanas que todavía no pasaron para esa cohorte:

Fijate que siempre se divide por el tamaño original de la cohorte ([N1], [N2]...), no por los que quedaban la semana anterior.

Cómo leerla

Hay tres lecturas, y cada una responde una pregunta distinta:

• Leyendo una fila de izquierda a derecha ves cómo se comporta un grupo a lo largo del tiempo. Si en la fila de [semana 1] el porcentaje deja de bajar a partir de cierta semana, ese grupo encontró su piso.
• Leyendo una columna de arriba hacia abajo ves si el producto mejora. Si en la columna "Semana 1" las cohortes más nuevas tienen porcentajes más altos que las viejas, y en esas semanas cambiaste algo del producto o del onboarding, esa es la evidencia de que el cambio funcionó.
• Mirando dónde se aplana la curva ves si tenés un núcleo de usuarios que se queda. Esta es la lectura más importante.

La curva que se aplana

Si dibujás una fila como línea, vas a ver una curva que baja fuerte al principio: mucha gente prueba y se va. La pregunta es qué pasa después. Si la curva sigue bajando hasta cero, todos terminan yéndose, solo que a distinta velocidad. Si se aplana en algún valor, aunque sea bajo, tenés un núcleo que se queda, y sobre ese núcleo se construye todo lo demás.

Qué porcentaje es "bueno" depende muchísimo del tipo de producto, así que no tomes como referencia números sin contexto. La pregunta más útil al principio no es "¿mi retención es alta?" sino "¿mi curva se aplana, y las cohortes nuevas retienen mejor que las viejas?"

Con pocos usuarios

Si tus cohortes tienen 5 o 10 personas, los porcentajes saltan mucho: una persona que vuelve o no vuelve mueve el número 10 o 20 puntos. Hay dos formas de manejarlo:

• Agrupá en períodos más largos. Cohortes de dos semanas o de un mes en vez de una semana.
• Mirá los números absolutos al lado de los porcentajes. "3 de 8" dice mucho más que "37,5%", porque te recuerda lo chica que es la muestra.

Y sobre todo, completá lo que los números no pueden decir hablando con las personas. Con ocho usuarios en una cohorte, podés escribirle a los ocho.

6.7 Product-market fit: qué es y cómo medirlo

Todo este módulo apunta a una pregunta de fondo: ¿tu producto encontró a su mercado? En inglés se dice product-market fit, el encaje entre producto y mercado. Es probablemente el concepto más citado del mundo de las startups, y uno de los más difíciles de medir.

La definición de Marc Andreessen

El término se popularizó con un ensayo que Marc Andreessen, cofundador de Netscape y del fondo de inversión Andreessen Horowitz, publicó en junio de 2007. Su definición es breve: product-market fit significa estar en un buen mercado con un producto que puede satisfacer ese mercado.

En el mismo texto, Andreessen sostiene que es lo único que importa en una startup temprana, y describe cómo se siente la diferencia. Cuando no hay encaje, los clientes no terminan de obtener valor, el boca a boca no aparece, el uso no crece rápido y las ventas cuestan demasiado. Cuando hay encaje, pasa lo contrario: los clientes compran tan rápido como podés atenderlos y el problema pasa a ser dar abasto.

La definición es muy buena para reconocer el encaje cuando ya llegó. El problema es que no te dice cómo medir si estás cerca, ni qué hacer si no lo estás.

La encuesta de Sean Ellis

Sean Ellis, que dirigió el crecimiento inicial de empresas como Dropbox y Eventbrite y después acuñó el término growth hacking, propuso una forma concreta de medirlo. Es una sola pregunta a tus usuarios:

¿Cómo te sentirías si ya no pudieras usar [producto]? a) Muy decepcionado b) Algo decepcionado c) No me importaría d) Ya no lo uso

El dato que importa es el porcentaje que responde "muy decepcionado". Según contó Ellis, después de comparar esta encuesta en casi cien startups, observó un patrón: las que luchaban para crecer casi siempre tenían menos del 40% de "muy decepcionados", y las que tenían tracción fuerte casi siempre superaban ese número. Ese 40% se volvió el umbral de referencia.

Fijate por qué la pregunta es buena. No pregunta si te gusta el producto (a la gente le cuesta decir que no), ni si lo recomendarías (una intención, no un comportamiento). Pregunta por la pérdida. Y la pérdida es una forma honesta de medir cuánto valor recibe alguien.

Caso real: Superhuman y el motor de product-market fit. Rahul Vohra, fundador de Superhuman, un cliente de correo electrónico pago, contó en First Round Review en 2018 cómo usó esta encuesta. Llevaban dos años construyendo sin lanzar y Vohra sentía que no tenían encaje, pero no podía demostrarlo ni sabía qué hacer. En el verano de 2017 mandaron la encuesta de Ellis y solo el 22% respondió "muy decepcionado". Estaban lejos del 40%.

Lo interesante es lo que hizo con ese número. Vohra armó un proceso de cuatro pasos que llamó el motor de product-market fit:

1. Encuestar con cuatro preguntas. La de Ellis, más: qué tipo de persona creés que se beneficiaría más de este producto; cuál es el principal beneficio que obtenés; y cómo podríamos mejorarlo.
2. Segmentar para encontrar a los fans. Separó a quienes respondieron "muy decepcionado" y describió cómo eran. Encontró un perfil muy claro: profesionales ocupados (ejecutivos, fundadores, gerentes) que procesan entre 100 y 200 correos por día. Solo con mirar a ese segmento, el porcentaje de "muy decepcionados" pasó del 22% al 33%.
3. Entender qué aman los fans y qué frena a los indecisos. De los fans aprendió qué valoraban (la velocidad, los atajos de teclado, el diseño). De los "algo decepcionados", escuchó solo a los que valoraban el mismo beneficio principal que los fans, y dejó educadamente de lado a los demás. A los que respondieron "no me importaría" no les prestó atención: según Vohra, esa gente te desvía.
4. Repartir el trabajo mitad y mitad. La mitad del equipo reforzaba lo que los fans ya amaban. La otra mitad resolvía lo que frenaba a los indecisos (en su caso, una app para el celular, integraciones y mejoras en la búsqueda).

Midiendo la encuesta cada semana, en unos tres trimestres el porcentaje de "muy decepcionados" llegó al 58%.

Cómo aplicarlo con pocos usuarios

Vohra sugiere que con unas 40 respuestas ya tenés una señal direccional razonable. Con menos, el porcentaje es muy inestable. Algunas reglas para tu versión:

• Mandala solo a quienes usaron el producto de verdad. Ellis recomienda gente que pasó por la experiencia principal, la usó al menos dos veces y en las últimas dos semanas.
• Con menos de 40 respuestas, reportá números absolutos. "[X] de [N] respondieron muy decepcionado" es honesto; presentar ese porcentaje como "nuestro product-market fit" cuando [N] es chico es una exageración.
• Leé las respuestas abiertas una por una. Las palabras que usan tus fans para describir el beneficio son oro para tu landing.
• Repetila. Lo que importa es si el número sube a medida que cambiás el producto.

6.8 Un tablero mínimo con herramientas gratuitas

No necesitás un equipo de datos ni software caro. Para la etapa en la que estás, alcanza con un tablero de una sola pantalla que se actualice solo o que puedas actualizar en diez minutos por semana.

Qué tiene que tener

Un tablero mínimo responde cuatro preguntas:

1. ¿Cuánta gente entró al funnel esta semana y de dónde vino? (Adquisición por canal.)
2. ¿Qué porcentaje llegó a la activación? (Tu evento de activación.)
3. ¿Cómo se comportan las cohortes? (La tabla de retención de la sección 6.6.)
4. ¿Cuánta gente pagó y cuánto? (Ingresos.)

Y una quinta cosa que no es un número: una línea escrita por semana con qué cambiaste en el producto o en la distribución. Sin eso, dentro de un mes vas a ver que una cohorte retuvo mejor y no vas a saber por qué.

Categorías de herramientas

Estas son las categorías que necesitás, con ejemplos que al momento de escribir este módulo ofrecen un plan gratuito. Los planes cambian seguido, así que verificá las condiciones antes de elegir.

Dos caminos según tu situación

Camino A: la planilla. Con menos de cien usuarios, exportá una vez por semana dos listas: usuarios (fecha de registro y canal) y eventos (quién hizo la acción principal y cuándo). Con fórmulas de conteo armás el funnel y con una tabla dinámica, las cohortes. Es manual, pero te obliga a mirar los datos, y a esta escala eso es una virtud.

Camino B: una herramienta de analítica de producto. Si tenés acceso al código (o se lo pedís a la IA que te ayudó en el módulo 3), instalar PostHog o Mixpanel te da funnels y cohortes automáticos. El trabajo está en definir pocos eventos con nombres claros, como registro_completo, accion_principal y pago. Más de diez al principio es ruido.

Dos cuidados

• Privacidad. Si registrás el comportamiento de las personas, avisalo en tu política de privacidad (lo vas a ver en el módulo 7) y configurá las grabaciones para que oculten los campos con datos personales.
• Tus propias visitas. Excluí tu tráfico y el de tus pruebas. Con pocos usuarios, vos solo podés ser una parte enorme de la actividad.

Un tablero con cinco números que mirás todos los lunes vale más que uno con cincuenta que abrís una vez por mes.

6.9 Experimentos A/B y sus trampas con pocos usuarios

Un experimento A/B consiste en mostrar dos versiones de algo (una página, un mensaje, un paso del registro) a dos grupos elegidos al azar y comparar cuál funciona mejor. Es la herramienta estándar de las empresas grandes para decidir cambios con evidencia. Y es, casi siempre, la herramienta equivocada cuando tenés pocos usuarios.

Por qué necesitás mucha gente

Para detectar una diferencia con confianza, necesitás una cantidad de personas por versión que depende de dos cosas: de dónde partís y cuánto querés detectar. Cuanto más chica la diferencia, más gente necesitás.

Estos son órdenes de magnitud calculados con la fórmula estándar (95% de confianza y 80% de probabilidad de detectar la diferencia si existe), la misma que usan las calculadoras gratuitas como la de Evan Miller:

Para saber cuánto tardarías, hacé la cuenta: semanas necesarias = (personas por versión × 2) ÷ [tus visitas por semana]. Con poco tráfico, el resultado suele ser de meses, y para ese momento ya cambiaste muchas otras cosas. Por eso, con poco tráfico, solo tiene sentido testear cambios grandes, que puedan duplicar una tasa, no ajustes de color de botón.

La trampa de mirar antes de tiempo

En 2010, Evan Miller publicó un artículo muy citado sobre el error más común en los experimentos: mirar los resultados todos los días y cortar el experimento apenas uno parece ganar. El problema es que, con muestras chicas, los resultados oscilan mucho al principio y en algún momento casi cualquier versión va a parecer ganadora por azar. Miller mostró que, mirando continuamente, la probabilidad de declarar un ganador que en realidad no existe puede pasar del 5% que te informa la herramienta a más del 25%.

Su recomendación: decidí el tamaño de la muestra antes de empezar y no declares un ganador hasta llegar a ese número.

Otras trampas frecuentes: cambiar varias cosas a la vez (si gana, no sabés por qué), mirar una métrica que no decide (más clics pueden venir con menos pagos), cortar antes de una semana completa (un lunes no es un sábado) y mirar veinte métricas hasta que alguna salga "significativa" por azar. Elegí una sola métrica antes de empezar.

Qué hacer en vez de un A/B cuando sos chico

• Antes y después, con cohortes. Hacé un cambio grande, anotá la fecha y compará las cohortes de antes y de después. No es tan limpio como un A/B, pero es mucho mejor que nada.
• Pruebas cualitativas. Mirá cinco grabaciones de sesiones o pedile a cinco personas que usen tu producto compartiendo pantalla. Los problemas grandes aparecen enseguida.
• Umbrales escritos. "Si la activación de las próximas dos cohortes no pasa de [umbral], vuelvo atrás." Criterios de corte aplicados a cada cambio.

6.10 Cuando los datos dicen que no

A veces los números te dicen lo que no querés escuchar, y la reacción más común es buscar un número que diga otra cosa: sumar todas las semanas para que el total se vea mejor, cambiar la definición de "activo", excluir la cohorte mala "porque fue una semana rara". La protección es escribir antes qué número va a significar qué decisión, como hiciste con los criterios de corte del módulo 1.

Qué tipo de "no" te están diciendo

No todos los "no" son iguales. Conviene distinguir tres:

El caso de Burbn

Caso real: de Burbn a Instagram. En 2010, Kevin Systrom y Mike Krieger trabajaban en Burbn, una app para hacer check-in en lugares, compartir planes con amigos y subir fotos. La app no despegaba. Mirando qué hacían los pocos usuarios que tenían, Systrom notó que lo que más usaban era una sola función: compartir fotos de dónde estaban. En una entrevista con Tim Ferriss en 2019 contó que la decisión fue recortar: sacaron todo lo demás y se concentraron en esa función. El resultado, lanzado en octubre de 2010, fue Instagram.

Se cuenta como una historia de visión, pero es sobre todo lectura de datos: dijeron que no al producto completo y que sí a una parte. A veces el "no" viene con una pista. Lo mismo pasó con Glitch, el caso del módulo 1: Butterfield leyó a tiempo un problema de retención y rescató lo único que el equipo usaba todos los días.

Dos reglas para escuchar un no. Primero, no cambies la definición después de ver el resultado. Segundo, separá "todavía no hay datos suficientes" de "los datos dicen que no": con cinco usuarios no tenés datos para casi nada; con cuarenta que probaron y ninguno volvió, sí. Y recordá lo del módulo 1: abandonar un camino bien fundamentado es haber hecho bien el trabajo.

6.11 La IA como analista en esta etapa

La inteligencia artificial es especialmente útil para trabajar con datos, siempre que tengas presente que es muy buena encontrando patrones y muy mala diciéndote cuáles son reales.

Para qué sirve

• Armar la planilla y las fórmulas. Te escribe las fórmulas del funnel, la tabla dinámica de cohortes o la consulta a tu base de datos. Es donde más tiempo ahorra.
• Instalar eventos. Si construiste el producto con IA en el módulo 3, puede agregar los eventos de analítica en los lugares correctos del código.
• Analizar datos exportados y buscar patrones candidatos. Calcular tasas, armar cohortes, comparar a los que se quedaron con los que se fueron.
• Resumir respuestas abiertas. Agrupar por tema las respuestas de tu encuesta y traerte frases textuales de cada grupo.

Para qué no sirve

• No distingue un patrón real de uno casual. Con cuarenta usuarios, cualquier análisis encuentra "diferencias", y la IA te las presenta con total seguridad y explicaciones convincentes. Con muestras chicas, la mayoría son azar.
• Puede calcular mal. Pedile que te muestre las fórmulas o el código, y verificá a mano al menos un número.
• No sabe qué pasó en tu negocio. No sabe que una cohorte vino de una publicación que se viralizó o que esa semana se cayó el servidor. Vos sí.

Una regla de cuidado: no le pases datos personales de tus usuarios. Reemplazá nombres y correos por un identificador antes de subir una exportación.

La regla práctica del módulo 1 sigue valiendo, con un matiz: usá la IA para generar hipótesis a partir de tus datos, y después verificalas con más datos o con conversaciones.

Algunas instrucciones útiles

Te paso dos tablas en formato CSV. La primera tiene usuarios con estas columnas: id, fecha_registro, canal. La segunda tiene eventos: id_usuario, evento, fecha. Mi evento de activación es "accion_principal". Armame: 1) el funnel de registro a activación a pago por canal, con números absolutos y porcentajes; 2) una tabla de retención por cohortes semanales, donde activo significa haber hecho "accion_principal" en esa semana. Mostrá las fórmulas o el código que usaste. Si alguna cohorte tiene menos de 20 usuarios, marcala como poco confiable.

Estos son los datos de mis usuarios que siguen activos después de tres semanas y los de los que se fueron: [datos anonimizados]. Proponeme hasta cinco acciones de sus primeros días que podrían diferenciarlos. Para cada una, decime cuántos usuarios de cada grupo la hicieron, y aclarame explícitamente si la muestra es demasiado chica para sacar conclusiones. No inventes explicaciones: marcá todo como hipótesis.

Estas son las respuestas de mi encuesta de product-market fit: [respuestas]. Separá a quienes respondieron "muy decepcionado". Para ese grupo, agrupá las respuestas a "principal beneficio" y "quién se beneficiaría más" por tema, con cuántas respuestas hay en cada tema y dos o tres frases textuales de ejemplo. Después hacé lo mismo con "algo decepcionado", pero solo con quienes mencionan el mismo beneficio principal que el grupo anterior.

Ejercicio de la semana

Este ejercicio te va a llevar entre dos y tres horas, más el tiempo de esperar respuestas a la encuesta. Hacelo sobre el producto que publicaste en el módulo 3 y la distribución que probaste en el módulo 5.

Paso 1. Escribí tu funnel. Definí con eventos concretos de tu producto qué cuenta como adquisición, activación, retención, referido e ingreso. Una línea por etapa. Revisá que la activación sea una acción de valor, no un registro.

Paso 2. Elegí tu métrica principal. Identificá en qué etapa de Lean Analytics estás (casi seguro, adherencia) y escribí tu métrica para las próximas cuatro semanas, con valor actual, meta y fecha.

Paso 3. Buscá tu evento de activación. Separá a tus usuarios entre los que siguen activos y los que se fueron, y aplicá los pasos de la sección 6.5. Si tenés muy pocos usuarios, hablá con tres de cada grupo. Anotá tu candidato como hipótesis.

Paso 4. Armá el tablero. Elegí el camino A (planilla) o el B (herramienta de analítica). Tiene que mostrar el funnel con tasas de paso y la tabla de retención por cohortes, con números absolutos al lado de los porcentajes. Agregá una columna o una hoja para anotar qué cambiaste cada semana.

Paso 5. Mandá la encuesta de product-market fit. Usá las cuatro preguntas de Superhuman. Mandala solo a quienes usaron el producto de verdad. Si tenés menos de diez usuarios así, mandala igual y tratá cada respuesta como una conversación: después de recibirla, escribile a esa persona para profundizar.

Paso 6. Analizá. Calculá el porcentaje de "muy decepcionados" (con el número absoluto), leé una por una las respuestas abiertas y, si te sirve, usá la IA para agruparlas. Identificá qué valoran los que más te necesitan.

Paso 7. Tomá y escribí una decisión. Con el tablero y la encuesta a la vista, escribí en media página: qué dicen los datos, qué no podés concluir todavía por el tamaño de la muestra, qué vas a hacer en las próximas dos semanas y qué número va a decirte si funcionó. Compartila con la misma persona con la que compartiste tus criterios de corte.

Entregable

Al final de esta semana tenés que tener:

• Un tablero mínimo con tu funnel y una tabla de retención por cohortes
• Tu métrica principal y tu evento de activación, definidos por escrito
• La encuesta de product-market fit enviada, con las respuestas analizadas
• Una decisión documentada a partir de los datos

Guardá el tablero: en el módulo 8 lo vas a usar para contar lo que aprendiste con datos reales.

Para profundizar

• Charla de la semana. Adora Cheung, "Cómo definir KPIs y objetivos" (How to Set KPIs and Goals), Y Combinator Startup School 2019. Cheung, socia de Y Combinator y cofundadora de Homejoy, explica cómo elegir una métrica principal (ingresos o usuarios activos), qué métricas secundarias mirar, qué medir si todavía no lanzaste y cómo fijar metas de crecimiento semanal. En inglés, con subtítulos automáticos.
• Rahul Vohra, "How Superhuman Built an Engine to Find Product/Market Fit", First Round Review (2018). El artículo completo con las cuatro preguntas, la segmentación y la división del trabajo. review.firstround.com/how-superhuman-built-an-engine-to-find-product-market-fit
• Marc Andreessen, "The only thing that matters" (2007). El ensayo original sobre product-market fit. pmarchive.com/guide_to_startups_part4.html
• Evan Miller, "How Not To Run an A/B Test" (2010). Corto y claro sobre por qué no hay que mirar los resultados antes de tiempo. Tiene una calculadora de tamaño de muestra gratuita en el mismo sitio. evanmiller.org/how-not-to-run-an-ab-test.html
• Alistair Croll y Benjamin Yoskovitz, Lean Analytics (2013). El libro sobre la métrica que importa y las cinco etapas.

Glosario del módulo

• Métrica de vanidad: un número que te hace sentir bien pero no te ayuda a decidir, como el total acumulado de registrados.
• Métrica accionable: un número que muestra causa y efecto y cambia lo que vas a hacer. Según Ries, es accionable, accesible y auditable.
• Funnel (embudo): el recorrido del cliente por etapas, en el que en cada una pasa menos gente que en la anterior.
• AARRR: las cinco etapas del funnel de Dave McClure: adquisición, activación, retención, referidos e ingresos.
• One Metric That Matters: la métrica principal que elegís para la etapa actual, según Lean Analytics.
• North Star metric (métrica estrella): el número que mejor refleja el valor que tu producto entrega y que, si crece, arrastra al negocio.
• Activación: el momento en que una persona experimenta por primera vez el valor de tu producto.
• Cohorte: un grupo de usuarios que empezó en el mismo período.
• Retención por cohortes: el porcentaje de cada cohorte que sigue activo en cada período posterior.
• Product-market fit: según Andreessen, estar en un buen mercado con un producto que puede satisfacerlo.
• Encuesta de Sean Ellis: la pregunta "¿cómo te sentirías si ya no pudieras usar el producto?"; el umbral de referencia es 40% de "muy decepcionados".
• Experimento A/B: comparar dos versiones mostrándolas a grupos elegidos al azar.
• Correlación: dos cosas que aparecen juntas; no implica que una cause la otra.

En el próximo módulo

Ya sabés si la gente usa, vuelve y paga, o por lo menos tenés una forma honesta de averiguarlo. En el módulo 7 vamos a ordenar la parte formal: monotributo o sociedad, cómo cobrar con Mercado Pago y en dólares, y cómo escribir términos y una política de privacidad, que ahora necesitás porque estás registrando datos de tus usuarios.