Soy director de ingeniería de Google y he dirigido equipos de ingeniería en grandes empresas y nuevas empresas de tecnología de consumo. En todos los casos, equipos de ingeniería de datos jugó un papel fundamental en el negocio.
Cuando entré a la industria hace más de 12 años, las organizaciones se centraban principalmente en convertirse en nativas de la nube. Esta transición creó nuevas oportunidades y las empresas se movieron más rápido, de manera más eficiente y generaron más datos. El campo de la ingeniería de datos empezó a recibir más atención.
El últimos desarrollos de IA Ponga los datos en primer plano, ya que la calidad de los conjuntos de datos determina la calidad de los modelos de IA. En otras palabras, la prisa por los avances en la IA está aumentando la necesidad de más trabajos de ingeniería de datos.
Cada organización tiene toneladas de datos no estructurados que ocultan información valiosa. Uno de esos conocimientos puede aumentar rápidamente las ganancias, reducir los costos operativos o mejorar el bienestar. El problema es que está enterrado bajo mucho ruido. Su trabajo como ingeniero de datos es eliminar el ruido estructurando y procesando grandes cantidades de datos.
Pero antes de ingresar a esta industria, considere estas cuatro cosas.
1. Si no te gusta sumergirte en los negocios, es posible que no te guste la ingeniería de datos.
Si usted disfruta escribiendo código pero no disfrute tanto del lado comercial, puede que la ingeniería de datos le resulte emocionante y decepcionante.
Será emocionante porque necesitará construir grandes sistemas a escala, pero antes de poder escribir código, debe comprender el contexto empresarial de la organización y sus productos.
Es necesario asociarse muy estrechamente con gerentes de producto y analistas de negocios. A veces, es necesario asociarse con muchos para comprender todas las unidades de negocio. Incluso si la empresa tiene varias unidades, el sistema de datos que cree debe servir a todas ellas.
Antes de escribir una línea de código, debes averiguar:
- ¿Qué datos es necesario recopilar?
- ¿Cómo planea la organización utilizar los datos?
- ¿Qué tan actualizados deben ser los datos?
Todas estas preguntas tienen implicaciones técnicas, arquitectónicas y de eficiencia. Un buen ingeniero de datos ofrece el mejor sistema que equilibra las necesidades, los costos y los plazos de la organización.
Los mejores ingenieros de datos consideran las necesidades y diseños futuros teniendo en cuenta estas necesidades.
2. Es un trabajo trepidante que evoluciona continuamente
Si no le gusta que lo desafíen constantemente, es posible que la ingeniería de datos no sea para usted.
La ingeniería de datos es un campo que evoluciona muy rápido y es necesario mantenerse al día. Los datos están creciendo exponencialmente y nuevos sistemas y técnicas son necesarios para gestionar grandes cantidades de datos. Los sistemas de ayer están obsoletos y esto puede parecer abrumador debido a la velocidad del cambio.
Me pasó en las primeras etapas de mi carrera. Había mucho que aprender y tan poco tiempo. Estaba trabajando en una startup y tuve que empezar a trabajar. Al principio leía y aprendía por la noche y me desarrollaba durante el día. Esto me ayudó a mejorar comprensión de la ingeniería de software que mis compañeros.
Ahora, dedico un par de horas a la semana a explorar y leer sobre los últimos avances en mi campo. Sé que no cubro todo, pero trato de mantenerme actualizado tanto como sea posible.
Lo último tendencias en la IA El espacio ha traído IA generativa y tecnologías como bases de datos vectoriales y técnicas de generación aumentada de recuperación. Estos abren nuevas posibilidades pero también traen nuevos desafíos.
No podrás estar al día con todo, pero esto no debería hacerte rendirte. Regístrese para boletines tecnológicos. Puede obtener un resumen semanal o mensual de las nuevas tendencias en su área. Esté abierto a experimentar y probar cosas nuevas. Esto le dará a usted y a su organización una ventaja competitiva.
3. Conocer las reglas de cumplimiento es imprescindible
Como ingeniero de datos, debes considere la privacidad de los datos y construir sistemas internos que satisfagan los requisitos legales y de cumplimiento sin poner en riesgo a la empresa. Debe familiarizarse con GDPR, CCPA, HIPPA y otras regulaciones que la empresa deba seguir.
Recuerdo cuando el La fecha límite del RGPD entró en vigor, en 2018. Hubo prisa por que todas las empresas dejaran lo que estaban haciendo y cumplieran. Los equipos de ingeniería trabajaron las 24 horas del día para que sus sistemas cumplieran con las normas. La carga más considerable recayó en los equipos de datos y funciones para incorporar las funcionalidades correspondientes.
Garantizar que los datos de los usuarios estén seguros y que todo el procesamiento y las políticas sean transparentes para los usuarios es crucial para generar y mantener la confianza del cliente. La forma más fácil de perder confianza de los clientes no es gestionar bien sus datos.
Los ingenieros de datos deben asociarse con gerentes legales y de productos para garantizar que todos los flujos de datos respeten las regulaciones de privacidad de datos y actualizar esos flujos cuando las regulaciones cambien.
4. Los consumidores no verán tu trabajo
Lo más probable es que esté equivocado si cree que la ingeniería de datos implica la creación de funciones orientadas al consumidor.
Los productos en los que trabajan los ingenieros de datos la mayor parte del tiempo son capacidades y sistemas de plataformas de datos. Esos sistemas respaldan las necesidades comerciales de la organización. En la mayoría de las empresas, el equipo de datos Es un equipo horizontal que construye sistemas y canalizaciones para estructurar y procesar los datos.
La naturaleza del trabajo horizontal implica que los ingenieros de datos tengan varios clientes internos, desde otros equipos de software hasta gerentes de producto, analistas y ejecutivos, que necesitan información valiosa sobre cómo administrar el negocio.
Los ingenieros de datos solo trabajarán en características y funcionalidades de forma indirecta para los consumidores. Aun así, sus acciones influirán hacia dónde se dirige el producto al proporcionar análisis e información sobre el mercado y cómo lo utilizan los clientes.
La ingeniería de datos es un campo apasionante que está evolucionando rápidamente
El rápida evolución de los datos La ingeniería es clave para crear mejores modelos de IA. Pero antes de saltar al campo, hay que tener en cuenta los cuatro puntos que se presentaron. De esta manera, tendrás tus expectativas establecidas y sabrás a qué te apuntaste.
La ingeniería de datos es un trabajo que le permitirá interactuar con diversas partes interesadas, desde equipos de ingeniería hasta gerentes de producto, legales y ejecutivos. Es una función fundamental para cualquier organización moderna.
Si es ingeniero de datos y tiene una historia interesante que compartir sobre el trabajo, envíe un correo electrónico a Manseen Logan a mlogan@businessinsider.com.
