Episódio 024: Engenharia de Dados... e põe dados nisso!

Nesse episódio conversamos com o Ricardo Paiva, engenheiro de dados que trabalha com com dados que acumulam mais rápido que aviões supersônicos! Venha entender o que faz um engenheiro de dados, o que difere essa profissão de um cientista de dados e quando uma otimização de alguns porcentos pode gerar um lucro imenso quando se lida com milhões de dados por segundo!

Agradecimento especial aos nossos Parceiros

Esse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário.

Os padrinhos desse episódio

Esse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente.

Tópicos abordados neste episódio

Quem é e o que faz o nosso convidado?
Quais são os principais problemas de trabalhar com um volume de dados gigantesco?
O que faz um time de engenharia de dados?
Como se organizam os times de engenharia em um ambiente de muitos dados?
O que diferencia um Engenheiro de Dados e um Cientista de Dados?
O que uma pessoa precisa estudar para trabalhar com engenharia de dados?

Escute agora

Pessoas nesse episódio

Leticia Portella
Twitter

Jessica Temporal
Twitter

Gustavo Coelho
Twitter

Ricardo Paiva
Canal do YouTube

Apoie o pizza:

Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.  

Apoiar o Pizza

Links

Coisas que mencionamos durante esse episódio:

#PerguntaProPizza
Telegram do Pizza
Python Brasil
Conferência Web.br
Blog do Rladies
Paco Nathan - Passado e Futuro da AI
Engenharia de Dados
Curso Online de Big Data do Ricardo
Big Data
Criteo
Pipeline
Ingestão de Dados
HDFS
Hbase
E-commerce
Excel
SQL
Cluster
Hadoop
Big Data
Data Lake
JSON
Schema
Protobuff
Aprendizado de máquina / Machine Learning
Sampling - Amostragem
Join ou União de Dados
Banco de Dados 
Petabytes
Kafka
Javascript
XML
Formatos binários
Avro 
Buffer
Barramento / Filas
Bancos de Dados Relacional
DBA
Governança de Dados
Inteligência Artificial
Empresa de Capital Aberto
Universidade de Sorbonne
Parquet
Ciência de Dados
SRE - Site Reliability Engineering 
Otimização
Spark
PySpark 
Análise Ad-Hoc
Latência
Resiliência
Aplicação Web
Métricas
Logs
Post Mortem 
Data Centers
VPN
Iterações
Hive
Prestor
Streaming
Processamento em lote ou Processamento em batch
Framework 
Flink
Kafka Stream
Scala
Oracle Database
MySQL
Linguagem R
Python
YARN
JVM
AliBaba
Spark Streaming
Análise Assintótica
Série de Taylor
Great Expectations
Teste A/B
RegEx
Instituto InfNet
RegexR
Regex101
Serenata

Pérolas?! Temos muitas

Queijo aqui é uma ciência! Não é pra amador
Só de escutar uma tabela de excel crescendo assim eu já travei!
É big data MESMO
Data Reliability Engineering!
Dá até um ruim só de pensar
O cara que contava o quanto a gente já tinha perdido com aquele incidente!
Estou sofrendo e nem é comigo
Acho que é um pouco melhor que o médico!
Consegue dormir o sono dos justos!
De tudo o que você falou, o que mais me impressionou é que você ainda tem telefone fixo
Se processou o dado e coube na memória… não é big data
A complexidade dos coisinhos que você tá fazendo
Você não pode olhar regex de longe, se olhar de longe de assusta!

Edição

Esse episódio foi editado pelo Johnny. Valeu Johnny!

Escute: