Programa 20 – Data Science

(download) Neste 20º episódio estivemos à conversa com Daniel Costa, Data Scientist  na MOG. Nos dias de hoje, esta área está difundida por todas as aplicações que usamos diariamente. As sugestões de novas conexões no...

O post Programa 20 – Data Science aparece primeiro no 10web.

(download)

Neste 20º episódio estivemos à conversa com Daniel Costa, Data Scientist  na MOG.

Nos dias de hoje, esta área está difundida por todas as aplicações que usamos diariamente. As sugestões de novas conexões no LinkedIn, a construção do newsfeed no Facebook, ou as sugestões de quem podemos seguir no Twitter são alguns exemplos. Daí a nossa vontade de conhecer como é que tudo funciona na prática.

Começámos por falar sobre o percurso profissional do Daniel, sobre o papel e os desafios de um Data Scientist. Falámos ainda sobre o processo de recolha e tratamento dos dados, e das diferentes ferramentas que usa no seu trabalho.

Tecnologias para projetos de streaming:

Kafka: https://kafka.apache.org/
Rabbit Message Queue: https://www.rabbitmq.com/

Modelo de dados descritivos:

Avro: https://avro.apache.org/
Thrift: https://thrift.apache.org/

Os “chavões” do Data Science:

Hadoop: http://hadoop.apache.org/

MapReduce: https://research.google.com/archive/mapreduce.html
Hive: http://hive.apache.org/
Pig: http://pig.apache.org/
Mahout: http://mahout.apache.org/

Tópicos abordados

Percurso profissional [00:00:19]
O que faz um Data Scientist [00:05:30]
Principais desafios [00:07:00]
Crescimento da recolha e coleção de dados [00:09:26]
A MOG, e os tipos de dados interessantes para o negócio [00:11:55]
Recolha e processamento de dados [00:16:17]
Tecnologias de Data Science usadas na MOG [00:30:10]
Hadoop, MapReduce, Hive, Pig… o que são? [00:34:30]
Visualização dos dados [00:37:30]
Machine Learning [00:43:20]
Questões respondidas por Data Science [00:48:00]
Aplicações práticas de Data Science [00:53:00]
Perguntas Rápidas [00:57:00]

Perguntas Rápidas

Expectativas para os próximos 12 meses a nível de web?

Data Science na cloud, acessível a todas as empresas
Qual a app mobile que não dispensarias?

Spotify
Qual a ferramenta de desenvolvimento/produtividade mais indispensável para o teu dia-a-dia?

Git (Gitlab)
Um podcast ou livro fundamental?

Podcast: 10web

Livro: sobre Social Engineering, por exemplo: Art of Human Hacking 
Conferência a não perder

Conferências Google e Apache
Sugestão de próximo convidado

Sobre Docker, Miguel Poeira da MOG

O post Programa 20 – Data Science aparece primeiro no 10web.