Douglas F.

Background

About Douglas F.

Como profissional de tecnologia desde 2002, atuei em diversas áreas, incluindo suporte, desenvolvimento de software, análise e criação de relatórios e dashboards, definição da arquitetura, implantação de sistemas ERP e consultoria em processos de gestão. Atualmente, atuo como engenheiro de dados, criando pipelines para extração de dados em diferentes fontes, incluindo arquivos estruturados e semi-estruturados, bancos de dados relacionais e não relacionais, APIs REST e SOUP, streaming de dados e cargas de trabalho em batch. Possuo ampla experiência em diferentes clouds, tendo trabalhado vários bancos de dados relacionais e não relacionais (NoSQL). Também tenho conhecimento em ferramentas de ETL orquestradores de fluxo e bons conhecimentos em tecnologias de BigData de streaming, near real time e batchs. Além disso, possuo habilidades em diversas linguagens de programação, bem como em ferramentas de BI. Também possuo conhecimento em conteinerização e em versionamento de código. Adicionalmente, tenho experiência em metodologias ágeis, como Scrum, utilizando ferramentas como Jira, Miro e Confluence. Com minha experiência, já atuei em projetos de BigData em diferentes segmentos, incluindo comunicação/mídia, varejo/atacadista, bancário/financeiro, saúde/medicina, automotivo e órgãos públicos. Minhas habilidades e conhecimentos são aplicáveis em diferentes contextos, o que me permite atuar com versatilidade e adaptabilidade. Conhecimentos nas seguintes tecnologias em BigData: Ambientes: Windows, Linux e Cloudera Banco de dados relacionais SQL: Oracle, SQL Server, Postgre e MySQL. Banco de dados não relacionais NoSQL: MongoDB e HBase. Cloud Azure: Blob Storage, Azure SQL, CosmosDB, Data Factory e Synapse. Cloud AWS: Redshift, RDS, S3, EMR, Glue, Athena, SNS, MWAA e Lambda. Cloud GCP: Cloud Storage, DataFLow, DataProc, Bigquery, BigTable, Composer, CloudSQL, DataStream, CloudRun, Cloud Schedule, Cloud Function e PubSub. BI: PowerBi, Tableau e Looker Studio. Container : Docker. Ferramentas de ETL: PowerCenter, Pentaho e SQL Server Integration Services (SSIS) Orquestradores: Uc4 e ControlM. Apache Spark, AirFlow, NiFi e Kafka. BigData: DBT e DataBricks Linguagem de programação: R, Python, PySpark, Shell e SQL. Versionamento de código: Terraform, Git, GitActions, GitLab e Jenkins