Lista de atividades

[wilsonfreitas]

Package infrastructure

• githhub actions para CHECK/pkgdown/coverage
• coverage tests
• metacode.json
• pkgdown ??
• improve covtests to at least 75% (run covr::report() for details)

Github

• remove (or solve) old issues

Download/Parsers

• spot scenarios
• reference prices scenarios
• curve scenarios
• COTAHIST
• Risk Free Curve
• Other Curves
• Futures and Daily Settlement Prices
• Index Prices
• MarketData
• BTC
• volatility surface scenarios
• Open Interest Futures
• Open Interest Options
• Dollar Volatility Surface
• Registry
• Dollar
• Financial Indicators
• Commodities
• Locked Positions
• Free Float
• IBOVESPA Evolução diária
• B3 Structured Files - BTC/Indicators/Registry/Open Interest

Vignettes

• Leitura e download de arquivos (download_data e read_marketdata)
• equities e equity options
• commodity futures (backward e contango)

[wilsonfreitas]

@msperlin fiz essa lista aqui, coloca aí também o que vc tiver.

[msperlin]

Boa. Semana que vem vou ter um tempo e dar uma trabalhada nesse pacote.
Vamos controlando as mudanças por aqui.

[msperlin]

@wilsonfreitas me coloca como contributor deste repositorio? eu nao consigo editar a lista..

alem disso, como contributor posso editar direto no reposiorio, sem PR

[msperlin]

recebi o convite. Vou mandar um último PR e migrar para este repositorio.

[wilsonfreitas]

Eu atualizei o código ontem corrigindo os problemas do CHECK.
0 0 0 notes/errors/warnings

[msperlin]

Sim, eu vi. Estou adicionando os git actions.

[msperlin]

aproveitando, tu tem cadastro no https://about.codecov.io/ ?

Caso sim, só apontar o repo do rb3 para computar o banner do codecov.

Caso nao, vale a pena criar para termos os testes históricos por commit.

[wilsonfreitas]

tenho sim, coloco lá

[msperlin]

estou rodando os testes do gh, mas sempre tem algo para arrumar. Logo mando o PR.

[msperlin]

fiz e aceitei o PR. Agora vou editar direto do repo.

[msperlin]

@wilsonfreitas Bom dia. Quando puder, favor tirar o "*.json" do gitignore pois falta o arquivo "extdata/CDIIDI.json" no repositório. Sem ele o pacote não passa nos testes.

[wilsonfreitas]

Done

4b14d3b

[msperlin]

Faltou o arquivo ""extdata/CDIIDI.json". Acho que estás em outro computador, tem que commitar de lá. Nao tenha pressa, não é urgente.

[wilsonfreitas]

Agora resolvi ... é que eu tinha alterado apenas o Rbuildignore e faltou o gitignore.
Agora está passando.

[wilsonfreitas]

Coloquei o download do COTAHIST, mas precisei dar uma roubada nos testes pq não estava fazendo download no linux.
Algum problema no SSL.
Acho que vc usa linux né?
Se tiver como dar uma olhada seria legal.

• test-cotahist.R

[msperlin]

Ok, arrumado o problema do ssl

2967c05

[msperlin]

Outra coisa, tem que colocar os skip_on_*() em torno de covr::in_covr() pois senão o covr não executa os testes (ele acha que está no CRAN). Veja baixo:

if (!covr::in_covr()) {
skip_on_cran()
skip_if_offline()
}

[wilsonfreitas]

Oi @msperlin
Eu terminei as mudanças que queria implementar e também refiz o README em inglês.
Fiz uma mudança também movendo a sua implementação das yield curves para o modelo de templates que eu já havia montado.
Esse modelo é importante para separar o download do processamento e assim é possível utilizar em um pipeline de captura de dados.
Acho que já podemos submeter ao CRAN.
O que acha?

[msperlin]

Bom dia @wilsonfreitas.

Blz, por mim ok. Só deixa eu ver o que falta da minha parte. Hoje a tarde vou dar uma olhada.

E o envio para o ROpenSci, anima?

[wilsonfreitas]

E o envio para o ROpenSci, anima?

100%

[msperlin]

Blz, mandei um pacote para lá mes atrás e tenho o template das modificações necessárias. Vou deixar tudo pronto hoje mesmo e já encaminhamos.

Só note que o Ropensci sugere mandar para o CRAN depois do processo de avaliação.

[msperlin]

Wilson, arrumei o que podia no pacote para as normas do rsciopen. Porém, faltou duas coisas:

• mudar o uso do sapply por vapply ou purr::map_xx. Nao quis arrumar pois não sei exatamente qual o impacto disso no código inteiro. Dá uma olhada quando puder.
• o pacote carrega o bizdays na inicialização (linha Depends do DESCRIPTION) e isso não é prática recomendada. Eu topo deixar como está mas, se nao for difícil mudar e chamar o bizdays via Import (bizdays::XX em qualquer chamada), acho q vale a pena. O risco é ir para o autocheck do rsciopen e apontarem a mesma mudança.

Por sinal, ficaram ótimas as funções de dowload/cache. Muita coisa boa de dados ali viu! Vou começar a usar e ver o que dá para melhorar.

[msperlin]

Wilson, arrumei o que podia no pacote para as normas do rsciopen. Porém, faltou duas coisas:

• mudar o uso do sapply por vapply ou purr::map_xx. Nao quis arrumar pois não sei exatamente qual o impacto disso no código inteiro. Dá uma olhada quando puder.
• o pacote carrega o bizdays na inicialização (linha Depends do DESCRIPTION) e isso não é prática recomendada. Eu topo deixar como está mas, se nao for difícil mudar e chamar o bizdays via Import (bizdays::XX em qualquer chamada), acho q vale a pena. O risco é ir para o autocheck do rsciopen e apontarem a mesma mudança.

Por sinal, ficaram ótimas as funções de dowload/cache. Muita coisa boa de dados ali viu! Vou começar a usar e ver o que dá para melhorar.

Uma coisa que esqueci de comentar, tu pode replicar os problemas com o comando goodpractice::goodpractice, disponível no github.

[wilsonfreitas]

Wilson, arrumei o que podia no pacote para as normas do rsciopen. Porém, faltou duas coisas:

• mudar o uso do sapply por vapply ou purr::map_xx. Nao quis arrumar pois não sei exatamente qual o impacto disso no código inteiro. Dá uma olhada quando puder.
• o pacote carrega o bizdays na inicialização (linha Depends do DESCRIPTION) e isso não é prática recomendada. Eu topo deixar como está mas, se nao for difícil mudar e chamar o bizdays via Import (bizdays::XX em qualquer chamada), acho q vale a pena. O risco é ir para o autocheck do rsciopen e apontarem a mesma mudança.

Cara, esse lance do bizdays no Depends é pq nas últimas versões do bizdays eu passei a carregar os calendários no .onAttach, antes eu carregava direto nos scripts, o que não é uma boa prática.
O problema é que para usar os calendários já carregados, passando apenas os nomes deles, eu preciso do pacote attached no environment.
Tentei carregar o bizdays no .onAttach do rb3, mas isso é notificado pelo CHECK
Talvez a melhor alternativa seja voltar para o modelo antigo, mas acredito que não é adequado e não sei como contornar isso.

Por sinal, ficaram ótimas as funções de dowload/cache. Muita coisa boa de dados ali viu! Vou começar a usar e ver o que dá para melhorar.

A minha idéia com isso é criar um metadado onde os usuários possam fazer buscas pra saber em qual dataset tem as informações desejadas.
Fora que também funciona como um catalogo de dados.

[wilsonfreitas]

Uma coisa que esqueci de comentar, tu pode replicar os problemas com o comando goodpractice::goodpractice, disponível no github.

Boa, vou começar o uso desse pacote.

[wilsonfreitas]

Se bem que me ocorreu agora que talvez eu possa criar uma função load_calendars no bizdays e chamar essa função no .onAttach do rb3 e no bizdays também. Vou ver aqui.

[msperlin]

Wilson, arrumei o que podia no pacote para as normas do rsciopen. Porém, faltou duas coisas:

• mudar o uso do sapply por vapply ou purr::map_xx. Nao quis arrumar pois não sei exatamente qual o impacto disso no código inteiro. Dá uma olhada quando puder.
• o pacote carrega o bizdays na inicialização (linha Depends do DESCRIPTION) e isso não é prática recomendada. Eu topo deixar como está mas, se nao for difícil mudar e chamar o bizdays via Import (bizdays::XX em qualquer chamada), acho q vale a pena. O risco é ir para o autocheck do rsciopen e apontarem a mesma mudança.

Cara, esse lance do bizdays no Depends é pq nas últimas versões do bizdays eu passei a carregar os calendários no .onAttach, antes eu carregava direto nos scripts, o que não é uma boa prática. O problema é que para usar os calendários já carregados, passando apenas os nomes deles, eu preciso do pacote attached no environment. Tentei carregar o bizdays no .onAttach do rb3, mas isso é notificado pelo CHECK Talvez a melhor alternativa seja voltar para o modelo antigo, mas acredito que não é adequado e não sei como contornar isso.

Por sinal, ficaram ótimas as funções de dowload/cache. Muita coisa boa de dados ali viu! Vou começar a usar e ver o que dá para melhorar.

A minha idéia com isso é criar um metadado onde os usuários possam fazer buscas pra saber em qual dataset tem as informações desejadas. Fora que também funciona como um catalogo de dados.

@wilsonfreitas Sobre o "bizdays", deixa da maneira que achares melhor, por mim não tem problema. Mas já guarda o argumento por que possivelmente é algo que eles vão questionar.

Olhando o checklist, vi que ainda tem muitos dados não contemplados pelo pacote. Mas os principais estão lá (equity, curva juros, ...). Então acho que já dá para encaminhar e ir adicionando com o tempo o que falta, de acordo com a demanda.

Da minha parte, tudo certo para enviar para o ropensci.

[wilsonfreitas]

Olhando o checklist, vi que ainda tem muitos dados não contemplados pelo pacote. Mas os principais estão lá (equity, curva juros, ...). Então acho que já dá para encaminhar e ir adicionando com o tempo o que falta, de acordo com a demanda.

Da minha parte, tudo certo para enviar para o ropensci.

Sim, vamos fazendo na medida que formos precisando.
Acho melhor seguirmos e liberarmos para o público.

Mas o submit para o CRAN pode seguir independente do ropensci, né?

Se sim, vou revisar os pontos que vc colocou e submeter ao CRAN.

[msperlin]

A recomendação do rsciopen é não enviar pro CRAN antes de passar no crivo deles:

We strongly suggest submitting your package for review before publishing on CRAN or submitting a software paper describing the package to a journal. Review feedback may result in major improvements and updates to your package, including renaming and breaking changes to functions.

Mas deixo contigo a decisão.

[wilsonfreitas]

Vamos submeter ao CRAN então!
Submetendo agora.

[msperlin]

Participei de uma banca de doutorado agora a pouco. Falei do rb3 e pessoal gostou bastante.

[wilsonfreitas]

Até que foi rápido.
Valeu pela força, se não fosse seu empurrão acho que iria postergar mais isso.

Só tem um problema, nessa versão submetida ao CRAN não tem as mudanças de sapply, já estão na versão de DEV.
Mas uma vez no CRAN é rápido subir mudanças, vou esperar os 15 dias pra subir uma nova versão e podemos seguir para o ropensci.

[msperlin]

Que bom. Pessoal do CRAN tem agilizado muito, principalmente se passa em todos os testes.

Nos proximos dias vou escrever um post do blog para anunciar a parte de curva de juros do pacote. Te mando o link quando estiver pronto.

[wilsonfreitas]

@msperlin a versão 0.0.2 já contém as alterações para o ropensci.
Quando a nova versão do bizdays for para o CRAN vai ser possível mover o bizdays do Depends para o Imports.
Acho que podemos dar continuidade ao processo com o ropensci.

[msperlin]

@wilsonfreitas Ok, ótimo.

Tu manda ou eu mando?

[wilsonfreitas]

Pode mandar!

[msperlin]

Mandei.

ropensci/software-review#534

[msperlin]

@wilsonfreitas Estou chegando ao fim da avaliação do yfR no rsciopen. O processo foi bom, boas ideias surgiram ali.

Achas que vale a pena a gente conversar algum dia sobre próximos passos do rb3?

[msperlin]

estou livre quarta as 14:00, se puder.

[wilsonfreitas]

Com certeza, combinado!
Depois trocamos contatos no LinkedIn.

[msperlin]

vou marcar no gmeet, se não der me avisa.

[msperlin]

bah agora vi q nao da quarta (tenho ocmpromisso as 13). Que dia/horario fica bom para ti?

[wilsonfreitas]

Na quarta-feira depois das 16h é tranquilo pra mim.

[msperlin]

16:30 fica bom para mim. Vou mandar o convite.

[msperlin]

Bom dia wilson, desuclpe o atraso em respoder. Tive uma demanda no trabalho e precisei focar nas ultimas duas semanas. Mas, essa semana podemos encaminhar o pacote pro ropensci. Vou revisar o código/documentação e te aviso aqui ok?

[wilsonfreitas]

Ótimo Marcelo, estamos na versão 0.0.5, submetida neste fim de semana ao CRAN.

[msperlin]

@wilsonfreitas revisei o readme do pacote, que foi onde tive muitos ocmentários. Acho que podemos retomar a revisão do ropensci, que achas?