ellipse-science/tube

README: Découvrir les données, erreur lorsque je roule `ellipse_discovery` avec ma connection PROD

Closed this issue · 6 comments

hubcad25 commented

J'ai fait le script suivant en me fiant au README.

# Establish connections --------------------------------------------------
con_prod <- tube::ellipse_connect(env = "PROD", database = "datawarehouse")
con_dev <- tube::ellipse_connect(env = "DEV", database = "datamarts")

# Packages ---------------------------------------------------------------
library(tube)
library(dplyr)

ellipse_discover(con_prod)
ellipse_discover(con_dev)

df_headlines <- tube::ellipse_query(con_prod, "r-media-headlines") |>
      dplyr::filter(extraction_year == 2024 & extraction_month == 7 & extraction_day == 22) |>
      dplyr::collect()

Lorsque je roule ellipse_discover(con_prod), je reçois le message d'erreur suivant:

> ellipse_discover(con = con_prod)
INFO: (Data scanned: 0 Bytes)
Error:
! EntityNotFoundException (HTTP 400). Entity Not Found
Hide Traceback
     ▆
  1. └─tube::ellipse_discover(con = con_prod)
  2.   ├─dplyr::select(...)
  3.   ├─dplyr::bind_rows(...)
  4.   │ └─rlang::list2(...)
  5.   └─base::lapply(...)
  6.     └─tube (local) FUN(X[[i]], ...)
  7.       └─tube:::list_glue_table_properties(creds, schema, table)
  8.         └─glue_client$get_table(DatabaseName = schema, Name = table)
  9.           └─paws.common::send_request(request)
 10.             └─paws.common:::retry(request)
 11.               └─paws.common:::run(request, retry)
 12.                 └─handler$fn(request)

Pourtant, ellipse_discover fonctionne pour con_dev et df_headlines fonctionne aussi (avec con_prod).

Mes accès sont les bons, envoyés par @patoscope le 27 juillet

patoscope commented

@hubcad25 quelle est ta version de tube?

SVP montre moi l'output de tube::ellipse_connect

hubcad25 commented

tube_0.5.2

> con_prod <- tube::ellipse_connect(env = "PROD", database = "datawarehouse")
ℹ Environnement: PROD
ℹ Database: datawarehouse
ℹ Pour déconnecter: tube::ellipse_disconnect(objet_de_connexion)
ℹ Base de données: gluestackdatawarehousedbe64d5725
✔ Connexion établie avec succès! 👍
  • 👍1
hubcad25 commented

À noter que si je fais con_prod <- tube::ellipse_connect(env = "PROD") ça marche

  • 😕1
  • 👀1
patoscope commented

@hubcad25 Recommence voir à partir d'une nouvelle session R en spécifiant "datawarehouse" comme il de doit.

Donne moi chaque commande ainsi que l'output de chaque étape svp

Assure toi que tous tes packages soient à jour avant though.

Aussi, un conseil : soit tu préfixes toutes tes calls de fonctions avec la nom du package, soit aucune. Juste pour être certain qu'il n'y ait pas d'ambiguïté ou de confusion sur quelle fonction est callée... on sais jamais 😅

  • 👍1
hubcad25 commented

tube est bien à jour

> con_prod <- ellipse_connect(env = "PROD", database = "datawarehouse")
ℹ Environnement: PROD
ℹ Database: datawarehouse
ℹ Pour déconnecter: tube::ellipse_disconnect(objet_de_connexion)
ℹ Base de données: gluestackdatawarehousedbe64d5725
✔ Connexion établie avec succès! 👍

> con_dev <- ellipse_connect(env = "DEV", database = "datamarts")
ℹ Environnement: DEV
ℹ Database: datamarts
ℹ Pour déconnecter: tube::ellipse_disconnect(objet_de_connexion)
ℹ Base de données: gluestackdatamartdbd046f685
✔ Connexion établie avec succès! 👍

> ellipse_discover(con = con_prod)
INFO: (Data scanned: 0 Bytes)
Error:
! EntityNotFoundException (HTTP 400). Entity Not Found
Show Traceback

> ellipse_discover(con = con_dev)
INFO: (Data scanned: 0 Bytes)
# A tibble: 10 × 7
   table_name            categorie datamart description create_time         update_time         table_tags  
   <chr>                 <chr>     <chr>    <chr>       <dttm>              <dttm>              <list>      
 1 bidon-matable         Datamart… bidon    "lifestyle… 2024-07-25 02:39:04 2024-07-25 23:36:05 <named list>
 2 bidon-matable1        Datamart… bidon    "Étude des… 2024-07-26 20:43:51 2024-07-30 18:29:42 <named list>
 3 demo-headlines-by-pr… Datamart… demo     "une des m… 2024-07-22 17:52:07 2024-07-25 23:35:40 <named list>
 4 demo-headlines-by-pr… Datamart… demo     "une des m… 2024-07-22 18:03:48 2024-07-25 23:35:39 <named list>
 5 myradardatamart-head… Datamart… myradar… "mesure de… 2024-07-22 19:40:57 2024-07-25 23:35:35 <named list>
 6 test2-datamart-parti… Datamart… test2-d… "la descri… 2024-07-20 18:00:24 2024-07-25 23:39:12 <named list>
 7 testdatamart-matable1 Datamart… testdat… "la descri… 2024-07-20 17:59:43 2024-07-25 23:40:02 <named list>
 8 testdatamart-matable2 Datamart… testdat… ""          2024-07-20 17:59:44 2024-07-25 23:42:26 <named list>
 9 vitrine_datamart-iss… Autre     NA        NA         2024-07-25 16:19:06 2024-07-25 16:19:06 <NULL>      
10 vitrine_datamart-iss… Datamart… vitrine… "Table de … 2024-07-29 21:35:57 2024-07-29 21:35:58 <named list>

> ellipse_discover(con_prod, "r-media-headlines")
INFO: (Data scanned: 0 Bytes)
$name
[1] "r-media-headlines"

$description
[1] NA

$tags
[1] NA

$columns
# A tibble: 13 × 4
   table_name        col_name               col_type is_partition
   <chr>             <chr>                  <chr>    <lgl>       
 1 r-media-headlines extraction_year        int      TRUE        
 2 r-media-headlines extraction_month       int      TRUE        
 3 r-media-headlines extraction_day         int      TRUE        
 4 r-media-headlines media_id               string   TRUE        
 5 r-media-headlines id                     string   FALSE       
 6 r-media-headlines extraction_date        date     FALSE       
 7 r-media-headlines extraction_time        string   FALSE       
 8 r-media-headlines publish_date           date     FALSE       
 9 r-media-headlines title                  string   FALSE       
10 r-media-headlines author                 string   FALSE       
11 r-media-headlines body                   string   FALSE       
12 r-media-headlines metadata_url           string   FALSE       
13 r-media-headlines metadata_lake_item_key string   FALSE
patoscope commented

Fixed by cfd5695