Do aggregacji można wykorzystać następujące kolekcje:
- census1881
- zipcodes, przykładowe agregacje
- imieniny, przykładowe agregacje
- poland – Open Street Data dla Polski
- airports (B. Bedra)
Kolekcje zostały zaimportowane do bazy MongoDB działającej na maszynie wirtualnej. Do maszyny logujemy się w ten sposób:
mongo --username student --password sesja2013 153.19.1.202/test
Uwaga: Użytkownik student ma uprawnienia tylko do odczytu w bazie test.
- Bzyl, Włodzimierz. Imieniny.
- Bełcik, Jakub. Przestępstwa uliczne.
- Białkowski, Dominik. Current Census Blocks for McKinley County.
- Brzeziński, Damian. GDELT-EventDatabase.
- Dermont, Jacek. Albumy muzyczne.
- Detlaf, KrzysztofBilans społeczny.
- Dępczyk, Michał. Broadband coverage.
- Dobrzycki, Wojciech. Lista osób.
- Dolata, Jędrzej.
- Domurat, Szymon. Youtube.
- Duwe, Oskar. Baza IMDB.
- Elszkowski, Adrian. Kody pocztowe.
- Gałka, Jacek.
- Głowacki, Michał.
- Gniado, Bartosz.
- Groszek, Rafał.
- Karczewski, Kamil. Baza filmów.
- Karwowski, Kamil. Strony internetowe.
- Kłeczek, Piotr. The Internet Movie Database.
- Kotłowski, Piotr. Lotniska.
- Koźmiński, Marcin.
- Królik, Przemysław. GetGlue IMDB.
- Kubacki, Konrad.
- Kwiatkowski, Mateusz. The Internet Movie Database.
- Lewandowska, Marta. Baby names.
- Łuczun, Rafał.
- Malinowski, Piotr.
- Małecki, Maciej.
- Matulewski, Damian. Głosowanie.
- Melzer, Grzegorz. GetGlue – TIMDB.
- Mieszała, Konrad. Bankowość.
- Motel, Mateusz. The Internet Movie Database.
- Motławski, Mateusz. Movies and tv shows Database.
- Napiórkowski, Sebastian
- Osiński, Miłosz. Lista słów do gier.
- Ostrowski, Michał.
- Pietraszuk, Bartłomiej Przypadki zauważenia UFO w USA
- Paczyński, Łukasz. Lista pracowników.
- Piasecka, Aleksandra.
- Pikora, Mateusz. Obserwacje UFO.
- Plichta, Oskar. The Internet Movie Database.
- Puchalski, Paweł. Lista zatrudnionych.
- Rogaszewski, Piotr.
- Rybarczyk, Karolina. Waga i wzrost.
- Sawicki, Paweł.
- Siora, Kacper. Deaths.
- Skiba, Marek. Apache Logs.
- Skowroński, Krzysztof. Pogoda w Edynburgu.
- Smykowski, Adrian.
- Sott, Tomasz. BTS – On-Time Performance.
- Stefanowicz, Michał. Loty.
- Szygenda, Mateusz. Wypadki drogowe.
- Tomczak, Robert. The Internet Movie Database.
- Wąsowicz, Michał. GetGlue – Movies and TV Shows Database.
- Winsławski, Bartłomiej. Meritum Bank.
- Wiśniewski, Konrad. The Internet Movie Database.
- Zdunek, Kamil. Chicago Crimes.
- Żarkowski, Mateusz. PAMAP – Physical Activity Monitoring.
GetGlue and Timestamped Event Data (ok. 11 GB, 19_831_300 json-ów, próbka 100 jsonów getglue101):
{
"_id": ObjectId("5276918832cf3c2b84540440"),
"comment": "",
"modelName": "movies",
"displayName": "",
"title": "The Dark Knight",
"timestamp": "2008-10-28T16:47:31Z",
"image": "http://ia.media-imdb.com/images/...@@._V1._SX94_SY140_.jpg",
"userId": "sippey",
"private": "false",
"director": "Christopher Nolan",
"source": "http://www.imdb.com/title/tt0468569/",
"version": "1",
"link": "http://www.imdb.com/title/tt0468569/",
"lastModified": "2011-12-16T19:39:33Z",
"action": "Liked",
"lctitle": "the dark knight",
"objectKey": "movies/dark_knight/christopher_nolan"
}
Dane z lat 2007–2012, tylko filmy i przedstawienia TV.
Przykładowe aggregacje i zliczania: ilu jest różnych użytkowników w danych? jakie jest 10 najpopularniejszych filmów i przedstawień TV? ile jest różnych akcji?
- Scott Chacon, Pro Git; niekompletne tłumaczenie na język polski.
Trzy sposoby radzenia sobie z taką sytuacją: We can’t automatically merge this pull request.
Sposób 1:
git remote add miotla007 git://github.com/miotla007/aggregations-2.git
git fetch miotla007
git merge miotla007/master
.. edycja .. rozwiązywanie konfliktów
git push origin master
git remote rm miotla007
Sposób 2 (sugerowany przez GitHub Team):
git checkout -b miotla007-master master
git pull git://github.com/miotla007/aggregations-2.git master
git checkout master
git merge miotla007-master
git push origin master
git branch -d miotla007-master
Sposób 3
# dociaganie zmian z oryginalnego repozytorium
# https://help.github.com/articles/fork-a-repo#step-3-configure-remotes
git pull upstream
# rebasing naszego brancha
git checkout my-branch
git rebase upstream
# rozwiązywanie konfliktów jeżeli zajdzie potrzeba
# (instrukcje pojawią się na ekranie)
Dużym plusem tego sposobu jest brak commita z mergem (porządek w historii repozytorium).
Undo różnych rzeczy:
git reset --merge # merge
git reset --hard ORIG_HEAD # rebase
Another common practice is to rebase the last few commits in your current branch
Interactive rebase on GitHub
Jak zmniejszyć liczbę commitów, zmienić ich kolejność i przeredagować wpisy log:
git checkout issue16 # o ile commity są na tej gałęzi
git log --pretty=oneline HEAD~6..HEAD # sprawdzamy które commity będziemy zmieniać
git rebase -i HEAD~6 # poprawiamy ostatnich 6 commitów
.. edycja ..
.... edit -- jeśli chcemy poprawić ten commit lub coś do niego dodać
........ git reset HEAD^ # rollback the last commit
........ git status
........ git add --patch # lub dodajemy/edytujemy pliki
........
........ git rebase --contiune
.... reword -- poprawiamy tekst wpisu do log
git log --pretty=oneline
git rebase master # o ile jesteśmy na gałęzi issue16
git checkout master
git merge issue16
git branch -d issue16 # możemy usunąć scaloną gałąź
Na stronie manuala gitrevisions jest opisane znaczenie:
HEAD^
, ^HEAD
, HEAD~n
.
Stashing:
git stash
git stash list
git stash apply stash@{0} # przykłady
git stash drop stash@{0}
Zobacz też:
- Mark Dominus
- Bert Belder, Checkout github pull requests locally
- Chris Wanstrath, hub makes git better with GitHub
- Scott Chacon, 6.4 Git Tools - Rewriting History
Provide public access to scripts, runs, and results:
- Version control all custom scripts:
- avoid writing code
- write thin scripts and use standard tools and use standard UNIX commands to chain things together.
- Avoid manual data manipulation steps:
- use a build system, for example make, and have all results produced automatically by build targets
- if it’s not automated, it’s not part of the project, i.e. have an idea for a graph or an analysis? automate its generation
- Use a markup, for example Markdown, to create reports for analysis and presentation output products.
And two more rules:
- Record all intermediate results, when possible in standardized formats.
- Connect textual statements to underlying results.
Do automatycznego wygenerowania spisu treści możemy użyć narzędzia o nazwie table-of-contents-preprocessor.