Agregacje 2

Do aggregacji można wykorzystać te kolekcje:

• census1881
• zipcodes, przykładowe agregacje
• imieniny, przykładowe agregacje
• poland – Open Street Data dla Polski
• airports (B. Bedra)

Kolekcje zostały zaimportowane do bazy MongoDB działającej na maszynie wirtualnej. Do maszyny logujemy się w ten sposób:

mongo --username student --password sesja2013 153.19.1.202/test

Uwaga: Użytkownik student ma uprawnienia tylko do odczytu w bazie test.

Nasze agregacje

1. Bzyl, Włodzimierz. Imieniny.
2. Bełcik, Jakub.
3. Brzeziński, Damian.
4. Dermont, Jacek. Albumy muzyczne.
5. Detlaf, Krzysztof.
6. Dępczyk, Michał. Broadband coverage.
7. Domurat, Szymon. Youtube.
8. Duwe, Oskar.
9. Gałka, Jacek.
10. Gniado, Bartosz.
11. Groszek, Rafał.
12. Karczewski, Kamil.
13. Karwowski, Kamil. Strony internetowe.
14. Kłeczek, Piotr.
15. Kotłowski, Piotr.
16. Koźmiński, Marcin.
17. Królik, Przemysław. GetGlue IMDB.
18. Kubacki, Konrad.
19. Kwiatkowski, Mateusz. The Internet Movie Database.
20. Lewandowska, Marta.
21. Łuczun, Rafał.
22. Małecki, Maciej.
23. Matulewski, Damian. Głosowanie.
24. Melzer, Grzegorz. GetGlue - TIMDB.
25. Mieszała, Konrad.Bankowość.
26. Motel, Mateusz. The Internet Movie Database.
27. Motławski, Mateusz.
28. Napiórkowski, Sebastian
29. Osiński, Miłosz. Lista słów do gier.
30. Paczyński, Łukasz.
31. Piasecka, Aleksandra.
32. Pikora, Mateusz.
33. Plichta, Oskar.The Internet Movie Database.
34. Puchalski, Paweł.
35. Rybarczyk, Karolina.
36. Sawicki, Paweł.
37. Siora, Kacper.
38. Skiba, Marek. Apache Logs.
39. Skowroński, Krzysztof. Pogoda w Edenburgu.
40. Smykowski, Adrian.
41. Sott, Tomasz.
42. Stefanowicz, Michał.
43. Szygenda, Mateusz. Wypadki drogowe.
44. Tomczak, Robert. The Internet Movie Database.
45. Wąsowicz, Michał.
46. Winsławski, Bartłomiej. Zadanie 2..
47. Wiśniewski, Konrad.
48. Zdunek, Kamil.

---

1. Białkowski, Dominik. Current Census Blocks for McKinley County.
2. Cała, Mariusz.
3. Dobrzycki, Wojciech.
4. Dolata, Jędrzej.
5. Elszkowski, Adrian.
6. Głowacki, Michał.
7. Januszewski, Tomasz.
8. Jaźwiński, Robert.
9. Malinowski, Piotr.
10. Osękowski, Dominik.
11. Ostrowski, Michał.
12. [Pietraszuk, Bartłomiej] (/docs/bpietraszuk/bpietraszuk.md) Przypadki zauważenia UFO w USA
13. Rogaszewski, Piotr.
14. Wiśniewski, Piotr.
15. Żarkowski, Mateusz. PAMAP - Physical Activity Monitoring.

BigData (+1M)

GetGlue and Timestamped Event Data (ok. 11 GB, 19_831_300 json-ów, próbka 100 jsonów getglue101):

{
  "_id": ObjectId("5276918832cf3c2b84540440"),
  "comment": "",
  "modelName": "movies",
  "displayName": "",
  "title": "The Dark Knight",
  "timestamp": "2008-10-28T16:47:31Z",
  "image": "http://ia.media-imdb.com/images/...@@._V1._SX94_SY140_.jpg",
  "userId": "sippey",
  "private": "false",
  "director": "Christopher Nolan",
  "source": "http://www.imdb.com/title/tt0468569/",
  "version": "1",
  "link": "http://www.imdb.com/title/tt0468569/",
  "lastModified": "2011-12-16T19:39:33Z",
  "action": "Liked",
  "lctitle": "the dark knight",
  "objectKey": "movies/dark_knight/christopher_nolan"
}

Dane z lat 2007–2012, tylko filmy i przedstawienia TV.

Przykładowe aggregacje i zliczania: ilu jest różnych użytkowników w danych? jakie jest 10 najpopularniejszych filmów i przedstawień TV? ile jest różnych akcji?

Ściąga z Gita

• Scott Chacon, Pro Git; niekompletne tłumaczenie na język polski.

Trzy sposoby radzenia sobie z taką sytuacją: We can’t automatically merge this pull request.

Sposób 1:

git remote add miotla007 git://github.com/miotla007/aggregations-2.git
git fetch miotla007
git merge miotla007/master
  .. edycja .. rozwiązywanie konfliktów
git push origin master

git remote rm miotla007

Sposób 2 (sugerowany przez GitHub Team):

git checkout -b miotla007-master master
git pull git://github.com/miotla007/aggregations-2.git master
git checkout master
git merge miotla007-master
git push origin master

git branch -d miotla007-master

Sposób 3

# dociaganie zmian z oryginalnego repozytorium
# https://help.github.com/articles/fork-a-repo#step-3-configure-remotes
git pull upstream

# rebasing naszego brancha
git checkout my-branch
git rebase upstream
  # rozwiązywanie konfliktów jeżeli zajdzie potrzeba
  # (instrukcje pojawią się na ekranie)

Dużym plusem tego sposobu jest brak commita z mergem (porządek w historii repozytorium).

Undo różnych rzeczy:

git reset --merge           # merge
git reset --hard ORIG_HEAD  # rebase

Another common practice is to rebase the last few commits in your current branch

Interactive rebase on GitHub

Jak zmniejszyć liczbę commitów, zmienić ich kolejność i przeredagować wpisy log:

git checkout issue16                       # o ile commity są na tej gałęzi
git log --pretty=oneline HEAD~6..HEAD      # sprawdzamy które commity będziemy zmieniać
git rebase -i HEAD~6                       # poprawiamy ostatnich 6 commitów

.. edycja ..
....  edit -- jeśli chcemy poprawić ten commit lub coś do niego dodać
........  git reset HEAD^  # rollback the last commit
........  git status
........  git add --patch  # lub dodajemy/edytujemy pliki
........
........  git rebase --contiune
....  reword -- poprawiamy tekst wpisu do log

git log --pretty=oneline
git rebase master                          # o ile jesteśmy na gałęzi issue16
git checkout master
git merge issue16
git branch -d issue16                      # możemy usunąć scaloną gałąź

Na stronie manuala gitrevisions jest opisane znaczenie: HEAD^, ^HEAD, HEAD~n.

Stashing:

git stash
git stash list
git stash apply stash@{0}  # przykłady
git stash drop  stash@{0}

Zobacz też:

• Mark Dominus
  • Why can't Git resolve all conflicted merges?
  • My Git Habits
• Bert Belder, Checkout github pull requests locally
• Chris Wanstrath, hub makes git better with GitHub
• Scott Chacon, 6.4 Git Tools - Rewriting History

Generowanie spisu treści

Do automatycznego wygenerowania spisu treści możemy użyć narzędzia o nazwie table-of-contents-preprocessor.