Często zdarza się, że administratorzy i programiści korzystający z Apache Hive muszą rozwiązywać problemy związane z Metastore oraz uzyskiwać informacje na temat tabel Hive. W tym wpisie na blogu przedstawiam sposób rozwiązywania problemów związanych z Metastore oraz informacje na temat tego, gdzie można znaleźć informacje na temat tabel Hive. 1. Rozwiązywanie problemów z Hive Metastore […]
Pewnie już to wiesz, ale format pakietów RPM jest oparty o systemy będące pochodnymi RedHata (CentOS, RHEL, Fedora). RPM Package Manager jest darmowym narzędziem, które pozwala na instalację, usuwanie oraz zarządzanie pakietami w Linuxie. Oczywiście jak już wiesz nie dotyczy to każdej dystrybucji, a tylko tych wyżej wymienionych. Co w sytuacji, w której potrzebujemy zainstalować […]
Pracując ze środowiskiem Hadoop na pewno masz do czynienia z takim wynalazkiem jak Kerberos. No chyba, że jest to środowisko testowe i Kerberosa po prostu tam nie ma. Zakładając, że każda szanująca się firma zadba o odpowiedni poziom bezpieczeństwa i Kerberos znajdzie się jako element stacku to na pewno zderzysz się z częścią problemów. Niektóre […]
Jeżeli chcesz przenosić dane z Hive zgodnie z dobrymi praktykami skorzystaj z tego tutorialu. Celem tego wpisu jest przedstawienie prostego mechanizmu, który pozwala na export i import tabel. Jak sama nazwa tych operacji wskazuje zapis danych obejmuje tabele, partycje oraz metadane w określonej lokalizacji. Po wykonaniu tej operacji możemy zdecydować czy chcemy przenieść nasze dane […]
Korzystając z Linuxa często musimy w jakiś sposób przetworzyć lub wydobyć pewne informacje. W zależności od celu: automatyzacja procesów lub uzyskanie konkretnych informacji z pliku możemy zrobić na kilka sposobów. Jednym z nich jest korzystanie z narzędzia awk. Narzędzie to służy do procesowania tekstu i dzięki niemu może zrobić wiele. Poniżej zapoznasz się z przykładami […]
Często podczas przeglądania plików lub automatyzacji pewnych czynności w Linuxie chcemy skrócić ilość operacji. W poniższym wpisie omówię komendy head, tail, sort, find, które ułatwiają życie. head – wyświetlanie n linii na początku pliku (domyślnie 10) tail – wyświetlanie n linii na końcu pliku (domyślnie 10) sort – sortowanie zawartości na wyjściu find – wyszukiwanie […]
Korzystanie z Ambari API jest przydatną rzeczą jeżeli na co dzień pracujemy z klastrem opartym o dystrybucję Hortonworks (obecnie Cloudera). W prosty sposób możemy uzyskiwać informacje na temat usług, samego klastra lub hostów. Od jego kondycji po dostępność usług. Zanim przejdziemy dalej krótko przypomnę czym jest API i o co tak na prawdę chodzi. API […]
Każdemu, kto pracuje z Linuxem zależy na tym, aby praca przebiegała sprawnie i przyjemnie. Często jest tak, że wiele „smaczków” dotyczących samego poruszania się po nim poznajemy przy okazji. Od współpracowników albo na stackoverflow. Mimo to udostępniam Tobie kilka pomocnych komend, które możesz wykorzystać podczas pracy z Linuxem. Każdą z nich możesz przetestować na swoim […]
Komendy i Linux to nierozłączna para. Praca z Linuxem w trybie graficznym to w zasadzie żadna przyjemność. Prawdziwa siła drzemie w korzystaniu z terminala, ponieważ pozwala nam na wykorzystywanie w pełni jego potencjału. W rezultacie mamy szybkie wykonanie komendy oraz wygodę. W wielu sytuacjach możemy przekazać wynik na wyjściu i przekazać na wejściu do dalszej […]
Web scraping w Pythonie nie jest taki trudny. To nic innego jak proces wyodrębniania danych ze stron internetowych. Jeżeli chodzi o cele takiego procesu to w zależności od potrzeb mogą to być dane z różnych źródeł, np.: Branża nieruchomości – oferty domów lub mieszkań Marketing i sprzedaż Porównywanie cen produktów Monitoring cen biletów lotniczych Wyzwania […]