* Populární trendy na Twitteru

24. August 2013, Jakub Horák. Categorized as Twitter.


Spustil jsem aplikaci zobrazující grafy populárních trendů na Twitteru.

Začalo to vymýšlením tématu semestrální práce na předmět Enterprise Java, kdy jsem potřeboval napsat aplikaci, která by splňovala technologické podmínky vyučujícího a zároveň dělala něco zajímavého. Zrodil se nápad a v rámci předmětu byl úspěšně dotažen do konce, nebo to tak alespoň vypadalo 🙂 Bohužel, to co fungovalo při předvádění na testovacích datech nefungovalo na o několik řádů mohutnějších reálných datech. Nicméně jsem se poučil, překopal architekturu aplikace a odstranil funkčnosti, které jsem implementoval pro pobavení vyučujícího. Voilà a dnes je z toho prima hračka.

Rozhodl jsem se implementovat pouze denní a týdenní grafy, protože kvůli proměnlivosti trendů nedává pro tento typ grafu větší časový rozsah smysl. Trendy většinou trvají jen několik hodin, maximálně několik dní. Pro větší rozsahy by se dala udělat statistika např. nejvíce používaných trendů, ale vyžadovalo by to jiný způsob zobrazení. Vidím to zatím jen jako nápad na rozšíření.

Co se týče dat, zajímavý je např. včerejší denní graf, kde lze vidět, jak se na Twitteru vzedmula vlna odporu proti účinkování Bena Afflecka v roli Batmana v nadcházejícím filmu Batman vs. Superman (viz #BetterBatmanThanBenAffleck). Z historických dat lze pozorovat např. vývoj trendů při dubnovém útoku v Bostonu (viz #PrayForBoston) nebo při květnovém tornádu Moore v Oklahomě (viz #PrayForOklahoma).

Prohlížejte a sdílejte zde: mrtweety.zee.cz

Tags: , , , .



* Simulátor agentů v Lispu

21. June 2013, Jakub Horák. Categorized as Unassigned.


V rámci mé bakalářské práce jsem implementoval engine na simulaci agentů.  Agenti mohou hrát hry na schovávanou, honěnou nebo slepou bábu. Prostředí je reprezentováno pomocí šestiúhelné mřížky. Konkrétní vlastnosti jsou dokumentované přímo v souborech projektu, který je k dispozici na Githubu.

Jedná se o můj první projekt v jazyku Common Lisp a musím říct, že se mi Lisp hodně zalíbil. Dovedu si představit jeho využití v situacích, kdy chce člověk vytvořit algoritmus, ale neví ještě, co ten algoritmus bude přesně dělat a jaké bude používat datové struktury. Díky dynamickému typování a principu “všechno je funkce” se kód refaktoruje výjimečně snadno. Člověk tak získá výsledný algoritmus postupnou evolucí původní myšlenky.

V síle Lispu ale zároveň spočívá i jeho slabina. Volání funkce musí být obalené závorkami. Málokdy se mi podařilo trefit ukončující závorky tak, aby program fungoval napoprvé. S přibývajícími zkušenostmi se to naštěstí zlepšilo. Když si člověk zvolí nějaký konkrétní styl odřádkování a psaní závorek,  lze tento typ chyby omezit. Hodně pomáhá barevné zvýraznění jednotlivých úrovní závorek, jako to umí např. Vim plugin Rainbow Parentheses.

Více o Lispu se můžete dozvědět online v knize Practical Common Lisp.

Tags: , , .



* Posílání chybových hlášek na mail

22. April 2012, Jakub Horák. Categorized as Unassigned.


Včera jsem zjistil, že mám poškozený filesystém na zálohovacím disku. Oprava byla jednoduchá, stačilo pustit fsck, ale nepříjemné bylo, že jsem se o problému dozvěděl úplně náhodou, až při ručním spustění zálohy před velkou aktualizací systému. Aby se již podobná situace neopakovala, nastavil jsem démona syslog-ng, aby mi posílal chybové hlášky na mail. Když se vyskytne problém, může se ale zalogovat mnoho chyb najednou, a tak mi zanedlouho přišlo cca 300 mailů. Abych podobnému zahlcení do budoucna zabránil, napsal jsem následující skript, který pošle nejvýše jeden mail každých pět minut.

#!/bin/bash
#
# ./bin/syslog-mail.sh
# Posilat nejvyse jednu hlasku za pet minut
#
TO='xy@xy.cz'
FROM=$TO
 
last=`cat /var/tmp/syslog-mail-last-sent 2>/dev/null`
let last=last+300
now=`date +%s`
if [ "$last" -lt "$now" ]; then
	read logline
	logline=${logline/+([0-9<>])}
	if [ "$logline" == "" ]; then
		exit 0
	fi
	/usr/sbin/sendmail -t <<EOT
To: $TO
From: $FROM
Subject: Log Alert: $logline
 
$logline
`while read logline; do
	logline=${logline/+([0-9<>])}
	echo $logline
done`
 
--
This is an automatically generated message from $HOSTNAME
EOT
 
	echo "$now" > /var/tmp/syslog-mail-last-sent
fi

Do /etc/syslog-ng/syslog-ng.conf jsem přidal tato pravidla:

destination mail-alert {
	program("/home/kuba/bin/syslog-mail");
};
filter f_error {
	not facility (mail) and level(err,crit,emerg);
};
log {
	source(src);
	filter(f_error);
	destination(mail-alert);
};

.



* Automatická aktualizace WordPressu

7. August 2011, Jakub Horák. Categorized as Scripts.


Podle statistik rozšíření CMS na internetu z ledna tohoto roku využívá 15% všech webů WordPress. Kdyby tedy hacker objevil ve WordPressu bezpečnostní díru, mohl by teoreticky ovládnout až 15% Internetu. Spoustu lidí se o to již pokusilo a jistě nadále pokouší a komunita vývojářů chyby rychle odstraňuje. Nové verze vychází zhruba jednou za měsíc. Oprava vám ale nepomůže, pokud jí nemáte nainstalovanou :). Je tedy nutné neustále aktualizovat.

WordPress se dá aktualizovat z administrace, proces ale potřebuje na stažení a rozbalení balíčku místo na disku, kterého se mi na freehostingu nedostává. Člověk se také musí přihlásit a zmáčknout tlačítko. Naštěstí to lze udělat i jinak. Stačí malý skript.

Můj skript stáhne poslední stabilní verze českého WordPressu a vašich pluginů, uloží je do lokálního repozitáře GITu a následně nahraje na FTP pouze ty soubory, které se změnily. K nahrání změněných souborů jsem využil skvělý skript git-ftp.py.

Aby git-ftp.py fungoval, vytvořte ve složce WordPressu soubor .git/ftpdata s následujícím obsahem a doplňte vaše údaje k FTP:

[master]
username=me
password=s00perP4zzw0rd
hostname=ftp.hostname.com
remotepath=/htdocs

Připravte si adresář, do kterého se rozbalí WordPress. Já mám WORKDIR nastavenou na /home/kuba/weby/oss/, takže WordPress se rozbalí do /home/kuba/weby/oss/wordpress. Do proměnné PLUGINY uveďte názvy pluginů získané z adres URL jejich webů. Zde je celý skript (stáhnout):

#!/bin/bash
#
# Automaticka aktualizace Wordpressu pres FTP
#
 
WORKDIR="/home/kuba/weby/oss/"
TMPDIR="/tmp/wordpress-update/"
PLUGINY="w3-total-cache wp-syntax simplemodal-contact-form-smcf lightbox-plus openid"
 
function echoi {
        echo -e "\e[1;36m""$1""\e[0m"
}
 
function stahnoutplugin {
        PLUGINSVN=http://plugins.svn.wordpress.org/
        PLUGINDIR="$TMPDIR"/"$1"
        stabilni_verze=`svn ls "$PLUGINSVN"/"$1"/tags | tr -d / | sort -V | tail -n 1`
        echoi "Stahuji $1-$stabilni_verze"
        mkdir -p "$PLUGINDIR"
        cd "$PLUGINDIR"
        svn co "$PLUGINSVN"/"$1"/tags/"$stabilni_verze"
        rm -rf `find -type d -name .svn`
        mv "$stabilni_verze" "$1"
        mv "$1" "$WORKDIR"/wordpress/wp-content/plugins
}
 
cd "$WORKDIR"
rm latest-cs_CZ.tar.gz
echoi "Stahuji aktualni wordpress"
wget http://cs.wordpress.org/latest-cs_CZ.tar.gz
rm -rf wordpress/*
tar xvf latest-cs_CZ.tar.gz
for plugin in $PLUGINY; do
        stahnoutplugin "$plugin"
done
cd "$WORKDIR"/wordpress
echoi "Mazu zbytecnosti"
rm -rf wp-content/themes/twenty*
rm wp-content/plugins/*/screenshot-*
find -name \*.txt -exec rm '{}' \;
find -name \*.dev.\* -exec rm '{}' \;
rm -rf "$TMPDIR"
echoi "Commituji zmeny"
git add .
git commit -a
echoi "Nahravam na vzdaleny server"
git-ftp.py

O upozornění na nové verze WordPressu se stará moje RSS čtečka se speciálním kanálem. Časem by se to celé ale klidně dalo spojit s Cronem a nemusel bych se starat vůbec o nic.

Tags: , .



* Ukládání coverů do ID3 tagu

9. May 2011, Jakub Horák. Categorized as Scripts.


Od verze 2 tagu ID3 lze k souboru MP3 kromě tradičních metadat ukládat i obrázky. Těchto obrázků se využívá se například v iPodu, když se vám při přehrávání písničky zobrazuje cover alba. Hezké. Kvůli tomu jsem vylepšil svůj loňský skript na automatické stahování coverů alb, aby dokázal stažené covery automaticky uložit také do ID3 tagu.

K vlastnímu tagování používám program eyeD3. Seznam závislostí se tedy rozrostl na: id3lib, eyeD3, ImageMagick, Ruby, cURL.

Novou sadu skriptů stahujte zde: musiccovers.20110509.tar.gz

Tags: , , , .



* Ověření schématu databáze

31. October 2010, Jakub Horák. Categorized as Scripts.


Spravuji jistou webovou aplikaci pro nejmenovaného zákazníka. Nedávno se mi v souvislosti s tím stala nepříjemná událost. Při aktualizaci aplikace jsem zapomněl zkopírovat jednu tabulku do databáze. Funkci, která tabulku vyžadovala jsem neotestoval, takže o mnou způsobeném problém jsem se dozvěděl až po týdnu přímo od zákazníka.

Řekl jsem si, že by bylo moc pěkné, kdyby se mi v okamžiku deploymentu vygeneroval test, který by ověřoval, že databáze má předpokládanou strukturu. Tento test bych pak po aktualizaci aplikace mohl pustit na ostré databázi a ujistil by mě a že jsem na nic nezapomněl. Z mého snažení vyplynul Ruby skript generující PHP test.

Kód naleznete zde.

Tags: , , .



* Bloog.cz 2.0 – odhalení designu

20. October 2010, Jakub Horák. Categorized as Unassigned.


Už delší dobu chystám novou verzi blogportálu a teď se konečně schyluje k jejímu ostrému nasazení. Momentálně vychytávám poslední bugy, čili aktualizaci webu můžete očekávat přibližně za týden. Již nyní si ale můžete prohlédnout nový webdesign.

Základní princip návrhu architektury procesoru říká: “Jednoduchosti \Leftrightarrow pravidelnost”. Návrh procesoru sice zdánlivě nemá nic společného s webdesignem, faktem ale zůstává, že se mi líbí jednoduché elegantní tvary. Zatímco design první verze působil nesourodě a zmateně, nový návrh je přehledný a pravidelný. Bezpochyby lépe vypadá horní část stránky, do které se mi povedlo zakomponovat Matesovo logo.

Však posuďte sami:

Blogportál Bloog.cz verze 1.0alfa

Verze 1.0alfa (2006)

Verze 2.0

Verze 2.0 (2010)

.



* Covery alb

13. September 2010, Jakub Horák. Categorized as Scripts.


Potrpím si na detaily, proto je pro mě velice důležité mít ke všem písničkám příslušné covery alb. Tyto covery rád vidím jako náhledy složek při procházení ve správci souborů. Napsal jsem si tedy sadu skriptů 😉

Ve Windows se náhled složky uchovává v souboru folder.jpg. Na Freedesktopu pak podle specifikace Desktop Entry musí ve složce existovat soubor .directory, ve kterém je definováno, který PNG obrázek použít jako náhled dané složky. Zvolil jsem si, že na Freedesktopu mám náhled vždy uložen ve skrytém souboru .folder.png.

Práci jsem rozdělil do tří skriptů:

  1. Zjištění URL coveru podle jména umělce a názvu alba. Tento skript (getcover.rb) se připojuje k Last.fm API, které se stará o zbytek :-). Původně se jedná o dílo Dana Sosedoffa.
  2. Přejmenování obrázku na folder.jpg pro Windows Media Player, vytvoření obrázku .folder.png a souboru .directory pro Freedesktop. Skript (mkfolderimg.sh) lze využít také např. pro generování náhledů k fotoalbům.
  3. Skript, který projde všechny alba, pro každé album umístí cover podle specifikací Freedesktopu nebo WMP a případně ho stáhne z internetu (mkmusiccovers.sh). Implementace nejdřív vyhledá všechny hudební soubory a sestaví seznam alb, jakožto kandidátů na vytvoření coveru. Poté prochází jednotlivá alba a pokouší se sestavit náhledy. Pokud ve složce alba není žádný obrázek, stáhne cover z URL získané pomocí 1. skriptu.

Všechno pěkně zabalené si stáhněte zde: musiccovers.20100913.tar.gz.

Tags: , , , .



* Upozornění na nové maily

30. August 2010, Jakub Horák. Categorized as Scripts.


Používám Gmail již dlouhou dobu a štve mě, že neexistuje vhodný minimalistický program pro kontrolování příchozích emailů v KDE. Zkusil jsem KCheckGmail, ale nepodařilo se mi ho zprovoznit. Aplikace běží v systemtray, takže zabírá místo v paměti a pixely na ploše.

Napsal jsem si tedy skript, který kontroluje příchozí emaily a zobrazuje malé okénko v případě nové nepřečtené zprávy. Použil jsem Ruby, protože v něm trochu umím, v kombinaci s Qt, mou oblíbenou grafickou knihovnou. Skript spouští démon Cron pravidelně každých 5 minut.

Prohlédněte si zdrojový kód: checkgmail.rb.

Tags: , , .



* Zvýšení produktivity vývoje webů

12. December 2009, Jakub Horák. Categorized as Scripts.


Při vývoji webů jsem vždy pracoval na adrese http://localhost/projekt. Naštvalo mě ale, že když web používá mod_rewrite, nemusí kvůli podadresáři fungovat přepisování URL správně. Začal jsem tedy vždycky linkovat projekt na adresu http://localhost. Když se k tomuto přidá fakt, že často potřebuji importovat databáze, neustále všechno zálohovat a exportovat, musím napsat spoustu příkazů, aniž cokoliv naprogramuji. Důležitý je také fakt, že nesmím nic zkazit. Rozhodl jsem se tedy, že rozšířím svůj starý skript rmbackups na export tar archivu webu a napíšu si sadu skriptů pro práci s weby. Vzor mám ve skriptech pro práci se zdrojovými soubory v KDE.

Myslím, že se mi skripty docela povedly. Základní nastavení se provádí v hlavičce souboru. Práce s příkazy je jednoduchá:

# před začátkem práce pustím
wds projekt
# případně pokud chci importovat databázi např. z ostrého serveru
wds projekt -db import.sql
# potom, když chci zazálohovat aktuální stav projektu, pustím
wdtag název_zálohy
# po ukončení práce na projektu program jednoduše
# exportuji buď do tar.bz2 archivu
wde tar
# nebo když budu soubory uploadovat, chci
# aby se mi zdrojové soubory nakopírovaly do nějaké dočasné složky
wde files

Použití je na vlastní nebezpečí. Skript obsahuje několik rm -rf, takže neodborný zásah může vést ke ztrátě Vašich dokumentů.

Stáhnout

Tags: .