Niz | Puni Prikaz

I71 · 07.03.2012. 21.54

Ako hoću da nađem naslov jednog nepoznatog html fajla (Page Titel), koji kod pišem.
Nakon što sam ušao u direktorijum

Kod:

ilija@ilija-O-E-M:~$ cd output/htm

ilija@ilija-O-E-M:~/output/htm$

Takođe šta pišem ako html fajl tražim po autoru.

Githzerai · 07.03.2012. 22.42

Ti bi stvarno trebao da koristiš Nepomuk. Smile

Elem, kao što sam ti već rekao, osim ako sam fajl ne nosi dodatne oznake (kao recimo ID3 oznake za mp3 fajlove), izvlačenje konkretne informacije iz nekog fajla se vrši na osnovu obrazaca koji određuju tu informaciju.

Recimo, ako je u fajlu negde upisan autor formatu AUTOR : <ime> <prezime> onda tražiš to obeležje:

grep 'AUTOR:' <fajl>

uz pomoć dodatnih alatki, možeš ukloniti nepotrebno 'AUTOR:' i ostaviti samo ime i prezime.

**Atlantic777** · 07.03.2012. 23.03

Ja bih to grepov'o. Big Grin

grep -i \<title\>.*nešto.*\</title\> * -R

A ako su html-ovi poduži, a meta podaci su na početku, možeš i sa find i head, ako ti se igra.

I71 · 07.03.2012. 23.05

@Githzerai
Ti govoriš o grep-u, valjda pretraga samog teksta. Mislio sam na drugu pretragu.
Help stranice kažu da postoji vrlo sofisticirana pretraga u terminalu, ali nisam našao pretragu po naslovu (Page Titel) html fajlova.

Githzerai · 07.03.2012. 23.07

Nešto si pogrešno pročitao onda, voleo bih da vidim tu man stranicu.

**Atlantic777** · 07.03.2012. 23.08

Verovatno je reč o 'find'.

I71 · 07.03.2012. 23.12

(07.03.2012. 23.07 )Githzerai Piše: Nešto si pogrešno pročitao onda, voleo bih da vidim tu man stranicu.

Na ubuntovim help stranama, valjda find pretraga.

(07.03.2012. 23.03 )Atlantic777 Piše: Ja bih to grepov'o.

grep -i \<title\>.*nešto.*\</title\> * -R

A ako su html-ovi poduži, a meta podaci su na početku, možeš i sa find i head, ako ti se igra.

Твој коде ради одлично, проверио сам на фајлу који ми је познат, али у мом директоријуму од 130 гигабајта увек исто

Kod:

ilija@ilija-O-E-M:~$ cd output/htm

ilija@ilija-O-E-M:~/output/htm$ grep -i \<title\>.*БД2.*\</title\> * -R

bash: /bin/grep: Lista argumenata je preduga

ilija@ilija-O-E-M:~/output/htm$

petrovicivan · 08.03.2012. 06.58

find služi za traženje datoteka u direktorijumima po imenu, tipu, dozvolama, veličini, itd
a grep za traženje izraza u datoteci ali ima funkciju pretrage i po direktorijumima

I71 · 08.03.2012. 19.48

Потребан ми је код за претрагу по датуму настанка ХТМЛ датотеке. Датум настанка је четвртак, 22. септембар 2011. 09:41:32 CEST.

Мало ћу опширније да објасним проблем, па можда ће бити нових идеја како да се реши.
Пре неколико дана сам установио да датотека БД2.html садржи само веома мали део онога што би требало да садржи. Прва могућност, коју држим доста невероватном, јесте да сам нехотице обрисао 90% текста. Друга могућност, коју држим готово искљученом, јесте да је систем избрисао недостајући текст. Трећа могућност, која је највероватнија, јесте да сам у прилично раној фази развоја дуплирао датотеку у други директоријум и ту наставио и завршио рад. Касније сам сређивао датотеке и директоријуме и највероватније да сам тада избрисао праву датотеку уопште не приметивши. Пре који дан приметим проблем и уз помоћ са форума урадим спашавање избрисаних ХТМЛ датотека. Програм је задатак одрадио више него ваљано и вратио све ХТМЛ датотеке које су се икада нашле на плочи, преко 6 милиона, 130 ГБ Smile

но без имена датотека, што тренутно отежава претраживање.
Дакле постоји и погрешна БД2.html датотека о којој ваља водити рачуна при тражењу, односно, сада више не постоји у /home директоријуму јер сам је пребацио на другу партицију. Ово све сам написао и зато што можда Убунту води негде дневник о пребацивању датотека из директоријум у директоријум или о креирању датотека, па би преко тога можда могло да се установи која је права БД2.html. Погрешна има 12,4 КБ, а права би требало да има око 110 КБ.

Пошто је до сада било потешкоћа са тражењем преко "grep", можда би сада требало покушати са find, дакле не да претрага иде кроз све тело фајлова, него само да прегледа главе. Иначе, слабо се разумем у вези свега тога.

**Atlantic777** · 08.03.2012. 22.03

Hajde još samo pokušaj i ovo:

Kod:

for i in `find -name \*.htm\*`; do grep -H -i \<title\>.\*naslov.\*\</title\> $i; done

Naravno, „naslov“ zameni sa onime šta treba da se nalazi u <title> tagu.

I71 · 08.03.2012. 23.02

Ради лепо тако што избацује датотеку по датотеку, сваких 15 минута.
Али нажалост ону погрешну датотеку и њене темпорарне датотеке.

I71 · 09.03.2012. 19.18

Stavio sam da "grepuje" ključne reči umesto naslova. Traži već 3 sata.

Koliko zapravo traje pretraga 130 GiB? Kod 2x2.6 GHz.

I71 · 10.03.2012. 07.17

Претражује преко 14 сати. Процесори раде у просеку на 35% а меморија је на 60%. Колико би требало да траје претраживање фасцикле од 130 ГБ?

~~dvajedan~~ · 10.03.2012. 09.20

Pored hardvera zavisi od vrste veličine i vrste fajlova, fajl sistema, opcija fajl sistema pa i od pretraživača Smile

.

Šalim se malo, ali tako jeste svi činioci su uključeni Wink

. Mada možda ima neko ovde ko zna da ti to proračuna.

I71 · 10.03.2012. 09.26

Ево, тражи 17 сати, јел' то нормално? Хоће ли да тражи данима?

**Atlantic777** · 10.03.2012. 10.36

Stvarno ne znam koliko će da traži, ali mogao bih da ti napišem komandu koja bi kupila samo fajlove veće od 100 KB i uzimala samo prvih 10 redova, 100 ili koliko god treba. To bi onda išlo brže, samo ako imaš podatke za pretragu za koje znaš da se nalaze u prvih n redova. Ovako on traži kroz cele dokumente i to stvarno može da potraje...

I71 · 10.03.2012. 13.32

Дилема је завршена тако што је искочила фаза (ваљда не због процесора што је вукао више струје) Wink

Сјајно! На твоју горњу наредбу само да додаш шта си рекао. Колико је то реда: 3? И још да ограничиш на 150КБ.

Чисто ме још занима да ли обична grep претрага може да се намести тако да не избаци све поготке, него само први на који наиђе?

I71 · 12.03.2012. 22.03

@Atlantic777
Nisi zaboravio?

**Atlantic777** · 13.03.2012. 21.43

Pretraga fajlova čija je veličina od 100k do 150k u okviru samo prvih 50 redova, ali ne vraća ime datoteke. Traži samo "nešto" šta se nalazi između <title> tagova i to isključivo u html/html fajlovima.

Kod:

for i in `find -name \*.htm\* -size +100k -size -150k`; do head -n 50 $i | grep -H -i \<title\>.\*naslov.\*\</title\>; done

Varijacija na datu temu, samo što se ne ograničava na prvih 50 redova već gleda u celim datotekama i vratiće i tačan filename:

Kod:

for i in `find -name \*.htm\* -size +100k -size -150k`; do grep -H -i  \<title\>.\*naslov.\*\</title\> $i; done

I71 · 15.03.2012. 06.46

Хвала! Сјајно си се потрудио и на ИРЦ каналу!
За остале: Проблем је још увек код брзине тражења, тако да ни после 16 сати не успева да прође кроз све фајлове. Па ако још некоме нешта падне на памет ...

Само ми није јасно. При обичној grep претрази увек јавља 'листа аргумената је предуга'. Ако су 'аргументи' оно што је пронађено, зар не може наредба да се напише тако да прикаже само први аргуменат/погодак на који наиђе?

**Atlantic777** · 15.03.2012. 15.46

Argumenti su ono šta se prosleđuje grep-u, u ovom slučaju spisak fajlova koje treba da pretražuje. Dakle, problem je što find pronađe toliko mnogo fajlova da grep ne može sve da ih prihvati za obradu. Zato sam napisao onu for petlju gde find kada nađe nešto, grep to pretraži, pa onda find nađe sledeći fajl i tako grep prihvata na obradu samo po 1 fajl. Dakle, argumenti su ulazni podaci, kod grep-a je to onaj izraz koji pretražujemo + spisak fajlova u kojima to tražimo.

caslav.ilic · 16.03.2012. 10.17

Када су датотеке релативно мале, покретање наредбе над њом често кошта много више времена него сама обрада. Да се то избегне, а истовремено не упадне у проблем предугачке листе аргумената, може да се употреби xargs:

Kod:

find -iname '*.htm*' -size +100k -size -150k | xargs grep -m 50 -l -i '<title>.*naslov.*</title>'

Наводници ако текстуалних аргумената обично су згоднији од избегавања (\) појединачних специјалних знакова шкољке. Опције уз grep: -m 50 да гледа само у првих 50 редова; -l да испише само име датотеке која садржи тражени образац; -i да не разликује величину слова. Кад је број нађених датотека довољно мали, xargs ће позвати grep само једном, са свим датотекама као аргументима; кад их је толико да би се окинуо онај проблем са превише аргумената, xargs ће разбити списак датотека у најмањи број делова и над сваким од њих редом позвати grep.

Niz \| Puni Prikaz Pretraga u terminalu
Autor	Poruka