czwartek, 18 października 2018

Dyscypliny naukowe - jaką wybrać?

Nie będę udawał, że coś z tego rozumiem - brakuje mi czasu na studiowanie tematu. Zatem wrzucam link do tekstu Kulczyckiego bez swojego komentarza za to z prośbą o wskazówki i komentarze czy to jest ważne, czy w związku z "niewłaściwym" wyborem grożą nam jakieś poważne konsekwencje? Co powinni wybrać ekolodzy?


Michał Żmihorski

55 komentarzy:

  1. Jakaś banda skończonych kretynów to tworzyła. Nic z tego nie rozumiem. I gdzie w tym wszystkim jest miejsce dla czystej nauki??

    OdpowiedzUsuń
    Odpowiedzi
    1. Nauki ma nie być, mają być wdrożenia

      Usuń
    2. Ciekawe jak te wdrożenia mają się pojawić, skoro zamyka się naukowców w obrębie dyscyplin. Przecież ta ustawa jest kompletną paranoją zabijającą badania interdyscyplinarne.

      Usuń
  2. Ekolodzy raczej nie będą mieć problemu, bo to stricte biologia i taką dyscyplinę powinni wybrać. Większy problem maja np. paleontolodzy, bo oni znaleźli się w dyscyplinie geologia. Problem będą mieli biolodzy na styku z medycyną czy rolnictwem. Dzisiaj na Wydziale Nauk Biologicznych UWr dyskutowano ten problem i zdecydowanie wszyscy byli za tym, żeby cały wydział wybrał tylko jedna dyscyplinę - biologia. Jedyny problem to paleozoologia, która generalnie powinna być w geologii, ale może też wybrać jako drugą dyscyplinę biologię.
    Humaniści i nauki społeczne mają więcej problemów, bo tam ta interdyscyplinarność się bardziej przeplata, co zresztą wyraźnie z dyskusji na tym blogu E. Kulczyckiego wynika.
    Dyscypliny przyjęte w naszej ustawie są dużo szersze (jest ich chyba tylko 22 lub 24 jak dobrze pamiętam) niż np. te wydzielane w Scopusie lub ISI co rodzi pewne wątpliwości w ocenie czasopism. SNIP będzie wyliczany wg. podziału na dyscypliny Scopusa, ale potem ta wartość będzie wrzucana do większego wora dyscyplin ustawowych. W praniu się okaże, czy to ma jakieś znaczenie.

    OdpowiedzUsuń
  3. Problemem jest wybranie odpowiedniej strategii publikacyjnej - wyboru czasopism, bo przy wypełnianiu slotów liczy się także dyscyplina. Prowadzi to do utraty często najlepszych prac, zwłaszcza interdyscyplinarnych, bo w slotach będą one znacznie mniej wartościowe niż prace jednodyscyplinarne. Tak to wygląda patrząc na obecną punktację, a jak będzie wyglądała nowa punktacja czasopism, tego to chyba nawet MNiSW jeszcze nie wie. Podział czasopism wg Scopusa - a taki rzekomo ma być obowiązujący jest czasem absurdalny, np. prace ekologiczne czy ewolucyjne (np. tyczące ewolucji molekularnej) w czasopismach zaklasyfikowanych jako Medicine i nigdzie więcej nie będą w slotach uwzględniane. Podobnie jest z paleontologią, częścią badań biomedycznych (np. na pograniczu inżynierii, fizyki czy chemii). Generalnie ustawa zniechęca mechanizmem slotów do współpracy międzyjednostkowej w kraju i za granicą (doliczanie autorów zagranicznych do mianownika i określanie ich w dyscyplinach MNiSW) i do prac interdyscyplinarnych. Wyboru dyscyplin powinno się dokonać po ogłoszeniu podziału dyscyplinarnego i punktowego czasopism, ale tradycyjnie wszystkie działania są wymuszane przez MNiSW i władze jednostek od strony gęby pierwotnej.

    OdpowiedzUsuń
  4. Rektorzy powinni powiedzieć, że nie będzie żadnego przyporządkowania do dyscyplin dopóki ministerstwo nie poda listy czasopism i punktacji. Ale niestety rektorzy to miernoty bojące się o swoje stołki i nic takiego nie zrobią.
    To co zaproponowało ministerstwo to jakiś absurd, którego nie ma na całym świecie. Ale pan Gowin dostał zadanie zniszczenia nauki polskiej i bardzo dobrze mu to wychodzi.

    OdpowiedzUsuń
  5. Co w sytuacji gdy czasopismo należy do kilku dyscyplin ? Będzie we wszystkich dyscyplinach ale będzie miało różną liczbę punktów czy będzie w tej jednej wiodącej dyscyplinie w której jest sklasyfikowane?
    Jak ktoś z dyscypliny chemia opublikuje w Nature Geoscience to ta praca mu się nie będzie liczyła ?
    To na prawdę trzeba być skończonym lub nawet nie skończonym niedorozwojem, żeby wpaść na tak chory pomysł. Robili to albo totalni idioci albo osoby których celem jest położenie nauki w Polsce.

    OdpowiedzUsuń
  6. Ci totalni idioci, to oczywiście humaniści. Nikt tego jakoś nie zauważa i głośno nie mówi, że ta gromada pacanów zupełnie skutecznie zlikwidowała listę filadelfijską w Polsce.

    OdpowiedzUsuń
    Odpowiedzi
    1. kurczę, to rzeczywiście prawda - Lista Fil. ostatecznie zniknęła, środowiska które z nią walczyły osiągnęły sukces... Mam coraz gorsze przeczucia odnośnie tej reformy

      Usuń
    2. Lista IF to byl przekret. Srednia IF dla roznych dziedzin byla rozna, ale ten szczegol byl "sprytnie" ukrywany. Sprinter powinien scigac sie ze sprinterami a nie ze sztangistami. Problemem jest natomiast interdyscyplinarnosc, ale to inna bajka.

      Usuń
    3. ale przecież nikt nie porównywał IFów między dziedzinami - polskie punkty mnisw były oparte o ćwiartki liczone na podstawie IFów osobno dla każdej dziedziny! To nieuczciwa manipulacja z tym "sprytnym ukrywaniem", bo cały system na tym bazował i nikt nic nie ukrywał.

      Usuń
    4. Alez co Pan opowiada... Znam dziesiatki przykladow na przekrety z ukrywaniem sredniej. Nawet tutaj na tym forum, formulowano tezy ile punktow IF w dorobku powinien miec badacz i jaki powinien byc jego wspolczynnik H. Bez rozroznienia na tematyke, bez uwzglednienia liczby autorow itp. Oczywiscie, ze teraz glosno placza te osoby, ktore straca na nowym sposobie liczenia. Przy kazdej zmianie, ktos traci, ktos zyskuje.

      Usuń
    5. zaraz, zaraz, nie przypominam sobie byśmy tu na blogu formułowali zalecenia odnośnie dorobku naukowego matematyków, czy chemików. Chyba że chodzi Panu o różnice między ornitologami, entomologami, arachnologami itp - ale oni też zostaną wrzuceni przez nowy system do jednego worka o nazwie biologia, czy nie?

      Usuń
    6. A ja sobie przypominam. Ale to jest w sumie bez znaczenia co bylo mowione w przeszlosci, gdyz np. sama teza, ze ktos kto jest biologiem uprawia "lepszy" rodzaj nauki niz humanista, wpisuje sie w ten sposob myslenia, ze najwazniejsze sa bezwzgledne wartosci IF. Po prostu duzo jest tutaj opinii pod haslem "kazda pliszka swoj ogonek chwali". Dopoki te opinie sa gloszone, jako pewien rodzaj propagandy, ktora kazdy uprawia to OK. Ale niektorzy naprawde wierza w takie "zyczeniowe" teorie. I wyglada na to, ze teraz maja problem.

      Usuń
    7. A okreslajac to dosadniej, obudzili sie teraz z reka w nocniku.

      Usuń
  7. Trochę poza tematem, ale a propos humanistyki - mamy właśnie zakończony konkurs na 'Wsparcie dla czasopism naukowych' i z założenia ma on objąć 150 czasopism humanistycznych (czasopism z nauk ścisłych i przyrodniczych - tylko 30). Czasopisma te mogą liczyć na dofinansowanie przez 2 lata, maks o co można było się ubiegać to chyba 120 tys. Czyli wydajemy kolo 16 mln. na rozwój 150 nieznanych szerzej (bo z założenia te czasopisma nie mogły być w bazach) czasopism humanistycznych. I kolejnych 120 czasopism z dziedziny nauk społecznych. Nie jest to moja tematyka, ale zastanawiam się czy w ogóle mamy tyle wartościowych i nieznanych czasopism, żeby pompować w nie relatywnie duże pieniądze? Jednocześnie na czasopisma już istniejące w dobrych bazach (chyba kolo 130 na filadelfii) nie ma dodatkowych pieniędzy, aby mogły być jeszcze lepsze.

    OdpowiedzUsuń
    Odpowiedzi
    1. Na chwile obecna nie ma jakiegolwiek pozytku z polskiej nauki (wliczajac w to humanistow i scislowcow). Nie ma znaczenia dla podatnika na co ida pieniadze. Dlatego zazwyczaj decyduje widzimisie urzednika, ktoremu papiery polozono na stole i kazano zajac sie sprawa.

      Usuń
    2. To co pisze TDM to faktycznie dramat - mierne czasopisma przeżrą dopłatę i będą tak samo mierne, tylko że z nowszą stroną internetową lub angielską wersją. Ten idiotyczny ruch wpisuje się dobrze w ideę równania - tym dobrym nie pomagamy, bo oni sobie jakoś radzą, pomożemy więc tym leniwym i mniej zdolnym, żeby nie czuli się pokrzywdzeni (a ponieważ jest ich więcej, to może pomogą nam w wyborach). Nauka powinna działać dokładnie odwrotnie

      Usuń
  8. Reforma przygotowana przez humanistów, dla lepszego samopoczucia humanistów - brak elementarnej logiki, metafizyczne założenia, ezoteryczne wykładnie. Teraz ministerstwo będzie wspierać "Studia filozoficzne społeczności małomiasteczkowych ściany wschodniej" bo to ważne czasopismo.

    OdpowiedzUsuń
    Odpowiedzi
    1. Raczej jest to reforma dla reformatorow. Podejrzewam, ze w wielu pomyslach palce macza Kulczycki (dyzurny czlonek wielu komitetow, inna sprawa, ze faktycznie humanista). Zawsze gotowy doradzic, podac przyklady itp. Biznes musi sie krecic, czyli jedni krytykuja, inni poprawiaja. W sumie to fajne jest zycie takiego celebryty.

      Usuń
  9. "ta gromada pacanów zupełnie skutecznie zlikwidowała listę filadelfijską w Polsce"

    Ta gromada pacanów, od lat postulująca likwidację listy filadelfijskiej to grupa noblistów i wybitnych uczonych z tzw. Porozumienia z San Francisco. Akurat odejście od listy z jej bożkiem IF to najjaśniejszy punkt nowej ustawy. Zastąpienie IF współczynnikiem SNIP, chociaż też niepozbawionym wad, jest dużym krokiem do przodu. Rozumiem płacz wyznawców IF-a, bo SNIP w wielu przypadkach przywraca naturalny porządek wartości czasopism i bije w spółdzielnie cytacyjne, więc trzeba będzie się jednak nieco mocniej wykazać żeby założyć liść laurowy.
    Faktem jest, że humaniści i nauki społeczne są mocno dowartościowane tą ustawą ale czemu tak płaczecie. Przecież wy uprawiacie naukę przez duże N i oni w ogóle wam nie podskoczą. Zwłaszcza, że będą oceniani w swoim worku.

    OdpowiedzUsuń
    Odpowiedzi
    1. Dzień dobry,
      Chciałbym tylko zaznaczyć, że jakoś wśród tych noblistów nie widzę Polaków, no chyba, że Anonimowy masz na myśli te noble papieskie, bo tam rzeczywiście jest jeden uzurpator z naszego kraju. Problem zastąpienia listy filadelfijskiej nie dotyczy impakt faktorów. Dla wyznawców IF, nowe metody oceny i tak nie mają w zasadzie znaczenia. gdyż wartości IF są silnie pozytywnie skorelowane zSNIPami. Zasadnicza różnica jest taka, że lista filadelfiska jest tworzona w oparciu o kryteria jakościowe, które muszą spełnić czasopisma z tej bazy. Scopus jest z kolei bazą łykającą większość czasopism, nawet tych żałośnie słabych. No i jest bazą tworzoną przez jedno wielkie komercyjne wydawnictwo, co już powinno zapalić czerwoną lampkę w niektórych głowach. Zasadniczo więc problem sprowadza się do tego, że użycie SNIPów będzie gratyfikowało słabeuszy i to niezależnie od dyscypliny.

      Usuń
    2. Kolego, odejście od IF-a proponowali wcześniej właśnie wybitni uczeni z Porozumienia z San Francisco i to do nich odnosił się wpis, a nie do polskich gremiów (nie ma pewności czy twórcy ustawy tak brali sobie do serca te wnioski płynące od tego międzynarodowego gremium, ale nazywanie ich pacanami to przejaw wybitnej kultury, która od czasu do czasu na tym blogu wychodzi).
      Śmieszne jest wytykanie Scopus-owi komercyjności. A były Thomson od listy filadelfijskiej to niby organizacja non-profit lub charytatywna. A sprzedaż tej bazy Chińczykom to też był przejaw działań charytatywnych? Jak się nie ma argumentów to proszę nie wprowadzać w błąd. Obie instytucje to skrajnie komercyjne twory, od początku do końca, co zresztą też w raporcie Stowarzyszenia z San Francisco podkreślano.
      A SNIP nie gratyfikuje słabszych czasopism. To kolejna manipulacja. SNIP gratyfikuje dziedziny niżej impaktowalne (i wcale nie tak wyraźnie), z symulacji wynika, że w czasopismach z najwyższej półki to efekt będzie bardzo podobny. Podobnie w czasopismach z ogona list. Największa różnica jest w tytułach ze środka tabel, gdzie IF średnie czasopisma nadmiernie preferował w stosunku do najlepszych czasopism z dziedzin nisko impaktowalnych np. sporo przeciętnych czasopism z biologii molekularnej i eksperymentalnej miało IF 4-5 razy wyższy niż topowe czasopisma np. z biologii systematycznej, ale również innych dziedzin biologii środowiskowej. W tej chwili ta róznica w SNIP-ie wynosi 1,3-1,5 na korzyść tych laboratoryjnych i to jest bardziej naturalna pozycja tych czasopism. Na dodatek sam sposób wyliczania SNIPA uderza w nadmierną wzajemną cytowalność (czyli te spółdzielnie cytacji), co jest pozytywnym krokiem.

      Usuń
    3. Ale jednak Scopus indeksuje więcej słabszych czasopism niż ISI

      Usuń
    4. Co to znaczy słabszych? Ja bym chciał, żeby Scopus i ISI indeksowały wszystkie tytuły. Wtedy te słabe i tak by się nie liczyły (przy n=4 na każdego pracownika, to one by nie istniały, przynajmniej w najlepszych ośrodkach). Dlaczego te bazy indeksują prawie 90% tytułów z biologii molekularnej i mniej niż 50% z biologii systematycznej i środowiskowej. Czy to znaczy, że w tych dziedzinach biologii pracuję więcej miernot a w molekułach same geniusze. Pamiętam jak powstawała baza Thomsona, to tam były prawie wyłącznie tytuły z biologii molekularnej, eksperymentalnej i biomedycznej. Dlaczego? Bo tam jest najwięcej kasy w nauce i te dziedziny były promowane z powody tej kasy (i tak jest do dziś). Dziedziny o małej kasie i niskiej impaktowalności były powolutku wprowadzane na listę, trochę z łaski. Ciekawe jaka politykę wprowadzania na listę zrobią Chińczycy, którzy przejęli Thomsona. Czy to będzie np. polityka regionalna, bo ten trend zaczął się przed przejęciem baz? Może żeby podbić cenę sprzedażną bazy. Scopus w tej chwili wprowadza szerokim frontem tytuły również dla kasy. Po Polsce jeżdżą w tej chwili przedstawiciele paru wielkich oficyn wydawniczych i oferują wejście na Scopus (z jej błogosławieństwem) ale pod warunkiem, że polskie tytuły wejdą do tych oficyn, będą oddawać prawa autorskie i prawa do tantiemów ze sprzedaży prac (bo taka jest praktyka większości wydawnictw). A kol. skorka twierdzi, że tylko Scopus jest komercyjny.

      Usuń
    5. Zarówno Scopus jak i ISI są komercyjne i to jest chyba oczywiste. Problem, że Elsevier wydaje również dużą liczbę czasopism naukowych. ISI nie. Wystarczy sobie zobaczyć, jak szybko w bazie Scopus pokazują się tytuły z Elseviera, a jak długo czekają na to tytuły z innych wydawnictw. Jak kolega Anonim chce indeksować każde czasopismo, to dlaczego nie użyć bazy Google Scholar. Każdy chłam ma szansę tam się znaleźć i nawet być cytowany.

      Usuń
    6. Dodam jeszcze, że ISI z założenia miała (być może dalej ma) cel indeksowania tylko najlepszych czasopism. Selekcja czasopism odbywa się w oparciu o kryteria znane a priori. Scopus bynajmniej, wrzuca w zasadzie wszystko do jednego wora i dopiero uzyskuje efekt końcowy w postaci SNIPów, itp. Moim zdaniem preselekcja robiona przez ISI jest czymś bardziej wartościowym, niż łapanka robiona przez Scopusa.

      Usuń
    7. Myślę, że użycie bazy Google Scholar tez by niewiele zmieniło w grupach Science. Akurat analizowałem tę bazę dla potrzeb rankingu naszego wydziału i personalny ranking układał się niemalże identycznie jak w analizach na danych ze Scopus i ISI, zwłaszcza na wysokich i średnich pozycjach w rankingu. Baza ta daje dużo większe możliwości manipulacji dla grupy Arts niż Science. Baza Google Scholar jest trudna w użyciu z powodu kiepskich narzędzi wykluczających autocytacje czy powtórzenia oraz prac nie mających statusu publikacji naukowej (abstrakty, prace dyplomowe, konferencyjne bzdety itp.) i z tego powodu nie wytrzymuje konfrontacji z ISI czy Scopus. Ale w biologii daje zupełnie przyzwoite rozeznanie na poziomie szybkiego rankingu kto jest kim na wydziale czy uczelni. No i lepiej penetruje cytowania w czasopismach nie indeksowanych i w publikacjach na użytek praktyki. Akurat w mojej dziedzinie (entomologia, w części aplikacyjnej) dużo jest cytowań w czasopismach praktycznych na rzecz ochrony roślin, szkodników magazynowych i kwarantannowych, gatunkach inwazyjnych itp.). Bez tej bazy nie miałbym pojęcia jak często moje prace były cytowane w różnych egzotycznych miejscach i językach. I dlaczego mam się pozbywać oceny tej sfery wpływu mojej pracy naukowej.

      Usuń
  10. SNIP tylko nieco tylko rozwiązuje problem, bo tematyczne, np. mikologiczne, ichtiologiczne, ornitologiczne czasopisma mają go znacząco wyższy niż ogólnozoologiczne, a czasopisma systematyczne są w ogóle w dole klasyfikacji. Dlaczego nikt nie chce brać pod uwagę "żywotności" potencjalnego cytowania prac? Większość molekularnych jest cytowane często przez trzy lata, potem zamierają, systematyczne, ekologiczne czy ewolucyjne cytowane są często po dłuższym czasie i z reguły ponad 10 lat. Na razie nadal jesteśmy na etapie porównywania jabłek i pomarańczy.

    OdpowiedzUsuń
    Odpowiedzi
    1. a dlaczego żywotność cytowania jest ważna (niezależnie, jak rozumiem, od sumy cytowań). 2 cytowania przez 2 lata miałyby być lepsze niż 4 przez rok (a w drugim roku 0)?

      Usuń
    2. Zaskoczyło mnie Michale, że nie rozumiesz tak prostej kwestii. Przez żywotność cytowania rozumiemy jak długo praca będzie cytowana w przyszłości. IF liczy się tylko przez dwa lub pięć ostatnich lat dla danej pracy. A jeżeli jakaś praca jest cytowana np. przez następne 10, 15, 20, 50 lat to już znika z wyliczeń dla takich parametrów jak IF. A jeżeli inna praca jest cytowana nawet wielokrotnie przez dwa lata, a potem o niej słuch ginie to co mamy myśleć o takiej pracy? Prawdopodobnie jej wartość nie wytrzymała próby czasu. Te wskaźniki parametryczne są opracowane specjalnie dla tych kierunków nauk, w których liczy się doraźny sukces cytacyjny, a niekoniecznie trwała wartość danej pracy na długie lata.
      Stąd przedstawiciele tych nauk, które z założenia są nisko impaktowe (jak np. taksonomia, systematyka, ale i wiele kierunków fizyki, matematyki itd.) uważają się za pokrzywdzonych przez wrzucanie ich do jednego wora z dziedzinami szybko impaktowymi, a niekoniecznie trwałymi. I nie wyskakuj znowu z tabelami ministerialnymi, bo one nic nie wyrównują tylko dodatkowo premiują te "szybkie" dziedziny. Weźmy np. tabelę Entomologia. Tam na szczycie są takie tytuły jak Molecular Entomology, Physiological Entomology itp., chociaż one powinny być wyłącznie w tabelach Molecular Biology czy Physiology (gdzie zresztą konkurowały by z tytułami o wyższych impaktach niz w tabeli Entomology). A tak w ogóle to nie ma tabel takich Systematics and Taxonomy, Dipterology, Hymenopterology (ale dla osobnych grup kregowców już są). I takie Systematic Entomology (topowe w swojej dziedzinie) musi konkurować z tytułami stricte biochemicznymi czy fizjologicznymi, bo tak sobie cwaniaczki z grup wysoko impaktowanych wymyśliły.
      A jak ktoś ma pracę, która w pierwszych latach w ogóle nie miała cytowań lub tylko po jednym, ale jest potem cytowana nawet przez kilkadziesiąt lat (to przypadek dość regularny w takich działach jak Systematics i Taxonomy) to w ty naszym systemie nie ma żadnego odbicia w jej wartościowaniu. Byle bzdet molekularny z nabitą przez spółdzielnie cytacją w pierwszych 2 latach przynosi jednostkom dużo więcej korzyści niż jakaś trwała wartość.

      Usuń
    3. ale ja pytałem o nieco inną kwestię: czy poza średnią liczbą cytacji na rok danej pracy, ważny jest też rozkład tych cytacji w czasie. Dlaczego praca, która zaczyna być cytowana dopiero po latach jest lepsza od pracy cytowanej głównie zaraz po publikacji?

      Usuń
    4. Znowu nie rozumiesz do końca. Chodzi o prace, które utrzymują cytowalność przez długi okres czasu, z mniej więcej wyrównaną częstotliwością. Bo to oznacza, że ta praca ma cały czas jakąś wartość. Nie wiem co to dla ciebie znaczy lepsza praca, dla mnie to jest własnie taka praca, której wartość nie przemija przez wiele lat i np. wchodzi do podręczników z danej dziedziny. Zajrzyj do trzech ostatnich tomów Handbook of Zoology, ile tam starych prac Polaków jest cytowanych, ilu polskich badaczy jest autorami rozdziałów w tym podręczniku, a nawet redaktorami tomów. Ale większość tych cytowanych prac, w tym naszym szybkim systemie opartym na IF, na tym blogu by uznano za kiepskie (bo IF jest tu zwykle synonimem wartości pracy).
      Te prace weszły do kanonu zoologii systematycznej i to w nauce jest najwyższa wartość. Z całym szacunkiem dla ekologii polskiej, nie widziałem aby w światowych podręcznikach ekologii tak często cytowano polskich autorów (mam żonę ekologa i w naszej bibliotece jest cała półka takich podręczników). Ale ekolodzy lepiej funkcjonują w naszym systemie, bo jest to nauka średnio wyżej impaktowalna niż biologia systematyczna, choć i tak przegrywają z molekularnymi czy innymi laboratoryjnymi. System powinien mniej więcej równo promować różne dziedziny i formy aktywności, ale to co wchodzi do kanonu wiedzy zawsze w nauce miało najwyższą wartość.

      Usuń
    5. rozumiem doskonale i zadaję bardzo precyzyjne pytanie, proszę przeczytaj z uwagą, bo odpowiadasz na problem, o którym nie wspominam (swoją drogą też ciekawy).
      Pytam dlaczego wg Ciebie ważny jest rozkład cytacji w czasie? Wg mnie nie jest, liczy się liczba cytacji danej pracy (przeliczona na liczę lat od opublikowania), a nie rozkład.

      Usuń
    6. Już ci Michał odpowiedziałem. Dla mnie jak praca ma dużo cytowań tuż po opublikowaniu, a potem znika, to jest to co najmniej podejrzane (spółdzielnia, pomyłka szybko zweryfikowana, lub po prostu szybka dewaluacja). Ale duża liczba cytowań rozciągnięta w czasie to dla mnie raczej duża wartość, ale ja właśnie o tym pisałem, więc tu nie ma miedzy nami niezgody.

      Usuń
    7. nie bardzo mnie to przekonuje - to Twoja subiektywna ocena raczej. Spółdzielnia można właśnie działać długoterminowo, wcale nie jest powiedziane, że szybki wzrost cytowań świadczy o spółdzielni, nie ma chyba żadnych dowodów na to?

      Usuń
    8. Czepiasz się kolegi Michał, on w sumie pisze o czymś innym. A spółdzielnię można łatwo wykryć. Wystarczy prześledzić krzyżową powtarzalność nazwisk w references. Ostatnio miałem okazję być w komisji oceniającej dorobek pewnej osoby i pechowo dla niej poprzednio bylem w komisji innej osoby, ale obie wzajemnie się cytowały plus jeszcze parę osób z ich zespołów. Nie czepiał bym się, gdyby te cytowane prace zahaczały o siebie tematycznie, ale to było sprytne wzajemne wrzucanie en bloc całych dorobków publikacyjnych. Wiem, że to redakcje powinny pilnować takich sytuacji, ale to były publikacje o IF-ach 2-4, więc tak ze środka tabeli. Widać, że kontrola zawiodła.

      Usuń
    9. Anonim poruszył ważny problem. Stawia tezę (chyba niekwestionowaną przez p. Michała), że praca mająca dużo cytowań - również (a może zwłaszcza) wiele lat po opublikowaniu - jest bardzo wartościowa. Dodatkowo zwraca uwagę na fakt (chyba niedostrzegany przez p. Michała), że prace nie mające cytowań w pierwszych 2 latach po opublikowaniu - nie mają wpływu na IF. Ja także uważam to za głupotę i anachronizm (może kiedyś, przy słabych bazach i komputerach, miało to jakiś sens praktyczny; teraz jest bezsensownym artefaktem). Gdyby IF liczono uwzględniając wszystkie cytowania, to byłoby zupełnie co innego. Byłaby to zmiana na plus.

      Usuń
  11. W wyklętym obecnie WoS można posprawdzać współczynnik Aggregate Citing Half-Life, np. dla Biochemistry and Molecular Biology, w roku 2017 wynosi on 8.0, dla Veterinary Sciences 9.9 dla Palaeontology >10. To samo Citing Half-Life można obejrzeć dla czasopism, np. Molecular Biology and Evolution - Citing Half-Life: 7,5; Journal of Medical Entomology Citing Half-Life: 10,3; Systematic Entomology - Citing Half-Life: 11,5; Palaeontology Citing Half-Life: 12,2; Zootaxa - Citing Half-Life: 22,4.
    I tu widać jak na dłoni różnicę w długotrwałości cytowań. A IF, SNIP czy cokolwiek innego opartego wyłącznie na ilości cytowań w krótkim czasie (max. 5 lat), pokazuje wyłącznie czasową popularność prac opublikowanych w danym czasopiśmie.
    Liczba cytacji przeliczona na liczbę lat od opublikowania pracy też jest odchylona, bo są dyscypliny "modne", np. eksperymentalne, molekularne, gdzie pracuje wiele konkurujących i wzajemnie cytujących się autorów czy zespołów i dziedziny niepopularne, gdzie jak n. w szeroko pojętej systematyce, specjalistów od danej grupy jest niewielu, bądź są to wręcz pojedyncze osoby. I nie jest tak, że ta wiedza jest zbędna, bo na przykład w tej chwili brakuje w świecie systematyków-parazytologów (a parazytolodzy molekularni jak diabeł święconej wody unikają "klasycznej" systematyki), wiele grup bezkręgowców nie ma w ogóle obecnie aktywnego systematyka. Ten problem jest znany od kilkunastu lat, ale nadal nie robi się nic by go chociaż trochę rozwiązać, wręcz przeciwnie, wyścig publikacyjny powoduje, że zniechęca się wręcz doktorantów do pracy w systematyce.

    OdpowiedzUsuń
  12. Nauka nie rozwija się w sposób ciągły, tylko od czasu do czasu pojawiają się pewne pomysły, które niekiedy wywracają punkt widzenia kompletnie (ot choćby teoria ewolucji) a czasem coś tam mniejszego wywracają w jakiejś dziedzinie. Czasem ktoś wskaże nowy pomysł, inni się na to rzucają i w krótkim czasie "nabija się" sporo cytacji. Ot choćby global warming, czy wpływ hałasu na organizmy. Ten pomysł może z czasem okazać się nietrafiony, ale to co się wokół niego działo często zasadniczo przyczynia się do zmiany wiedzy na jakiś temat. I tak właśnie jest, zasadniczo IF ma odzwierciedlać to co aktualnie się dzieje w nauce. Cytowana raz na rok praca opisująca jakiś gatunek owada czy rośliny zazwyczaj nie zmienia w żaden sposób naszej wiedzy o świecie, nawet jeśli przez 100 lat uzbiera 100 cytacji. Ot mamy jeden gatunek więcej. Czasem tak się trafi, że nowo odkryty gatunek wymusza sposób zmianę w rozumieniu ewolucji jakiejś większej grupy, czasem jest to ważne z powodów ochrony środowiska, ekologii czy jakiejś szerszej dziedziny i takie prace mają więcej cytacji. I oczywiście nie znaczy to też, że taka praca nie ma znaczenia w ogóle i jest niepotrzebna !

    Kolejny powód szybkiego zaniku cytowań to choćby kwestie metodyczne. Warsztat biologii, szczególnie molekularnej zmienia się dramatycznie szybko. To nie jest tak, że opisanie jakiegoś nowego białka i jego roli zaraz po dwóch latach i dajmy na to 100 cytacjach przestaje być ważne. Najczęściej jego rola jest poznana i nie ma sensu cytować pewnych rzeczy oczywistych. Tak jak pisząc pracę o migracji ptaków zwykle nie będziemy się odwoływać do prac opisujących budowę kości ptaków, piór i worków powietrznych. Chyba, że nagle odkrylibyśmy, że dajmy na to jakiś gatunek jest nadspodziewanie lekki, czy ma jakieś specyficzne upierzenie (np. nie wydające dźwięków podczas lotu). Taka po prostu specyfika dziedziny.

    No i teraz tak, żeby nie wyszło że jestem tylko za IF i reszta mnie nie obchodzi. Problemem jest po prostu brak zrozumienia czym jest IF i różni jego krewniacy, a przede wszystkim wrzucanie wszystkich do jednego worka przez decydentów. To państwo, czy władze uczelni, a może nawet i jedynie władze wydziału (w obrębie takiej biologii), powinny decydować czy chcą dalej rozwijać taksonomię lub inne klasyczne dziedziny, czy nie, i ile pieniędzy na nie przeznaczyć, i w obrębie takiej dziedziny oceniać pracowników "z tego samego podwórka" a nie razem z biologami molekularnymi czy innymi, dajmy na to biofizykami, czy antropologami, gdzie każda z dziedzin ma swoją specyfikę. Przyzwoita uczelnia nie powinna zrobić tak, że wytnie wszystkich systematyków a zostawi jedynie biologów molekularnych, bo nagle może się okazać, że robienie czegoś wyłącznie na myszy, rzepiku czy innym modelowym organizmie jednak nie pozwala zrobić kroku dalej. Studenci też zwykle chcą jednak mieć szerszą wiedzą, ochrona środowiska - zwłaszcza ta z prawdziwego zdarzenia, kompetentna ciągle będzie potrzebowała absolwentów o szerokim spektrum wiedzy i umiejętności.
    Nie obrażałbym się na IF ale na reformatorów i decydentów. Dlaczego nauki twarde sensu SCIENCE są razem z "naukami" typu filologie, wiele dziedzin nauk społecznych? Tutaj to państwo akurat powinno powiedzieć, potrzebujemy w Polsce ludzi, którzy mówią dobrze po polsku, znają naszą literaturę itd. więc dajemy tyle a tyle pieniędzy na takie dziedziny, i w obrębie tych dziedzin REGUŁY podziału pieniędzy powinny być zupełnie inne niż dla biologii, chemii itd.

    Pozdrawiam,
    T. Osiejuk

    OdpowiedzUsuń
    Odpowiedzi
    1. Kol. Osiejuk, masz dużo racji w tym co piszesz. Jest tylko jedno ale, system oparty na IF wielokrotnie mocniej wspiera badaczy niewiele wnoszących do naszej wiedzy w takich "szybkich" dziedzinach jak np. biologia molekularna w stosunku do tych opisywaczy nowych gatunków, którzy na tym blogu spotykali się wręcz z objawami pogardy (filatelisci itp.). W biochemii rzemieślnicze prace na białkach mogą liczyć na IF 3-4, w porywach wyżej, a systematycy na max. 1.5. Wielokrotnie na naszej radzie wydziału słyszałem od molekularnych, że oni są co najmniej 4-5 razy lepsi od systematyków (chociaż np. w 3n do ewaluacji ci drudzy wnosili co najmniej tyle samo punktów). U nas od kilku lat na szczycie rankingu jest gość, który ma 20-30 publikacji w roku, z tego połowa z nich jest punktowana w przedziale 30-50 pkt. Nigdy nie dostał nagrody naukowej bo jest systematykiem, a IF-y jego prac były wyraźnie niższe niż molekularnych, a bożka zrobiono z tzw. sumarycznego IF.
      To nieprawda, że nie ma zrozumienia czym jest IF. Wszyscy dobrze wiedzą czemu on służy, ale cwaniacko bardzo szybko zrobiono z niego parametr oceniający pracowników na zasadzie prostej tezy: wyższy IF wyższa jakość mojej pracy. W materiałach Porozumienia z San Francisco zwracano na ten demoralizujący aspekt takich ocen, bo ludzka natura jest taka, że jak da się coś łatwo zmanipulować, to na pewno zostanie to zrobione.
      Tez chciałbym, żeby było kilka worków. Odrębne dla Arts, odrębne dla Science, a w obrębie Science niezależne dla dziedzin wysoko i nisko impaktowalnych. I nie tak jak w WoS, gdzie w prawie każdej tabeli są tytuły biochemiczne i molekularne przez sprytne dodanie do tytułu osobowego przedmiotu badań (jak te podawane wyżej Physiological Entomology czy Molecular Entomology). Ale to mrzonka, bo u nas ten system powstał nuie dla oceny jakości badań, tylko dla łatwego dzielenia kasy przez urzędników zarządzających nauką (i dla cwaniaków z NCN, którzy przyznali sobie prawo do decydowania co jest nauka, a co nie jest). Dlatego ja już wolę system oparty na SNIP niż na IF, bo jest chociaż troszeczkę bardziej przychylny dla dziedzin nisko impaktowalych, ale z wysokim Citing Half-Life.
      Tak się złożyło, że znam bardzo dobrze system amerykański i tam to co kol. Osiejuk pisze w ostatnim akapicie jest oczywiste. Odrębne są reguły dla molekularnych czy eksperymentalnych, odrębne dla systematyki. Liczy się jakość. Mój kolega ze studiów podpisał właśnie kontrakt profesorski w jednym ze stanowych uniwersytetów, z klauzulą tenure po 5 latach. Miał granty z Harvardu, National Geographic i z narodowej fundacji. Większość publikacji ma w czasopismach z IF ok. 1, tylko kilka z wyraźnie wyższym. I dlaczego mu się tak dobrze wiedzie? Bo jest systematykiem, przedstawicielem rzadkiego gatunku, a w USA nikt ich nie wrzuca do jednego wora z molekularnymi, eksperymentalnymi, nawet nie z ekologami. U nas na to nie wpadli, powiem więcej, z premedytacja wycina się te dziedziny, bo jak pisze kol. Osiejuk "praca opisująca jakiś gatunek owada czy rośliny zazwyczaj nie zmienia w żaden sposób naszej wiedzy o świecie". A ja twierdzę, że 90% prac biochemicznych też nie zmienia.

      Usuń
    2. Koncepcja podziału na dziedziny "szybkie" i "wolne" jest nowatorska i powinna zostać opublikowana w porządnym czasopiśmie, np. takim Scientometrics :-)
      A poważnie, o "szybkości" danej dziedziny decyduje jej charakter, tj. społeczne i ekonomiczne znaczenie wyników (np. leczenie raka, nowe technologie biomedyczne). Te dziedziny są na szczycie swojego rozwoju, jest w nich mnóstwo pieniędzy, przyciągają wielu badaczy. W tych dziedzinach społeczeństwo i instytucje finansujące pokładają duże nadzieje (dobrobyt, zysk, zdrowie) i przeznaczają na nie dużo środków. Trudno się dziwić tej dynamice, która sprawia, że to zdaniem anonima "szybkie" dyscypliny.
      Na tym tle taksonomia i systematyka jawią się jako nauki znacznie mniej ważne społecznie. Owszem, potrzebne i ważne, ale nie mające tak znaczącego wpływu na ważne aktualnie problemy społeczne i gospodarcze.
      Podsumowując, Anonim i inni taksonomowie mogą się oczywiście zżymać i użalać nad niedowartościowaniem swojej dziedziny, ale jej rola w aktualnym rozwoju nauki oraz społeczne znaczenie są zwyczajnie małe (uprzedzając: to nie znaczy, że te dyscypliny nie są ważne! są, ale mniej niż inne). Dlatego trudno się dziwić, że klasyczną taksonomią zajmuje się dziś mało osób, majo cytuje się prace, czasopisma mają niski IF.

      Usuń
    3. To co pisze An. 23.10 09:47, to w warunkach polskich tylko fantazje literackie. Owszem gdyby byl jakis zwrot nakladow w postaci wdrozen, to wydawanie wiecej na jedne dziedziny, a na inne mniej, byloby zrozumiale. I wtedy mozna byloby mowic, ze cos jest mniej lub bardziej wazne spolecznie. A na razie jestesmy na etapie publikacji dla publikacji i kolekcjonowania punktow. I dawac duze pieniadze nieudacznikom, ktorzy pracuja w ponoc waznych dziedzinach i nie potrafia tego przelozyc na konkrety? To zwyczjnie strata tych pieniedzy. "Gospodarka, glupcze!"

      Usuń
    4. To co pisze kol. z 9:47 to klasyczne omijanie problemu, w których celują zwolennicy tych tzw. "szybkich" dziedzin. Nikt nie neguje ważności badań nad rakiem czy nowościami biotechnologicznymi. Poruszany problem to kwestia stosowania jednego miernika do wszystkich działów, a to preferuje te działy "szybkie" niezależnie od tego czym się tam zajmują. A w tych działach 90% prac to też zwykła rzemiecha. Też ważna, ale w takim rozumieniu jak u kol. z 9:47 równie niewiele wnosząca. Dlaczego ma być więc preferowana już na starcie. Dlatego, że używa maszyn robiących "plim" (kto oglądał Monty Pytona wie o czym piszę).
      Ten kolega z wydziału wspomniany wyżej, systematyk, który pisze po 20-30 prac rocznie, w znacznej części publikując w czasopismach najlepszych dla naszej dziedziny zaczynał w PAN-ie jako bardzo dobry biochemik, zajmujący się badaniem nowotworów. Spędził wiele lat w Japonii w jednym z czołowych światowych instytucji badań nad rakiem, opublikował naprawdę dobre prace z tej dziedziny w znakomitych czasopismach. Któregoś dnia powiedział "pier...ę", rzucił to, wrócił do Polski i zaczął pracować jako systematyk koleopterolog. Jego prace w tej dziedzinie są też wzorcowe, bo to po prostu genialny badacz. Pytałem się go, czemu rzucił tak dobrze zapowiadającą się karierę w biochemii medycznej. Odpowiedział, że szlag go trafiał na wyrzucanie milionów na nic nie znaczące prace, pod płaszczykiem rzekomych badań nad rakiem, na tą wieczną pogoń za pieniądzem, potem regularnie marnowanym. Tu zgadzam się z an. z 10:13, jeżeli w takim światowym ośrodku tak dużo kasy idzie w gwizdek, to dlaczego w Polsce miałoby być lepiej. Może nasza dziedzina wydawać się mało znaczącą dla an. z 9:47, ale w światowej nauce polscy systematycy zostawiają więcej znaczących śladów niż biochemicy czy nawet ekolodzy. Co łatwo udowodnić śledząc najważniejsze podręczniki z tych dziedzin. A w relacji nakłady i osiągnięcia, to bije systematyka wszystkich na głowę.

      Usuń
    5. Szanuję decyzję Twojego kolegi, który w pewnym momencie postanowił zwolnić i zająć się bardziej "spokojną" dziedziną nauki. Szanuję i rozumiem. Znam jednak kilka osób z Polski i całą masę ludzi z Europy, którzy wybrali kierunek odwrotny. Wychowując się w szkołach systematycznych, faunistycznych czy taksonomicznych, zmienili dyscyplinę i obrali bardziej nowoczesne kierunki badań (lub raczej, bardziej nowoczesne metody), np. zaawansowane modelowanie zjawisk w ekologii czy metody molekularne. Zresztą genetyka z wielką siłą weszła do taksonomii i dziwi mnie narzekanie na to, że taksonomia jest dziś niedowartościowana. Kto chce uprawiać taksonomię wykorzystując współcześnie dostępne metody badawcze, nie będzie cierpiał na brak punktów i niskie IFy. Jeśli ktoś woli tradycyjne, starsze metody, musi pogodzić się z malejącą wagą (w sensie wskaźników) swoich badań.
      Parafrazując, jeśli lubisz stare samochody, ok. Są wśród nich wspaniałe modele, które stały się "kamieniami milowymi" w rozwoju motoryzacji. Tylko nie możesz mieć pretensji, że nowe modele jeżdżą szybciej. Czy ta myśl do Pana trafia?

      Usuń
    6. Nie, nie trafia. Z powodów filozoficznych. Zawsze uważałem, że wolność wyboru w nauce jest najważniejsza. Nie zgadzam się, że nowoczesność stawia dana naukę od razu w uprzywilejowanej sytuacji (kolega też się szybko skorygował zmieniając nowoczesne kierunki na nowoczesne metody, chyba rozumiejąc ten dowcip Monty Pytona o maszynie robiącej plim). Korzystam z wyników badań moich kolegów implementujących te nowe metody i bardzo to doceniam, ale widzę też ograniczenia płynące z tych metod (metodyczne, interpretacyjne, kosztowe itd.). Gdy mam ograniczone środki, to wolę przeznaczyć je na klasyczną pracę, bo za te same pieniądze jestem w stanie zrobić znacznie więcej tymi klasycznymi metodami.
      Żeby nie było nieporozumień, ja nie cierpię na brak punktów, nawet miałem farta być czterokrotnie kierownikiem grantów, IF-y mam też w swojej dziedzinie raczej z górnej półki, choć niskie z natury. Zabieram głos w dyskusji nie jako biadolący przedstawiciel rzekomo upadającej dziedziny, tylko jako ktoś dostrzegający systemowe słabości organizacji nauki w Polsce. Sam sobie nieźle radzę, ale kieruje też zespołem młodszych kolegów i chciałby aby oni startowali w wyścigu o wyrównanych szansach.

      Usuń
    7. Ja też jestem za wolnością wyboru, ale dokonując wyboru musimy być świadomi ich konsekwencji. "Upierając się" przy starszych nurtach mamy mniejsze szanse na pieniądze/cytowania/rozpoznawalność/dobry zespół (niepotrzebne skreślić).
      Różnimy się nieco w kwestii pryncypiów. Ja zawsze uważałem, że korzystanie z najnowszych osiągnięć wiedzy jest nie tylko przywilejem naukowca, ale wręcz jego obowiązkiem.

      Usuń
    8. Kolego z 16:06
      A dlaczego uważasz, że klasyczna taksonomia to staroć nie korzystająca z najnowszych osiągnięć wiedzy. Jak czytam niektóre komentarze to wydaje mi się, że te osoby tak naprawdę nie wiedzą czym się taksonomowie zajmują i jakim warsztatem badawczym operują. Szacuje się, że na świecie występuje ok. 10-20 mln gatunków organizmów, opisano ok. 1.2 miliona. Jak widać, w wymiarze klasycznej taksonomii jest jeszcze wiele do zrobienia. W większości przypadków do opisania tych gatunków nie będą potrzebne wyrafinowane "nowoczesne" metody (tak jakby opis standardowy z założenia był nienowoczesny, w takim razie powszechnie stosowane metody np. ekstrakcji w biochemii są też nienowoczesne, co to w ogóle za język). Zasada w taksonomii jest taka - metody poza standardowe stosujemy wtedy, gdy mamy podejrzenie, że metoda standardowa nie pozwoli nam na postawienie dobrej hipotezy (no bo opis nowego gatunku jest klasyczną metodologiczną hipotezą). Jak mamy podejrzenie, że dany takson to może kompleks kryptycznych gatunków, to wtedy warto sięgnąć po taką nie standardową technikę (molekularną, genetyczna lub inną). Ale stosowanie nie standardowej techniki tylko po to, żeby nadać pracy rzekomo "nowoczesny" sznyt to marnotrawienie pieniędzy (bo te metody są droższe). Z tego śmiał się właśnie Monty Pyton przytoczony przez powyższego anonima, że nowoczesna maszyna niby nadaje pracy jakiś wyższy wymiar w sytuacji gdy wystarczy proste rozwiązanie (tzn. wykorzystanie rozumu, wiedzy i doświadczenia). Taksonomia właśnie dlatego wydaje się nienowoczesna, że bazuje głównie na rozumie i doświadczeniu i często nie potrzebuje wyrafinowanych technik do formułowania w pełni naukowych hipotez, a potem do ich weryfikacji. Nie podoba się też zarządzającym jednostkami naukowymi, bo jest właśnie mniej kapitałochłonna, a każdy szczebel administracji uniwersyteckiej bierze myto od przyznanego grantu.
      To gadanie o pryncypiach to w tej konkretnej dyskusji bzdura. Badacz świadomie wybierający pracę w taksonomii klasycznej jest tak samo pryncypialny jak ten pracujący w ekologii, biochemii czy fizyce atomowej. Ważne, żeby jego prace były najwyższej jakości i tylko to może być oceniane z punktu widzenia pryncypiów. Nowoczesna maszyna nie przydaje wyższej pryncypialności używającemu jej badaczowi, robi tylko "plim". Ostatecznie o pryncypium będzie stanowić rozum badacza, który to plim właściwie odczyta, przeanalizuje i przedstawi jako atrakcyjny (w sensie wartości naukowej) wynik.

      Usuń
  13. Czy p. Prof Olesiejuk mógłby wytłumaczyć czemu "nauka" biologia miałaby być bardziej "naukowa" niż językoznawstwo. Mówię oczywiście o językoznawstwo z prawdziwego zdarzenia nie o opowiadaniu, że się nie mówi szkłem tylko szedłem.

    OdpowiedzUsuń
    Odpowiedzi
    1. Przepraszam: prof. Tomasz Osiejuk

      Usuń
    2. Przepraszam: oczywiście p. prof Tomasz Osiejuk.

      Usuń
  14. Witam,
    Obrażalski nie jestem :)
    Pisałem o "filologiach i niektórych naukach społecznych" ale nie chodziło mi akurat no językoznawstwo. Te o które mi chodzi nie należą w do science w kulturze anglosaskiej, ponieważ ich zadaniem jest opis i interpretacja, nie mają ani nie mają chęci mieć paradygmatu, nie tworzą hipotez w sensie naukowym czyli takich które można obalać. Ot chociażby ta wspomniana kiedyś na blogu psychologia kwantowa.
    Samo językoznawstwo to już inna bajka. Ma teorie nadrzędne, np. języka uniwersalnego, może a nawet powinna podejmować próby wyjaśnienia skąd języki (mowa) u człowieka w ogóle się wzięły i jakie zasady rządzą ich zmianami. Mieliśmy zresztą niedawno w Poznaniu super wykład na ten temat prof. Tecumseh'a Fitch'a. Klasyczna, piękna dziedzina, do której uśmiechają się niemal wszyscy, począwszy od filozofów a na neurobiologach kończąc.

    Pozdr,
    T. Osiejuk

    OdpowiedzUsuń
  15. Przeczytałam i również niewiele z tego zrozumiałam, aczkolwiek wrócę do tekstu, bo wydaje się bardzo treściwy :)

    OdpowiedzUsuń
  16. Z tymi dziedzinami to naprawdę bardzo różnie bywa. Czasami nie da się wybrać dobrze, a proponowane opcje nie są dla nas interesujące i o wtedy? Na co trzeba się decydować i co wybierać? Bo już chyba powoli się w tym wszystkim gubię...

    OdpowiedzUsuń
  17. Ciężki temat. Dużo zależy też od własnych preferencji i upodobań, więc nie można do końca sugerować się czyimiś spostrzeżeniami. Warto natomiast widzieć w jakim kierunku pójść, aby dobrze wybrać dalszą drogę kariery np. po studiach. Pozdrawiam! :)

    OdpowiedzUsuń