Про скорость в #python Делал задачу по перелопачиванию...

All posts di :python: :nyarch:'s posts Post Back to profile

Про скорость в #python

Делал задачу по перелопачиванию больших матриц (больше 2гб) за целевое время меньше секунды на среднем железе и мы попробовали несколько инструментов: у pandas был результат около минуты, numpy - 10 сек, numba + numpy - меньше секунды. Правда, чтобы добиться целевого результата пришлось переписать половину алгоритмов numpy.

Like 21 February at 19:51 | Open on patashnik.club

16 comments

di :python: :nyarch:

И так везде, главное выбрать правильную библиотеку под задачу, например, популярный bs4 можно заменить на lxml (которая написана на си) и парсер будет работать почти в 10 раз быстрее.

21 February at 19:51 | Open on patashnik.club

kurator88

@di jpython не будет быстрее за счет оптимизаций jvm ?

Ну за секунду точно не успело бы, если только прогреть jvm.

numpy это биндинг на c библиотеки ? кажется что это быстро слишком для интерпретируемого языка

21 February at 20:03 | Open on soc.kurator.tech

di :python: :nyarch:

@kurator88 сторонние интерпретаторы не всё поддерживают, а в этом случае, ещё играла роль простота установки для конечных пользователей.

numpy - либа на си и на фортране для работы с массивами
pandas - обёртка над numpy для работы с дата сетами, mostly on python
numba - JIT компилятор хорошо работающий с цифрами и циклами (многопоточность итп), поддерживает почти все функции numpy, и если правильно помню, написан на си

21 February at 20:22 | Open on patashnik.club

Stas

@di пожалуй в закладки)

21 February at 20:05 | Open on masto.ai

⚛️Revertron :straight:

@di Лучше бы сразу написали на Расте :)

21 February at 20:20 | Open on zhub.link

di :python: :nyarch:

@Revertron раст мне нравится, но в этом случае, ну его нах

21 February at 20:23 | Open on patashnik.club

Йошильда :CrabVerified:

@di но bs4 же может использовать lxml, если явно указать

22 February at 2:59 | Open on craba.cab

di :python: :nyarch:

@cybertailor ага, но из-за питоновских абстракций код медленнее. https://gist.github.com/dmitriiweb/9ee9c2438231e74e5bc6b02802afd22f

22 February at 7:15 | Open on patashnik.club

Stas

@di
>пришлось переписать половину алгоритмов numpy

в смысле переписать? На С?

21 February at 20:08 | Open on masto.ai

di :python: :nyarch:

@vsv numba поддерживает не все функции из numpy, поэтому приходилось писать свой алгоритм на питоне и оборачивать его в numba. По производительности, кстати, получилось не сильно медленее, чем если бы использовали numpy.