Формально, для установки plotly надо выполнить
pip install cufflinks plotly
cufflinks - это для работы с plotly в pandas.
Однако для Юпитера мне пришлось еще добавочно ставить через анаконду
conda install -c plotly plotly-orca
Одна из первых русскоязычных ссылок, которая составляет неплохой обзор
по plotly это Забудьте о matplotlib: визуализация данных в Python вместе с plotly
Сам же код лучше смотреть непосредственно на англоязычной странице, откуда сделан перевод Plotly Whirlwind Introduction - Jupiter Notebook
Для использования примеров с этой страице желательно локально скачать данные вот отсюда: Data for Plotly Whirlwind Introduction
Оттуда нужет вот этот файл - medium_data_2019_01_06 ( достаточно большой )
Для того, чтобы его можно было отркрыть надо ставить поддежку parquet такой командой
pip install pyarrow fastparquet
Сам parquet - сжатый колонно-ориентированный формат от Апача
parquet format
Также после за справкой лучше идти на сам сайт plotly
Plotly Creating and Updating Figures in Python
15 June 2020
14 June 2020
Юпитер и интерактивность - темная строна
Давайте теперь попробуем вывести уже два графика. Для того, чтобы разместить их на одном полотне, используется функция sublots, которая выделает под это области для каждого графика. Вычисления мы тоже немного усложним - добавим данные для второго графика в y2
# глобальные x, y и y2
x, y, y2 = [], [], []
# вычисляем их в отдельной функции с двумя параметрами
def calc(f, phase):
global x,y,y2
x = np.linspace(0, 10, 100)
y = np.sin(f * x + phase)
y2 = np.cos(f * x + phase)
Также усложнится функция рисования
# функция рисивания с двумя параметрами
# перед рисованием она вызывает функцию calc для обновления данных
def plot_f(f, phase):
global x,y,y2
calc(f, phase)
# само рисование
# создаем две области рисования по вертикали в одной колонке
# сами области будут доступны из списка ax
# делаем высоту ( 4 ) поменьше
fig, ax = plt.subplots(2,1,figsize=(16,4), dpi= 80)
# добавляем к первой области сетку
ax[0].grid(True,c='black')
# рисуем первую область
ax[0].plot(x,y, color='tab:red', marker='D')
# добавляем ко второй области сетку
ax[1].grid(True,c='black')
# рисуем первую область
ax[1].plot(x,y2, color='tab:blue', marker='D')
Обработчик кнопки остается тем же самым - мы поменяли функцию рисования.
И вот тут начинаются чудеса.
При первом вызове мы видим два нужных графика, но как уже
видно на снимке - график появился непосредственно за виджетам, а не
в outt
И вот уже второй вызов просто дает нам еще одну пару графиков там же
Все... приехали... - интерактивность совершенно разрушилась.
Для примеров я просмотрел и вот этут статью
Ipywidgets with matplotlib
Однако тот подход тоже не помогает.
В самом деле - давайте попробуем создать графики в глобальном пространстве, а потом использовать замену данных в функции рисования
Поэтому сначала создадим outt
outt = widgets.Output()
А потом нарисуем в глобальном пространстве с его указанием
with outt:
fig, ax = plt.subplots(2,1,figsize=(16,4), dpi= 80)
ax[0].grid(True,c='black')
ln, = ax[0].plot(x,y, color='tab:red', marker='D')
ax[1].grid(True,c='black')
ln2, = ax[1].plot(x,y2, color='tab:blue', marker='D')
Так вот, графики уже нарисуются после этого вызова, разумеется пустые - мы же ни разу функцию вычисления не дергали и списки - пустые
Теперь поменяем функцию рисования - пусть она будет ставить данные на существующие графики, для начала на один
def plot_f(f, phase):
global x,y,y2, ax, ln, fig
calc(f, phase)
ln.set_xdata(x)
ln.set_ydata(y)
plt.show()
Меняем значения и нажимаем кнопку - и ... ничего не происходит. Новых графиков не пояляется, а на старом ничего не изменилось. При этом данные присутствуют - достаточно набрать в отдельной ячейке y и убедиться в этом.
Даже пример с той ссылки работает некорректно
Как можно видеть - график появился не после output, а сразу за выполеным кодом.
Если же попробовать выполнить магическую команду %matplotlib widget, упомянутую в статье, то она свалится с ошибкой
Суть которой в конце такая: ModuleNotFoundError: No module named 'ipympl'
В статье указан такой список:
Python 3.8.1
matplotlib 3.1.3
NumPy 1.18.1
ipywidgets 7.5.1
ipympl 0.4.1
Запустим conda list прямо в Юпитере и смотрим что у меня:
python 3.7.6 h0371630_2
matplotlib 3.1.3 py37_0
numpy 1.18.1 py37h4f9e942_0
ipywidgets 7.5.1 py_0
...И нет ipympl
В общем, ipympl сразу в дистрибутиве не идет и надо его ставить отдельно.
Но к тому времени, как я убил много попыток на то, чтобы заставить это
работать, я пришел к другому решению - поставил plotly
# глобальные x, y и y2
x, y, y2 = [], [], []
# вычисляем их в отдельной функции с двумя параметрами
def calc(f, phase):
global x,y,y2
x = np.linspace(0, 10, 100)
y = np.sin(f * x + phase)
y2 = np.cos(f * x + phase)
Также усложнится функция рисования
# функция рисивания с двумя параметрами
# перед рисованием она вызывает функцию calc для обновления данных
def plot_f(f, phase):
global x,y,y2
calc(f, phase)
# само рисование
# создаем две области рисования по вертикали в одной колонке
# сами области будут доступны из списка ax
# делаем высоту ( 4 ) поменьше
fig, ax = plt.subplots(2,1,figsize=(16,4), dpi= 80)
# добавляем к первой области сетку
ax[0].grid(True,c='black')
# рисуем первую область
ax[0].plot(x,y, color='tab:red', marker='D')
# добавляем ко второй области сетку
ax[1].grid(True,c='black')
# рисуем первую область
ax[1].plot(x,y2, color='tab:blue', marker='D')
Обработчик кнопки остается тем же самым - мы поменяли функцию рисования.
И вот тут начинаются чудеса.
При первом вызове мы видим два нужных графика, но как уже
видно на снимке - график появился непосредственно за виджетам, а не
в outt
И вот уже второй вызов просто дает нам еще одну пару графиков там же
Все... приехали... - интерактивность совершенно разрушилась.
Для примеров я просмотрел и вот этут статью
Ipywidgets with matplotlib
Однако тот подход тоже не помогает.
В самом деле - давайте попробуем создать графики в глобальном пространстве, а потом использовать замену данных в функции рисования
Поэтому сначала создадим outt
outt = widgets.Output()
А потом нарисуем в глобальном пространстве с его указанием
with outt:
fig, ax = plt.subplots(2,1,figsize=(16,4), dpi= 80)
ax[0].grid(True,c='black')
ln, = ax[0].plot(x,y, color='tab:red', marker='D')
ax[1].grid(True,c='black')
ln2, = ax[1].plot(x,y2, color='tab:blue', marker='D')
Так вот, графики уже нарисуются после этого вызова, разумеется пустые - мы же ни разу функцию вычисления не дергали и списки - пустые
Теперь поменяем функцию рисования - пусть она будет ставить данные на существующие графики, для начала на один
def plot_f(f, phase):
global x,y,y2, ax, ln, fig
calc(f, phase)
ln.set_xdata(x)
ln.set_ydata(y)
plt.show()
Меняем значения и нажимаем кнопку - и ... ничего не происходит. Новых графиков не пояляется, а на старом ничего не изменилось. При этом данные присутствуют - достаточно набрать в отдельной ячейке y и убедиться в этом.
Даже пример с той ссылки работает некорректно
Как можно видеть - график появился не после output, а сразу за выполеным кодом.
Если же попробовать выполнить магическую команду %matplotlib widget, упомянутую в статье, то она свалится с ошибкой
Суть которой в конце такая: ModuleNotFoundError: No module named 'ipympl'
В статье указан такой список:
Python 3.8.1
matplotlib 3.1.3
NumPy 1.18.1
ipywidgets 7.5.1
ipympl 0.4.1
Запустим conda list прямо в Юпитере и смотрим что у меня:
python 3.7.6 h0371630_2
matplotlib 3.1.3 py37_0
numpy 1.18.1 py37h4f9e942_0
ipywidgets 7.5.1 py_0
...И нет ipympl
В общем, ipympl сразу в дистрибутиве не идет и надо его ставить отдельно.
Но к тому времени, как я убил много попыток на то, чтобы заставить это
работать, я пришел к другому решению - поставил plotly
Юпитер и интерактивность - кнопка с графиком
Рассмотрим теперь возможность строить графики и для этого добавим вычисление данных.
Я сознательно сделаю сами данные как глобальные и добавлю функцию для их вычисления
# глобальные x и y
x, y = [], []
# вычисляем их в отдельной функции с двумя параметрами
def calc(f, phase):
global x,y
x = np.linspace(0, 10, 100)
y = np.sin(f * x + phase)
Для рисования создадим отдельную функцию, которая будет использовать глобальные данные
# функция рисования с двумя параметрами
# перед рисованием она вызывает функцию calc для обновления данных
def plot_f(f, phase):
global x,y
calc(f, phase)
# само рисование
plt.plot(x, y, 'r')
plt.show()
Сообразно нам надо поменять и обработчик нажатия кнопки
outt = widgets.Output()
def on_butt_clicked(b):
with outt:
clear_output()
global sF,sPhase
print ('Clicked')
print(sF.value, sPhase.value)
# вызываем рисование
plot_f(sF.value, sPhase.value)
button.on_click(on_butt_clicked)
widgets.VBox([sF, sPhase, button ])
Запускаем пример и делаем вывод outt - все работает как надо и в outt как раз наш график, которые перерисовывается при нажатии кнопки.
Обычно, описывая интерактивность Юпитера, блоггеры далее подобных примеров не идут, и, как можно видеть, все работает.
Однако если мы хотим рисовать что-то посложнее, то все становится не так просто, но об этом отдельно.
Я сознательно сделаю сами данные как глобальные и добавлю функцию для их вычисления
# глобальные x и y
x, y = [], []
# вычисляем их в отдельной функции с двумя параметрами
def calc(f, phase):
global x,y
x = np.linspace(0, 10, 100)
y = np.sin(f * x + phase)
Для рисования создадим отдельную функцию, которая будет использовать глобальные данные
# функция рисования с двумя параметрами
# перед рисованием она вызывает функцию calc для обновления данных
def plot_f(f, phase):
global x,y
calc(f, phase)
# само рисование
plt.plot(x, y, 'r')
plt.show()
Сообразно нам надо поменять и обработчик нажатия кнопки
outt = widgets.Output()
def on_butt_clicked(b):
with outt:
clear_output()
global sF,sPhase
print ('Clicked')
print(sF.value, sPhase.value)
# вызываем рисование
plot_f(sF.value, sPhase.value)
button.on_click(on_butt_clicked)
widgets.VBox([sF, sPhase, button ])
Запускаем пример и делаем вывод outt - все работает как надо и в outt как раз наш график, которые перерисовывается при нажатии кнопки.
Обычно, описывая интерактивность Юпитера, блоггеры далее подобных примеров не идут, и, как можно видеть, все работает.
Однако если мы хотим рисовать что-то посложнее, то все становится не так просто, но об этом отдельно.
13 June 2020
Юпитер и интерактивность - кнопки
Одна из прелестей Юпитера - возможность интерактивности.
Например можно использовать @interact и перерисовывать графики.
Хороший пример можно посмотреть тут Интерактивность в Jupyter Notebook
Однако если использовать перерисовку непостредственно по слайдеру, то это более тормознуто - график моргает при перемещении движка. Причем он может делать это с запаздыванием. Поэтому я стал смотреть возможности использования кнопок.
В самом деле - мне удобнее подвигать движки и потом, нажав кнопку, получить результат. Пример кнопок есть тут How to create buttons in Jupyter
Получилось это у меня не стразу - то при нажатии ничего не рисовалось, то наоборот рисовалось одно за другим - т.е. новый график просто добавлялся, что было неудобно.
Поэтому пришлось сделать пример и разобраться как оно работает
Для начала экспортируем то, что потребуется
import numpy as np
import matplotlib.pyplot as plt
from ipywidgets import interact
import ipywidgets as widgets
from IPython.display import clear_output
Далее создаем два слайдера и кнопку
button = widgets.Button(description='My Button')
sF = widgets.FloatSlider(
value=1,
min=0,
max=10.0,
step=0.1,)
sPhase = widgets.FloatSlider(
value=1,
min=0,
max=10.0,
step=0.1,)
Далее мне хотелось это вертикально разместить одно за другим - через VBox.
Однако, если результат записать в переменную вот так:
box = widgets.VBox([sF, sPhase, button ])
То ничего мы не увидим пока явно не выведем эту переменную например так
Но можно сделать проще - не записывать это в переменную, вот так:
widgets.VBox([sF, sPhase, button ])
Тогда это сразу отобразится.
Теперь настало время добавить функцию-обработчик, чтобы получить значения и напечатать их. Для доступа к значению у слайдера используется свойство value, причем поскольку создали мы его выше, то сначала внутри функции надо их объявить как глобальные, чтобы иметь доступ именно к созданным ранее
После запуска данной строки создается и два слайдера и кнопка и при нажатии кнопки печатается Clicked плюс значения слайдеров.
Все работает, но есть один ньюанс - при каждом нажатии печатаеся новая строка. Ровно тоже самое будет с графиками - они начнут плодиться, что неудобно.
Для очистки надо воспользоваться объектом widgets.Output() и обрамить функцию для его использования, используя конструкцию with
При запуске этого кода мы получим элемены управления но ... ничего происходить не будет.
Т.е. при нажатии кнопки мы вообще ничего не увидим. Поэтому строкой ниже можно просто вывести созданный Output() - вот там все и будет отображаться
Теперь все заработало как надо - строка обновляется и не рисуется еще одна.
Ровно то же можно использовать для графиков.
На понимание этого у меня ушло пару недель "шаманства" - понял я это не сразу.
Например можно использовать @interact и перерисовывать графики.
Хороший пример можно посмотреть тут Интерактивность в Jupyter Notebook
Однако если использовать перерисовку непостредственно по слайдеру, то это более тормознуто - график моргает при перемещении движка. Причем он может делать это с запаздыванием. Поэтому я стал смотреть возможности использования кнопок.
В самом деле - мне удобнее подвигать движки и потом, нажав кнопку, получить результат. Пример кнопок есть тут How to create buttons in Jupyter
Получилось это у меня не стразу - то при нажатии ничего не рисовалось, то наоборот рисовалось одно за другим - т.е. новый график просто добавлялся, что было неудобно.
Поэтому пришлось сделать пример и разобраться как оно работает
Для начала экспортируем то, что потребуется
import numpy as np
import matplotlib.pyplot as plt
from ipywidgets import interact
import ipywidgets as widgets
from IPython.display import clear_output
Далее создаем два слайдера и кнопку
button = widgets.Button(description='My Button')
sF = widgets.FloatSlider(
value=1,
min=0,
max=10.0,
step=0.1,)
sPhase = widgets.FloatSlider(
value=1,
min=0,
max=10.0,
step=0.1,)
Далее мне хотелось это вертикально разместить одно за другим - через VBox.
Однако, если результат записать в переменную вот так:
box = widgets.VBox([sF, sPhase, button ])
То ничего мы не увидим пока явно не выведем эту переменную например так
Но можно сделать проще - не записывать это в переменную, вот так:
widgets.VBox([sF, sPhase, button ])
Тогда это сразу отобразится.
Теперь настало время добавить функцию-обработчик, чтобы получить значения и напечатать их. Для доступа к значению у слайдера используется свойство value, причем поскольку создали мы его выше, то сначала внутри функции надо их объявить как глобальные, чтобы иметь доступ именно к созданным ранее
После запуска данной строки создается и два слайдера и кнопка и при нажатии кнопки печатается Clicked плюс значения слайдеров.
Все работает, но есть один ньюанс - при каждом нажатии печатаеся новая строка. Ровно тоже самое будет с графиками - они начнут плодиться, что неудобно.
Для очистки надо воспользоваться объектом widgets.Output() и обрамить функцию для его использования, используя конструкцию with
При запуске этого кода мы получим элемены управления но ... ничего происходить не будет.
Т.е. при нажатии кнопки мы вообще ничего не увидим. Поэтому строкой ниже можно просто вывести созданный Output() - вот там все и будет отображаться
Теперь все заработало как надо - строка обновляется и не рисуется еще одна.
Ровно то же можно использовать для графиков.
На понимание этого у меня ушло пару недель "шаманства" - понял я это не сразу.
07 June 2020
Блокнот Юпитера
Повозившись с Spyder мне захотелось интерактивности. Пожалуй самый быстрый способ с Анакондой - это Блокнот Юпитера - Jupyter Notebook.
Посему сначала оставлю ссылку на руководство по его использованию
Jupyter Notebook для начинающих: учебник
Еще одно замечание: поскольку в Убунту у меня при установке Анаконды не поставились ярлыки для запуска, то запускал я из командной строки.
Так вот, каталогом для Юпитера будет тот каталог, в котором мы в терминале выполним jupiter-notebook ( путь к нему прописывается в PATH поэтому доступен он для запуска везде ).
То есть самый простой путь получить нужный каталог файлов - переместиться туда через cd и там запустить Юпитер.
Посему сначала оставлю ссылку на руководство по его использованию
Jupyter Notebook для начинающих: учебник
Еще одно замечание: поскольку в Убунту у меня при установке Анаконды не поставились ярлыки для запуска, то запускал я из командной строки.
Так вот, каталогом для Юпитера будет тот каталог, в котором мы в терминале выполним jupiter-notebook ( путь к нему прописывается в PATH поэтому доступен он для запуска везде ).
То есть самый простой путь получить нужный каталог файлов - переместиться туда через cd и там запустить Юпитер.
06 June 2020
Полезные ссылки по Pandas для начала
Работа с CSV средствами NumPy меня окончательно убедила в том, что надо переходить на Pandas. Парочка полезных ссылок для начала.
Аналитикам: большая шпаргалка по Pandas
Данная ссылка кроме всего прочего содержит ссылки на два модельных CSV файла, скачав которые, можно потренироваться в работе с Pandas.
Python 3 Pandas: Объекты Series и DataFrame. Построение Index
Вторую ссылку я скорее использовал как справочник - там пристыкованы картинки ( pdf ) которые хороши как наглядные шпаргалки.
Для работы с Pandas я использовал тот же самый Spyder в том числе его консоль IPyhon.
Аналитикам: большая шпаргалка по Pandas
Данная ссылка кроме всего прочего содержит ссылки на два модельных CSV файла, скачав которые, можно потренироваться в работе с Pandas.
Python 3 Pandas: Объекты Series и DataFrame. Построение Index
Вторую ссылку я скорее использовал как справочник - там пристыкованы картинки ( pdf ) которые хороши как наглядные шпаргалки.
Для работы с Pandas я использовал тот же самый Spyder в том числе его консоль IPyhon.
05 June 2020
Читаем csv средствами NumPy
Модель проверяется по реальным данным. Одним из наиболее употребительных методов их хранения, являются CSV файлы или ВеличиныРазделенныеЗапятой. Самый очевидный способ их чтения - воспользоваться функциями библиотеки NumPy, а именно функцией loadtxt.
Удобство в том, что можно несколько колонок прочитать одновременно.
Но тогда надо указывать параметр unpack=True чтобы сделать декомпозицию и присвоить данные нескольким массивам, перечисленным через запятую
Вот пример CSV файла
Как можно видеть первой строчкой идет заголовок, его надо пропустть, для этого ставим параметр skiprows=1. Другим параметром usecols = (1,2) укзываем что надо читать колонки 1 и 2.
Код:
dIreal, Ireal = np.loadtxt('CovidData.csv',
delimiter=',', # разделитель - запятая
usecols = (1,2), # читаем 1 и 2 колонки ( нумерация с нуля )
skiprows=1, # пропускаем первую строку заголовка
unpack=True) # декомпозиция колонок на массивы ( списки )
После выполнения колонки dI и Isum окажутся в массивах dIreal и Ireal соответственно.
Для чтения данных для колонк D и R нам надо пропустить строки - они начинаются позже. Код будет аналогичный, но с бОльшим пропуском
Dreal, Rreal = np.loadtxt('CovidData.csv',
delimiter=',',
usecols = (4,6),
skiprows=16,
unpack=True)
Однако "шаманство" начинается если нам надо прочитать даты, особенно если они имеют другой формат - в данном случае надо применять конвертер или лямбда-функцию конвертирования данных. Код:
import datetime as dt
# лямбда-функция конвертирования данных
conv2date = lambda x: dt.datetime.strptime ( x.decode("utf-8"), '%d.%m.%Y')
datesMain = np.loadtxt('CovidData.csv',
delimiter=',',
usecols = (0), # первая колонка
converters={0:conv2date}, # применяем конвертер
dtype='datetime64[D]', # указываем целевой тип данных
skiprows=1 )
Таким образом можно прочитать и даты - в моем случае я для дат использовал тире, как более читаемый символ-разделитель в CSV.
Однако такой набор кода не очень удобен, поэтому я стал смотреть в сторону библиотеки для работы с данными - Pandas.
Удобство в том, что можно несколько колонок прочитать одновременно.
Но тогда надо указывать параметр unpack=True чтобы сделать декомпозицию и присвоить данные нескольким массивам, перечисленным через запятую
Вот пример CSV файла
Как можно видеть первой строчкой идет заголовок, его надо пропустть, для этого ставим параметр skiprows=1. Другим параметром usecols = (1,2) укзываем что надо читать колонки 1 и 2.
Код:
dIreal, Ireal = np.loadtxt('CovidData.csv',
delimiter=',', # разделитель - запятая
usecols = (1,2), # читаем 1 и 2 колонки ( нумерация с нуля )
skiprows=1, # пропускаем первую строку заголовка
unpack=True) # декомпозиция колонок на массивы ( списки )
После выполнения колонки dI и Isum окажутся в массивах dIreal и Ireal соответственно.
Для чтения данных для колонк D и R нам надо пропустить строки - они начинаются позже. Код будет аналогичный, но с бОльшим пропуском
Dreal, Rreal = np.loadtxt('CovidData.csv',
delimiter=',',
usecols = (4,6),
skiprows=16,
unpack=True)
Однако "шаманство" начинается если нам надо прочитать даты, особенно если они имеют другой формат - в данном случае надо применять конвертер или лямбда-функцию конвертирования данных. Код:
import datetime as dt
# лямбда-функция конвертирования данных
conv2date = lambda x: dt.datetime.strptime ( x.decode("utf-8"), '%d.%m.%Y')
datesMain = np.loadtxt('CovidData.csv',
delimiter=',',
usecols = (0), # первая колонка
converters={0:conv2date}, # применяем конвертер
dtype='datetime64[D]', # указываем целевой тип данных
skiprows=1 )
Таким образом можно прочитать и даты - в моем случае я для дат использовал тире, как более читаемый символ-разделитель в CSV.
Однако такой набор кода не очень удобен, поэтому я стал смотреть в сторону библиотеки для работы с данными - Pandas.
Subscribe to:
Posts (Atom)










