??? ????? data science ? ??? ????????????? ????????? ??????

Data science ???????????? ????? ????????????????? ??????????? ??????, ??????? ????????? ??????????, ??????????, ???????????????? ? ?????????? ??????????. ??????????? ????????? ?????? ??????? ?? ??????? ????????? ????????, ????????? ??????? ??????? ? ?????????. ????? ?????????? ????? ??????? ??? ????????? ???????????? ??????? ? ????????????????? ?????????.

??????????? ?????? ????????????? ? ?????????????? ???????? ??????????: ?????? ??????, ?????? ????????, ??????? ???????. ????????????? ???????????? ?????????????? ??????, ??????? ?? ?? ??????, ????? ????????? ?????????????? ??????? ??? ???????????? ?????????. ??????? ???????? ???????????? ???????, ??????????? ??????? ? ?????????? ???????????.

?????????? pin up ????????? ?? ???????????? ???????? ??????? ???????????????? Python ??? R, ?????? SQL ??? ?????????????? ? ?????? ??????. ????????????? ??????? ?????????? ??????, ???????????? ???????, ???????????? ???????? ? ????????? ?????????????. ?????? ???????? ??????????? ??????? ??????????? ??????? ? ???????? ???????? ???????.

??? ?? ???????????? ? ?????????????? ??????? ??? ???????????. ????? ????????? ????????? ??? ?????? ??????, ????????? ????????????? ??????, ??????????? ????????? ????????????? ????????????????????? ????? ???????.

?????? data science ? ??? ???????

??????? ????? ? ?????? ???????? ??? ????????????: ?????????????? ??????????, ???????????? ????? ? ?????? ?????????? ?????. ?????????? ???? ???????? ???????? ? ??????? ??????. ???????????????? ??????????? ????????????? ????????? ??????? ????????. ?????? ? ???????????? ??????? ???????????? ????? ?????????? ??????????.

??????????? ??????? ?????????????? ??????????? ? ??????????? ???????? ?????? ? ?????????? ????????????. ???????? ????????????? ??????? ??? ?????? ???????????????? ?????????, ????????? ?????????? ??????, ?????????????? ??????? ?? ??????????. ??????????? ????????? ?????????????? ?????? ??? ????????????? ????????? ?? ???????? ???????????.

?????????? ??????? ??? ?? ???????? ???????? ????? ???????????. ???????????????? ????????? ???????? ??????? ?? ?????????? ????????? ????????. ??????? ??????????? ?????? ??????? ?????????? ??? ??????????? ???????????? ????????????. ????????? ????????? ???????????? ????? ????????? ???????? ?? ????????? ??????????.

????????????? ?????? ???????? ????????????????? ???????. ????????????? ????? ?????????? ??? ?? ?????? ??? ???????? ?????????????? ????????? ?????????. ???????????? ?????? ????????? ????? ? ?????. ??????????? ????????????? ????????? ??????? ?????????? ???????????? ? ?????????? ?????????????? ?????.

???????? ??????????? ?????? ? ???????????

??????? ?????? ????????? ???? ???????????? ????? ????? ???????????????? ??????????????? ? ??????-???????????????. ???????????? ?????????? ????????? ??????????? ?? ???? ????? ??? ?????????????. ??????? ????????????? ??????? ? ????????? ????????, ?????????? ?????? ????????? ? ??????? ??????????.

?? ????? ?????????????? ??????? ?????????? ??????? ? ???????? ?????? ??? ?????????? ???????????????? ????????. ??????? ??????? ???????? ????????????, ???????? ??????????? ?????????????? ???????. ??????? ????????????? ? ???????? ???????? ?????????? ??????? ? ??????? ??? ?????? ??????.

? ???????? ?????????? ?????????? ????????? ???????????? ???????, ?????????? ????????? ?????? ? ???????????? ?? ??????????????? ????????. ??????? ??????????? ??????? ????????? ??????, ???????????? ???????????? ????????????? ???????. ???????????? ? ????? pin up ?????????? ???????? ? ???????????? ?????????? ?????? ?? ?????? ????????.

??????????? ???? ???????????? ?????????? ??????????? ??? ???????????????? ??????. ?????????? ????????? ??????? ? ??????, ????????? ??????????? ?????? ??? ??????? ?????????. ?????????? ?????????? ?????? ???????????? ?? ?????????? ????????. ???????????? ????????? ? ?????????? ????????????? ??????????? ??????????????.

????????? ? ??????? ??????

???????? ??????????? ???????? ???????? ?? ????????? ?????. ?????????? ??????? ?????????? ?????????????? ???????? ? ???????????, ????????? ???????, ???????? ?????????. ???-????????? ????????? ????????? ????????????? ????????: ????????? ???????, ?????, ????????????????? ???????. ????????? ????????? ??????????? ???????? ???????? ? ??????????.

??????? ????????? ???????????? ?????????? ??? ??? ????????????. ?????????? ???? ???????? ??????? ???????? ? ?????????. ????????????? ????????????????? ???? ????????? ?????? ?? ????????? ? ??????????. ??????????? ??????????? ???????? ??????? ? ???????? ????? ????????.

?? ????? ????????? ??????????????, ????????????????????? ? ???????????????? ??????????. ?????????????? ?????????? ??????????? ? ??????????? ?????????? ? ???????????? ?????? ??????. ????????????????????? ???? ???????? JSON ? XML ?????. ??????????????????? ???????? ???????? ????????, ????????????, ?????, ?????????????.

??????????? ????????? ? ????????? ? ??????????????? ?????? ??????. ?????????????? ?????? ?????????? ???????: ??????? ????????????, ????? ????????????, ????????????? ??????????. ?????????????? ?????????????? ?????????? ?????????: ??? ???????, ?????????? ??????????. ????????? ????? ???????????? ????????? ?????? ? ????? ??? ?? ?? ??????? ??????????? ??????????.

?????? ??????? ? ??????? ????????

???????? ????????? ?????????? ?????????? ? ??????????? ? ???????? ?????????? ?????????. ??????????? ?????????? ????????? ????????? ??? ??????????? ????????????? ????? ? ????????. ??????????? ??????? ?????? ????????? ? ?????????? ???????? ?????????????? ?????? ? ??????????? ????????????? ???????.

?????? ????????????? ?????????? ????????? ??????????? ???????? ???????? ?? ???????????. ????????? ????????? ??????? ????????? ??? ?????????? ????????: ?????? ????????, ??????? ??? ???????? ??????? ?????????. ???????? ????????? ????????????? ?????? ??? ???????????? ??????????? ?????? ?? ???? ???? ?????????. ? ???????????? ??????? ?????? ? ?????????? ??????????? ???????.

????????????? ?????????? ? ???????? ???????? ???????????? ?? ?????????? ??????. ???????? ??????????? ?????????????? ???????: ?????????????? ??????, Z-??????, ???????? ???????????? ????. ??????????? ? ????? ??? ?? ?????? ?????????????, ???????? ?? ??????? ???????????? ?????? ??? ????????? ?????????????? ???????????, ?????????? ????????????? ????????????.

???????????? ? ?????????? ??????????? ?????? ? ???????????????? ?????????. ???????? ???????????? ????????? ???????? ? ??????? ????????, ??????????? ????????? ??? ? ??????????????. ???????? ????????? ????????????? ? ??????????? ????????? ??? ?????????? ???????????? ?????????? ????????? ????????. ???????????? ????????? ?????????? ????????? ?????????? ????? one-hot encoding ??? label encoding.

???????? ?????? ? ???????? ???????

????????????????? ?????? ?????????? ?????? ????? ???????? ???? ???????????? ??????. ???????? ???????????? ????????????? ??????????: ???????, ???????, ??????????? ???????. ??????????? ?????? ??????????? ????????????? ??????????, ??????? ????????? ??? ????????????? ??????????. ??????????? ????????? ?????????????? ??????? ??? ?????????? ????????????.

?????????? ?????????? ?????????? ???????? ? ?????? ???????????????? ??????. ??? ????? ????????? ???????????? ???????? ??????, ??????? ???????, ??????????? ???????. ???? ????????????? ??????????? ? ??????? ????????????? ?????????, ?????????? ????, ????????? ?????. ????????????? ????? ?????? ?? ????????? ? ???????? ???????.

?????????? ?????? ???????? ?????? ??????????? ???????? ?????????. ??????????? ??????????? ?????-????????? ??? ???????????? ???????????? ???????????. ????????????? ????????? ?????????????? ????? grid search. ???????? ????????? ?????? pin up ??? ????????? ????????????: ?????????????, dropout, early stopping.

????????? ????????????? ?????? ?????????????? ? ?????????????? ???????????, ??????????? ???? ????????. ??? ????????? ?????????????? ??????? ?????????? ??????????? ? ?????????? ????????????. ????????????????? ????????? ??????????? ????? ????????, ?????, F1-????. ??????????? ???????? ?????????? ????????? ??? ????????? ??????, ?????????????? ?? ????????.

??????????? ? ?????????? data science

Python ???????? ???????? ???????????????? ?????? ???????????????? ??? ???????? ??????????. ?????????? Pandas ??????????? ?????????? ?????? ? ?????????? ????????????? ? ?????????? ???????. NumPy ???? ??????? ??? ?????????????? ???????? ? ???????????? ?????????. Scikit-learn ???????? ??????? ????????????? ?????????? ????????? ???????? ??? ?????????????, ?????????, ???????????.

???? R ?????? ???????????? ? ?????????????? ???????? ? ????????????? ??????????. ????????????? ????????? ?????????? dplyr ??? ??????????? ? ??????????, ggplot2 ??? ???????? ????????. ????????????? ???????? R ??? ??????? ?????????????? ???????? ? ?????????????????? ????????.

SQL ????????? ???????? ??? ?????????????? ? ???????????? ?????? ??????????. ????????? ???????? ???????? ?? ????????????, ???????????? ???????????? ? ??????? ??????. ??????????? ??????? ??????? ??? ?????? ????? ? ????????????? ????????. ??????????? ????????? ???????????? ??????? ??????? ? ????? ??? ?? ??? ??????? ??????????? ?????.

????????? ??? ?????? ? ???????? ??????????? ???????? Apache Spark, Hadoop, Apache Flink. ???????? ?????????????? ???????? ???????????? ????????? ?????????? ?? ????????? ????????. ???????? ??????? AWS, Google Cloud, Azure ????????????? ??????? ??????????????. Jupyter Notebook ???????????? ????????????? ????????? ??? ?????? ? ????? ? ???????? ????????????.

????????????? ??????????? ? ???????

????????????? ???????? ?????????????? ??????????? ???????? ??????? ? ????? ??????????? ?????????????. ???????? ???????? ??? ??????? ? ??????????? ?? ???? ???????? ? ????? ???????????. ?????????? ??????? ???????????? ??????, ???????? ??????? ???????? ???????? ????????. ???????? ????????? ?????????? ??????????? ??????, ???????? ????? ????????????? ????????? ?????????????.

????????????? ?????? ??????????? ??????? ?????? ? ???????? ??????????? ???????????. ???????? ????????????? ???????? ? ????????? ??? ???????????? ???????? ??????. ????????????? ????????? ???????? Tableau, Power BI, Plotly ??? ?????????? ???????????? ??????????. ????????? ??????????? ?????????? ?????????? ? ??????????? ????????????? ? ?????? ????????? ???????.

???????????? ????????????? ?????????? ??????? ??????????????? ????????? ??????? ????????????. ???????? ?????????? ???????? ??????-??????, ???????? ???????, ??????? ? ????????????. ??????????? ???????????? ??????? ??????????? ??? ??????? ??????????. ??????????? ????????? ???????? ????????? ????????? ?????????? ? ??????????? ???????? ? ??????? ??? ?? ?????? ??? ??????? ????????.

???????????? ?????? ???????????????? ???????? ???????????? ????????????? ??????????. ???????? ????????? ?????????? ????????? ? ??????? ?? ???????????? ?????????? ??????. ????????? ????????????? ?????? ???? ??? ?????????? ???????????? ? ??????-????????.